## EVALUASI  SISTEM  E-LEARNING  PT.  OTAK  KANAN MELALUI  PENGUJIAN  BLACKBOX  TESTING  DAN

## SYSTEM USABILITY SCALE (SUS)

## Liga Bayu Herdianto
1,2,3,4,5 Politeknik Negeri Jember, Jurusan Teknologi Informasi, Teknik Informatika, Jemberlor, Jember
Riwayat artikel: Received: 25 Mei 2023 Accepted: 10 Juli 2023 Published: 1 Agustus 2023

## Keywords:
Pengujian; E-Learning;
Blackbox; SUS.

## Corespondent Email:
masligabayu@gmail.com

## Abstrak.
Perkembangan  teknologi  informasi  telah  berdampak  besar  pada  kehidupan sehari-hari dan pendidikan, dengan internet dan sistem informasi memainkan peran  kunci  dalam  menyediakan  layanan  informasi  kepada  lingkungan pendidikan. Pembelajaran telah bertransformasi menjadi metode online yang dikenal  sebagai E-learning ,  yang  menggunakan  teknologi  sebagai  sarana pembelajaran.  PT.  Otak  Kanan  sedang  memperkenalkan E-Learning untuk mendukung  mahasiswa  dan  siswa  magang,  dan  mereka  tengah mengembangkan  aplikasi E-learning Sigarda.  Pengujian  perangkat  lunak menjadi  bagian  penting  dalam  proses  ini  untuk  memastikan  kualitas  dan fungsionalitas  aplikasi  serta  mencegah  kesalahan  selama  pengembangan. Dalam  pengujian  aplikasi E-Learning Sigarda,  metode Blackbox  Testing digunakan untuk memeriksa fungsionalitas aplikasi, sementara metode System Usability  Scale digunakan  untuk  mengukur  kepuasan  pengguna.  Hasil pengujian  menunjukkan  kesesuaian  aplikasi  dengan test  case skenario  pada halaman  admin  dan user ,  serta  pengujian  sistem E-Learning menggunakan metode System  Usability  Scale terhadap  15  responden  memperoleh  skor  91 yang  masuk  dalam  kategori  " Acceptable "  dalam Acceptability range ,  "A" dalam Grade  Scale ,  dan  mendapatkan  penilaian  " Best  Imaginable "  dalam Adjective rating .

## Abstract.
In  everyday  life  and  education,  the  internet  and  information  systems  play  a key  role  in  providing  information  services  to  the  educational  community. Learning has transformed into an online method known as e-learning, which utilizes  technology  as  a  means  of  education.  PT.  Otak  Kanan  is  currently introducing  E-Learning  to  support  students  and  interns,  and  they  are developing the E-learning Sigarda application. Software testing is an essential part of this process to ensure the quality and functionality of the application and  to  prevent  errors  during  development.  In  the  testing  of  the  E-Learning Sigarda  application,  the  Blackbox  Testing  method  is  used  to  examine  the application's  functionality,  while  the  System  Usability  Scale  method  is employed  to  measure  user  satisfaction.  The  test  results  demonstrate  the application's  alignment  with  test  case  scenarios  on  both  admin  and  user pages.  Additionally,  the  system's  E-Learning  testing,  using  the  System Usability  Scale  method  with  15  respondents,  yielded  a  score  of  91,  falling within the "Acceptable" category of the Acceptability range and receiving an "A" rating on the Grade Scale, along with a "Best Imaginable" evaluation in the Adjective rating.

## 1. PENDAHULUAN
Perkembangan  teknologi  informasi  sangat berpengaruh  pada  kebiasaan  dan  kehidupan
sehari-hari.  Teknologi  informasi  menjadi penting  dalam  aspek  pendidikan,  terutama  di perguruan  tinggi  dan  institusi  pendidikan
JITET (Jurnal Informatika dan Teknik Elektro Terapan) pISSN: 2303-0577 eISSN: 2830-7062 Liga et al
lainnya. Internet dan sistem informasi memainkan  peran  utama  dalam  memberikan layanan  informasi  kepada  mahasiswa,  dosen, alumni, dan masyarakat umum. Layanan sistem informasi  dalam  pendidikan  memberikan kemudahan  akses  di  berbagai  waktu  dan tempat.
Saat  ini,  pendekatan  pembelajaran  telah berubah  menjadi  sistem  online  yang  dikenal sebagai e-learning . E-learning merupakan metode  pembelajaran  yang  menggunakan teknologi sebagai alat untuk proses pembelajaran [1]. Perguruan tinggi dan institusi pendidikan banyak menggunakan media pembelajaran  online,  seperti e-learning untuk membantu  mahasiswa  dalam  mengoptimalkan proses pembelajaran [2]. Selain itu, e-learning juga  digunakan  sebagai  media  pembelajaran untuk  kegiatan  magang  di  perusahaan  atau kantor  yang  bekerja  sama,  yang  dilakukan secara online.
PT.  Otak  Kanan  sedang  merencanakan pengenalan  pembelajaran  online  melalui E- Learning untuk  membantu  mahasiswa  dan siswa  yang  sedang  magang  di  perusahaan tersebut. Saat ini, proses pembelajaran magang masih dilakukan dengan menghadiri perusahaan  atau  kantor,  namun  hal  ini  belum optimal  dalam  menjalankan  pembelajaran magang. PT. Otak Kanan sedang mengembangkan perangkat lunak atau aplikasi pembelajaran  online  bernama E-learning Sigarda. Selain pengembangan perangkat lunak atau  aplikasi  pembelajaran  tersebut,  pengujian perangkat lunak juga merupakan bagian penting dari proses tersebut.
Pengujian  perangkat  lunak  sangat  penting untuk  memastikan  kualitas  dan  fungsionalitas aplikasi  yang  akan  digunakan.  Hal  ini  juga membantu  dalam  menghindari  kesalahan selama  pengembangan.  Dalam  pengujian aplikasi E-Learning Sigarda  PT.  Otak  Kanan, metode  yang  digunakan  adalah Blackbox Testing dan System  Usability  Scale . Blackbox
Testing digunakan untuk memeriksa fungsionalitas  aplikasi,  sementara System
Usability  Scale digunakan  untuk  mengukur kepuasan pengguna terhadap aplikasi.

## 2. TINJAUAN PUSTAKA
2.1.  E-Learning E-Learning adalah  salah  satu  metode pembelajaran yang menggunakan media
elektronik, baik dalam bentuk visual atau audio melalui  internet  [3].  Penggunaan E-Learning dalam pembelajaran telah memberikan banyak perubahan dan dampak positif, sehingga banyak digunakan untuk menghemat waktu dan sumber daya dalam kegiatan akademik.

## 2.2.  Blackbox Testing
Blackbox  testing adalah  metode  pengujian yang  berfokus  pada  fungsi-fungsi  atau  modul yang  dikembangkan,  termasuk  struktur  data, akses  data  dalam  database,  dan  beberapa kesalahan  performa  yang  terjadi  [4].  Metode pengujian ini dilakukan tanpa harus mengetahui source  code aplikasi.  Dalam blackbox  testing , salah satu teknik yang umum digunakan adalah menguji  setiap  menu  berdasarkan  masukan dengan  membagi  masukan  tersebut  ke  dalam kelompok berdasarkan fungsinya.

## 2.3.  System Usability Scale
System Usability Scale (SUS) adalah sebuah metode pengujian usability yang dikembangkan oleh John Brooke pada tahun 1986. Metode ini menggunakan  skala  umum,  yang  bertujuan untuk  mengukur  umpan  balik  dari  pengguna melalui serangkaian pertanyaan yang diberikan kepada  responden  [5].  Dalam  metode  ini, responden  diminta  untuk  mengisi  kuesioner yang terdiri dari beberapa pertanyaan sederhana,  baik  yang  bersifat  positif  maupun negatif.
System  Usability  Scale (SUS)  terdiri  dari sepuluh  pertanyaan  yang  harus  dijawab menggunakan  skala  1-5,  dengan  pilihan jawaban  dari  "sangat  tidak  setuju"  hingga "sangat  setuju"  [6].  Berikut  adalah  tabel  nilai skala yang digunakan untuk penilaian:
Tabel 1. Nilai Skala Jawaban
Nilai Skala Arti 1 Sangat tidak setuju 2 Tidak setuju 3 Netral 4 Setuju 5 Sangat setuju
Dalam  evaluasi  menggunakan System Usability  Scale ,  skor  0-100  digunakan  untuk mengevaluasi  nilai  dari  pengguna  terhadap Sistem E-Learning di PT. Otak Kanan. Berikut
JITET (Jurnal Informatika dan Teknik Elektro Terapan) pISSN: 2303-0577 eISSN: 2830-7062 Liga et al
adalah  sepuluh  pertanyaan  dari System Usability Scale (SUS) yang telah diterjemahkan ke dalam bahasa Indonesia [7].
Tabel 2. Pertanyaan System Usability Scale
No Pertanyaan 1 Saya berpikir akan menggunakan sistem ini lagi
2 Saya merasa sistem ini rumit untuk digunakan
3 Saya merasa sistem ini mudah digunakan
4
Saya  membutuhkan  bantuan  dari orang  lain  atau  teknisi  dalam
menggunakan sistem ini
5 Saya merasa fitur-fitur sistem ini berjalan dengan semestinya
6
Saya  merasa  ada  banyak  hal  yang tidak  konsisten  (tidak  serasi  pada sistem ini )
7 Saya merasa orang lain akan memahami cara menggunakan sistem ini dengan cepat
8 Saya merasa sistem ini membingungkan
9 Saya merasa tidak ada hambatan dalam menggunakan sistem ini
10
Saya  perlu  membiasakan  diri  terlebih dahulu  sebelum  menggunakan sistem ini Setelah  mengumpulkan  data  kuesioner  dari responden, langkah selanjutnya adalah menghitung  data  tersebut.  Terdapat  beberapa aturan  yang  harus  diterapkan  saat  melakukan perhitungan skor System Usability Scale (SUS).
Berikut ini adalah aturan yang digunakan dalam perhitungan skor pada kuesioner tersebut:
1. Setiap  pertanyaan  bernomor  ganjil,  skor dikurangi 1.
2. Setiap  pertanyaan  bernomor  genap,  skor akhir  didapat  dari  nilai  5  dikurangi  skor pertanyaan yang didapat dari pengguna.
3. Skor  SUS  didapat  dari  hasil  penjumlahan skor  setiap  pertanyaan  yang  kemudian dikali 2,5.
Aturan  perhitungan  skor System  Usability Scale (SUS)  berlaku  untuk  setiap  responden secara individu. Untuk perhitungan selanjutnya,
skor System  Usability  Scale (SUS)  dari  setiap responden  dijumlahkan  dan  kemudian  diambil rata-ratanya  dengan  cara  membagi  total  skor dengan  jumlah  responden.  Berikut  ini  adalah rumus untuk menghitung skor Sys tem Usability
Scale (SUS):
X = ∑x / n (1) Keterangan : X = Skor rata-rata ∑x = Jumlah skor SUS n
= Jumlah responden
Terdapat  tiga  indikator  penilaian  yang digunakan  pada System  Usability  Scale (SUS) yang dijelaskan pada gambar berikut:

## Gambar 1. Indikator Penilaian

## 3. METODE PENELITIAN
3.1.   Persiapan Instrument Instrument yang  akan  digunakan  dalam evaluasi E-Learning PT.  Otak  Kanan  terdiri dari test  case pengujian  dan  kuesioner  yang berisi  pertanyaan.  Setiap  responden  akan melakukan pengujian test case dan memberikan jawaban  pada  setiap  pertanyaan  menggunakan skala  1-5,  dari  "sangat  setuju"  hingga  "sangat tidak  setuju".  Berikut  adalah  tabel  yang  berisi test case dan pertanyaan yang digunakan dalam kuesioner  untuk  pengujian Blackbox  Testing dan System Usability Scale dengan skala 1-5:
Tabel  3. Test  case skenario  pengujian  menu navigation My Profile Admin Uji Jenis pengujian Deskripsi pengujian P1 Halaman profile details admin
Admin bisa melihat informasi dari details akun atau profile admin
JITET (Jurnal Informatika dan Teknik Elektro Terapan) pISSN: 2303-0577 eISSN: 2830-7062 Liga et al
P2 Halaman edit profile
details admin Admin  bisa melakukan perubahan nama, phone number , alamat dan jenis kelamin dari profile detail
P3 Halaman edit profile details admin Admin bisa melakukan pergantian password dari old menjadi new password
P4 Halaman edit profile details admin Admin bisa melakukan pergantian email dari old email menjadi new email
Tabel 4. Pertanyaan Instrument Kuesioner
System Usability Scale No Pertanyaan Q1 Saya berpikir akan menggunakan sistem E-Learning PT. Otak Kanan
ini lagi.
Q2 Saya  merasa  sistem E-Learning PT.
Otak  Kanan  ini  rumit  untuk
digunakan.
Q3 Saya merasa sistem E-Learning PT.
Otak Kanan ini mudah digunakan.
Q4 Saya  membutuhkan  bantuan  dari orang  lain  atau  teknisi  dalam menggunakan sistem E-Learning PT. Otak Kanan ini.
Q5 Saya  merasa  fitur-fitur  sistem E-
Learning ini  berjalan  dengan
semestinya.
Q6 Saya  merasa  ada  banyak  hal  yang
tidak  konsisten  (tidak  serasi  pada
sistem E-Learning PT. Otak Kanan
ini)
Q7 Saya merasa orang lain akan memahami cara menggunakan sistem
E- Learning ini dengan cepat.
Q8 Saya merasa sistem E-Elearning ini membingungkan.
Q9 Saya  merasa  tidak  ada  hambatan dalam  menggunakan  sistem E-
Learning PT. Otak Kanan ini.
Q10 Saya perlu membiasakan diri terlebih dahulu sebelum menggunakan sistem E-Learning PT. Otak Kanan ini.

## 3.2 Pemilihan Responden
Dalam  pengujian  sistem E-Learning PT. Otak  Kanan  menggunakan  metode BlackBox Testing , satu responden dipilih dari Mahasiswa Jurusan Teknologi Informasi yang berpengalaman  dalam  pelatihan  DTS-VSGA Programming , pelatihan interview coding , dan fullstack  javascript .  Pengujian  terdiri  dari pengujian  halaman  admin  dan  halaman user .
Setelah  pengujian  selesai,  responden  akan mengisi  kuesioner  pengujian  menggunakan metode BlackBox  Testing .  Berikut  alur pengujian menggunakan menggunakan metode BlackBox Testing:

## Gambar 2. Alur pengujian metode BlackBox Testing
Setelah  melakukan  pengujian  sistem E- Learning dengan metode BlackBox Testing dan menerima hasil dari Kuesioner yang diisi oleh responden, langkah berikutnya adalah melakukan  pengujian  dengan  metode System Usability Scale . Responden yang dipilih untuk pengujian  sistem E-Learning PT.  Otak  Kanan menggunakan  metode System  Usability  Scale adalah mahasiswa Jurusan Teknologi Informasi
JITET (Jurnal Informatika dan Teknik Elektro Terapan) pISSN: 2303-0577 eISSN: 2830-7062 Liga et al
di  Politeknik  Negeri  Jember.  Tujuan  dari pengujian  ini  adalah  untuk  memperkenalkan sistem E-Learning PT.  Otak  Kanan  kepada mahasiswa  Jurusan  Teknologi  Informasi  dan mendapatkan umpan balik dari responden yang telah  mencoba  sistem  tersebut.  Target  jumlah responden yang diharapkan adalah 15 mahasiswa.  Sebelum  melakukan  pengujian dengan  metode System  Usability  Scale , responden  akan  diberikan  tautan link zoom untuk  melakukan  pengujian  secara  langsung. Setelah  itu,  responden  akan  melakukan pengujian  sistem E-Learning dan  mengisi umpan  balik  melalui  kuesioner.  Berikut  alur pengujian menggunakan metode System
Usability Scale :
Gambar 3. Alur pengujian metode System Usability Scale

## 3.3.  Pengumpulan Data
Dalam penelitian ini menggunakan beberapa cara  atau  metode  dalam  pengumpulan  data, yaitu:
1. Kuesioner
Kuesioner  adalah  salah  satu  metode pengumpulan  data  yang  sering  digunakan secara  luas  untuk  mengumpulkan  data  secara
efisien  dalam  jumlah  besar  dan  dengan  cepat [8].
2. Studi Literatur
Pada  tahap  ini  dilakukan  pengumpulan berbagai  sumber,  wawasan,  dan  pengetahuan yang  relevan  dengan  permasalahan  yang diteliti.  Data  dan  informasi  yang  diperlukan ditemukan  melalui  skripsi  referensi,  laporan magang, dan jurnal-jurnal  terkait yang menggunakan  metode  pengujian Blackbox Testing dan System  Usability  Scale (SUS). Sumber-sumber  ini  akan  digunakan  sebagai acuan dalam penelitian ini.

## 4. HASIL DAN PEMBAHASAN
4.1.  Uji System Blackbox Testing
Setelah  menyelesaikan  proses  pembuatan
test case untuk pengujian, langkah selanjutnya adalah  melakukan  pengujian  tersebut.  Dengan melihat hasil pengujian, dapat ditarik kesimpulan  apakah  sistem  telah  mencapai tujuan  yang  diharapkan  atau  belum.  Hasil pengujian  yang  telah  dilakukan  dirangkum dalam tabel berikut ini, yang menunjukkan hasil dari  pengujian  sistem  menggunakan metode blackbox testing :
Tabel 5. Hasil Pengujian Menu Navigation My Profile Admin Pengujian Hasil Pengujian P1 Sesuai P2 Sesuai P3 Sesuai P4 Sesuai Berdasarkan data yang terdapat pada Tabel 5  hasil  pengujian  menu  navigasi  pada My profile admin menunjukkan  bahwa  dari  empat pengujian yang dilakukan pada halaman profile details , edit  profile , edit  password dan edit email  pada profile admin  semuanya  berhasil dan sesuai dengan rencana test case pengujian menggunakan metode blackbox testing .

## 4.2 Uji System Usability Scale (SUS)
Dalam proses perhitungan data menggunakan  metode System  Usability  Scale , akan menggunakan perhitungan manual dengan menggunakan  Microsoft  Excel  dan  mengikuti rumus atau aturan yang berlaku dalam metode System Usability Scale . Langkah pertama yang
JITET (Jurnal Informatika dan Teknik Elektro Terapan) pISSN: 2303-0577 eISSN: 2830-7062 Liga et al
harus  dilakukan  adalah  melakukan  rekapan semua nilai dari kuesioner yang telah diisi oleh responden,  kemudian  dilanjutkan  dengan proses  perhitungan.  Metode System  Usability Scale berupa data kuesioner yang terdiri dari 10 pertanyaan dengan menggunakan skala 5 point penilaian. Responden diminta untuk memberikan  penilaian  "Sangat  tidak  setuju" (STS) bernilai 1, "Tidak setuju" (TS) bernilai 2, "Netral" (N) bernilai 3, "Setuju" (S) bernilai 4, "Sangat  setuju"  (SS)  bernilai  5.  Berikut merupakan tabel dari hasil penilaian responden:
Tabel 6. Hasil Data Jawaban Responden
R Q 1 Q 2 Q 3 Q 4 Q 5 Q 6 Q 7 Q 8 Q 9 Q 1 0 1 5 1 5 1 5 1 5 1 5 1 2 5 1 5 1 5 1 5 1 5 1 3 4 1 5 3 5 1 4 1 5 3 4 5 1 5 1 5 1 5 1 5 1 5 4 1 4 2 5 1 5 1 5 1 6 4 1 5 1 5 1 5 1 5 1 7 5 4 4 1 4 2 5 3 4 1 8 5 1 5 1 5 1 5 1 5 1 9 5 2 5 3 5 4 5 2 5 4 10 5 1 5 1 5 1 5 1 5 1 11 5 2 5 3 4 2 5 2 2 2 12 5 1 5 1 5 1 5 1 5 1 13 5 1 5 2 5 1 5 1 5 2 14 4 2 5 5 5 3 5 2 5 3 15 5 1 5 2 5 1 5 1 5 1
Keterangan : Nilai 1 : Responden menjawab “Sangat Tidak Setuju”.
Nilai 2 : Responden menjawab “Tidak Setuju”. Nilai 3 : Responden menjawab “Ragu-Ragu”. Nilai 4 : Responden menjawab “Setuju”. Nilai 5 : Responden menjawab “Sangat Setuju”
Setelah  mendapatkan  data  dari  responden selanjutnya  proses  perhitungan  nilai  atau  skor dengan menggunakan metode System Usability Scale .  Terdapat  beberapa  aturan  dalam menggunakan  perhitungan  nilai  atau  skor System  Usability  Scale (SUS)  yang  berlaku sebagai berikut:
1. Setiap  pertanyaan  bernomor  ganjil,  skor dikurangi 1.
2. Setiap  pertanyaan  bernomor  genap,  skor akhir  didapat  dari  nilai  5  dikurangi  skor pertanyaan yang didapat dari pengguna.
3. Skor  SUS  didapat  dari  hasil  penjumlahan skor  setiap  pertanyaan  yang  kemudian dikali 2,5.
Berikut  merupakan  bentuk  tabel  dengan perhitungan nilai skor menggunakan ketentuan atau  aturan  metode System  Usability  Scale (SUS) dari masing-masing responden:
Tabel 7. Hasil Data Responden dengan System Usability Scale Responden Jumlah X 2,5 R1 40 100 R2 40 100 R3 34 85 R4 40 100 R5 37 92.5 R6 39 97.5 R7 31 77.5 R8 40 100 R9 30 75 R10 40 100 R11 30 75 R12 40 100 R13 38 95 R14 29 72.5 R15 39 97.5 Jumlah 1367.5
Berdasarkan  hasil  perhitungan  dengan metode System  Usability  Scale dari  masing- masing  responden  diketahui  jumlah  skor  atau nilai  yang  diperoleh  yaitu 1367.5 dengan total responden  15.  Untuk  perhitungan  selanjutnya menggunakan rumus sebagai berikut:
1367.5  = 91.16666667 15
Dari hasil perhitungan diatas menggunakan metode System  Usability  Scale mendapatkan skor rata-rata sebesar 91. Kemudian dikonversikan  dalam  bentuk Grade , Adjective dan Acceptable yang  bisa  dilihat  pada  tabel dibawah ini:
JITET (Jurnal Informatika dan Teknik Elektro Terapan) pISSN: 2303-0577 eISSN: 2830-7062 Liga et al
Tabel 8. Konversi nilai skala SUS SUS Skor Grade Adjective Rating 90 – 100 A Best 80 – 90 B Excelent 70 – 80 C Good 50 – 70 D Ok 40 – 50 F Poor <40 F Worst

## 5. KESIMPULAN
Dari hasil pengujian sistem E-Learning PT.
Otak  Kanan  menggunakan  metode Blackbox Testing dan System  Usability  Scale (SUS), dapat ditarik kesimpulan sebagai berikut:
1. Setelah dilakukan pengujian menggunakan  metode blackbox  testing
pada halaman admin dan user , ditemukan  bahwa  hasilnya  sesuai dengan test  case skenario  yang  telah disiapkan.  Namun,  disarankan  untuk melakukan  pengecekan  kembali  pada beberapa  fitur  yang  mungkin  terlewat atau belum diuji.
2. Pengujian  sistem  E -Learning PT.  Otak Kanan dengan metode System Usability Scale dilakukan terhadap 15 responden, dan  memperoleh  skor  sebesar  91.  Skor tersebut masuk dalam kisaran " Acceptable " dalam kategori
Acceptability range,  termasuk  dalam
kelas  "A"  dalam Grade  Scale ,  dan
mendapatkan penilaian " Best Imaginable " dalam Adjective rating .

## DAFTAR PUSTAKA
[1]  T.  A.  Santosa,  E.  M.  Sepriyani,  L.  Lufri,  A.
Razak, M. Chatri, and V. Violita, “Analisis E- Learning Dalam Pembelajaran Evolusi Mahasiswa Pendidikan Biologi Selama Pandemi  Covid-19,” Edumaspul  J.  Pendidik. , vol.  5,  no.  1,  pp.  66–70,  2021,  doi: 10.33487/edumaspul.v5i1.1027.
[2]  A.  Puji  Astuti,  A.  Aziz,  D.  Anggani  Linggar Bharati,  and  S.  Susilogati  Sumarni,  “Seminar Nasional  Edusainstek  Desain  Aplikasi  Web Magang Untuk Menunjang Learning
Management System Kegiatan Praktik Mengajar  di  abad  Revolusi  Industri  4.0,”  pp. 16–23, 2018, [Online]. Available: http://isparmo.web.id/2016/11/21/data- statistik-pengguna-internet-indonesia-2016/.
[3]  A.  Setiawan,  L.  Nurlaela,  S.  Muslim,  and  E. Yundra,  “Pengembangan  E  Learning  Sebagai Media,” …  Nas.  SANTIKA  Ke-1  … ,  no. September,  pp.  52–56,  2019,  [Online]. Available: http://santika.ijconsist.org/index.php/SANTIK A/article/view/15.
[4]  N. L. G. P. Suwirmayanti, I. K. A. A. Aryanto, I.  G.  A.  N.  W.  Putra,  N.  K.  Sukerti,  and  R. Hadi,  “Penerapan  Helpdesk  System  dengan Pengujian  Blackbox  Testing,” J.  Ilm.  Intech Inf.  Technol.  J.  UMUS ,  vol.  2,  no.  02,  2020, doi: 10.46772/intech.v2i02.290.
[5]  Y.  Jumaryadi  and  D.  Mahdiana,  “Usability Testing  of  Budi  Luhur  University  E-Learning System Using System Usability Scale,” J. Tek. Inform. , vol. 3, no. 4, pp. 1099–1107, 2022.
[6]  M. A. Kusumadya, R. Rasmila, F. Hidayat, and D.  Chandra,  “Analisis  Website  Petani  Kode Menggunakan SUS (System Usabilty Scale),” J. Inform. Polinema , vol. 8, no. 4, pp. 41–46, 2022, doi: 10.33795/jip.v8i4.908.
[7]  M. A. Sari and K. D. Tania, “Evaluasi Usability Pada Knowledge Management System (KMS) Menggunakan Metode System Usability Scale (SUS),” J. Bisnis, Manajemen, dan Ekon. , vol. 3, no. 3, pp. 134–146, 2022, doi: 10.47747/jbme.v3i3.763.
[8]  V. H. Pranatawijaya, W. Widiatry, R. Priskila, and P. B. A. A. Putra, “Penerapan Skala Likert dan Skala  Dikotomi Pada Kuesioner Online,” J. Sains dan Inform. , vol. 5, no. 2, pp. 128–137, 2019, doi: 10.34128/jsi.v5i2.185.