Jurnal Teknik Informatika (JUTIF) DOI: https://doi.org/10.52436/1.jutif.2023.4.4.824 Vol. 4, No. 4, August 2023, pp. 681-691 p-ISSN: 2723-3863 e-ISSN: 2723-3871

## UX (USER EXPERIENCE) EVALUATION OF THE OPENLEARNING SYSTEM AT UNIVERSITAS MUHAMMADIYAH SURAKARTA USING HEURISTIC EVALUATION AND USABILITY TESTING
Afifah Ghaisani Imana *1 , Yusuf Sulistyo Nugroho 2
1,2 Informatics, Faculty of Communication and Informatics, Universitas Muhammadiyah Surakarta, Indonesia Email: 1 l200190198@student.ums.ac.id , 2 yusuf.nugroho@ums.ac.id
(Article received: January 13, 2023; Revision: January 26, 2023; published: August 18, 2023)

## Abstract
Since the COVID-19 pandemic in 2020, the learning process at the University of Muhammadiyah Surakarta (UMS) has been carried out online using the OpenLearning platform. The use of OpenLearning media has provided an easy learning process for both lecturers and students. Although there are many conveniences and benefits offered, usability problems still arise, for example, there is no distinction between courses that have ended and those that are still active, the "Edit Page Header" feature on student users, and misperceptions in the progress bar in the Course menu.  In addition, previous research has evaluated the UMS OpenLearning platform using the System Usability Scale (SUS) technique and scored 61 (grade scale D) and indicates that the system is well received. To identify more detailed problems related to user experience (UX) for the OpenLearning system applied at UMS, it is necessary to evaluate the UX with the other approaches. In this study, the Heuristic Evaluation method based on 10 principles of Heuristic and Usability Testing based on 5 Usability criteria are implemented to evaluate. The results of  this study are a system prototype according  to  the results of  heuristic evaluation. The prototype was evaluated using SUS method on 380 respondents. The SUS calculation yields a value of 69, which indicates that the system is classified to the grade scale category D. This insignificant increase in the SUS score indicates that the UX improvements have not been optimally related to usability due to some factors such as the complexity of the system when used, inconsistencies, and the need for users to adapt to using the system. This finding can be considered by the system development team to fix the weaknesses so as to create an online learning platform with a better UX.
Keywords : heuristic evaluation, learning management system, openlearning, usability testing, user experience.

## EVALUASI UX (USER EXPERIENCE) PADA SISTEM OPENLEARNING DI UNIVERSITAS MUHAMMADIYAH SURAKARTA MENGGUNAKAN HEURISTIC EVALUATION DAN USABILITY TESTING

## Abstrak
Sejak  tahun  2020  saat  terjadinya  pandemi  COVID-19,  proses  pembelajaran  di  Universitas  Muhammadiyah Surakarta  (UMS)  dilakukan  secara  daring  menggunakan  platform OpenLearning .  Penggunaan  media OpenLearning telah memberikan kemudahan proses pembelajaran baik bagi dosen maupun  mahasiswa. Meskipun banyak kemudahan dan keuntungan yang ditawarkan, namun permasalahan usability tetap muncul, misalnya tidak ada pembeda antara course yang sudah berakhir dan yang masih aktif, adanya fitur “Edit Page Header” pada user student , dan mispersepsi pada progress bar di menu Course .  Selain itu, penelitian terdahulu telah mengevaluasi platform OpenLearning UMS menggunakan teknik System Usability Scale (SUS) dan mendapat skor sebesar 61. Skor  ini  termasuk  dalam  kategori grade  scale D  dan  menunjukkan  bahwa  sistem  dapat  diterima  dengan  baik. Untuk  mengidentifikasi  permasalahan  detail  terkait user  experience (UX)  pada  sistem OpenLearning di  UMS, perlu dilakukan evaluasi UX dengan pendekatan lainnya. Evaluasi UX pada penelitian ini menggunakan metode Heuristic Evaluation berdasarkan 10 prinsip Heuristic dan Usability Testing berdasarkan 5 kriteria Usability . Hasil penelitian ini berupa sebuah prototype yang dirancang sesuai dengan hasil evaluasi heuristic . Prototype tersebut diuji  dengan  metode system  usability testing terhadap  380  responden.  Perhitungan  SUS  menghasilkan  nilai  69 yang  mengindikasikan  bahwa  sistem  termasuk  kategori grade  scale D.  Peningkatan  nilai  SUS  yang  tidak signifikan  menunjukkan  bahwa  perbaikan  UX  belum  optimal  terkait usability seperti  rumitnya  sistem  ketika digunakan, terdapat hal yang tidak konsisten, dan perlunya user untuk beradaptasi  dalam menggunakan sistem. Penelitian ini dapat dijadikan pertimbangan oleh tim pengembang OpenLearning untuk memperbaiki kelemahan yang dirasakan user sehingga dapat menciptakan platform pembelajaran online dengan UX yang lebih baik.
Kata kunci : heuristic evaluation, OpenLearning, sistem pembelajaran online, usability testing, user experience.

## 1. PENDAHULUAN
Bulan  Maret  2020  merupakan  awal  pandemi virus  COVID-19  masuk  ke  negara  Indonesia  yang telah  memberikan  dampak  besar  pada  berbagai bidang  dalam  kehidupan  sehari-hari.  Salah  satu dampaknya  adalah  perubahan  sistem  pendidikan mulai dari sekolah dasar hingga jenjang perkuliahan [1]. Pembelajaran yang semula dilaksanakan dengan tatap  muka  di  kelas,  kini  berubah  secara  daring (dalam jaringan). Untuk memfasilitasi  pembelajaran daring,  maka  dibutuhkan  platform  pembelajaran online yang  dapat  menunjang  kegiatan  belajar mengajar tetap berjalan secara efektif dan efisien [2].
Salah satu instansi pendidikan yang menggunakan  platform  pembelajaran online akibat dampak  pandemi  Covid-19  adalah  Universitas Muhammadiyah  Surakarta  (UMS).  Platform  yang digunakan  UMS  untuk  proses  pembelajarannya adalah OpenLearning . OpenLearning merupakan platform pembelajaran online yang didesain berdasarkan  filosofi  pembelajaran  yang  telah digunakan  oleh  lebih  dari  200  institusi  dengan 3.000.000 lebih pelajar. OpenLearning bukan hanya sebagai  tempat  bagi  dosen  dalam  menyampaikan materi  kepada  mahasiswa  secara  daring,  tetapi  juga sebagai wadah bagi mahasiswa untuk berkolaborasi. Dibanding hanya membaca materi atau melihat video saja,  dengan OpenLearning mahasiswa  dapat berdiskusi  dengan  mahasiswa  lain.  Hal  ini  dapat menjadi dorongan bagi mahasiswa untuk berinisiatif pada  proses  pembelajarannya  sendiri  maupun  orang lain [3].
Meskipun  banyak  kemudahan  yang  diberikan oleh OpenLearning , namun tidak menutup kemungkinan  masih  terdapat  permasalahan  dari  sisi kegunaan [4]. Misalnya, pada menu Course tidak ada pembeda antara course yang masih aktif dan course yang  sudah  berakhir,  terdapat  juga  fitur  yang ditampilkan tetapi tidak dapat digunakan seperti Edit Page  Header, dan  juga  kurangnya  informasi  terkait task  yang  harus  dilakukan user untuk  memenuhi progress bar pada menu Course sehingga mengakibatkan  mispersepsi  pada user .  Kekurangan usability yang  ditemukan  pada OpenLearning dapat mempengaruhi user experience -nya, karena semakin mudah  sistem  digunakan,  maka  semakin  baik user experience -nya [5].
Pada  penelitian  sebelumnya  telah  dilakukan evaluasi usability terhadap  beberapa  platform pembelajaran online antara  lain  Google Classroom [6],  Microsoft  Teams  [7],  dan OpenLearning [3]. Evaluasi usability yang  dilakukan  menggunakan berbagai macam pendekatan, seperti Use Experience Questionnaire [8] ,  Heuristic  Evaluation [9] , dan System Usability Scale [3].
Penelitian  terdahulu  telah  mengemukakan bahwa platform OpenLearning yang digunakan oleh
UMS  memiliki  nilai System  Usability  Scale (SUS) sebesar 61 dari total 100 dan termasuk kategori grade scale D  berdasarkan  aspek  kualitas  [3].  Penelitian tersebut hanya menjelaskan alasan diperolehnya skor SUS  dari  sisi user berdasarkan  hasil  penilaian  SUS saja,  namun  tidak  menjelaskan  secara  detail permasalahan  yang  dialami user berdasarkan user experience terhadap  sistem,  dan  juga  tidak memberikan rekomendasi perbaikan berupa prototype . Oleh karena itu, penelitian ini akan mengevaluasi kembali platform OpenLearning UMS menggunakan metode evaluasi Heuristic Evaluation untuk  melengkapi  proses  evaluasi usability [10] . Selain itu, penggunaan metode Heuristic Evaluation dapat  mengidentifikasi  secara  detail  keberadaan masalah usability yang  paling  sering  ditemukan melalui serangkaian prinsip heuristic yang tervalidasi [11].  Setelah  tahap  evaluasi heuristic ,  dilakukan Usability Testing menggunakan metode SUS. Metode SUS  digunakan  karena  dianggap  sebagai  instrumen yang baik untuk mengukur usability dari suatu sistem [12].  Hasil  evaluasi  dan  rekomendasi  UX  dapat dijadikan bahan pertimbangan oleh tim pengembang OpenLearning UMS  untuk  melakukan  perbaikan sehingga  dapat  menciptakan user  experience yang lebih baik.

## 2. TINJAUAN PUSTAKA
2.1. Usability The International Organization for
Standardization (ISO)  mendefinisikan Usability adalah sebaik apa sebuah sistem dapat digunakan oleh specified  user untuk  mencapai  tujuan  yang  telah ditentukan dengan efektifitas, efisiensi dan kepuasan dalam konteks penggunaan tertentu [13]. Sistem yang baik adalah sistem yang memiliki usability yang baik. Untuk  mengetahui  apakah  sebuah  sistem  sudah memiliki usability yang baik perlu dilakukan evaluasi berdasarkan standar yang telah ditentukan [14].

## 2.2. Heuristic Evaluation
Heuristic Evaluation merupakan evaluasi  yang dilakukan  terhadap  sistem  tanpa  melibatkan  aktual user , namun melibatkan evaluator ahli di bidang UX sejumlah  3-5  orang  yang  diminta  untuk  melakukan observasi.  Metode  evaluasi  ini  diperkenalkan  oleh Nielsen  dan  Ralph  Molich  pada  tahun  1990  yang menghasilkan 10 prinsip usability yang telah diakui, yaitu Visibility  of  system  status,  Match  Between system and the real world, User control and freedom, Consistency  and  standards,  Error  prevention, Recognition  rather  than  recall,  Flexibility  and efficiency  of  use,  Aesthetic  and  minimalist  design,
Help  users  recognize,  diagnose,  and  recover  from errors, dan Help and documentation [15].

## 2.3. Usability Testing
Usability  Testing adalah  metode  evaluasi  yang melibatkan  aktual user . Usabilty  Testing dilakukan untuk  mengetahui  bagaimana  interaksi  antara end- user dengan  sistem,  apakah  sistem  sudah  mencapai tujuan  yang  diharapkan  oleh  pengembang  sistem [16].

## 2.4. System Usability Scale (SUS)
SUS  adalah  metode usability  testing yang sederhana,  hanya  dengan  10  pernyataan  dapat memberikan  pandangan  secara  global  terkait penilaian  dari  sisi  kegunaan  [17].  SUS  merupakan skala likert atau skala pengukuran untuk menilai hasil survei  dalam  penelitian.  Survei  berisi  pernyataan yang telah ditentukan kemudian responden menunjukkan tingkat persetujuan atau ketidaksetujuan  dengan  pernyataan  tersebut  pada skala  1-5  [18].  SUS  menggunakan  skala  1  yang menunjukkan sangat tidak setuju hingga skala 5 yang menunjukkan  sangat  setuju  [19].  Penilaian  SUS berdasarkan 5 kriteria yaitu Learnability, Efficiency, Memorability, Errors, dan Satisfaction dan skor akhir SUS berupa angka dari rentang 0 hingga 100 [17].

## 3. HASIL DAN PEMBAHASAN
Gambar  1  menggambarkan  alur  kegiatan penelitian mulai awal hingga penelitian selesai, yang dijelaskan secara detail sebagai berikut.

## 3.1. Pengujian Heuristic Pada OpenLearning Saat Ini
Tahap  pertama  adalah  melakukan  pengujian terhadap platform existing atau platform OpenLearning saat  ini  menggunakan  metode Heuristic  Evaluation. Jakob  Nielsen  menjelaskan langkah-langkah untuk melakukan evaluasi heuristic yang dapat dilihat pada Gambar 1 [20]. a. Scope Evaluasi
Pada tahap ini didefinisikan hal-hal  yang perlu dilakukan evaluators saat  melakukan  evaluasi. Pertama, evaluators akan login ke  platfrom OpenLearning UMS sebagai Student , lalu mengevaluasi OpenLearning dengan  cara  mencoba fitur-fitur pada OpenLearning , dan untuk scope yang akan dilakukan evaluasi antara lain halaman beranda, fitur general , dan menu Course. b. Prinsip Heuristic yang Digunakan
Setelah menentukan scope yang akan dievaluasi,  selanjutnya  adalah  menentukan  prinsip heuristic yang  akan  digunakan.  Pengaplikasian prinsip heuristic pada  proses  evaluasi  tidak mengharuskan  ke-10  prinsipnya  untuk  digunakan, namun  disesuaikan  dengan  sistem  yang  dilakukan evaluasi.
Pada  tahap  ini  dilakukan  identifikasi  variabel yang  ditentukan  pada  10  prinsip Heuristic dengan memberikan  kode  di  setiap  prinsipnya  untuk memudahkan proses analisis. Tabel 1 mendeskripsikan  data  dengan  3  kolom  yang  terdiri dari Kode, Prinsip Heuristic, dan Keterangan. Kolom Kode  berisi  kode  untuk  setiap  prinsip Heuristic , kolom Prinsip Heuristic berisi prinsip dari Heuristic yang  digunakan  pada  proses  evaluasi,  dan  kolom Keterangan  berisi  penjelasan  dari  tiap  prinsip Heuristic .
Gambar 1. Diagram alur penelitian
Tabel 1. Kode prinsip Heuristic beserta keterangannya
Kode Prinsip Heuristic Keterangan H1 Visibility of System Status Sistem harus selalu memberi tahu pengguna tentang apa yang terjadi melalui umpan balik yang sesuai dalam waktu yang sesuai.
H2 Match  Between  System  and  The Real World
Keselarasan  desain  dengan  kebiasaan  pengguna,  penggunaan  bahasa  yang  familiar  bagi pengguna, melengkapi singkatan atau akronim dengan penjelasannya, dan peletakan navigasi dan pemilihan icon sesuai dengan kebiasaan pengguna.
H3 User Control and freedom Pengguna harus memiliki fleksibilitas untuk merubah sesuatu atau menarik kembali aksi yang sebenarnya tidak ingin dia lakukan. H4 Consistency and Standard Penggunaan bahasa, logo, icon , dan navigasi pada setiap halaman harus sama agar pengguna tidak merasa kebingungan.
H5 Error Prevention Membantu  pengguna  untuk  mengantisipasi  terjadinya error. Sistem  memberikan  petunjuk sebelum pengguna melakukan error .
H6 Recognation Rather than Recall Membantu pengguna mengingat fitur-fitur pada sistem pada kesan pertama.
H7 Flexibility and Efficiency of Use Sistem  membantu  pengguna  untuk  mempercepat  pekerjaannya  seperti  memberikan  fitur shorcut .
H8 Aesthetic and Minimalist Design Memberikan antarmuka yang fokus dan tidak berantakan. Menampilkan konten yang relevan saja. H9 Help Users Recognize, Diagnose, and Recover from Errors Sistem  menginformasikan error dalam  bahasa  yang  mudah  dipahami  pengguna  dan memberikan saran aksi yang dapat dilakukan pengguna.
H10 Help and Documentation Bantuan dan instruksi pada sistem harus mudah dipahami dan diakses oleh pengguna. c. Evaluators
Tahap selanjutnya adalah menentukan
evaluator yang  akan  berpartisipasi  dalam  penelitian ini.  Penentuan  jumlah evaluator heuristic mengacu pada  penelitian  yang  dilakukan  oleh  Jakob  Nielsen bahwa  dengan  menghadirkan  tidak  lebih  dari  5 evaluator , dapat membantu untuk menemukan sekitar 75% masalah usability pada sistem. Jika menggunakan evaluator lebih  dari  5,  akan  tidak efisien karena temuan masalah di setiap bertambahnya 1 evaluator tidaklah banyak, sehingga tidak  sebanding  penambahan evaluator dengan masalah yang ditemukan [21].
Evaluator s pada
Heuristic Evaluation merupakan  para  ahli  di  bidang user  experience , dengan kriteria minimal memiliki pendidikan terakhir sarjana strata 1 dan paham mengenai user experience atau interaksi antara manusia dengan komputer yang baik  dan  benar  [22].  Pada  penelitian  ini  akan menghadirkan  4 evaluator yang  bekerja  di  sebuah digital  agensi  diantaranya  adalah  1  orang  UX Designer , 2 orang UI (User Interface) Designer , dan
1 orang System Analyst.
d. Severity Rating
Severity  rating atau  tingkat  keparahan  perlu ditentukan  dalam  evaluasi  untuk  mengetahui seberapa  parah  masalah  UX  yang  ditemukan  [23]. Terdapat  beberapa  cara  untuk  menentukan severity rating .  Pada  penelitian  ini  akan  menggunakan  cara yang  dikemukakan  oleh  Jakob  Nielsen  [24]  yang dijelaskan pada Tabel 2.
Tabel 2. Severity Rating Jakob Nielsen
Rating Makna 0 Bukan permasalahan atau sudah sesuai. 1
Tidak perlu diperbaiki kecuali ada waktu lebih.
2 Perlu diperbaiki dengan diberikan prioritas rendah.
3 Perlu diperbaiki dengan diberikan prioritas tinggi.
4 Harus segera diperbaiki sebelum sistem rilis.
Penelitian  ini  hanya  akan  menggunakan range 1-3. Range 0  tidak  diperlukan  karena  tujuan  dari evaluasi  ini  adalah  untuk  menemukan  masalah usability pada OpenLearning UMS,  sehingga  untuk fitur yang tidak bermasalah tidak perlu dicantumkan. Sedangkan range 4  tidak  digunakan  karena  pada penelitian ini mengevaluasi sistem yang sudah rilis.

## e. Evaluasi
Evaluasi  perlu  dilakukan,  namun  perlu  adanya briefing terlebih  dahulu  kepada evaluators untuk menjelaskan  hal-hal  penting  yang  berkaitan  dengan proses penelitian, seperti penjelasan terkait platform OpenLearning UMS  beserta  alurnya, deadline pelaksanaan  evaluasi,  kemudian  penjelasan  tentang skenario  yang  akan  diuji  dan  ketentuan severity rating. Briefing dilakukan secara daring menggunakan  platform  Google  Meet,  dan  hasil evaluasi  dari evaluators dicatat  pada file Google Spreadsheet.
Saat  melakukan  evaluasi, evaluators harus melakukannya  secara  terpisah  guna  mengetahui permasalahan  dari  sudut  pandang  masing-masing evaluator.  Evaluators juga  dapat  memberikan masukan  terhadap  permasalahan  yang  ditemukan [20].

## 3.2. Perancangan Rekomendasi UX (User Experience)
Pada  tahap  ini,  hasil  temuan  masalah  dari masing-masing evaluator kemudian  dikumpulkan untuk  diambil  kesimpulan  bagian  mana  yang  perlu diperbaiki.  Proses  perancangan  rekomendasi  UX menggunakan software Balsamiq dan didasarkan atas saran dari evaluators pada hasil evaluasi, sedangkan urutan  proses  perancangan  disesuaikan  dengan tingkat keparahan dari temuan masalah.

## 3.3. Pengujian Rekomendasi UX (User
Experience) Menggunakan Metode Usability

## Testing
Setelah  proses  perancangan  rekomendasi  UX selesai,  dilakukan  pengujian  menggunakan  metode Usability  Testing .  Pada  penelitian  yang  dilakukan oleh Sulistyaningrum et al. [25], dilakukan Usability Testing dengan  2  tahap  pengujian,  pertama  pada platform existing dan  kedua  pada  rancangan rekomendasi  UX.  Namun  pada  penelitian  ini  hanya akan dilakukan pengujian pada rancangan rekomendasi  UX  saja,  dikarenakan  pada  penelitian sebelumnya  telah  dilakukan  pengujian  terhadap platform existing . Pada penelitian ini usability testing akan  menggunakan  pendekatan  SUS  seperti  yang
Afifah Ghaisani Imana, et al., UX (USER EXPERIENCE) EVALUATION OF THE OPENLEARNING SYSTEM … 685
sudah dilakukan pada platform existing di penelitian sebelumnya [3].
a. Instrumen SUS dan Cara Perhitungan SUS
Pengujian SUS pada rekomendasi UX dilakukan  terhadap user OpenLearning melalui kuisioner  SUS  yang  dibuat  menggunakan  Google Form.  Kuisioner  SUS  terdiri  dari  10  pernyataan dengan  skala  jawaban  1  sampai  5  [17].  Instrumen SUS dapat dilihat pada Tabel 3.
Tabel 3. Instrumen SUS No Pernyataan Skala 1 Saya  berpikir  akan  menggunakan  sistem  ini lagi 1-5 2 Saya merasa sistem ini rumit untuk digunakan 1-5 3 Saya merasa sistem ini mudah digunakan 1-5 4 Saya  membutuhkan  bantuan  dari  orang  lain atau teknisi dalam menggunakan sistem ini 1-5 5 Saya  merasa  fitur-fitur  sistem  ini  berjalan dengan semestinya 1-5 6 Saya  merasa  ada  banyak  hal  yang  tidak konsisten (tidak serasi pada sistem ini) 1-5 7 Saya  merasa  orang  lain  akan  memahami  cara meng-gunakan sistem ini dengan cepat 1-5 8 Saya merasa sistem ini membingungkan 1-5 9 Saya  merasa  tidak  ada  hambatan  dalam menggunakan sistem ini 1-5 10 Saya  perlu  membiasakan  diri  terlebih  dahulu sebelum menggunakan sistem ini 1-5
Adapun cara untuk menghitung skor SUS yaitu untuk skor dari pernyataan yang bernomor ganjil akan dikurangi  1.  Sedangkan  untuk  skor  dari  pernyataan yang  bernomor  genap  cara  menghitungnya  adalah  5 dikurangi  skor  pernyataan  tersebut.  Kemudian menjumlahkan  skor  setiap  pernyataan  dari  setiap responden,  lalu  mengalikannya  dengan  2,5  dan menghitung  rata-rata  dari  skor  seluruh  responden untuk memperoleh skor akhir SUS [17].
Skor  akhir  SUS  berupa  angka  antara  0  sampai dengan  100.  Hasil  rekapitulasi  tidak  hanya  berupa angka  namun  berupa Acceptability  Range,  Grade Scale,  dan  Adjective  Rating .  Penjelasan  lebih  detail dapat dilihat pada Gambar 2.
Gambar 2. Penentuan hasil evaluasi SUS

## b. Penentuan Responden
Pengujian SUS terhadap rekomendasi UX akan melibatkan  mahasiswa  S1  UMS  yang  merupakan user dari OpenLearning sebagai responden. Sedangkan  penentuan  jumlah  responden  didasarkan perhitungan  menggunakan  teori  penarikan  sampel slovin  dengan confidence  coefficient adalah  95%. Persamaan (1) menunjukkan perhitungan menggunakan rumus slovin [26].
𝑛 = 𝑁 1+𝑁𝑒 2 (1)
Keterangan:
n = sampel N = populasi e = margin error

## 3.4. Analisis Perbandingan
Tahap  selanjutnya  adalah  melakukan  analisis dengan  cara  membandingkan  antara  hasil  SUS  dari platform existing dengan hasil SUS dari rekomendasi
UX.  Perbandingan  dilihat  dari  skor  tiap  pernyataan SUS dan skor akhir SUS.

## 4. HASIL DAN DISKUSI
4.1. Hasil Pengujian Heuristic Pada

## OpenLearning Saat Ini
Hasil  pengujian Heuristic dapat  dilihat  pada Tabel  4.  Berdasarkan  evaluasi  terhadap  platform existing  OpenLearning yang  telah  dilakukan  oleh  4 evaluators , ditemukan 15 masalah usability . Temuan masalah usability kemudian  dikategorikan  dan diurutkan berdasarkan severity rating -nya Tabel 4 menjelaskan data dengan 7 kolom yang terdiri  dari  Kode  Masalah,  Kode Heuristic ,  Temuan Masalah,  Tempat  Ditemukan, Severity Rating  (SR), Evaluator dan  Saran  Perbaikan.  Kolom  Kode Masalah  berisi  kode  dari  masalah  yang  ditemukan dengan  M  yang  berarti  Masalah  dan  angka  1-15 merupakan  urutan  dari  masalah  berdasarkan  SR tertinggi,  kolom  Kode Heuristic berisi  kode  prinsip Heuristic dari  masalah  yang  ditemukan,  kolom
Temuan  Masalah  berisi  penjelasan  masalah  yang ditemukan oleh evaluator , kolom Tempat Ditemukan berisi  nama  menu  atau  fitur  tempat  ditemukannya masalah tersebut, kolom SR berisi tingkat keparahan dari permasalahan yang ditemukan, kolom Evaluator
berisi  jumlah evaluator yang  menemukan  masalah tersebut, dan kolom Saran Perbaikan berisi saran dari evaluators untuk  memperbaiki  setiap  masalah  yang ditemukan.
Tabel 4. Hasil temuan masalah beserta saran perbaikan dari evaluators
Kode Masalah Kode Heuristic Temuan Masalah Tempat Ditemukan Severity Rating (SR) Evaluator Saran Perbaikan M1 H2 Icon kurang  meng-gambarkan fitur dari icon tersebut. Navigasi 3 1 Mengubah icon sesuai dengan fungsinya atau dapat dengan menambahkan copy setelahnya  atau text hover ketika  kursos  diarahkan  ke icon . M2 H10 Tidak ada informasi atau arahan
to  do  list yang  perlu  dilakukan
user untuk  menuntaskan task yang diberikan. Detail Kegiatan Perkuliahan 3 1 Diberikan  petunjuk  apa  yang  perlu dilakukan user untuk menuntaskan task yang diberikan. M3 H4 Ekspektasi yang berbeda dengan screen yang  ditampilkan.  Saat klik logo berharap akan dikembalikan  ke  tampilan  saat pertama kali login, tapi malah ke halaman landlord dari OpenLearning . Beranda 3 1 Dilakukan  pemisahan  antara  kembali ke landlord dan kembali ke dashboard user . M4 H8 Section “Your  Courses” pada
beranda belum disesuaikan dengan  objektif user dimana belum  meng- highlight course yang  sedang  berjalan/  aktif, padahal  objektif user pada platform  pembelajaran online
adalah  untuk  menyelesaikan course yang sedang berjalan/aktif. Beranda 2 2 Memisahkan  antara Course yang aktif dan yang sudah tidak aktif pada section “Your Course” pada beranda.
M5 H1 Urutan scrolling  jumper tidak
sesuai  dengan section yang ditampilkan. Beranda 2 1 Mengurutkan scrolling jumper berdasarkan urutan konten yang tersedia. M6 H4 Fitur  perubahan  bahasa  tidak diaplikasikan pada seluruh konten pada website . Navigasi 2 3 Mengaplikasikan fitur perubahan bahasa pada seluruh konten. M7 H4 Tidak  ada  standarisasi  atau brand guideline yang disediakan saat  dosen  mengkustomisasi konten,  sehingga  memberikan look and feel berbeda-beda yang membingungkan user . Course 2 3 Memberikan user guideline untuk menampilkan konten agar look and feel
lebih nyaman. M8 H7 Shortcut navigasi kurang terlihat akibat  terlalu  banyak  komentar yang  dimunculkan  dalam  1 halaman. Detail Kegiatan Perkuliahan 2 1 Membatasi  komentar  yang  muncul  di layar,  sisanya  akan  muncul  jika  klik tombol  “ load  more ”  agar  navigasi  di bagian  bawah  halaman  tetap  dapat diakses dengan mudah. M9 H4 Icon “X”  kurang  dimengerti fungsionalnya. Learning Activities Semua page
kecuali Anouncement dan Home 2 3 Menghilangkan icon “X”  karena  tidak diperlukan. M10 H8 “Edit  page  header”  seharusnya tidak  di  tampilkan  ketika login
menggunakan akun user.
Announcements 2 2
Tidak  menampilkan  fitur  “Edit  Page Header” untuk user Student . M11 H6 Istilah  yang  digunakan  untuk Report kurang  familier  bagi
user .
Posted on Page 2 1 Jika hanya terdapat 1 fitur di dropdown , lebih  baik  menggunakan button saja, kemudian  menggunakan copywriting
yang lebih baik seperti “ Report ”.
M12 H7 Tombol login tidak sticky ketika user melakukan scrolling . Navigasi 2 1 Fitur login lebih baik dibuat sticky , agar ketika user  scroll , button akan mengikuti sehingga memudahkan user jika ingin langsung login .
Afifah Ghaisani Imana, et al., UX (USER EXPERIENCE) EVALUATION OF THE OPENLEARNING SYSTEM … 687
M13 H8 Icon  expand ketika  diklik, membuka/menutup semua materi, padahal membuka/menutup materi dapat dilakukan dengan klik judul tiap materi. Learning Activities 1 2 Menghilangkan icon  expand karena tidak dibutuhkan karena dapat dilakukan  dengan  cara  mengklik  tiap judul materi. M14 H8 Tombol Comment tidak
berfungsi  ketika  diklik  dan adanya  redundansi  pada  fitur
Comment dan Like . Posted on Page 1 1 Menghilangkan button  Comment dan salah satu button Like . M15 H8 Profil Page dan Blog Page tidak
perlu  karena  sudah  ada  pada navbar “About Me”. My Progress 1 1 Menghilangkan Profil  Page dan Blog Page pada My Progress.
Berdasarkan  temuan  masalah  pada  Tabel  4, dilakukan  perhitungan  untuk  mengetahui  prinsip Heuristic yang  paling  banyak  ditemukan  pada evaluasi  platform OpenLearning UMS.  Kode  H8 yaitu  prinsip Aesthetic  and  Minimalist  Design merupakan  prinsip  yang  paling  banyak  ditemukan kekurangan usability dengan persentase 33,33% dari 15  masalah  yang  ditemukan.  Terdapat  3  prinsip Heuristic yang  tidak  ditemukan  masalah usability pada  platform OpenLearning yaitu  Kode  H3 (User Control and freedom) , H5 (Error Prevention ) dan H9 (Help Users Recognize, Diagnose, and Recover from Errors). Persentase tiap kode Heuristic dapat dilihat pada Gambar 3.
Gambar 3. Persentase tiap kode Heuristic

## 4.2. Hasil Perancangan Rekomendasi UX (User

## Experience)
Ini  merupakan  contoh  sub-bab  kedua.  Isinya dapat disesuaikan dengan kebutuhan
Perbaikan UX perlu dilakukan untuk memberikan  kesan  yang  lebih  baik  terhadap pengguna  dari  sistem.  Proses  perancangan  UX mengacu pada saran yang diberikan oleh evaluators pada kolom Saran Perbaikan di Tabel 4.
a. Temuan Masalah M1
Pada  temuan  masalah  M1  didapati  bahwa  ada icon yang  dirasa  kurang  menggambarkan  fitur, contohnya  seperti  pada  navigasi  di  bagian  atas halaman,  terdapat icon  globe yang  kurang  dapat dipahami bahwa maksudnya adalah fitur Course . Dari permasalahan tersebut, diberikan rekomendasi untuk menambahkan text  hover ketika  kursor  mengarah pada icon untuk  memberikan  informasi  terkait  fitur tersebut  tanpa  harus  meng-klik icon terlebih  dahulu seperti yang terlihat pada Gambar 4.
Gambar 4. Rekomendasi tampilan M1
b. Temuan Masalah M2
Temuan  masalah  M2  yaitu  pada  menu Course terdapat circle yang  jika  kursor  diarahkan  ke circle tersebut  akan  muncul  informasi progress user pada halaman  tersebut,  namun  tidak  diinformasikan task apa saja yang sudah dan belum diselesaikan user pada halaman tersebut. Untuk mengatasi masalah tersebut disarankan untuk melengkapi tooltips berisi informasi terkait task apa saja yang sudah dan belum diselesaikan user pada halaman tersebut seperti pada Gambar 5.
Gambar 5. Rekomendasi tampilan M2
c. Temuan Masalah M3
Pada  halaman Course, ketika user klik  logo OpenLearning maka  akan redirect ke  halaman landlord OpenLearning .  Hal  ini  menyebabkan mispersepsi pada user yaitu jika klik logo suatu web akan  mengarahkan  ke  beranda  web  tersebut  atau halaman  pertama  yang  muncul  ketika user  login . Pada  masalah  ini,  disarankan  saat user klik  logo OpenLearning untuk  me- redirect halaman  ke beranda saat user login .
d. Temuan Masalah M4
Pada shortcut menu Course tidak  dibedakan antara Course yang  masih  aktif  dan  yang  sudah berakhir.  Pada  temuan  masalah  tersebut  disarankan untuk  menambahkan  keterangan  “ Active ”  dan “ Ended ” di setiap list course dan memberikan tooltips
berisi  aksi  yang  dapat  dilakukan  untuk course yang sudah berakhir seperti pada Gambar 6.
Pada  beranda  terdapat section “ Your  Course ” yang mana tidak dibedakan juga antara course yang masih  aktif  dan  yang  sudah  berakhir.  Disarankan pada  permasalahan  tersebut  untuk  memisahkan course yang aktif dan yang sudah berakhir dan meng- highlight course yang masih aktif.
Gambar 6. Rekomendasi tampilan M4 shortcut Course

## e. Temuan Masalah M5
Temuan  masalah  M5  adalah  tidak  urutnya scrolling jumper dengan urutan konten pada halaman beranda. Dalam hal ini disarankan untuk menyesuaikan  urutan  konten  dengan scrolling jumper . f. Temuan Masalah M6 Pada navbar terdapat  fitur  untuk  mengubah bahasa,  namun  perubahan  bahasa  ternyata  belum teraplikasikan  ke  seluruh  konten  pada  web.  Pada sistem  saat  ini  ketika user mengubah  bahasa  dari English (EN) ke Indonesia (ID) beberapa konten tidak berubah  menjadi  Bahasa  Indonesia.  Saran  untuk permasalahan  ini  adalah  agar  mengaplikasikan perubahan bahasa ke seluruh konten pada web.
g. Temuan Masalah M7
User Dosen  dalam OpenLearning dapat mengkustomisasi  konten  pada  menu Course dengan bebas, namun hal ini menyebabkan ketidakkonsistenan  konten  pada  tiap Course . Permasalahan  ini  dapat  diatasi  dengan  memberikan guideline dalam menyusun konten Course . h. Temuan Masalah M8
Temuan  masalah  M8  ada  pada  halaman  yang terdapat section komentar,  seluruh  komentar ditampilkan  mau  berapapun  jumlahnya,  sehingga ketika  jumlah  komentar  cukup  banyak,  navigasi penting  di  bagian  bawah  halaman  sulit  dijangkau. Maka disarankan untuk membatasi jumlah maksimum  komentar  yang  ditampilkan  misal  10 komentar,  lalu  untuk  menampilkan  selebihnya  bisa ditambahkan button “ Load more posts ”.
i. Temuan Masalah M9
Pada menu Course , di dalam tiap submenu-nya terdapat icon “X”  di  ujung  kanan  setiap section . Fungsi  dari icon tersebut  adalah  untuk  kembali  ke beranda Course atau Home  Course . Icon tersebut dirasa  kurang  dapat  dipahami  fungsinya,  sehingga disarankan untuk menambah text hover ketika kursor diarahkan  ke icon tersebut  atau menghilangkan  saja icon tersebut karena untuk redirect ke halaman Home
bisa klik “ Home ” pada sidebar menu di sebelah kiri halaman.
j. Temuan Masalah M10
Pada  menu Course submenu Announcement , terlihat  fitur “ Edit Page  Header ” pada user  Student dan  ketika  di-klik  hanya  muncul  halaman  dengan informasi  bahwa user tidak memiliki akses. Dengan begitu  disarankan  agar  tidak  memunculkan  fitur tersebut  jika  tidak  dapat  dapat  diakses  oleh user tersebut. k. Temuan Masalah M11 Halaman  yang  terdapat  fitur submittion di dalamnya  dilengkapi  dengan fitur report ,  dan  untuk melakukan report perlu  klik dropdown setting terlebih  dahulu.  Kemudian  penggunaan copywriting
“Flag  as  inappropriate”  juga  dirasa  kurang  familier untuk user ,  sehingga  disarankan  untuk  mengubah dropdown setting dengan  1 button saja  sekaligus merubah copywriting menjadi “ Report ”.
l. Temuan Masalah M12
Ketika user belum  melakukan login ,  akan muncul navbar login dan signup di  bagian  atas halaman,  namun  ketika user melakukan scroll ke bawah, navbar tidak sticky mengikuti scrolling user . Maka, disarankan navbar login dan signup agar sticky di bagian atas halaman ketika user melakukan scroll ke  bawah  untuk  memudahkan user jika  ingin login atau signup . m. Temuan Masalah M13 Pada menu Course , di dalam tiap submenu-nya terdapat icon expand di  ujung  kanan section setiap materi  pada Course .  Fungsi icon tersebut  adalah untuk membuka dan menutup section seluruh materi. Namun fitur tersebut dirasa tidak diperlukan sehingga disarankan untuk menghilangkan fitur tersebut.
n. Temuan Masalah M14
Pada halaman yang terdapat fitur submittion di dalamnya, ditemukan redundansi pada fitur Comment dan Like . Disarankan untuk menghilangkan salah satu tombol Like dan  menghilangkan  tombol Comment karena tombol tersebut tidak melakukan aksi apapun ketika di-klik. Jika ingin menuliskan komentar dapat menuliskannya  langsung  pada text area  untuk Comment di bagian bawah submittion , dan jika ingin menyukai konten, dapat klik tombol Like yang ada.
o. Temuan Masalah M15
Temuan masalah terakhir adalah pada menu My Progress , yang mana terdapat hyperlink untuk Profil Pag e  dan Blog  Page yang  tidak  dibutuhkan  pada halaman  tersebut  karena  sudah  ada  pada navbar Profile .  Disarankan  untuk  menghapus hyperlink tersebut untuk mengurangi redundansi.

## 4.3. Hasil Pengujian Rekomendasi UX (User
Experience) Menggunakan Metode Usability Testing
a. Jumlah Responden dan Karakteristik Responden
Jumlah  populasi  mahasiswa  S1  UMS  tahun 2022  menurut  data  PDDikti  adalah  31.942  dan
Afifah Ghaisani Imana, et al., UX (USER EXPERIENCE) EVALUATION OF THE OPENLEARNING SYSTEM … 689
margin  error yang  ditetapkan  adalah  5%.  Jika dihitung  menggunakan  rumus  slovin  maka  jumlah sampel  yang  dibutuhkan  pada  penelitian  ini  adalah sekitar  380  responden.  Rincian  variasi  responden dapat dilihat pada Tabel 5
Tabel 5. Variasi responden Tahun Angkatan Jumlah Responden Persentase 2018 34 8.95 2019 176 46.32 2020 68 17.89 2021 33 8.68 2022 69 18.16 Total 380 100.00 b. Hasil Pengujian SUS
Rekapitulasi penilaian 380 mahasiswa terhadap platform OpenLearning dengan  rekomendasi  UX dapat dilihat pada Tabel 6.
Tabel 6. Jumlah responden pada setiap pernyataan SUS Skala Jawaban Pernyataan 1 2 3 4 5 6 7 8 9 10 1 2 33 1  101  1 36 1 86 1 46 2 10  91 9  154  10  111  16  186  3  116 3 92  143  51  87  54  149  79  83  70  114 4 186  82  161  28  203  63  178  23  182  80 5 90  31  158  10  112  21  106  2  124  24
Responden  380  380  380  380  380  380  380  380  380  380

## 4.4. Hasil Analisis Perbandingan
Gambar 7 menunjukkan perbandingan skor SUS pada  setiap  pernyataan  dari  hasil  pengujian  SUS terhadap  platform  saat  ini  yang  dilakukan  pada penelitian sebelumnya dan terhadap rekomendasi UX pada  penelitian  ini.  Di  antara  10  pernyataan  SUS, terdapat 3 pernyataan dengan skor paling rendah pada pengujian  SUS  platform  saat  ini  maupun  SUS rekomendasi UX.
Gambar 7. Perbandingan skor SUS tiap pernyataan
Adapun 3 pernyataan tersebut yaitu pernyataan 2  tentang  rumitnya  sistem,  pernyataan  6  tentang konsistensi dalam sistem, dan pernyataan 10 tentang perlunya user untuk beradaptasi dalam menggunakan sistem [3].
Pada  penelitian  sebelumnya  pengujian  SUS dilakukan  terhadap  platform OpenLearning saat  ini dengan  jumlah  responden  220  dan  mendapat  skor akhir 61 yang masuk ke kategori grade scale D [3]. Berdasarkan Gambar  2 grade scale D menunjukkan bahwa sistem dapat diterima dengan baik oleh user . Pada  penelitian  ini  dilakukan  pengujian  SUS terhadap  platform OpenLearning dengan prototype rekomendasi UX yang baru dengan jumlah responden 380  dan  mendapat  skor  akhir  68,68  atau  dapat dibulatkan  menjadi  69.  Dengan  skor  tersebut,  hasil SUS dari rekomendasi UX masuk ke kategori grade scale D.  Hal  ini  membuktikan  bahwa  dengan menerapkan  rekomendasi  UX  dari  penelitian  ini, dapat meningkatkan skor SUS sebesar 5,9%. Namun peningkatan  tersebut  tidak  cukup  signifikan , karena dengan  skor  akhir  SUS  69  platform OpenLearning dengan  rekomendasi  UX  masih  berada  pada grade scale yang  sama  dengan grade  scale pada  evaluasi SUS platform saat ini.
Perbedaan  yang  tidak  signifikan  membuktikan bahwa  meskipun  telah  dilakukan  perbaikan  UX menggunakan rekomendasi prototype dari penelitian ini, masih  terdapat  beberapa  masalah usability yang dirasakan oleh user , di antaranya:
1. User merasa OpenLearning masih terlalu rumit untuk digunakan.
2. User merasa masih ada beberapa hal yang tidak konsisten pada OpenLearning .
3. User merasa  masih  membutuhkan  waktu  lebih untuk beradaptasi dalam menggunakan OpenLearning .

## 5. KESIMPULAN
Hasil penelitian ini dapat melengkapi penelitian terdahulu  [3]  dengan  melakukan  evaluasi usability pada platform OpenLearning lebih detail menggunakan pendekatan heristic evaluation . Evaluasi dilakukan oleh 4 orang ahli UX dan didapati 15  masalah usability .  Adapun  prinsip Aesthetic  and Minimalist  Design ditemukan  sebagai  prinsip heuristic  dengan  masalah usability paling  banyak dengan  persentase  33,33%  dari  15  masalah  yang ditemukan pada OpenLearning .
Dari  permasalahan  yang  ditemukan,  dilakukan perancangan rekomendasi UX berupa prototype yang dibuat berdasarkan saran perbaikan dari 4 evaluators. Prototype tersebut  kemudian  dilakukan  pengujian terhadap  380  pengguna OpenLearning dan  didapat skor  akhir  SUS  yaitu  69.  Penilaian  SUS  terhadap rekomendasi  UX  mengalami  peningkatan  sebanyak 5,9%  dari  nilai  SUS  pada  platform  saat  ini. Peningkatan  tersebut  dinilai  kurang  signifikan  yang berarti  bahwa  setelah  dilakukan  perbaikan  UX menggunakan  rekomendasi  dari  penelitian  ini, user masih merasakan beberapa masalah usability . Penelitian ini dapat dijadikan pertimbangan bagi tim  pengembang OpenLearning untuk  melakukan perbaikan  terhadap user experience dan  juga penelitian  ini  dapat  dijadikan  acuan  bagi  penelitian berikutnya  agar  menggunakan  metode  yang  lebih baik  dalam  melakukan  evaluasi  maupun  perbaikan UX.

## DAFTAR PUSTAKA
[1] B. M. Batubara, “The Problems of the World of  Education  in  the  Middle  of the  Covid-19 Pandemic,” Budapest  Int.  Res.  Critics  Inst. Humanit. Soc. Sci. , vol. 4, no. 1, pp. 450–457, 2021.
[2] A.  Abidah,  H.  N.  Hidaayatullaah,  R.  M. Simamora, D. Fehabutar, and L. Mutakinati, “The  Impact  of  Covid-19  to  Indonesian Education and Its Relation to the Philosophy of  ‘Merdeka  Belajar,’” Stud.  Philos.  Sci.
Educ. , vol. 1, no. 1, pp. 38–49, 2020.
[3] A.  Fatmawati,  “Evaluasi  Usability  pada Learning Management System OpenLearning Menggunakan System Usability  Scale,” INOVTEK  Polbeng  -  Seri
Inform. , vol. 6, no. 1, p. 120, 2021.
[4] M.  I.  S.  B.  Khairat,  Y.  Priyadi,  and  M. Adrian,  “Usability  Measurement  in  User Interface Design Using  Heuristic Evaluation Severity  Rating  (Case  Study:  Mobile  TA Application based on MVVM),” 2022 IEEE 12th  Annu.  Comput.  Commun.  Work.  Conf. CCWC 2022 , pp. 974–979, 2022.
[5] J. S. Dumas and J. E. Fox, “Usability Testing: A Practitioner’s Guide to Evaluating the User Experience,” Human-Computer  Interact. Handb.  Fundam.  Evol.  Technol.  Emerg. Appl. Third Ed. , pp. 1221–1241, 2012.
[6] I.  Fauziah  and  N.  R.  Nurwulan,  “Usability Evaluation  of  Google  Classroom  for Elementary  School  Students,” ACM  Int. Conf. Proceeding Ser. , pp. 11–15, Sep. 2021.
[7] D.  Pal  and  V.  Vanijja,  “Perceived  usability evaluation  of  Microsoft  Teams  as  an  online learning  platform  during  COVID-19  using system  usability  scale  and  technology acceptance  model  in  India,” Child.  Youth
Serv. Rev. , vol. 119, p. 105535, Dec. 2020.
[8] A.  F.  Rahmawati,  T.  Wahyuningrum,  A.  C. Wardhana, A. Septiari, and L. Afuan, “User
Experience  Evaluation  Using  Integration  of Remote  Usability  Testing  and  Usability Evaluation  Questionnaire  Method,” Proc.  - 2022 IEEE Int. Conf. Cybern. Comput. Intell. Cybern. 2022 , pp. 40–45, 2022.
[9] U.  Müssener et  al. ,  “Development  of  an
intervention targeting multiple health behaviors  among  high  school  students: Participatory  design  study  using  heuristic evaluation  and  usability  testing,” JMIR mHealth  uHealth ,  vol.  8,  no.  10,  pp.  1–12, 2020.
[10] T.  Wahyuningrum,  C.  Kartiko,  and  A.  C. Wardhana, “Exploring e-Commerce
Usability  by  Heuristic  Evaluation  as  a Compelement  of  System  Usability  Scale,” 2020  Int.  Conf.  Adv.  Data  Sci.  E-Learning Inf. Syst. ICADEIS 2020 , Oct. 2020.
[11] A.  Petrovčič,  A.  Rogelj,  and  V.  Dolničar, “Smart  but  not  adapted  enough:  Heuristic evaluation  of  smartphone  launchers  with  an adapted  interface  and  assistive  technologies for  older  adults,” Comput.  Human  Behav. , vol. 79, pp. 123–136, 2018.
[12] J. R. Lewis and J. Sauro, “Item Benchmarks for the System Usability Scale,” J. Usability Stud. ,  vol.  13,  no.  May  2018,  pp.  158–167,
2018.
[13] ISO, “Ergonomics of human-system
interaction  -  Part  11:  Usability:  Definitions and  Concepts,” Iso  9241-11:2018(E) ,  2018. https://infostore.saiglobal.com/preview/is/en /2018/i.s.eniso9241-11-
2018.pdf?sku=1980667%0Ahttps://www.sis. se/api/document/preview/80003410/
(accessed Oct. 07, 2022).
[14] J.  Nielsen,  “Finding  usability  problems through  heuristic  evaluation,” Conf.  Hum. Factors Comput. Syst. - Proc. , pp. 373–380, 1992.
[15] J.  Nielsen  and  R.  Molich,  “Heuristic evaluation  of  user  interfaces,” Conf.  Hum. Factors Comput. Syst. - Proc. , no. April, pp. 249–256, 1990.
[16] K.  Kous,  M.  Pušnik,  M.  Heričko,  and  G. Polančič,  “Usability  evaluation  of  a  library website  with  different  end  user  groups,” J. Librariansh. Inf. Sci. , vol. 52, no. 1, pp. 75– 90, Mar. 2020.
[17] J.  Brooke,  “SUS:  A  ‘Quick  and  Dirty’ Usability  Scale,” Usability  Eval.  Ind. ,  no. June, pp. 207–212, 1996.
[18] G. T. Kurniaji, M. F. Eza ’Ammar, and Y. S. Nugroho,  “The  Development  of  UMS Building  Catalogue  Information  System,”
Ultim.  J. Tek. Inform. , vol. 14, no. 1, pp. 13– 19, 2022.
[19] A. Kaya, R. Ozturk, and C. Altin Gumussoy, “Usability Measurement of
Mobile Applications  with  System  Usability  Scale (SUS),” pp. 389–400, 2019. [20] J.  Nielsen,  “How  to  Conduct  a  Heuristic Evaluation,”
Nov.
01, 1994. https://www.nngroup.com/articles/how-to- conduct-a-heuristic-evaluation/ (accessed
Nov. 01, 2022).
[21] J. Nielsen, “Why You Only Need to Test with 5 Users,” Mar. 18, 2000. https://www.nngroup.com/articles/why-you- only-need-to-test-with-5-users/ (accessed
Nov. 01, 2022).
[22] F.  Fatihahsari  and  C.  Darujati,  “Analisis Usability  Mobile  Apps  Edlink  dengan
Menggunakan Heuristic Evaluation,” Sistemasi , vol. 10, no. 2, p. 404, 2021.
[23] H. Nadhirah, N. Hendrakusma Wardani, and K.  Candra  Brata,  “Evaluasi  Usability  dan
Perbaikan Desain Website Dinas Pendidikan Kota Malang menggunakan Metode Heuristic Evaluation dengan Prinsip Usability  G-Quality,” J.  Pengemb.  Teknol. Inf.  dan  Ilmu  Komput. ,  vol.  3,  no.  6,  pp. 6115–6124, 2019.
[24] J.  Nielsen,  “Severity  Ratings  for  Usability
Problems,”
Nov.
01, 1994. https://www.nngroup.com/articles/how-to- rate-the-severity-of-usability-problems/
(accessed Nov. 02, 2022).
[25] D.  Sulistyaningrum,  H.  Tolle,  and  R.  I. Rokhmawati,  “Evaluasi  dan  Perbaikan  User Experience  Pada  Aplikasi  Mobile  UB  TV Dengan  Metode  Heuristic  Evaluation  dan
Usability Testing,” J. Pengemb.  Teknol.  Inf. dan  Ilmu  Komput. ,  vol.  3,  no.  7,  pp.  6294–
6302, 2019, Accessed: Sep. 25, 2022.
[26] J.  J.  Tejada,  J.  Raymond,  and  B.  Punzalan, “On  the  Misuse  of  Slovin’s  Formula,”
Philipp. Stat. , vol. 61, no. 1, p. 8, 2012.