## USABILITY TESTING PADA SISTEM INFORMASI AKADEMIK NEW GENERATION (SIAK-NG) UNDIKSHA MENGGUNAKAN

## METODE HEURISTIC EVALUATION DITINJAU DARI PENGGUNA MAHASISWA
I Dewa Nyoman Mastri Suputera 1 , I Made Ardwi Pradnyana 2 , I Ketut Resika Arthana 3
1 Prodi Pendidikan Teknik Informatika Jurusan Teknik Informatika Fakultas Teknik dan Kejuruan Universitas Pendidikan Ganesha, Jln. Udayana No. 11 Singaraja 81116 INDONESIA 2 Prodi Sistem Informasi Jurusan Teknik Informatika Fakultas Teknik dan Kejuruan Universitas Pendidikan Ganesha, Jln. Udayana No. 11 Singaraja 81116 INDONESIA
3 Prodi Ilmu Komputer Jurusan Teknik Informatika Fakultas Teknik dan Kejuruan Universitas Pendidikan Ganesha, Jln. Udayana No. 11 Singaraja 81116 INDONESIA

## Abstrak
Sistem  Informasi  Akademik New  Generation (SIAK-NG)  merupakan  sebuah  sistem informasi  akademik  terbaru  yang  dikembangkan  oleh  UPT  TIK  Undiksha  dan  sudah dijalankan pada pertengahan tahun 2019 di Undiksha. Pengujian usability sangat penting dilakukan untuk mengetahui seberapa besar tingkat usability dari pengguna karena hasil pengukurannya  bisa  digunakan  sebagai  masukan  dalam  proses  perbaikan  sistem kedepannya.  Penelitian  ini  bertujuan  untuk  mengevaluasi  aspek usability SIAK-NG Undiksha  dengan  Metode Heuristic  Evaluation melalui  form  evaluasi  berdasarkan  10 prinsip heuristik dari Jakob Nielsen. Rekomendasi perbaikan SIAK-NG Undiksha didapat dari hasil rerata severity rate pada setiap aspek heuristik dari evaluator serta dari teori Human Computer Interaction (HCI). Pengujian usability pada sistem ini akan dilakukan oleh 3 expert yang memahami bidang HCI, usability dan desain UI. Hasil evaluasi menunjukkan tidak terdapat permasalahan usability dengan kategori mayor, dan hanya ada permasalahan usability yang mencapai kategori minor. Terdapat 4 variabel yang memiliki severity rate dengan kategori minor dan disarankan untuk diperbaiki yaitu pada variabel Heu4, Heu5, Heu9 dan Heu10. Rekomendasi perbaikan pada SIAK-NG Undiksha pada akses mahasiswa melalui  pembuatan wireframe difokuskan  pada  konsistensi  desain,  termasuk  penamaan label menu, label kolom entry data dan keseragaman button, hingga penambahan maupun pengurangan link pada logo dan beberapa icon pada sistem.

## Abstract
The  Academic  Information  System  New  Generation  (SIAK-NG)  is  the  latest  academic information system developed by UPTTIK Undiksha and was implemented in mid-2019 at Undiksha. Usability testing is very important to find out how big the level usability of the user is because the measurement results can be used as input in the process of improving the  system  in  the  future.  This  study  aims  to  evaluate  the  aspect  of  usability  SIAK-NG Undiksha with the Heuristic Evaluation Method through an evaluation form based on 10 heuristic  principles  from  Jakob  Nielsen.  Recommendations  for  improvement  of  SIAK-NG Undiksha are obtained from the results of the average severity rate on each heuristic aspect of the evaluator as well as from the theory Human Computer Interaction (HCI). Usability testing on this system will be carried out by 3 experts who understand the fields of HCI, usability and UI design. The evaluation results show that there are no problems usability with the major category, and only problems usability that reach the minor category. There are 4 variables that have a severity rate with a minor category and are recommended to be improved,  namely  the  variables  Heu4,  Heu5,  Heu9  and  Heu10.  Recommendations  for improvements to SIAK-NG Undiksha on student access through creation are wireframes focused on design consistency, including naming menu labels,column labels data entry and uniformity button, to addition or subtraction of links on the logo and some icons on the system.
Kata Kunci:
Usability Heuristic Evaluation
HCI SIAK-NG Undiksha
Keywords: Usability
Heuristic Evaluation HCI SIAK-NG Undiksha

## 1. PENDAHULUAN
Universitas Pendidikan Ganesha (Undiksha) merupakan salah satu institusi pendidikan tinggi negeri terbesar di Pulau Bali yang telah banyak mencetak sumber daya manusia dalam bidang kependidikan dan non-kependidikan. Undiksha juga merupakan perguruan tinggi yang dikembangkan berdasarkan Pancasila dan  Undang-Undang  Dasar  1945  yang  menjungjung  nilai-nilai  kemanusiaan,  menghasilkan  tenaga kependidikan,  dan  tenaga  non-kependidikan  yang  bertakwa  kepada  Tuhan  Yang  Maha  Esa,  memiliki kemampuan  akademis-profesional  yang  tinggi,  mengembangkan  ilmu  pengetahuan,  teknologi,  dan  seni. Visi Undiksha adalah menjadi universitas unggul berlandaskan falsafah Tri Hita Karana di Asia pada tahun 2045 (Undiksha, 2019).
Perkembangan teknologi informasi yang begitu canggih dalam dunia pendidikan sekarang menjadi tantangan  tersendiri  bagi  Undiksha  untuk  mencapai  visi  yang  telah  ditetapkan.  Keberadaan  teknologi informasi  bagi  dunia  pendidikan  berarti  tersedianya  saluran  atau  sarana  yang  dapat  dipakai  untuk menyiarkan  program  pembelajaran  baik  secara  searah  maupun  secara  interaktif.  Internet  sebagai  anak kandung dari teknologi informasi menyimpan informasi tentang segala hal yang tak terbatas, yang dapat digali untuk kepentingan pengembangan pendidikan. Dengan internet belajar tidak lagi dibatasi oleh ruang dan waktu (Husaini, 2014). Peningkatan berbagai pelayanan akademisi telah dilakukan, satu diantaranya yang telah disediakan dalam menunjang kemudahan dan kelancaran proses akademisi di Undiksha adalah adanya sistem informasi akademik.
Sistem  Informasi  Akademik  (SIAK)  merupakan  sumber  daya  dalam  bentuk  informasi  yang  ada kaitannya dengan masalah-masalah akademik di kampus. SIAK selain merupakan sumber daya informasi di  kampus,  juga  dapat  digunakan  sebagai  sarana  media  komunikasi  antara  dosen  dan  mahasiswa, mahasiswa dengan mahasiswa, dosen dengan pejabat kampus terkait dan siapa saja yang ada di lingkungan kampus tersebut (Widhiani et al., 2018).
SIAK Undiksha adalah salah satu layanan sistem yang terdapat dalam E-Ganesha dengan login pada https://sso.undiksha.ac.id/  sesuai  dengan  akun  setiap  pengguna.  SIAK  Undiksha  memiliki  3  pengguna yakni mahasiswa, dosen dan operator. Bagi pengguna mahasiswa, SIAK Undiksha dapat digunakan untuk menyusun  Kartu  Rencana  Studi  (KRS),  mencetak  Kartu  Hasil  Studi  (KHS),  mencetak  Kartu  Daftar  Nilai (KDN),  dan  lain-lainnya.  Bagi  pengguna  dosen,  SIAK  Undiksha  digunakan  untuk  melihat  daftar  peserta kuliah,  mengunggah  daftar  peserta  kuliah,  melihat jadwal mengajar,  mengunggah  kontrak,  silabus,  RPS, menginputkan nilai mahasiswa, dan lain lain (Erawati et al., 2018). Bagi pengguna operator SIAK Undiksha digunakan untuk menginputkan atau mendapatkan data sesuai dengan kebutuhan dari fakultas tersebut.
Pada tahun 2019, Undiksha bersama UPTTIK yang berperan penting sebagai pelaksana teknis yang berhubungan  langsung  dengan  sistem  informasi  di  Undiksha,  telah  meluncurkan  sistem  informasi  versi terbaru yakni Sistem Informasi Akademik New Generation atau dikenal dengan SIAK-NG dalam memenuhi berbagai  kebutuhan  akademik  di  Undiksha.  Dalam  perkembangannya  tersebut,  sehingga  ada  2  jenis layanan  SIAK  yang  berjalan  bersama  di  Undiksha  yakni  SIAK  terdahulu  dan  SIAK-NG  (UPTTIK,  2019). Berdasarkan hasil wawancara dengan Bapak I Nyoman Laba Jayanta selaku Ketua Divisi Pengembangan Sistem  Informasi  UPT  TIK  sebagai  narasumber  terkait  SIAK-NG,  beliau  memberikan  ulasan  beberapa kendala  yang  belum  dapat  dihandle  oleh  SIAK  terdahulu  sehingga  dikembangkanlah  SIAK-NG  untuk mengatasi segala kendala baru yang ada antara lain adanya sistem transfer kredit, sinkronisasi kode MK pada  PDDIKTI  seiring  adanya  perubahan  kurikulum,  perubahan  skema  matakuliah  MPK  dan  beberapa proses akademik belum dilaksanakan langsung pada sistem. Pada SIAK-NG ini juga akan memangkas fitur yang ada di sistem SIAK terdahulu yang tidak diperlukan dan sistem yang baru ini tidak akan menggantikan sistem yang lama tetapi hanya potong angkatan ( Cut Off ) yaitu mahasiswa angkatan tahun 2019 kebawah masih  menggunakan  SIAK  terdahulu,  kemudian  mahasiswa  angkatan  tahun  2019  keatas  menggunakan SIAK-NG.  Sehingga  untuk  seterusnya  SIAK  terdahulu  tidak  diperbaharui  lagi  dan  SIAK-NG  akan ditambahkan  fitur-fiturnya  sesuai  dengan  kebutuhan  dari  sisi  akademik.  Narasumber  juga  mengatakan bahwa SIAK-NG Undiksha belum pernah diuji tingkat usability , sehingga diperlukan pengujian pengalaman pengguna misalkan penggunaan dari sisi user.
Terdapat  hal  penting  dalam  membangun  sistem  informasi  adalah  berkaitan  dengan  perancangan desain  interface  yang  memberikan  kemudahan  bagi  pengguna  sistem.  Kualitas  dan  penerimaan  suatu produk  tergantung  pada  kemudahan  penggunaan  produk  karena  pengguna  lebih  mementingkan  sisi kemudahan  penggunaan  suatu  produk.  Semakin  tinggi  nilai  desain  interface  pada  sebuah  sistem  maka semakin tinggi juga manfaat sistem tersebut bagi pengguna. Hal ini tentu saja berkaitan dengan tingkat usability sistem yang baik. Sistem dapat dikatakan memiliki tingkat usability yang tinggi ( usable ) apabila
* Korespondensi E-mail: dewa.nyoman.mastri@undiksha.ac.id
pengguna bisa memperoleh apa yang mereka butuhkan dan mengerti dengan sistem tersebut  (Hendra & Arifin,  2018).  Tingkat  usability  menentukan  apakah  sistem  tersebut  bermanfaat,  dapat  diterima  oleh pengguna dan bertahan lama dalam penggunaanya.
Saat ini, dalam pengembangan dan implementasi sistem informasi maupun perangkat lunak yang dilakukan oleh banyak pihak, jarang sekali melakukan pengujian usability. Usability berfokus pada atribut dari sistem dan usaha untuk menghindari error atau masalah usability. Usability menggambarkan sejauh mana sebuah produk dapat digunakan oleh pengguna untuk mencapai tujuan tertentu dengan mengukur faktor efektivitas, efisiensi dan kepuasan penggunaan  (Huda, 2018). Faktor-faktor penyebab pentingnya memiliki aspek usability diantaranya adalah kebiasaan atau perilaku pengguna dalam mengakses sistem. Banyak pengguna yang tidak dapat menerima rancangan sistem yang buruk dan meluangkan waktu untuk mempelajari suatu sistem. Dengan kata lain, pengguna sangat ingin segera mengerti dengan seketika atas apa yang disajikan sistem sehingga pengukuran usability perlu dilakukan pada sebuah aplikasi atau sistem informasi.
Pengujian usability menurut John Wiley & Sons  dalam (Nielsen, 1994b) memiliki beberapa metode untuk  menguji  suatu  user  interface  dan  menemukan  berbagai  masalah  kegunaan  dalam  desain  yang tergabung  dalam Usability  Inspection  Method diantaranya  seperti Heuristic  evaluation,  Cognitive walkthrough, Pluralistic walkthrough dan yang lainnya. Sebuah sistem perlu dilakukan evaluasi yang sesuai dengan standar untuk mengetahui bagaimana keadaan sistem dan kebanyakan pengujian usability yang paling sering digunakan adalah metode Heuristic Evaluation .
Nielsen  dalam  (Ahsyar  et  al.,  2019)  mengatakan  bahwa  Heuristic  Evaluation  merupakan  sebuah metode  evaluasi  usability  untuk  memperbaiki  sebuah  rancangan  secara  efektif  dengan  menggunakan sekumpulan  heuristik  yang  berhubungan.  Tujuannya  adalah  untuk  mengidentifikasi  masalah  terkait dengan usability pada website. Keunggulan metode Heuristic Evaluation secara umum adalah mudah dalam proses  evaluasi,  proses  evaluasi  cepat,  biaya  atau cost  yang  dikeluarkan  murah.  Konsep  yang  ada  pada metode Heuristic Evaluation ini terdapat 10 prinsip yaitu visibility of system status, match between system and real world, user control and freedom, consistency and standars, error prevention, recognition rather than recall, flexibility and efficiency of use, aesthetic and minimalist design, help user recognize and recover from errors, dan help and document (Nielsen, 2020).
Penelitian ini menggunakan Heuristic Evaluation sebagai metode dalam mengukur tingkat usability pada  sebuah  sistem  berbasis  website  melalui  10  prinsip heuristic dari  Jakob  Nielsen.  Para  peneliti sebelumnya telah banyak menggunakan metode Heuristic Evaluation untuk berbagai macam kasus, seperti perancangan user interface website akademik maupun perusahaan. Terdapat banyak proses dan fitur pada masing-masing  pengguna  dalam  SIAK-NG  Undiksha  kemudian  yang  paling  merasakan sense  of  urgency adalah mahasiswa, maka pengujian akan ditinjau dari sisi pengguna mahasiswa saja. Dengan mengacu pada permasalahan tersebut, perlu dilakukan pengujian tingkat usability pada Sistem Informasi Akademik New Generation (SIAK-NG) Undiksha yang diharapkan dapat dijadikan sebagai rujukan bagi tim pengembang sistem dalam melakukan perbaikan sehingga memiliki tingkat usability yang tinggi.

## 2. METODE
1. Jenis Penelitian
Jenis penelitian ini adalah penelitian evaluatif, sedangkan metodenya adalah deskriptif analitis. Jadi dalam  penelitian  ini  evaluasi  akan  dilakukan  menggunakan  analisa  kualitatif  untuk  mendapatkan  data deskriptif yang didapat dari para evaluator yang merupakan ahli pada bidangnya, untuk mengukur tingkat usability pada  website SIAK-NG  Undiksha  dengan  menggunakan  metode heuristic  evaluation oleh  Jakob Nielsen.
2. Lokasi dan Waktu Penelitian
Lokasi  penelitian  merupakan  tempat  bagi  peneliti  untuk  melaksanakan  penelitian.  Penelitian  ini akan dilaksanakan di lingkungan kampus tengah Universitas Pendidikan Ganesha (Undiksha). Pemilihan lokasi sesuai dengan tempat dikembangkannya website SIAK-NG Undiksha. Waktu pelaksanaan penelitian ini adalah tahun 2021. Berawal dari dilaksanakannya penelitian ini adalah observasi awal guna melakukan identifikasi permasalahan yang menjadi latar belakang penelitian ini.
3. Evaluator
Heuristic  Evaluation  merupakan  metode  inspeksi  yang  melibatkan  ahli usability untuk  menilai apakah elemen - elemen yang ada di suatu sistem mengikuti prinsip  - prinsip usability (Nielsen & Mack, 1994).  Pada  penelitian  ini,  evaluasi  heuristic  mengambil  pendekatan  10  prinsip  Heuristic  Nielsen  yang sudah sangat umum digunakan. Nielsen dalam (Nielsen, 1994) juga berpendapat bahwa “As more evaluators
are asked to judge the severity of usability problems, the quality of the mean severity rating increases rapidly, and  using  the  mean  of  a  set  of  ratings  from  three  evaluators  is  satisfactory  for  many  practical  pu rposes” . Sehingga peneliti akan melibatkan 3 orang expert sebagai evaluator dan mengadopsi pendekatan Nabovati yang juga melibatkan evaluator dengan jumlah yang sama (Nabovati et al., 2014). Karena SIAK-NG Undiksha adalah sistem informasi akademik berbasis website, maka diperlukan kriteria khusus untuk evaluator.
Evaluator dalam penelitian ini adalah seorang tenaga pendidik atau dosen yang memahami seputar Human Computer Interaction (HCI) , sistem informasi atau tentang UI/UX. Dari kriteria tersebut, peneliti telah merekrut tiga dosen atau staff pendidik di Undiksha yang dipilih sebagai ahli pada bidang informatika dan  sistem  informasi  sebagai  evaluator usability .  Profil  evaluator  dalam  penelitian  ini  adalah  sebagai berikut.
Tabel 1. Profil Expert Evaluator No Kode Keahlian 1 E1 HCI , User Experience Design 2 E2 HCI, Information System 3 E3 User Interface Design, Information System
Evaluator  dalam  penelitian  ini  juga  akan  melibatkan  21  mahasiswa  pengguna  SIAK-NG,  dimana mahasiswa  tersebut  telah  mempelajari  ilmu  tentang  HCI.  Penentuan  jumlah  responden  mahasiswa  ini berdasarkan jumlah sebuah kelompok atau kelas dimana form evaluasi disebarkan.

## 4. Prosedur Penelitian
Prosedur penelitian merupakan langkah-langkah yang ditempuh dalam melakukan suatu penelitian, untuk mendapatkan infomasi yang dapat menjawab pertanyaan peneliti. Prosedur penelitian dilaksanakan untuk  dapat  mengungkap  secara  tuntas  terkait  permasalahan  yang  diajukan  dalam  penelitian.  Adapun prosedur penelitian disajikan pada Gambar 1 sebagai berikut.
Gambar 1. Prosedur Penelitian
Keterangan : a. Identifikasi dan Perumusan Masalah
Identifikasi  masalah  penelitian  ini  adalah  belum  adanya  evaluasi Usability terhadap  SIAK-NG Undiksha menggunakan Heuristic Evaluation. Perumusan  masalah penelitian ini ada 2 yakni, bagaimana tingkat Usability SIAK-NG Undiksha ditinjau dari pengguna mahasiswa dan bagaimana rekomendasi yang diberikan untuk perbaikan pada SIAK-NG Undiksha berdasarkan hasil usability testing.
b. Studi Literatur
Kajian  pustaka  dan  landasan  teori  yang  relevan  dengan  penelitian  seperti  buku,  jurnal  artikel penelitian.
c. Pengambilan Data
Pengujian  dilakukan  dengan  melibatkan  3 expert dan  21  mahasiswa  sebagai  evaluator.  Waktu pengujian dilakukan tidak bersamaan. Peneliti sebagai observer memberikan arahan alur evaluasi kepada evaluator, kemudian evaluator dipersilakan mengoperasikan sistem, setelah itu peneliti memberikan form evaluasi yang berisikan hasil evaluasi, rekomendasi dan bersamaan dengan pemberian angka severity rate yang ditentukan oleh evaluator di setiap item pengujiannya.
d. Analisis Data
Analisis  data  dilakukan  setelah  evaluator  menyelesaikan  evaluasi,  kemudian  peneliti  akan menghimpun data berupa hasil evaluasi dan rekomendasi perbaikannya dan mengolah angka severity 0-4 yang telah diberikan oleh evaluator.
e. Hasil dan Rekomendasi
Hasil dari penilaian severity rating dari semua evaluator akan dihimpun ke dalam sebuah tabel dan dicari  rerata  setiap  item  yang  diuji.  Hasil  evaluasi  menjadi  dasar  pengambilan  rekomendasi  untuk perbaikan interface website SIAK-NG Undiksha ditinjau dari pengguna mahasiswa. Perancangan wireframe akan  dilakukan  pada  tampilan  webiste  SIAK-NG  yang  memiliki  tingkat  permasalahan usability dengan severity rate bernilai 2 keatas. f. Penyusunan Laporan
Tahap  terakhir  pada  penelitian  ini  adalah  menyusun  laporan,  yaitu  menggabungkan  semua  hasil yang diperoleh pada saat melaksanakan penelitian berdasarkan prosedur penelitian yang telah dibuat oleh peneliti.
5. Teknik Pengumpulan Data
Teknik pengumpulan data yang digunakan dalam penelitian ini adalah sebagai berikut.
a. Dokumentasi
Pada penelitian ini, peneliti menggunakan dokumentasi sebagai sarana untuk mendapatkan data yang  diinginkan.  Dokumentasi  dalam  penelitian  ini  berupa  data  tampilan  UI  dari  SIAK-NG  Undiksha yang diperoleh dari kantor Pusat Komputer (Puskom) Undiksha dan wawancara.
b. Form Evaluasi Heuristik
Form  Evaluasi  akan  diberikan  setelah  evaluator  sudah  selesai  mengujicobakan  atau mengoperasikan  SIAK-NG  Undiksha  sebagai  akses  mahasiswa.  Evaluator  akan  memberikan  hasil evaluasi, rekomendasi perbaikan dan angka severity rating di setiap item pengujiannya.
6. Jenis Data
Jenis data dalam penelitian ini adalah sebagai berikut.
a. Data  kualitatif  dalam  penelitian  ini  didapatkan  dari  pendapat  pada  hasil  evaluasi  dan  rekomendasi perbaikan dari ahli saat pengujian.
b. Data kuantitatif dalam penelitian ini didapatkan dari hasil severity rating yang telah ditentukan ahli saat pengujian.
7. Sumber Data
Sumber data dalam penelitian ini adalah sebagai berikut.
a. Data Primer dalam penelitian ini adalah hasil evaluasi terhadap evaluator mengenai SIAK-NG Undiksha dengan menggunakan instrumen berupa form evaluasi heuristic evaluation.
b. Data Sekunder dalam penelitian ini didapatkan dari jurnal penelitian yang terkait seperti jurnal tentang sistem informasi, artikel, jurnal, buku dan literatur lainnya yang relevan dengan penelitian.
8. Instrumen Penelitian
Dalam penelitian ini, instrumen yang digunakan adalah dalam bentuk form evaluasi heuristik.

## 9. Teknik Analisis Data
Dalam  penelitian  ini,  data akan  dianalisis  secara  kualitatif  dan  kuantitatif.  Analisis  data  kualitatif dilakukan  dengan  menyesuaikan  beberapa  permasalahan  di  setiap  item  pengujian  dengan  10  prinsip heuristic  begitu  juga  rekomendasi  perbaikan  di  setiap  variabel.  Masing-masing  evaluator  kemungkinan akan  menggunakan  kata-kata  yang  tidak  sama  untuk  mendeskripsikan  masalah  yang  sama.  Jadi  setiap variabel  akan  menampung  3  pendapat  ahli  sekaligus.  Analisis  data  kuantitatif  dilakukan  dengan menentukan nilai rata-rata/ mean dari severity rate yang diberikan oleh 3 ahli pada masing-masing variabel, sehingga pada hasil penilaian nanti akan dibuatkan tabel hasil penilaian severity rate dari semua evaluator dan tabel rekomendasi berdasarkan pendapat para ahli sebelumnya. Sedangkan, respon dari 21 mahasiswa akan digunakan sebagai pendukung dan mengikuti hasil evaluasi para evaluator ahli.

## 3. HASIL DAN PEMBAHASAN
Penelitian ini mengumpulkan hasil evaluasi terhadap SIAK-NG dari 3 expert/ ahli sebagai evaluator. Deskripsi data ini berisikan permasalahan yang ditemukan oleh evaluator dan rata-rata severity rate (0-4) yang menentukan tingkat keparahan pada setiap aspek heuristik yang telah dijabarkan sebagai variabel dalam form evaluasi heuristik yaitu Visibility of System Status, Match Between System and The Real World, User  Control  ad  Freedom,  Consistency  and  Standards,  Error  Prevention,  Recognition  Rather  than  Recall, Flexibility and Efficiency of Use, Aesthetic and Minimalist Design, Help Users Recognize, Diagnose and Recover from Errors dan Help and Documentation. Rekomendasi yang telah didapatkan dari ketiga evaluator juga akan dirangkum ke dalam tabel, sehingga akan mempermudah dalam perbaikan pada setiap variabelnya.
Berdasarkan data yang diperoleh dari hasil evaluasi oleh para expert evaluator, didapatkan beberapa permasalahan pada setiap variabel. Masing-masing evaluator menggunakan kata-kata yang tidak serupa untuk  mendeskripsikan  masalah  yang  sama.  Pemberian  nilai severity  rate sebagai  tolak  ukur  tingkat keparahan aspek heuristik juga berbeda-beda. Nilai severity rate pada setiap variabel yang telah diberikan oleh masing-masing evaluator, kemudian akan dicari rata-rata guna menentukan seberapa besar tingkat keparahan pada variabel tersebut. Hasil evaluasi dapat dilihat pada Tabel 2 berikut.
Tabel 2. Hasil Penilaian Severity Rate dari Semua Expert Evaluator Variabel Evaluator 1 Evaluator 2 Evaluator 3 Rata-rata Heu1 0 2 0 0.67 Heu2 1 2 0 1.00 Heu3 0 0 0 0.00 Heu4 2 4 1 2.33 Heu5 3 2 1 2.00 Heu6 1 0 1 0.67 Heu7 4 0 0 1.33 Heu8 0 2 0 0.67 Heu9 4 2 1 2.33 Heu10 2 3 2 2.33
Pada tabel diatas, telah disajikan nilai rata-rata severity rate dari masing-masing variabel. Dari hasil rata-rata severity rate tiap variabel pada metode heuristic evaluation melalui pengisian form evaluasi oleh para evaluator, maka dapat dikatakan bahwa permasalahan usability tidak sampai pada tingkat perbaikan prioritas tinggi (mayor), diantaranya terdiri dari permasalahan dengan tingkat perbaikan prioritas rendah (minor) pada 4 heuristik yaitu  Heu4, Heu5, Heu9, Heu10, kemudian tingkat perbaikan yang merupakan masalah  kosmetik  pada  5  heuristik  yaitu  Heu1,  Heu2,  Heu6,  Heu7,  Heu8,  dan  tidak  ditemukan  masalah usability hanya pada 1 heuristik yaitu Heu3.
Sehingga dalam penelitian ini rekomendasi perbaikan berdasarkan rata-rata tingkat severity rate pada aspek heuristik yang memiliki kategori minor yang berarti terdapat permasalahan cukup serius pada aspek tersebut, dan didasarkan pada panduan HCI, maka perbaikan layout lebih difokuskan pada 4 aspek heuristik,  yaitu  diantaranya Consistency  and  Standards (Heu4), Error  Prevention (Heu5), Help  Users Recognize, Diagnose, and Recover from Errors (Heu9) dan Help and Documentation (Heu10). Hasil evaluasi menjadi dasar pengambilan rekomendasi untuk perbaikan antarmuka website SIAK-NG Undiksha   pada akses mahasiswa seperti pada  Tabel 3 berikut.
Tabel 3. Rekomendasi Perbaikan Variabel Rekomendasi Heu4 1. Sebaiknya penamaan fitur pada menu Kartu Hasil Studi diseragamkan, bila sama- sama untuk mencetak, seperti “Mencetak KDN”
2. Sebaiknya  dibuat  lebih  konsisten  untuk default keterangan drop  down Pilih Semester baik di fitur “Mencetak KRS” maupun di fitur “Mencetak KHS”
3. Sebaiknya sidebar yang digunakan tidak collapse sebagai default agar seragam Heu5 1. Perlu  adanya mandatory  sign pada  bagian  yang  wajib  diisi  saat  pengguna menginputkan data, sehingga pengguna bisa mengetahui diawal isian mana yang wajib dan isian mana yang bisa dikosongkan
2. Disable bagian/fitur yang belum boleh disi jika waktunya belum
3. Sebaiknya memberikan pesan notifikasi menunggu jika sistem sedang sibuk
Variabel Rekomendasi Heu9 1. Pada bagian Jadwal yang berisi icon “Periode Penyusunan KRS oleh mahasiswa dan Periode  Perbaikan  KRS  oleh  mahasiswa”,  jika  tidak  bisa  diklik  karena  belum periodenya bisa diberikan feedback berupa pop up atau informasi bahwa periode perbaikan  dan  periode  KRS  belum  dimulai/telah  selesai/belum  berada  pada periode  penyusunan  dan  Perbaikan  KRS.  Namun  jika  bagian  tersebut  hanya memberikan  informasi  jadwal  saja,  sebaiknya  icon fingerprint dihilangkan sehingga tidak memunculkan persepsi pengguna bahwa bagian tersebut bisa diklik
2. Pada  bagian  Logo  Undiksha  di  pojok  kiri  atas,  jika  di  klik  bisa  diarahkan  ke
“Beranda”
3. Pada bag ian “Profil Saya”, jika di klik bisa diarahkan ke bagian “Biodata”
4. Hanya perlu dilengkapi pesan kesalahan/validasi pada seluruh fitur Heu10 1. Bisa  menambahkan  fitur Help (Bantuan)  dengan  memberikan  informasi  terkait
Frequently Asked Question (FAQ) beserta kontak yang bisa dihubungi jika pengguna mengalami kendala
2. Lengkapi dengan panduan penggunaan sistem yang update juga keterangan sistem diperbaharui
Berdasarkan  hasil  analisis  form  evaluasi  dan  berdasarkan  rekomendasi  perbaikan  yang  sudah dipaparkan  pada  tabel  diatas,  sehingga  peneliti  dapat  merancang wireframe perbaikan  layout  SIAK-NG Undiksha. Selain rekomendasi dari para expert, rekomendasi perbaikan terhadap layout SIAK-NG Undiksha juga  didapatkan  dari  respon  mahasiswa  pengguna  SIAK-NG  Undiksha.  Secara  umum,  peneliti  sudah menganalisis  hasil  respon  mahasiswa  terdapat  permasalahan usability SIAK-NG  Undiksha  masih  sama dengan  hasil  evaluasi  dari expert yaitu  berada  pada  kategori  minor.  Rekomendasi  perbaikan  dari mahasiswa hanya digunakan sebagai tambahan rekomendasi perbaikan dan mengikuti hasil evaluasi para expert .  Rekomendasi  dari  para  mahasiswa  juga  disampaikan  menggunakan  kalimat  umum  dan  kurang spesifik, sehingga rekomendasi perbaikan dari para expert yang peneliti gunakan dalam perancancangan prototype  layout SIAK-NG  dan  rekomendasi  perbaikan  dari  mahasiswa  digunakan  sebagai  pendukung. Perbaikan layout difokuskan pada konsistensi pada desain, termasuk penamaan label menu, label kolom entry data dan keseragaman button , hingga penambahan maupun pengurangan link pada logo dan beberapa icon pada sistem.

## 1. Rekomendasi Perbaikan Menu Dashboard
Gambar 2. Halaman Dashboard SIAK-NG Mahasiswa Undiksha
Gambar  2  adalah  tampilan  halaman Dashboard SIAK-NG  Undiksha  yang  diakses  oleh  mahasiswa sebelum  dilakukan  perubahan.  Adapun  permasalahan  yang  membuat  beberapa icon ,  logo  maupun  fitur
pada  halaman dashboard yang  diberikan  link  namun  tidak  menampilkan  aksi  apapun,  hal  ini  membuat beberapa icon , logo ataupun fitur menjadi kurang berfungsi dengan baik. Beberapa permasalahan tersebut melanggar variabel Heu9 Help Users Recognize, Diagnose, and Recover from Errors karena tidak membantu pengguna  menemukan  solusi  masalah  dan  tidak  memberikan  fungsi  yang  jelas  bagi  pengguna  dalam penyampaian  informasi  pada  sistem.  Rekomendasi  perbaikan  oleh expert yang  disajikan  dalam  Tabel  3 pada  variabel  Heu9,  akan  digunakan  peneliti  dalam  perancangan wireframe .  Adapun  rancangan rekomendasi perbaikan pada halaman dashboard SIAK-NG Undiksha dari akses mahasiswa disajikan pada Gambar 3.
Gambar 3. Rekomendasi Perbaikan Tampilan Halaman Dashboard
Perubahan  yang  peneliti  rekomendasikan  serta  perubahan  pada  Gambar  3  dijabarkan  sebagai berikut.
a. Menghilangkan  label  “Main”  yang  berada  dibawah  profil mahasiswa  pada Sidebar. Hal tersebut juga berlawanan dengan teori Use Clear Category Labels pada buku (Leavitt & Shneiderman, 2006, p. 101) yang  menyebutkan  untuk  memastikan  label  kategori,  termasuk  tautan,  dengan  jelas  mencerminkan informasi dan item yang terkandung dalam kategori. Maka dari itu peneliti me nghilangkan label “Main” tersebut dari Sidebar .
b. Logo Undiksha yang ditempatkan di pojok kiri atas, diberikan link namun tidak mempunyai aksi apapun setelah di klik, sehingga bisa diarahkan ke “Dashboard” saja. Hal ini juga didukung oleh teori Enable Access to the Homepage pada buku (Leavitt & Shneiderman, 2006, p. 59), berilah logo pada setiap laman situs website dan memberikan akses ke homepage . Mengingat peran logo pada website sangat penting, maka harus diberikan fungsi yang baik.
c. Icon foto  pengguna  yang  berada  pada  bagian  atas  menu  navigasi,  tepat  dibawah  logo  Undiksha, sebaiknya tidak diberikan aksi apapun.
d. Pilihan Profil Saya ada bagian drop down nama pengguna yang berada di pojok kanan atas Dashboard , masih sama tidak memberikan aksi apapun ketika diklik. Sebaiknya bisa diarahkan ke “Biodata”.
e. Icon yang berada pada bagian jadwal, yang menunjukkan “Periode Penyusunan KRS oleh mahasiswa” dan “Periode Perbaikan KRS oleh mahasiswa” juga diberikan link tapi tidak menyampaikan aksi apapun ketika diklik. Sebaiknya 2 icon tersebut tidak usah diberikan link karena informasi yang disampaikan pada jadwal sudah cukup.

## 2. Rekomendasi Perbaikan Menu Biodata
Gambar 4. Halaman Menu Biodata Tambah Data Keluarga
Gambar 4 merupakan tampilan form pengisian tambah data keluarga pada Menu Biodata sebelum perubahan. Adapun 1 masalah yang ditemukan disini yakni, kolom isian data belum berisi mandatory sign jadi mana kolom yang harus diisi dan tidak, feedback hanya diberikan ketika pengguna klik tombol simpan. Rekomendasi  perbaikan  oleh expert yang  disajikan  dalam  Tabel  3  pada  variabel  Heu5,  akan  digunakan peneliti  dalam  perancangan wireframe .  Jadi  peneliti  akan menambahkan mandatory  sign yang  disajikan pada Gambar 5.
Gambar 5. Rekomendasi Perbaikan Menu Biodata Tambah Data Keluarga
Berdasarkan  Gambar  5  rancangan  rekomendasi  perbaikan  yang  peneliti  lakukan  adalah  sebagai berikut :
Menambahkan  label  transparan  pada  kolom  isian  yang  wajib  akan  diisi  oleh  pengguna.  Hal  ini mendukung variabel Heu5 Error Prevention untuk memberikan penanggulangan kesalahan oleh pengguna
ketika  mengisi  data  keluaga.  Hal  serupa  juga  dikatakan  oleh  salah  satu  ahli  sebagai  evaluator  bahwa pengguna tidak perlu melakukan kesalahan terlebih dahulu untuk mengetahui hal tersebut.

## 3. Rekomendasi Perbaikan Menu Kartu Rencana Studi
Gambar 6. Halaman Menu Kartu Rencana Studi Mencetak KRS
Gambar 6 merupakan tampilan pada menu Kartu Rencana Studi sebelum adanya perubahan. Adapun masalah yang ditemukan pada halaman pada saat Mencetak KRS yaitu default keterangan drop down “Pilih Semester”  langsung  menunjukkan  semester  terbaru  pada  tahun  ajaran  terkini  sebagai default .  Hal  ini melanggar  variabel  A4 Consistency  and  Standards karena  desain  kurang  konsisten,  terutama  penulisan default keterangan drop down “Pilih Semester”, tidak seharusnya langsung menunjukkan semester terbaru. Rekomendasi  perbaikan  oleh expert yang  disajikan  dalam  Tabel  3  pada  variabel  Heu4,  akan  digunakan peneliti dalam perancangan wireframe . Perubahan akan disajikan pada pada Gambar 7.
Gambar 7. Rekomendasi Perbaikan Menu Kartu Rencana Studi Mencetak KRS
Berdasarkan Gambar 7 rancangan rekomendasi perbaikan peneliti lakukan adalah sebagai berikut : Mengganti default keterangan drop down menjadi “Pilih Semester”. Hal ini juga didukung oleh teori Label Data Entry Fields Clearly pada buku (Leavitt & Shneiderman, 2006, p. 148) , tampilkan label terkait untuk setiap data kolom entri untuk membantu pengguna memahami entri apa yang diinginkan.

## 4. Rekomendasi Perbaikan Menu Kartu Hasil Studi
Gambar 8. Halaman Menu Kartu Hasil Studi Mencetak KHS
Gambar 8 merupakan tampilan pada menu Kartu Rencana Studi sebelum adanya perubahan. Adapun masalah yang terdapat pada halaman ini adalah keterangan default drop down masih  kurang tepat dan berbeda dengan menu sebelumnya, label tombol untuk mencetak KHS tidak konsisten dengan kurang tepat dan  pemberian  nama  label  Kutipan Daftar  Nilai  pada  navigasi  tidak  sesuai.  Beberapa  masalah tersebut, melanggar variabel A4 Consistency and Standards karena desain, penulisan kata-kata pada label tombol dan navigasi tidak konsisten dengan laman yang menampilkan antarmuka serupa. Rekomendasi perbaikan oleh expert yang  disajikan  dalam  Tabel  3  pada  variabel  Heu9,  akan  digunakan  peneliti  dalam  perancangan wireframe . Perubahan akan disajikan pada Gambar 9.
Berdasarkan Gambar 9 rancangan rekomendasi perbaikan peneliti lakukan adalah sebagai berikut : a. Mengganti keterangan default drop down menjadi “Pilih Semester” agar konsistensi tetap terjaga dengan keterangan default drop down pada saat “Mencetak KRS”. Hal ini juga terdapat dalam aturan Label Data Entry Fields Clearly pada buku (Leavitt & Shneiderman, 2006, p. 148) , agar menampilkan label terkait untuk setiap data kolom entri untuk membantu pengguna memahami entri apa yang diinginkan.
b. Mengganti label tombol untuk mencetak KHS dalam menjadi “Cetak KHS (ID)” dan “Cetak KHS (EN)” kode  bahasa  yang  berada  pada  dalam  kurung  (),  sudah  cukup  membedakan  kedua aksi  dari tombol tersebut. Rekomendasi ini berdasarkan aturan Label Data Entry Fields Consistently pada buku (Leavitt & Shneiderman, 2006, p. 147) , memastikan label entri data diberi kata-kata konsisten, sehingga item data yang sama diberikan label yang sama jika muncul di halaman yang berbeda. Sehingga pemberian label tombol  “Cetak KHS” dan “Cetak KRS” sudah konsisten walau berada pada menu yang berbeda.
c. Mengganti nama “Kutipan Daftar Nilai” pada bagian Menu Kartu Hasil Studi menjadi “Mencetak KDN”. Rekomendasi  ini  adalah  saran  dari  evaluator  agar  penamaan  pada  bagian  menu  yang  sama diseragamkan bila fungsinya sama-sama untuk mencetak. Selain itu,  rekomendasi ini juga berdasarkan aturan Use Clear Category Labels dari buku (Leavitt & Shneiderman, 2006, p. 101) , agar dipastikan label kategori,  termasuk  tautan,  dengan  jelas  mencerminkan  informasi  dan  item  yang  terkandung  dalam kategori.

## 5. Rekomendasi Perbaikan Penambahan Menu Bantuan
Berdasarkan rekomendasi perbaikan oleh expert yang disajikan dalam Tabel 3 pada variabel Heu10 pada  prinsip  heuristik Help  and  Documentation ,  belum  adanya  fitur Help atau  bantuan  pada  SIAK-NG, sebenarnya fitur bantuan sangat membantu pengguna apabila terjadi kendala teknis terhadap sistem. Oleh sebab itu, peneliti menambahkan sebuah rancangan menu Bantuan pada SIAK-NG Undiksha yang disajikan pada Gambar 10 sebagai berikut.
Gambar 10. Rekomendasi Perbaikan Penambahan Menu Bantuan
Berdasarkan Gambar 10 rancangan rekomendasi perbaikan peneliti lakukan adalah sebagai berikut: Menambahkan  menu  Bantuan  pada Sidebar, fitur  ini  akan  membantu  pengguna  saat  mengalami kendala  teknis.  Saran  perbaikan  ini  direkomendasikan  oleh  semua  evaluator  ahli,  juga  didukung  oleh respon  dari  mahasiswa  agar  memberikan  fitur  bantuan  pada  sistem  sehingga  pengguna  lebih  mudah bertanya melalui sistem. Pembuatan label pushbutton menu Bantuan ini berdasarkan pada aturan Label Pushbuttons Clearly pada buku (Leavitt & Shneiderman, 2006, p. 122) , memastikan label pushbutton dengan jelas menunjukkan tindakannya. Sehingga dalam hal ini,  menu ini akan diberikan direct link ke website UPT TIK Undiksha ke halaman FAQ, yang dapat diakses pada link berikut https://upttik.undiksha.ac.id/faq/.
Setelah rekomendasi perbaikan sudah selesai dirancang oleh peneliti ke dalam bentuk wireframe layout SIAK-NG,  selanjutnya  5  rancangan wireframe tersebut  yang  hampir  sama  menunjukkan permasalahan  usability  dengan  kategori  minor,  akan  diperingkat  kembali  berdasarkan tingkat rata-rata severity  rate dari  yang  tertinggi  hingga  yang  terendah.  Dimana  tampilan  rancangan wireframe yang mengandung variabel dengan nilai rata-rata severity rate lebih tinggi, akan diperbaikan terlebih dahulu. Sehingga dengan peringkat prioritas perbaikan ini, dapat membantu  tim pengembang sistem di UPT TIK pada saat melakukan perbaikan tampilan SIAK-NG pada pengguna mahasiswa.
Tabel 4. Peringkat Prioritas Perbaikan Layout SIAK-NG
Peringkat Rata-rata severity rate Wireframe 1 2,33 Penambahan Menu Bantuan 2 2,33 Perbaikan Halaman Dashboard 3 2,33 Perbaikan Menu KRS 4 2,33 Perbaikan Menu KHS 5 2,00 Perbaikan Menu Biodata
Penentuan peringkat prioritas perbaikan pada Tabel 4, selain menggunakan rata-rata severity rate, juga ditentukan dari seberapa urgent permasalahan yang ditemukan dan seberapa penting rekomendasi perbaikan yang disarankan oleh evaluator pada tampilan SIAK-NG pada pengguna mahasiswa.

## 4. SIMPULAN DAN SARAN
Berdasarkan  deskripsi  data,  hasil  penelitian  dan  analisis  usability  pada  form  evaluasi  dari  para expert evaluator dengan menggunakan metode Heuristic Evaluation yang telah dibahas secara deskriptif, maka simpulan dari peneliti adalah terdapat 10 variabel yang digunakan dalam penelitian ini yang diambil dari  metode Heuristik  Evaluation  mengadopsi  10  prinsip  heuristic  oleh  Jakob  Nielsen  yaitu Visibility  of System Status (Heu1), Match Between System and the Real World (Heu2), User Control and Freedom (Heu3), Consistency and Standards (Heu4), Recognition  rather than Recall (Heu5), Flexibility and Efficiency of  Use (Heu6), Aesthetic and Minimalist Design (Heu7), Help Users Recognize (Heu8), Help Users Recognize, Diagnose and Recover from Errors (Heu9), dan Help and Documentation (Heu10). Dari penilaian 3 expert evaluator didapatkan  tingkat  permasalahan usability Sistem  Informasi  Akademik New  Generation (SIAK-NG) Undiksha pada akses mahasiswa tidak sampai pada tingkat perbaikan prioritas tinggi (mayor), diantaranya terdiri dari permasalahan dengan tingkat perbaikan prioritas rendah (minor) pada 4 heuristik yaitu Heu4, Heu5, Heu9, Heu10, kemudian tingkat perbaikan yang merupakan masalah kosmetik pada 5 heuristik yaitu Heu1, Heu2, Heu6, Heu7, Heu8, dan tidak ditemukan masalah usability pada pada 1 heuristik yaitu Heu3. Kemudian, dari hasil analisa data pada form evaluasi para expert evaluator , didapatkan hasil bahwa layout SIAK-NG  Undiksha  pada  akses  mahasiswa  sudah  mampu  memenuhi  kriteria usability sebuah  sistem informasi. Sehingga, rekomendasi perbaikan pada penelitian ini berdasarkan hasil pada form evaluasi para expert evaluator yang memiliki permasalahan cukup serius dan panduan perbaikan layout didasarkan pada panduan HCI. Fokus rekomendasi perbaikan layout dalam penelitian ini adalah 4 heuristik dengan tingkat severity rate yang mempunyai permasalahan cukup serius dengan prioritas rendah. Selain itu, berdasarkan hasil evaluasi dan rekomendasi dari para expert evaluator , maka perbaikan pada SIAK-NG Undiksha pada akses mahasiswa melalui pembuatan wireframe ditekankan konsistensi pada desain, termasuk penamaan label menu, label kolom entry data dan keseragaman button, hingga penambahan maupun pengurangan link pada logo dan beberapa icon pada sistem.
Adapun  saran  yang  dapat  diajukan  berkaitan  dengan  hasil  penelitian  ini  adalah  sebagai  berikut. Terdapat 1 fitur SIAK-NG Undiksha pada akses Mahasiswa yang tidak bisa dilakukan evaluasi usability yaitu Menyusun KRS pada Menu Kartu Rencana Studi, dikarenakan pada waktu evaluasi tidak bertepatan dengan jadwal  penyusunan  KRS.  Disarankan  agar  evaluasi  usability  dilakukan  pada  waktu  yang  tepat  dimana semua  fitur  terbuka  dan  dapat  diakses,  sehingga  hasil  evaluasi  usability  menjadi  lebih  maksimal.  Pada penelitian  ini  menggunakan  metode Heuristic  Evaluation dalam  pengujian usability ,  disarankan  agar mencoba menggunakan metode lain yang belum pernah digunakan untuk melakukan pengujian usability , sehingga bisa mengetahui kekurangan dan kelebihan dari setiap metode usability yang ada. Bagi pihak yang ingin melakukan penelitian lanjutan terhadap SIAK-NG Undiksha pada akses Mahasiswa bisa melakukan analisis perbandingan  setelah antarmuka diperbaiki.

## Ucapan Terima Kasih
Dalam penyusunan penelitian ini, penulis banyak mendapat bantuan dari berbagai pihak. Maka dari itu pada kesempatan ini penulis ingin menyampaikan rasa terimakasih kepada: UPT TIK Undiksha sebagai unit pelaksana dalam pengembangan SIAK-NG Undiksha yang telah memberikan ijin dan mempermudah peneliti dalam menyelesaikan penelitian ini. Kepada I Made Ardwi Pradnyana, S.T., M.T., selaku Pembimbing I dan I Ketut Resika Arthana, S.T., M.Kom., selaku Pembimbing II yang telah banyak memberikan bimbingan, arahan, saran dan motivasi dalam proses penelitian yang penulis lakukan. Seluruh staf dosen dan pegawai Fakultas  Teknik  dan  Kejuruan,  serta  Rekan-rekan  Mahasiswa  yang  telah  banyak  membantu  kelancaran pelaksanaan penelitian ini.

## Daftar Pustaka
Ahsyar, T. K., Husna, & Syaifullah. (2019). Evaluasi Usability Sistem Informasi Akademik SIAM Menggunakan Metode Heuristic Evaluation. Seminar Nasional Teknologi, Komunikasi Dan Industri (SNTIKI) , 11 , 163– 170. http://ejournal.uin-suska.ac.id/index.php/SNTIKI/article/view/7953
Erawati, N. W. E., Arthana, I. K. R., & Pradnyana, I. M. A. (2018). Usability Testing dengan ISO/IEC 9126-4
Sistem  Informasi  Akademik  Universitas  Pendidikan  Ganesha  Ditinjau  dari  Pengguna  Dosen. Jurnal Pendidikan Teknologi Dan Kejuruan , 15 (2), 287–297. https://doi.org/10.23887/jptk-undiksha.v15i2.14502 Hendra,  &  Arifin,  Y.  (2018).  Web-based  Usability  Measurement  for  Student  Grading  Information  System.
Procedia Computer Science , 238–247. https://doi.org/10.1016/j.procs.2018.08.171 Huda,  M.  (2018).  Evaluasi  Usability  Website  STIE  Putra  Bangsa  sebagai  Media  Informasi  Perguruan  Tinggi.
Jurnal Ekonomi Dan Teknik Informatika , 6 (2), 9–19. http://e-
journal.polsa.ac.id/index.php/jneti/article/view/85 Husaini,  M.  (2014).  Pemanfaatan  Teknologi  Informasi  dalam  Bidang  Pendidikan  (E-education). Jurnal MIKROTIK , 2 (1). https://ojs.ummetro.ac.id/index.php/mikrotik/article/view/314 Leavitt, M. O., & Shneiderman, B. (2006). Research-Based Web Design & Usability Guidelines . Department of Health and Human Services, Washington DC.
Nabovati,  E.,  Vakili-Arki,  H.,  Eslami,  S.,  &  Khajouei,  R.  (2014).  Usability  Evaluation  of  Laboratory  and Radiology Information Systems Integrated into a Hospital Information System. Journal of Medical System , 38 (35), 1–7. https://doi.org/10.1007/s10916-014-0035-z Nielsen,  J.  (1994a,  November  1). Severity  Ratings  for  Usability  Problems .  Www.Nngroup.Com. https://www.nngroup.com/articles/how-to-rate-the-severity-of-usability-problems/
Nielsen,  J.  (1994b,  November  1). Summary  of  Usability  Inspection  Methods .  Www.Nngroup.Com. https://www.nngroup.com/articles/summary-of-usability-inspection-methods/
Nielsen,  J.  (2020,  November  15). 10  Usability  Heuristics  for  User  Interface  Design .  Www.Nngroup.Com. https://www.nngroup.com/articles/ten-usability-heuristics/
Nielsen, J., & Mack, R. L. (1994). Usability Inspection Methods . John Wiley & Sons, USA. Undiksha, W. (2019). Tentang Undiksha . Www.Undiksha.Ac.Id. https://undiksha.ac.id/ UPTTIK,  W.  (2019). Laksanakan  Sosialiasi  SI  Akademik:  Undiksha  Hadirkan  SIAK-NG  Untuk  Tingkatkan Layanan Sivitas Akademika . Www.Upttik.Undiksha.Ac.Id. https://upttik.undiksha.ac.id/ Widhiani, D. A. P. A., Arthana, I. K. R., & Pradnyana, A. I.  M. (2018). Analisa User Experience Pada Sistem Informasi  Akademin  Universitas  Pendidikan  Ganesha  Ditinjau  dari  Pengguna  Mahasiswa. Jurnal Pendidikan Teknologi Dan Kejuruan (JPTK) , 15 (1), 92–102.
https://ejournal.undiksha.ac.id/index.php/JPTK/article/view/13048