## Evaluasi Desain Antarmuka Portal Akademik Menggunakan Metode Heuristic Evaluation
Murdiaty, Angela, Chatrine Sylvia
Program Studi Sistem Informasi, STMIK Mikroskil, Medan, Indonesia Email: 1 murdiaty@mikroskil.ac.id, 2 angela.woen@mikroskil.ac.id, 3 chatrine.sylvia@mikroskil.ac.id

## Abstrak
Kegiatan mengevaluasi rancangan antarmuka merupakan bagian dari interaksi manusia dan komputer (HCI-Human Computer Interaction). Fokus penelitian ini adalah melakukan evaluasi heuristic pada desain aplikasi antarmuka sebuah portal akademik untuk  menentukan  sejauh  mana  portal  akademik  tersebut  memenuhi  konsep  kegunaan  (usability)  desain  antarmuka.  Portal akademik merupakan website yang diakses civitas akademika melalui web browser. Portal ini dapat diakses oleh mahasiswa, dosen pengampu mata kuliah, dosen wali, dosen pembimbing Tugas Akhir, serta civitas akademika yang lain seperti: Bagian Administrasi Akademik (BAA), Program Studi, Perpustakaan, Bagian Kemahasiswaan dan Bagian Administrasi Umum dan Kepegawaian  (BAUK).    Penelitian  ini  memanfaatkan  penggunaan  metode  evaluasi  heuristic  sebagai  suatu  metode  dalam melakukan evaluasi terhadap suatu sistem yang membangun hubungan antara manusia dan komputer (man-machine system) dengan mengkaitkan pada kemudahan penggunaan (usability) serta severity ratings. Penelitian ini melibatkan beberapa orang evaluator yang akan melakukan penilaian dengan mengisi heuristic checklist. Hasil yang diharapkan yaitu para evaluator dapat menemukan  berbagai  permasalahan  terkait  dengan  kemudahan  penggunaan  yaitu  mengevaluasi  antarmuka  pengguna  yang bersifat  umum  dan  memastikan  menu-menu  yang  terdapat  pada  sistem  dapat  berfungsi  semestinya,  serta  penggunaan  tata bahasa yang tidak konsisten. Hasil ini nantinya diharapkan dapat digunakan oleh para pengembang sistem portal akademik Mikroskil untuk melakukan penyempurnaan terhadap portal akademik yang digunakan saat ini.
Kata Kunci : Evaluasi Heuristic, Severity Rating, Portal Akademik, Heuristic Checklist, Usability

## Abstract
Evaluation of interface design is part of human and computer interaction (HCI-Human Computer Interaction). The focus of this study is to conduct heuristic evaluations on the interface design of an academic portal to determine the extent to which the academic portal meets the concept of usability. Academic portal is a website accessed by academics through a web browser. This portal can be accessed by students, lecturers, academic supervisors, Final Project supervisors, and other academics such as:  Academic  Administration  Section  (BAA),  Study  Programs,  Libraries,  Student  Affairs,  and  Public  Administration  and Personnel Section (BAUK). This study uses heuristic evaluation as an approach in evaluating a human-machine system (man- machine system) in relation to academic portal ease of use (usability) and also severity ratings in addition to heuristic checklist. This study involved several evaluators who would conduct an assessment by filling in the heuristic checklist. The expected results with the evaluator's heuristic evaluation method found usability problems related to the general interface. These results are  expected  to  be  used  by  Mikroskil's  academic  portal  system  developers  to  make  improvements  to  the  academic  portal currently in use.
Keywords : Heuristic Evaluation, Severity Rating, Academic Portal, Heuristic Checklist, Usability

## 1. PENDAHULUAN
Portal Akademik Mikroskil yang disingkat menjadi MIKA merupakan portal yang diakses oleh civitas akademika melalui web browser . Portal ini dapat diakses oleh mahasiswa, dosen pengampu mata kuliah, dosen wali, dosen pembimbing  Tugas  Akhir,  serta  civitas  akademika  yang  lain  seperti:  Bagian  Administrasi  Akademik  (BAA), Program  Studi,  Perpustakaan,  Bagian  Kemahasiswaan,  dan  Bagian  Administrasi  Umum  dan  Kepegawaian (BAUK). Bagi dosen, fitur yang dapat diakses meliputi fitur Lihat Data Mahasiswa, Persetujuan Pengisian KRS, Persetujuan  Pengeditan  KRS,  Pencarian  KRS  Mahasiswa,  Berita  Acara  dan  Absensi  Perkuliahan,  Tugas Akhir/Tesis, Profil Dosen, Download Berkas, Upload Berkas, Panduan Dosen, dan Koreksi Nilai serta informasi lainnya.  Ketika  pengguna  mengakses  sebuah  halaman website ,  maka  pada  saat  itulah  terjadi  interaksi  antara pengguna dengan komputer atau perangkat yang digunakan untuk membuka atau mengakses web browser tersebut. Interaksi ini biasanya disebut sebagai interaksi antara manusia dengan komputer ( human computer interaction ). HCI  merupakan  bidang  lintas  disiplin  ilmu  yang  berhubungan  dengan,  teori,  rancangan,  penerapan  dan evaluasi mengenai cara yang dipakai oleh manusia dalam berinteraksi dengan komputer. Salah satu metode yang dapat  digunakan  dalam  memeriksa  permasalahan  yang  terkandung  dalam  suatu  antarmuka  pengguna  adalah metode evaluasi heuristic . Metode evaluasi heuristic mencakup beberapa prinsip kegunaan seperti sepuluh prinsip kegunaan Jacob Nielsen. Metode evaluasi heuristic merupakan metode evaluasi  yang sering dimanfaatkan oleh para ahli HCI untuk memberikan petunjuk terhadap masalah usability [1] . Untuk memudahkan dalam melakukan evaluasi  terhadap  antarmuka  pengguna  dengan  menggunakan  metode  evaluasi heuristic ,  penelitian  ini menggabungkan penggunaan heuristic checklist dengan severity ratings . S everity ratings biasanya dihubungkan dengan tingkat keseriusan atau tingkat keparahan permasalahan yang muncul ketika melakukan kegiatan evaluasi di  mana  tingkat  keparahan  yang  muncul  bisa  bervariasi. Terdapat  5  (lima)  kategori  nilai  pada severity  ratings , yang dimulai dari nilai 0 yang berarti tidak ada masalah sampai dengan nilai 4 yang berarti sangat penting untuk memperbaiki permasalahan dan perbaikan ini harus menjadi prioritas utama [2].
Portal  Akademik  Mikroskil  merupakan  sistem  utama  yang  penting  dan  vital  digunakan  sehari-hari  oleh seluruh  dosen  dan  civitas  akademika  STMIK-STIE  Mikroskil  untuk  mendukung  kegiatan  administrasi perkuliahan.  Portal  yang  dibangun  untuk  melayani  keseluruhan  tugas  utama  seorang  dosen  seharusnya  dapat memberikan layanan yang berkualitas dan informasi yang akurat kepada penggunanya. Kualitas portal yang baik direfleksikan  dengan  adanya usability yang  baik,  sehingga  semakin  baik usability suatu  sistem  maka  semakin mudah  dan  semakin  puas  pengguna  dalam  menggunakan  Portal  Akademik.  Dengan  demikian,  penelitian  ini menjadi penting dilakukan untuk mengetahui dan memahami berbagai permasalahan usability yang muncul pada Portal  Akademik  Mikroskil  serta  mengidentifikasi  solusi  untuk  menyelesaikan  permasalahan  tersebut.  Setelah berhasil mengidentifikasi berbagai permasalahan maka diharapkan adanya peningkatan terhadap tingkat usability Portal Akademik dengan mengimplementasikan perbaikan yang mengacu pada rekomendasi perbaikan terhadap permasalahan  yang  ditemukan.  Penelitian  ini  menggunakan  metode  evaluasi heuristic yang  menggabungkan penggunaan heuristic checklist dan severity ratings sehingga diharapkan dapat menemukan permasalahan usability yang berkaitan dengan antarmuka Portal Akademik MIKA yang nantinya dapat diusulkan saran perbaikan kepada pihak pengembang sistem dengan harapan Portal Akademik MIKA dapat lebih menunjang kebutuhan pengguna.

## 2. TEORITIS

## 2.1 Evaluasi Heuristic
Evaluasi  heuristik ( heuristic ) adalah metode informal untuk  mengkaji kegunaan suatu  aplikasi  atau software di mana sejumlah evaluator disajikan dengan desain antarmuka dan diminta untuk mengomentarinya. Pendekatan ini diciptakan oleh Nielsen dan Molich pada tahun 1990 dan menjadi cara evaluasi yang cukup populer dan banyak digunakan  saat  ini.  Evaluasi  heuristik  dilakukan  dengan  melihat  sebuah  tampilan  antarmuka  dan  mencoba mengemukakan  pendapat  tentang  apa  yang  baik  dan  buruk  dari  antarmuka  tersebut.  Idealnya,  orang  akan melakukan  evaluasi  sesuai  dengan  aturan  tertentu  seperti  yang  tercantum  dalam  dokumen  pedoman  umum. Namun,  kebanyakan  orang  mungkin  melakukan  evaluasi  heuristik  berdasarkan  intuisi  dan  akal  sehat  mereka sendiri [3].
Hasil dari evaluasi heuristik akan jauh lebih baik jika terdapat beberapa orang yang melakukan evaluasi, dan  mereka  harus  melakukan  evaluasi  tersebut  secara  independen  satu  sama  lain.  Jumlah  evaluator  yang direkomendasikan dalam melakukan evaluasi  heuristik adalah sebanyak tiga sampai lima evaluator dan sumber daya tambahan dapat dimanfaatkan untuk metode evaluasi alternatif. Keuntungan dari evaluasi heuristik adalah: murah, bersifat intuitif dan mudah memotivasi orang untuk melakukannya, tidak memerlukan perencanaan terlebih dahulu, dan dapat digunakan di awal proses pengembangan [3].
Terdapat  sepuluh  prinsip  umum  untuk  desain  interaktif  yang  dikembangkan  Nielsen.  Prinsip-prinsip tersebut disebut “heuristik” karena merupakan aturan umum dan bukan pedoman kegunaan khusus. Kesepuluh prinsip tersebut adalah [1]: 1. Visibilitas status sistem 2. Kesesuaian antara sistem dan dunia nyata
3. Kontrol dan kebebasan pengguna
4. Konsistensi dan standar
5. Pencegahan kesalahan
6. Pengenalan alih-alih mengingat
7. Fleksibilitas dan efisiensi penggunaan
8. Desain estetis dan minimalis
9. Bantu pengguna mengenali, mendiagnosis, dan memulihkan dari kesalahan
10. Bantuan dan dokumentasi

## 2.2 Penelitian Terdahulu
Penelitian  terdahulu  berfungsi  untuk  memberikan  penjelasan  mengenai  pembahasan  penelitian  yang  telah dilakukan  oleh  peneliti  sebelumnya.  Seperti  penelitian  yang  dilakukan  oleh  Putu  Krisnayani,  I  Ketut  Resika Arthana, I Gede Mahendra Darmawiguna (2016) bertujuan untuk menganalisis tingkat usability dan menentukan rancangan layout pada website UNDIKSHA  menggunakan  metode heuristic  evaluation dengan  10  variabel usability . Hasil dari penelitian ini difokuskan pada perlu adanya perubahan warna tampilan untuk membedakan antara link yang sudah pernah diakses dan belum pernah diakses, menyediakan bantuan untuk membantu pengguna menangani kesalahan, menyajikan submenu dan ikon-ikon secara konsisten, memberikan keterangan yang sesuai pada tautan link , membedakan font agar judul dan deskripsi kalimat dapat dibedakan, menyediakan dokumentasi yang  lengkap,  serta melengkapi website dengan menu  Bantuan  untuk  mempermudah  pengguna  dalam  mencari solusi  apabila  pengguna  menjumpai  kesalahan.  Selain  itu,  dari  hasil  kuisioner  yang  telah  diperoleh,  perlu ditekankan  perbaikan  pada  SOP  (Standar  Operasional  Prosedur)  pelayanan  agar  selalu  mendapatkan  informasi yang akurat dan up-to-date [4].
Kemudian, terdapat  pula penelitian Ricky Firmansyah (2016) dilakukan untuk  menentukan sejauh mana daya guna ( usability ) desain antarmuka dari aplikasi My Indihome versi 1.5 pada platform Android menggunakan
evaluasi heuristic .  Selanjutnya,  hasil  dari  evaluasi  ini  digunakan  PT.  Telkom  sebagai  acuan  untuk  melakukan perbaikan  dalam  pembaruan  ( update )  aplikasi,  terutama  pada  bagian  antarmuka  pengguna.  Penelitian  ini memperoleh  temuan  bahwa  antarmuka  aplikasi  MyIndiHome  telah  mampu  memberikan  kenyamanan  bagi pengguna secara umum tetapi masih dapat dilakukan perbaikan aplikasi dalam hal kemudahan penggunaan dan keakuratan informasi [5].
Dino Caesaron (2015) memfokuskan penelitiannya pada penggunaan metode evaluasi terutama kemudahan penggunaan  ( usability )  dalam  hubungannya  dengan  interaksi  manusia  dan  komputer.  Objek  penelitian  yang diangkat  adalah  portal  mahasiswa  Universitas  X  dan  metode  yang  digunakan  adalah  evaluasi heuristic versi Molich dan Nielsen. Dari evaluasi heuristic yang sudah dilakukan, didapatkan bahwa secara umum desain antar muka ( interface ) pada portal mahasiswa sudah cukup baik namun masih perlu peningkatan dalam hal kemudahan penggunaan ( usability ) dan terdapat beberapa poin dalam karakteristik kemudahan penggunaan ( usability ) yang perlu dikaji lebih lanjut [6].
Lalu,  ada  penelitian  yang  dilakukan  oleh  Mochammad  Imam  Sya’roni,  Agi  Putra  Kharisma,  Faizatul Amalia (2018) untuk mengetahui permasalahan yang dihadapi oleh web FILKOM APPS dan untuk mengetahui perbandingan  hasil  evaluasi  antara  metode heuristic evaluation dan think  aloud .  Penelitian  ini  menghasilkan informasi bagi pihak pengembang web untuk meningkatkan usabilitas dan fungsionalitas fitur-fitur yang tersedia. Evaluasi  yang  dilakukan  oleh  para  ahli  HCI  menemukan  permasalahan  usabilitas  yang  bersifat  umum  terkait dengan  antarmuka  pengguna  dan  juga  masih  terdapat  beberapa  menu-menu  yang  tidak  dapat  berfungsi  secara normal, serta penggunaan bahasa yang tidak konsisten. Hasil yang sama juga diperoleh berdasarkan metode think aloud yang dilakukan oleh para pengguna [7].
Deden  Hardan  G,  Andrie  Prajanueri  Kristianto,  Mahmudi,  Henderi  (2018)  melakukan  evaluasi  secara berkala untuk meningkatkan kualitas aplikasi driver Gojek agar aplikasi tersebut memenuhi standar aplikasi yang baik. Metode evaluasi  yang dipilih adalah heuristic evaluation untuk mencari masalah usabilitas sistem dengan melibatkan  beberapa  responden.  Tujuan  penelitian  ini  adalah  untuk  mengetahui  apakah  aplikasi  tersebut  sudah dapat  diterima  secara  baik  oleh  masyarakat.  Ternyata,  hasil  penelitian  menunjukkan  poin-poin  yang  perlu ditingkatkan yaitu pada rule User control and freedom yang menekankan pada aspek pengguna dapat  memilih pekerjaan sesuai kebutuhan serta rule Help users recognize, diagnose, and recover from errors yang menekankan pada pemberian saran dan rekomendasi saat driver melakukan kesalahan [8].
Berikutnya, penelitian Suci Indrawati Irwan, Imas Sukaesih Sitanggang, dan B. Mustafa (2015) bertujuan untuk  mengevaluasi  usabilitas  Sistem  Informasi  Manajemen  Penerimaan  Koleksi  Deposit  pada  Perpustakaan Nasional Republik Indonesia berdasarkan pendekatan evaluasi heuristic dan memberi rekomendasi terhadap aspek usabilitas untuk melakukan perbaikan sistem. Hasil rekomendasi dari penelitian ini dapat memberikan sumbangan pemikiran  bagi  pimpinan  Perpustakaan  Nasional  RI  untuk  mengambil  keputusan  dalam  mengembangkan  dan memperbaiki  sistem  informasi  manajemen  penerimaan  koleksi  deposit  di  Perpustakaan  Nasional  RI  serta memberikan kontribusi teoritis bagi perkembangan ilmu perpustakaan dan ilmu teknologi informasi, khususnya dalam bidang teknologi informasi untuk perpustakaan [9].
Selain itu, ada pula penelitian Bella Aulia M, M. Chandra Saputra, Aryo Pinandito (2016) yang menerapkan metode  evaluasi heuristic pada website Universitas  Brawijaya.  Tujuannya  adalah  untuk  mengetahui  hasil  uji preferensi pengguna pada website Universitas Brawijaya. Para evaluator yang merupakan expert dalam bidangnya menemukan  sebanyak  53  permasalahan  yang  berkaitan  dengan  usabilitas.  Permasalahan  tersebut  terdiri  atas permasalahan  mayor  dengan  prioritas  perbaikan  tingkat  tinggi  pada  heuristik visibility  of  system  status,  match between system and real world, recognition rather than recall dan flexibility and efficiency of use ; permasalahan minor  dengan  prioritas  perbaikan  tingkat  rendah  pada  heuristik consistency  and  standards,  error  Prevention, aesthetic  and  minimalist  design,  help  users  recognize,  diagnose,  and  recover  from  errors dan help  and documentation ; serta tidak ditemukan permasalahan pada heuristik User control and freedom [10]. Dari luar negeri, ada penelitian Joel S. Mtebe, Mussa M. Kissaka (2015) menyajikan kegunaan heuristic komprehensif  yang  menggabungkan  kegunaan  antarmuka,  efektivitas  mengajar  dan  movitasi  untuk  belajar. Heuristic divalidasi melalui evaluasi para ahli dari Universitas Dar Es Salaam dan Shuledirect systems di Tanzania. Heuristic yang  diusulkan  berhasil  mengungkap  beberapa  masalah  kegunaan.  Temuan  dari  penelitian  ini  telah menunjukkan bahwa heuristic yang diusulkan sesuai dan efektif untuk digunakan untuk mengevaluasi Learning Management System (LMS) yang digunakan di negara Afrika [11].
Terakhir,  terdapat  penelitian  yang  dilakukan  oleh  Jose  Miguel  Toribo  Guzman,  Alicia  Gracia  Holgado, Felipe Soto Perez, Francisco J. Garcia Penalvo, Manuel A. Franco Martin (2016). Tujuan dari penelitian ini adalah evaluasi  kegunaan  dari SocialNet ,  sebuah  jejaring  sosial  pribadi  untuk  memantau  perkembangan  harian  pasien oleh kerabat mereka. Penelitian ini menyajikan fase pertama dimana digunakan evaluasi heuristic ganda sebagai metode mengevaluasi kegunaan. Evaluasi telah memberikan data tentang asal usul masalah kegunaan SocialNet , terutama terkait dengan konsistensi, desain, dan privasi. Temuan telah membantu mendesain ulang beberapa aspek SocialNet dan untuk memberikan interaksi yang efektif, efisien dan pengalaman yang memuaskan bagi pengguna. Penggunaan evaluasi heuristik akan dilengkapi dengan tes pengguna yang akan dilakukan dalam fase kedua dari studi kegunaan, yang tidak dibahas dalam makalah ini [12].
JURNAL MEDIA INFORMATIKA BUDIDARMA, Vol 3, No 4, Oktober 2019 ISSN 2614-5278 (media cetak) ISSN 2548-8368 (media online) Hal 391-399 | DOI: 10.30865/mib.v3i4.1547

## 3. ANALISA DAN PEMBAHASAN
Adapun langkah-langkah yang dilakukan dalam kegiatan penelitian ini meliputi:
Gambar 1. Tahapan Kegiatan Penelitian
Adapun penjelasan dari  langkah-langkah yang dilakukan dalam kegiatan penelitian seperti yang tampak pada gambar 1 sebagai berikut:
1. Melakukan Persiapan
Pada tahap awal ini, tim peneliti menentukan objek dan lokasi penelitian. Objek pada penelitian ini yaitu Portal Akademik Mikroskil (MIKA) dan lokasi penelitian dilakukan di lingkungan kampus STMIK-STIE Mikroskil.
2. Perumusan Masalah
Peneliti  melakukan  observasi  terhadap  objek  penelitian  kemudian  dari  hasil  observasi  tersebut,  didapatkan rumusan masalah yang akan dijawab dalam penelitian ini.
3. Pemilihan metode
Tim peneliti melakukan pemilihan metode yang akan digunakan dalam penelitian. Hasil diskusi tim akhirnya memilih metode Heuristic Evaluation .
4. Evaluasi dengan metode Heuristic Evaluation
Untuk  evaluasi  menggunakan heuristic  evaluation ,  evaluator  sejumlah  tiga  orang  dipilih  berdasarkan pemahamannya  terhadap  konsep usability .  Supaya  pengujian usability dapat  berjalan  dengan  lancar,  maka diperlukan  suatu  skenario  pengujian  yang  baik,  di  mana  skenario  pengujian  untuk  melakukan  evaluasi menggunakan metode heuristic evaluation terdiri dari langkah berikut:
a. Memperkenalkan diri dan menyampaikan tujuan penelitian kepada evaluator.
b. Memberikan heuristic checklist kepada evaluator.
c. Waktu yang diberikan kepada evaluator untuk melakukan evaluasi sekitar satu sampai tiga jam.
d. Jika  evaluator  menemukan  permasalahan  usabilitas,  evaluator  dapat  mencatat  temuan  permasalahan tersebut pada kolom komentar yang telah disediakan dalam form heuristic checklist .
e. Evaluator kemudian mengisi  nilai pada kolom severity ratings yang telah tersedia sesuai  dengan tingkat keparahan permasalahan yang ditemukan.
5. Pembahasan Hasil
Pada tahap ini, tim peneliti merumuskan berbagai permasalahan yang diperoleh dari form heuristic checklist yang telah diisikan oleh evaluator.
6. Penyusunan Rekomendasi Perbaikan
Pada tahap akhir ini, tim peneliti merumuskan kesimpulan yang didapat dari  pembahasan hasil tersebut dan merumuskan rekomendasi perbaikan berdasarkan saran dari evaluator yang didukung oleh beberapa artikel dan studi pustaka dimana saran-saran tersebut dapat diberikan kepada tim pengembang sistem Mikroskil.
Setelah  ketiga  evaluator  yang  terpilih  selesai  mengisi heuristic  checklist dengan  menggunakan severity rating dan  memberikan  komentar  terhadap  permasalahan  yang  ditemukan  pada  saat  mengevaluasi  Portal Akademik  Mikroskil,  maka  hasil  evaluasi  dari  ketiga  evaluator  tersebut  dikumpulkan  dan  direkapitulasi.  Hasil evaluasi  secara  keseluruhan  menemukan  sejumlah  tiga  puluh  empat  permasalahan.  Berdasarkan  hasil  evaluasi yang sudah dilakukan, maka persebaran temuan permasalahan dapat dilihat pada Tabel 1.
Tabel 1. Persebaran Temuan Permasalahan No Prinsip Heuristic Jumlah Temuan Masalah 1 Visibilitas status sistem 3 2 Kesesuaian antara sistem dan dunia nyata
Melakukan Persiapan Perumusan Masalah Pemilihan Metode Evaluasi dengan Metode Heuristic Evaluation Pembahasan Hasil Penyusunan Rekomendasi Perbaikan
3 Kontrol dan kebebasan pengguna 2 4 Konsistensi dan standar 6 5 Pencegahan kesalahan 5 6 Pengenalan alih-alih mengingat 4 7 Fleksibilitas dan efisiensi penggunaan 4 8 Desain estetis dan minimalis 2 9 Bantu pengguna mengenali, mendiagnosis, dan memulihkan dari kesalahan 3 10 Bantuan dan dokumentasi 2 Total Temuan Permasalahan 34
Pada prinsip heuristic yang pertama, yaitu visibilitas status sistem ditemukan sebanyak tiga permasalahan yang masuk ke dalam kategori Minor . Permasalahan pertama yang ditemukan adalah tidak disediakan informasi yang memberitahukan posisi pengguna saat ini dalam Portal Akademik. Hal ini membuat pengguna pemula yang belum familiar dengan tampilan Portal Akademik mengalami kebingungan mengenai posisinya saat ini dalam situs Portal  Akademik.  Sebaiknya,  ditambahkan  informasi  tersebut  pada  bagian  atas  halaman  Portal  Akademik (misalnya: menambahkan breadcrumb ) sehingga bagi pengguna pemula dapat memahami dimana posisi pengguna saat ini [13]. Permasalahan kedua adalah tidak ada informasi mengenai keterlambatan memuat informasi sehingga pengguna terus menunggu informasi tersebut tanpa ada kejelasan. Oleh karena itu, lebih baik tampilkan informasi mengenai  waktu delay pada  halaman Portal  Akademik  sehingga  pengguna  tidak  dibuat  bingung  apakah  sistem memproses  permintaan  pengguna  atau  tidak  [5],  [6],  [9],  [14].  Kemudian,  temuan  masalah  ketiga  adalah ketidakjelasan informasi  mengenai field mana yang wajib diisi dan field mana yang bersifat opsional, misalnya masalah pada fitur input jadwal praktek, tidak terdapat tanda yang membedakan bahwa field ini wajib diisi atau bersifat  opsional.  Untuk  membedakan  kedua  jenis field ,  dapat  ditambahkan  tanda  khusus  kepada field wajib misalnya berupa tanda bintang [15], [16].
Pada  prinsip heuristic kedua,  yaitu  kesesuaian  antara  sistem  dan  dunia  nyata,  ditemukan  sebanyak  tiga permasalahan yang masuk ke dalam kategori Minor . Permasalahan pertama adalah didapatkan tampilan beberapa prosedur yang rancu dan isi prosedur tidak menyampaikan hal-hal yang harus dilakukan oleh pengguna. Bahkan terdapat  prosedur yang tidak memiliki isi  apapun, seperti pada Prosedur Pengisian, Pengeditan dan Persetujuan KRS. Akan lebih baik jika prosedur-prosedur yang sudah tidak terpakai dihilangkan saja dari menu, sedangkan bagi prosedur-prosedur yang masih dipakai, isinya harus disesuaikan kembali dengan proses kerja yang sebenarnya terjadi agar tidak terjadi kebingungan di kalangan pengguna yang mengikuti prosedur dalam Portal Akademik [7], [17]. Masalah yang kedua adalah bahwa link-link yang berisi konten penting tersedia hanya di satu tempat  saja sehingga pengguna harus mencari sendiri link yang berkaitan dengan tugas yang sedang dikerjakan. Hal ini tentu saja akan menyulitkan pengguna karena harus berpindah-pindah halaman ketika mengerjakan suatu tugas. Dengan demikian, sebaiknya Portal Akademik menyediakan link di beberapa tempat yang memang membutuhkan akses ke link tersebut. Ketiga, ditemukan masalah bahwa fitur yang seharusnya tidak dapat diakses oleh pengguna yang tidak memiliki hak akses namun fitur tersebut masih muncul di bagian menu sehingga pengguna yang tidak berhak masih bisa membuka dan mencoba fitur tersebut selayaknya pengguna yang memiliki akses walaupun kemudian sistem tidak menampilkan hasil. Untuk mencegah hal tersebut, sebaiknya fitur-fitur yang tidak boleh diakses oleh suatu pengguna di- hide saja pada tampilan pengguna bersangkutan. Untuk  prinsip heuristic yang  ketiga,  yaitu  kontrol  dan  kebebasan  pengguna,  ditemukan  sebanyak  dua permasalahan  yang  masuk  ke  dalam  kategori Major yaitu  terdapat  permasalahan  yang  mengganggu  pengguna sehingga dibutuhkan perbaikan dengan prioritas tinggi. Masalah pertama yang ditemukan yaitu filter pencarian pada Portal Akademik masih sangat sederhana dimana pengguna tidak dimungkinkan untuk mengatur pencarian secara kompleks maupun menyimpan preferensi pencariannya. Pencarian yang disediakan oleh Portal Akademik hanya terbatas pada fitur-fitur tertentu dan field yang dapat dipilih sebagai kunci pencarian masih minim. Pencarian belum  disediakan  dalam  bentuk advance  search . Untuk  mempermudah  pengguna  dalam  melakukan  pencarian, dapat  ditambahkan  fitur advance  search dan  berikan  kebebasan  kepada  pengguna  untuk  dapat  mengatur  hasil pencarian dan field yang akan dipakai sebagai kunci pencarian [9], [15] . Permasalahan kedua adalah fungsi tombol Back yang  tidak  membawa  pengguna  kembali  ke  halaman  asal.  Misalnya  pada  saat  pengguna  membuka  data mahasiswa melalui menu dosen wali, lalu pengguna membuka detail data mahasiswa yang tersusun dalam bentuk tab, ketika pengguna menekan tombol Back , sistem hanya mengubah alamat URL, akan tetapi tampilan halaman tidak ikut berubah. Apabila pengguna pernah memilih beberapa tab sebelumnya, tombol Back juga tidak membawa pengguna  kembali  ke  halaman  awal  sebelum  masuk  ke  tampilan  data  mahasiswa.  Sebaiknya  tombol Back ini diperbaiki agar bisa berfungsi sebagaimana mestinya mengingat pengguna membutuhkan cara yang mudah untuk kembali ke halaman sebelumnya [5], [7], [10], [17].
Dalam prinsip heuristic keempat, yaitu konsistensi dan standar, ditemukan sebanyak enam permasalahan yang masuk ke dalam kategori Minor . Permasalahan pertama yang diperoleh dari hasil evaluasi adalah informasi yang  ditampilkan  dalam  Portal  Akademik  tidak  relevan  dan  tidak up-to-date .  Informasi  yang  disajikan  tidak mengikuti perubahan yang telah diberitahukan kepada pengguna sebelumnya. Selain itu, terdapat halaman kosong yang muncul ketika pengguna mengklik suatu menu dimana hal tersebut dapat membingungkan pengguna karena
tidak menemukan informasi yang dicari. Salah satu penentu kualitas informasi yang buruk yaitu data yang tidak lengkap.  Dengan  demikian, update informasi  perlu  dilakukan  secara  berkala  dan  lakukan  pengecekan  untuk membuang tampilan halaman yang kosong dengan mengacu pada aspek yang menentukan kualitas suatu informasi [5], [7], [12], [18]. Kedua, pencarian hanya terdapat di beberapa halaman tertentu dan hanya berlaku untuk halaman bersangkutan,  sehingga  pencarian  hanya  terbatas  pada  beberapa  fitur,  bukan  mencakup  keseluruhan  Portal Akademik.  Seharusnya  fitur  pencarian  terdapat  pada  semua  halaman  situs  sehingga  pengguna  bisa  melakukan pencarian  dari  halaman  manapun  dimana  hasil  pencarian  ini  mencakup  keseluruhan  Portal  Akademik  untuk mencari informasi yang dibutuhkan [19]. Temuan masalah ketiga yaitu tidak terdapat perubahan warna pada link yang sudah pernah dikunjungi sebelumnya. Pada umumnya, warna link yang sudah pernah dikunjungi dengan link yang belum pernah dikunjungi akan dibedakan agar pengguna tahu mana halaman yang sudah pernah diakses dan mana yang belum [4], [20]. Permasalahan keempat adalah meskipun logo ditempatkan konsisten pada tempatnya, tetapi logo tersebut tidak dapat di-klik untuk membawa pengguna ke halaman beranda. Biasanya, logo berisi link untuk memudahkan pengguna mengakses halaman utama. Oleh karena itu, sebaiknya tambahkan link pada logo Portal  Akademik  agar  pengguna  bisa  dengan  mudah  dan  cepat  kembali  ke  halaman  utama  [21].  Selanjutnya, masalah  kelima  yaitu  tidak  semua  fitur  yang  dibutuhkan  pengguna  dapat  dicetak  ke printer ,  hanya  fitur pengumuman saja yang dapat dicetak. Pada beberapa fitur, data hanya dapat di-ekspor ke file Excel dan tidak dapat langsung dicetak ke printer . Agar dapat mempersingkat waktu yang dibutuhkan pengguna untuk mencetak data, sediakan fitur untuk mencetak data secara langsung dari halaman Portal Akademik ke printer sehingga pengguna tidak perlu lagi mencetak melalui Excel [10]. Permasalahan terakhir yang ditemukan pada prinsip ini adalah Portal Akademik tidak menyediakan fitur pengaturan kata sandi pengguna. Jika pengguna ingin mengubah kata sandi, pengguna harus mengakses situs lain yaitu MISO ( Mikroskil Single User Account ). Sebaiknya Portal Akademik menyediakan link ke halaman MISO agar pengguna dapat melakukan pengaturan akun ataupun kata sandi [22]. Lalu, pada prinsip heuristic kelima yaitu pencegahan kesalahan, ditemukan sebanyak lima permasalahan yang masuk ke dalam kategori Major . Masalah pertama adalah terdapat beberapa fitur yang tidak berfungsi dengan baik seperti tombol Edit pada tampilan jadwal kuliah pengganti sehingga apabila terdapat kesalahan inputan data, jadwal  tidak  dapat  diubah  sendiri  oleh  pengguna  tetapi  pengguna  harus  menghubungi  pihak  pengelola  Portal Akademik.  Seharusnya  dilakukan  pengecekan  semua  fitur  yang  sudah  dirilis  kepada  pengguna  sehingga  bisa dilakukan perbaikan terhadap fitur-fitur yang tidak berfungsi  atau belum berfungsi  dengan baik  [7], [10], [17], [23]. Temuan  masalah  kedua  yaitu  Portal  Akademik  tidak  memberikan  notifikasi  maupun  mengubah  tampilan ketika browser session sudah expired sehingga pengguna bisa tetap menginput  data namun  pada akhirnya data tetap tidak dapat disimpan. Hal ini mengakibatkan pengguna harus menginput ulang data. Untuk mengatasi hal tersebut, sebaiknya tambahkan notifikasi ataupun pemberitahuan kepada pengguna apabila session sudah expired agar  pengguna  tidak  sia-sia  melanjutkan  tugas  padahal session sudah expired dan  datanya  tidak  tersimpan  [5], [15]. Masalah yang ketiga adalah Portal Akademik tidak melakukan koreksi terhadap input data yang salah, hanya memberitahukan  kesalahan  pada  penginputan.  Selain  itu,  ketika  terjadi  salah  input  data,  walaupun  pengguna diberitahukan  bahwa  terdapat  kesalahan,  sistem  tetap  menyimpan  inputan  data  yang  salah.  Oleh  karena  itu, direkomendasikan agar sistem mengarahkan pengguna untuk melakukan koreksi kesalahan dan juga melakukan konfirmasi terlebih dahulu kepada pengguna sebelum menyimpan data [9], [15], [24]. Permasalahan keempat yang ditemukan adalah Portal Akademik secara otomatis menyimpan inputan data pengguna walaupun pengguna belum menekan  tombol  Simpan.  Hal  ini  perlu  diperbaiki  karena  yang  memiliki  kuasa  untuk  menyimpan  atau  tidak menyimpan data adalah pengguna. Apabila pengguna tidak menekan tombol Simpan, maka seharusnya data tidak tersimpan [10], [15]. Masalah yang terakhir yaitu belum adanya notifikasi atau e-mail yang memberitahukan telah terjadi pergantian kata sandi kepada pengguna dimana hal ini dapat berakibat fatal jika bukan pengguna tersebut yang  mengganti  kata  sandi.  Misalnya,  pengguna  yang  tidak  bertanggung  jawab  sembarangan  mengganti  nilai mahasiswa  setelah  berhasil  mengambil  alih  akun  pengguna.  Dengan  demikian,  sebaiknya  keamanan  Portal Akademik  dapat  ditingkatkan  dengan  mengirimkan  notifikasi  berupa e-mail kepada  pengguna  apabila  terjadi pergantian password ataupun aktivitas yang janggal pada akun pengguna [5], [22]. Untuk prinsip heuristic yang keenam  yaitu prinsip pengenalan alih-alih mengingat, ditemukan sebanyak empat permasalahan yang masuk ke dalam kategori Minor . Temuan masalah yang pertama adalah tidak tersedia alur proses kerja dalam tampilan Portal Akademik sehingga pengguna yang baru pertama kali berkunjung tidak tahu harus memulai dan mencari dari mana dulu karena terdapat beberapa tugas yang letaknya agak tersembunyi dalam menu. Akan lebih baik jika Portal Akademik menyediakan alur kerja untuk setiap proses yang terdapat pada Portal Akademik. Untuk membantu pengguna agar lebih mudah memahami alur proses tersebut, mungkin dapat ditambahkan gambar berupa diagram atau bagan alur kerja [7], [25]. Permasalahan yang kedua adalah pengguna harus  mengingat  informasi  yang  terdapat  pada  suatu  tampilan  kemudian  memindahkan/menginput  kembali informasi tersebut ke tampilan yang lain, seperti pada tampilan halaman Pengajuan Pergantian Judul Tugas Akhir, dosen harus mengingat NIM mahasiswa yang tersedia di tampilan halaman Berita Acara Bimbingan agar dapat mengajukan pergantian judul Tugas Akhir. Daripada memindahkan sendiri informasi tersebut dari tampilan yang satu ke tampilan lain, sebaiknya pada tampilan yang membutuhkan informasi ditambahkan fitur filter berdasarkan nama mahasiswa ataupun pencarian data mahasiswa sehingga dapat menghemat waktu pengguna [6], [15], [25]. Masalah ketiga adalah tidak tersedia cara untuk  berpindah halaman dengan mudah, misalnya pengguna sedang berada  di  tampilan  pengisian  Berita  Acara  Ganjil  dan  ingin  kembali  ke  tampilan  Berita  Acara  Genap,  maka
pengguna harus memilih ulang tampilan dari awal dan tidak bisa langsung membuka tampilan Berita Acara Genap. Selain  itu,  pengguna  juga  tidak  dapat  secara  langsung  kembali  ke  halaman  utama  karena  logo  tidak  berfungsi sebagai link ke halaman utama. Pada beberapa tampilan Portal Akademik, juga tidak tersedia tombol Back . Cara navigasi yang lebih mudah adalah dengan menambahkan link-link di semua halaman yang berhubungan dan juga menambahkan link pada logo sehingga pengguna bisa kembali ke halaman utama dengan cepat dan bisa mengakses halaman lainnya dengan mudah dari sana [21]. Terakhir, Portal Akademik tidak menyediakan site map sehingga untuk melihat keseluruhan konten, pengguna harus melihat dan mengeksplorasi sendiri dari menu navigasi. Oleh karena itu, direkomendasikan untuk membuat site map agar pengguna baru dapat lebih memahami navigasi dan fitur yang ada dalam Portal Akademik [26].
Berikutnya, pada prinsip heuristic ketujuh yaitu prinsip fleksibilitas dan efisiensi penggunaan ditemukan sebanyak empat permasalahan yang masuk ke dalam kategori Minor . Masalah pertama adalah belum tersedianya tampilan halaman yang dapat menampilkan banyak data sekaligus. Jika pengguna ingin melihat banyak data, maka pengguna harus membuka halaman satu per satu untuk melihat data yang dicari. Misalnya, ketika dosen wali ingin memantau  IPK  mahasiswa  perwaliannya,  dosen  harus  membuka  satu  per  satu  halaman  data  mahasiswa  dan membuka pada tab Transkrip Nilai untuk melihat IPK mahasiswa sehingga mengurangi efektivitas kerja dosen. Untuk mengefektifkan pekerjaan pengguna, sebaiknya berikan kebebasan kepada pengguna untuk memilih  dan menampilkan sendiri  data-data yang dibutuhkan sekaligus dalam satu  halaman sehingga waktu  pengguna tidak terbuang sia-sia untuk hal yang tidak perlu [15], [17], [25]. Permasalahan kedua yang ditemukan adalah pengguna harus berulang kali memilih maupun menginput data yang sama karena Portal Akademik tidak menyimpan history inputan ataupun pilihan pengguna. Hal ini dapat dikurangi apabila Portal Akademik menyediakan fitur auto-fill sehingga  ketika  pengguna  ingin  mengisi  data  yang  sama  berulang-ulang,  pengguna  tidak  harus  mengetikkan kembali  semua  isi  datanya,  tetapi  dapat  dilengkapi  oleh  sistem.  Sistem  juga  dapat  menyediakan  pilihan  untuk menyimpan  data default sehingga  bisa  mengurangi  pengetikkan  inputan  data  [9],  [15],  [25].  Temuan  masalah ketiga adalah tidak terdapat instruksi, rincian, maupun petunjuk langkah berikutnya yang dapat diambil pengguna setelah  menyelesaikan  suatu  proses  dalam  Portal  Akademik.  Sebaiknya  Portal  Akademik  secara  otomatis mengarahkan pengguna ke halaman berikutnya secara logis atau menampilkan pesan yang berisi rincian langkah berikutnya yang harus dilakukan oleh pengguna atau menampilkan pesan bahwa proses sudah selesai apabila tidak ada  lagi  yang  perlu  dilakukan  oleh  pengguna  [5],  [15],  [25].  Masalah  keempat  adalah  pengguna  tidak  dapat mengubah  tampilan  Portal  Akademik  sesuai  dengan  preferensi  dan  kebutuhan  mereka.  Dalam  upaya  membuat Portal  Akademik  terasa  lebih  personal  bagi  pengguna,  lebih  baik  jika  disediakan  fitur  untuk  melakukan kustomisasi terhadap tampilan pengguna sesuai dengan preferensi dan kebutuhannya [14], [15], [17], [25].
Selanjutnya, pada prinsip heuristic kedelapan yaitu desain estetis dan minimalis ditemukan sebanyak dua permasalahan yang masuk ke dalam kategori Cosmetic yaitu permasalahan tidak terlalu mempengaruhi pengguna sehingga  perbaikan  tidak  terlalu  dibutuhkan  jika  waktu  yang  dimiliki  terbatas.  Permasalahan  yang  pertama ditemukan adalah sistem navigasi pada Portal Akademik bersifat mendalam dimana terdapat menu di dalam menu (tiap menu memiliki anak menu, bahkan hingga mencapai 4 level) sehingga untuk mengakses suatu menu yang berhubungan dengan tugas yang sedang dikerjakan, pengguna harus membuka satu per satu menu pada navigasi untuk mencari menu yang berkaitan dengan tugas. Dengan demikian, lebih baik jika menu yang berkaitan dengan tugas  utama  pengguna  langsung  disediakan  sebagai  menu  utama  pada  navigasi  bukan  diakses  setelah  melalui beberapa level menu agar pengguna tidak perlu melakukan banyak klik untuk berpindah halaman [9], [19], [27]. Kemudian, masalah yang kedua yaitu halaman Portal Akademik terutama pada halaman berita dan prosedur berisi sekumpulan teks panjang yang membingungkan pengguna. Untuk membantu pengguna memahami berita ataupun prosedur  yang  baru,  sebaiknya  teks  panjang  tersebut  didukung  oleh  gambar  atau  bagan  yang  bisa menjelaskan secara  visual  kepada  pengguna  karena  umumnya  pengguna  lebih  memilih  melihat  gambar  yang  bisa menyampaikan pesan dengan lebih singkat daripada penjelasan panjang lebar tentang suatu hal [17].
Pada prinsip heuristic kesembilan yaitu bantu pengguna mengenali, mendiagnosis, dan memulihkan dari kesalahan ditemukan sebanyak tiga permasalahan yang masuk ke dalam kategori Minor . Permasalahan pertama yang ditemukan evaluator adalah ketika terjadi error, pesan kesalahan yang ditampilkan hanya  berisi  kesalahan pada  hasil  inputan  pengguna,  namun  tidak  dijelaskan  kapan  dan  dimana  terjadi  kesalahan,  tingkat  keparahan kesalahan, dan tidak dapat memberikan rincian kesalahan yang dilakukan pengguna jika diperlukan. Selain itu, pesan kesalahan hanya berupa pemberitahuan kesalahan yang dilakukan tanpa adanya instruksi mengenai tindakan yang harus dilakukan selanjutnya untuk memperbaiki kesalahan tersebut. Hal ini selayaknya diganti dengan pesan kesalahan  yang  lengkap  dan  informatif  yang  dapat  menampilkan rincian  kesalahan,  tingkat  keparahan,  dan  hal yang  perlu  dilakukan  selanjutnya  untuk  memperbaiki  kesalahan  tersebut  sehingga  pengguna  bisa  mengatasi kesalahannya sendiri tanpa menghubungi pihak pengelola Portal Akademik [5], [7]–[9], [15], [28]. Masalah yang kedua  yaitu  apabila  terdapat  kesalahan  ketika  menginput  data,  Portal  Akademik  hanya  memberikan  pesan terjadinya kesalahan namun tidak memposisikan kursor pada lokasi yang salah secara otomatis. Selain itu, sistem juga  melakukan  penyimpanan  terhadap  data  yang  diinput  oleh  pengguna  apabila  pengguna  menekan  tombol Simpan walaupun kesalahan  tersebut  belum dikoreksi. Agar Portal Akademik bisa menyimpan data yang lebih akurat, selain menampilkan pesan kesalahan, sebaiknya Portal Akademik juga memposisikan kursor pada lokasi terjadinya  kesalahan  sehingga  pengguna  bisa  mengetahui  dan  mengoreksi  inputan  datanya.  Lalu,  pastikan  pula pengguna tidak dimungkinkan untuk melakukan penyimpanan data apabila masih ada data yang salah supaya tidak
ada data-data yang tidak akurat yang diproses dalam sistem [4], [9], [15]. Masalah ketiga yang tidak kalah penting yaitu tidak tersedianya mekanisme pelaporan kesalahan apabila pengguna menemukan bug ataupun error pada sistem. Pengguna harus menghubungi pihak pengelola MIKA secara langsung ketika menemui masalah. Sudah selayaknya bug dan error yang  ditemukan  oleh  pengguna  diperbaiki  agar  Portal  Akademik  bisa  menyediakan layanan  yang  memuaskan  bagi  pengguna.  Oleh  karena  itu,  sebaiknya  disediakan  fitur report  bug untuk mempermudah pengguna melaporkan masalah yang ditemukan [5], [27].
Terakhir,  pada  prinsip heuristic bantuan  dan  dokumentasi  ditemukan  sebanyak  dua  permasalahan  yang masuk ke dalam kategori Minor . Masalah yang pertama adalah pengguna dituntut harus mengetahui dimana letak fitur  yang  dibutuhkannya  karena  tidak  terdapat  demo, tutorial ,  FAQ  maupun  bantuan  lainnya  yang  dapat membantu  pengguna  menggunakan  Portal  Akademik.  Tidak  semua  pengguna  baru  bisa  menggunakan  Portal Akademik karena mereka belum terbiasa dengan tampilan Portal Akademik. Dengan demikian, sudah seharusnya ditambahkan  panduan  penggunaan  dan  FAQ  pada  Portal  Akademik  sehingga  pengguna  pemula  pun  dapat mempelajari cara menggunakan sistem melalui fitur bantuan yang telah disediakan [4]–[7], [9], [11], [14], [15], [29]. Permasalahan terakhir yang ditemukan evaluator yaitu tidak tersedianya kontak yang dapat dihubungi apabila pengguna mengalami kesulitan dan membutuhkan bantuan. Oleh karena itu, sebaiknya disediakan nomor telepon, e-mail atau  kontak  lainnya  yang  dapat  memudahkan  pengguna  untuk  mencari  dan  meminta  bantuan  yang dibutuhkan [4], [5], [15], [19], [29].

## 4.   KESIMPULAN
Dengan  demikian  permasalahan  yang  paling  mendesak  untuk  diperbaiki  berada  pada  prinsip  kontrol  dan kebebasan  pengguna  serta  prinsip  pencegahan  kesalahan.  Rekomendasi  perbaikan  pada  prinsip  kontrol  dan kebebasan pengguna mencakup penambahan fitur advance search dan perbaikan tombol Back agar dapat berfungsi dengan  baik.  Pengguna  juga  diberikan  kebebasan  untuk  mengatur  tampilan  hasil  pencarian  yang  dilakukan. Rekomendasi perbaikan pada prinsip pencegahan kesalahan antara lain melakukan uji coba pada fitur-fitur Portal Akademik  Mikroskil  sebelum  dirilis  kepada  pengguna,  serta  menambahkan  notifikasi,  arahan,  dan  konfirmasi ketika pengguna melakukan suatu kegiatan.
Saran yang dapat diberikan untuk penelitian selanjutnya adalah:
1.  Diharapkan  dapat  membuat  rancangan  tampilan  antarmuka  Portal  Akademik  Mikroskil  berdasarkan rekomendasi perbaikan yang telah diusulkan.
2.  Diharapkan evaluasi selanjutnya dapat melibatkan tampilan antarmuka dari sisi mahasiswa sehingga usability Portal Akademik Mikroskil dapat ditingkatkan.
3.  Diharapkan dapat dilakukan evaluasi desain antarmuka secara berkala karena kebutuhan pengguna akan terus mengalami perubahan sesuai dengan perkembangan zaman.

## REFERENCES
[1] J. Nielsen, “10 Usability Heuristics for User Interface Design,” Conference companion on Human factors in computing systems CHI 94, 1994. .
[2] J. Nielsen, “Severity Ratings for Usability Problems,” Nielsen Norman Group, 1995. .
[3] J. Nielsen and R. Molich, “Heuristic Evaluation of User Interfaces,” in Proceedings of the ACM CHI’90 conference on Human factors in computing systems, 1990, pp. 249–256.
[4] P.  Krisnayani,  I.  K.  Resika  Arthana,  and  I.  G.  Mahendra  Darmawiguna,  “Analisa  Usability  Pada  Website  UNDIKSHA  Dengan Menggunakan Metode Heuristic Evaluation,” Kumpul. Artik. Mhs. Pendidik. Tek. Inform., 2016.
[5] R. Firmansyah, “Evaluasi Heuristik Pada Desain Interface   Aplikasi My Indihome,” Semin. Nas. Ilmu Pengetah. dan Teknol. Komput., 2016.
[6] D. Caesaron, “Evaluasi Heuristic Desain Antar Muka (Interface) Portal Mahasiswa (Studi Kasus Portal Mahasiswa Universitas X),” J. Metris, 2015.
[7] M. I. Sya’roni, A. P. Kharisma, and F. Amalia, “Perbandingan Hasil Metode Evaluasi Usability Antara Heuristic  Evaluation dengan Think Aloud pada Kasus Web FILKOM APPS untuk Mahasiswa,” J. Pengemb. Teknol. Inf. dan Ilmu Kompuer, 2018.
[8] A. P. Kristianto, M. Mahmudi, and H. Henderi, “Analisis usabilitas sistem informasi driver pt. gojek indonesia berdasarkan pendekatan evaluasi usability heuristik,” Semin. Nas. Teknol. Inf. dan Multimed. 2018, 2018.
[9] S.  I.  Irwan,  I.  S.  Sitanggang,  and  B.  Mustafa,  “Analisis  Usabilitas  Sistem  Informasi  Manajemen  Penerimaan  Koleksi  Deposit  Di Perpusnas Berdasarkan Pendekatan Evaluasi Heuristik,” vol. 14, no. 1, pp. 33–42, 2015.
[10]  B. A. Mustikaningtyas, M. C. Saputra, and A. Pinandito, “Analisis Usability Pada Website Universitas Brawijaya Dengan Heuristic Evaluation,” J. Teknol. Inf. dan Ilmu Komput., 2016.
[11]  J. S. Mtebe and M. M. Kissaka, “Heuristics for evaluating usability of Learning Management Systems in Africa,” in 2015 IST-Africa Conference, IST-Africa 2015, 2015.
[12]  J. M. Toribio-Guzmán, A. García-Holgado, F. Soto Pérez, F. J. García-Peñalvo, and M. Franco Martín, “Usability Evaluation of a Private Social Network on Mental Health for Relatives,” J. Med. Syst., 2017.
[13]  D. Powazek, “Where Am I?,” 2006. [Online]. Available: http://alistapart.com/article/whereami/.
[14]  D. Fadeyev, “User Interface Design - 12 Useful Techniques,” 2009. [Online]. Available: https://www.smashingmagazine.com/2009/01/12-useful-techniques-for-good-user-interface-design-in-web-applications/.
[15]  B.  Shneiderman,  C.  Plaisant,  M.  Cohen,  S.  Jacobs,  N.  Elmqvist,  and  N.  Diakopoulos,  Designing  the  User  Interface:  Strategies  for Effective Human-Computer Interaction, 6th Editio. Pearson, 2016.
[16]  D. Fadeyev, “10 Useful Usability Findings and Guidelines,” 2009. [Online]. Available:
https://www.smashingmagazine.com/2009/09/10-useful-usability-findings-and-guidelines/.
[17]  V. Friedman, “10 Principles Of Good Website Design,” 2008. [Online]. Available: https://www.smashingmagazine.com/2008/01/10- principles-of-effective-web-design/.
[18]  W. H. DeLone and E. R. McLean, “The DeLone and McLean model of information systems success: A ten-year update,” in Journal of Management Information Systems, 2003.
[19]  V.  Friedman,  “30  Usability  Issues  To  Be  Aware  Of,”  2007.  [Online].  Available:  https://www.smashingmagazine.com/2007/10/30- usability-issues-to-be-aware-of/.
[20]  J.  Hensley,  “Improve  Your  Designs  With  The  Principles  Of  Similarity  And  Proximity  (Part  1),”  2016.  [Online].  Available: https://www.smashingmagazine.com/2016/05/improve-your-designs-with-principles-similarity-proximity-part-1/.
[21]  H. Loranger, “Homepage Links Remain a Necessity,” 2017. [Online]. Available: https://www.nngroup.com/articles/homepage-links/.
[22]  D. Pinsky,  “11  Website  Design  And  Development  Best  Practices  For  2018,”  2018.  [Online].  Available: https://www.forbes.com/sites/denispinsky/2018/02/12/website-design-standards/#23f38218f54f.
[23]  I. Ghiciuc, “There is no such thing as Bug Free Software, not even in the Big League,” 2013. .
[24]  E. McKay, “Are you sure? How to Write Effective Confirmations,” 2010. [Online]. Available:
http://www.uxdesignedge.com/2010/06/are-you-sure-how-to-write-effective-confirmations/. [25]  S. Widen, “The Science Behind UX Design,” 2017. [Online]. Available:
https://www.forbes.com/sites/forbesagencycouncil/2017/01/09/the-science-behind-ux-design/#22dabacc5ca9.
[26]  J.  Cardello,  “The  Modern  Web  Design  Process:  Creating  Sitemaps  and  Wireframes,”  2017.  [Online].  Available: https://webflow.com/blog/the-modern-web-design-process-creating-sitemaps-and-wireframes.
[27]  S. Stiner, “Five User Experience Tips For Software Developers,” 2017. [Online]. Available: https://www.forbes.com/sites/forbestechcouncil/2017/01/31/five-user-experience-tips-for-software-developers/#229d937e24d5.
[28]  J. Nielsen, “Error Message Guidelines,” 2001.
[29]  P. Hodgson, “Tips for Writing User Manuals,” 2007.