## Evaluasi Usability Pada Sistem Informasi Beasiswa Menggunakan Metode Heuristic Evaluation dan Think Aloud
Riska Ayuni 1* , Tengku Khairil Ahsyar 2 , Muhammad Luthfi Hamzah 3
Fakultas Sains dan Teknologi, Sistem Informasi, Universitas Islam Negeri Sultan Syarif Kasim Riau, Pekanbaru, Indonesia Email: 1* 11950325008@students.uin-suska.ac.id, 2 tengkukhairil@uin-suska.ac.id, 3, muhammad.luthfi@uin-suska.ac.id Email Penulis Korespondensi: riskaaynn2809@gmail.com
Abstrak− Sistem informasi beasiswa perlu merangkup beberapa aspek agar selalu dapat menjaga keunggulan kualitas penggunaan dan informasi yang sudah ada, salah satunya aspek usability. Berdasarkan pengamatan awal yang telah dilakukan pada sistem informasi tersebut  terdapat ketidakpuasaan  pengguna  seperti  terkadang  error  saat  dilakukan penginputan  data oleh  staff,  inkonsistensi  dalam beberapa tampilan, tidak ada menu lupa kata sandi, tidak ada informasi kontak, tidak ada menu bantuan, bagian antarmuka situs  sulit dipahami. Masalah tersebut berkaitan dengan usability. Evaluasi usability dilakukan untuk mengevaluasi sistem berdasarkan tingkat efektifitas,  efisiensi  dan  kepuasan.  Tujuan  dilakukan  penelitian  ini  adalah  untuk  mengevaluasi  kemudahan  penggunaan  sistem informasi Beasiswa UIN Suska Riau. Tujuan dari evaluasi ini adalah untuk melihat seberapa mudah sistem tersebut digunakan dan untuk membuat rekomendasi tentang perbaikan yang dilakukan. Pengambilan data pada penelitian ini melalui observasi, wawancara, dan kuesioner. pada metode Heuristic evaluation metode analisis data yang digunakan adalah usability testing, dan alat pengolahan data yang digunakan adalah perangkat lunak Statistical Product Solution (SPSS) Statistics 23 dari IMB Software. dan 8 sampai 10 responden  untuk  Think  Aloud.  Untuk  evaluasi  penelitian  ini,  dua  pendekatan  digunakan, Heuristic  Evaluation  dan  Think  Aloud. Heuristic Evaluation digunakan untuk mengevaluasi antarmuka menggunakan kuesioner heuristik, sementara Think Aloud digunakan untuk mengevaluasi penggunaan sistem informasi berdasarkan apa yang diucapkan pengguna. Pada tahap pengumpulan data Think Aloud, setiap peserta akan melakukan skenario tugas untuk memberikan kritik atau mengungkapkan masalah yang mereka alami. Hasil analisis data berhasil mengidentifikasi kesenjangan yang teridentifikasi pada sistem informasi yang dinilai dalam penelitian ini dan memberikan  rekomendasi  untuk  perbaikan.  Hasil  dari  Analisis  Heuristic  Evaluation  menunjukkan  bahwa  sistem  ini  memperoleh persentase nilai sebesar 75%, yang menunjukkan tingkat kebaikan yang cukup bagi penggunanya. Namun, terdapat total 25% di mana ditemukan ketidakbaikan  dalam  sistem,  hal  itu  menunjukkan bahwa  sistem  ini kurang  baik bagi  penggunanya.  Kemudian,  melalui analisis Think Aloud, ditemukan hingga 23 saran perbaikan untuk sistem yang dievaluasi. Penelitian selanjutnya dapat mengevaluasi lanjutan dari implementasi rekomendasi perbaikan tersebut.
. Kata Kunci: Evaluasi; Usability; Sistem Informasi Beasiswa; Heuristic; Think Aloud
Abstract− The scholarship information system needs to cover several aspects so that it can always maintain the superior quality of use and existing information, one of which is the usability aspect. Based on initial observations that have been made on the info rmation system, there is user dissatisfaction such as sometimes errors when inputting data by staff, inconsistencies in some displays, no menu for forgotten password, no contact information, no help menu, parts of the site interface are difficult to understand. . The  problem is related  to  usability.  Usability  evaluation  is  carried  out  to  evaluate  the  system  based  on  the  level  of  effectiveness,  efficiency  and satisfaction. The purpose of this research was to evaluate the ease of use of the UIN Suska Riau Scholarship information system. The purpose of this evaluation is to see how easy the system is to use and to make recommendations about possible improvements. Data collection through observation, interviews, and questionnaires. in the heuristic evaluation method the data analysis method used is usability testing, and the data processing tool used is Statistical Product Solution (SPSS) Statistics 23 software from IMB Software. and 8 to 10 respondents for Think Aloud. For the evaluation of this study, two approaches were used, Heuristic Evaluation and  Think Aloud. Heuristic Evaluation is used to evaluate the interface using a heuristic questionnaire, while Think Aloud is used to evaluate the use of the information system based on what the user says. At the Think Aloud data collection stage, each participant will carry out a task scenario to provide criticism or reveal the problems they are experiencing. The results of the data analysis succeeded in identifying identified gaps in the information system assessed in this study and providing recommendations for improvement. The results o f the Heuristic Evaluation Analysis show that this system obtains a percentage score of 75%, which indicates a sufficient level of goodness for its users. However, there is a total of 25% where deficiencies are found in the system, it shows that this system is not good for its users. Then, through Think Aloud analysis, found up to 23 suggestions for improvement for the system being evaluated. Future research can further evaluate the implementation of these improvement recommendations.
Keywords : Evaluation; Usability; Scholarship Information System; Heuristic; Think Aloud

## 1. PENDAHULUAN
Sistem  Informasi  Beasiswa  merupakan  perangkat  lunak  yang  memfasilitasi  pengelolaan  informasi  beasiswa  dengan fungsi  pengelolaan  dan  pelaporan.  Sistem  Informasi  Beasiswa  juga  sangat  dibutuhkan  karena  diharapkan  dapat mengefektifkan  dan  mempercepat  kinerja  pekerjaan  bagian  Kemahasiswaan  di  UIN  Suska  Riau.  Setelah  melakukan observasi  awal  kepada  pengguna  sistem  informasi  beasiswa,  peneliti  menemukan  bahwa  permasalahan  yang  ditemui adalah belum adanya evaluasi  terhadap sistem informasi  ini sebelumnya. Terkadang error saat  dilakukan penginputan data oleh staff , Pentingnya memberikan prioritas pada pengalaman pengguna saat berinteraksi dengan sistem atau situs web adalah  untuk  memastikan  kemudahan  dan  kecepatan  dalam  pengoperasiannya  [1].  inkonsistensi  dalam  beberapa tampilan, Agar menghindari kesan yang tidak konsisten pada suatu sistem, penting bagi sistem tersebut untuk menjaga konsistensi dalam semua aspeknya [2], tidak ada menu lupa kata sandi, tidak ada informasi kontak dan tidak ada menu bantuan,  bagian  antarmuka  situs  sulit  dipahami  [3].  evaluasi  menggunakan  standar  atau  pendekatan  tertentu  yang diperlukan  untuk  mengurangi  dan  memahami  kondisi  saat  ini  dari  sistem  informasi  tersebut  [4]. Evaluasi  merupakan suatu  pemecah  masalah    yang  dapat  dilakukan  untuk  meningkatkan  kualitas website [5] . Jika  tidak  ada  evaluasi  yang
Riska Ayuni, Evaluasi Usability pada Sistem Informasi Beasiswa Menggunakan Metode Heuristic Evaluation dan Think Aloud
dilakukan sesuai dengan standar, maka tidak akan ada pemahaman mengenai kondisi sebenarnya dari website tersebut sejak  awal  pembangunannya.  Salah  satu  cara  untuk  mengevaluasi  kualitas  dan  fungsionalitas  dari  suatu  produk  atau antarmuka sistem adalah dengan melakukan evaluasi usability [6] . Fokus  konsep usability adalah  pada  pengembangan  sistem  yang  mudah  digunakan  dan  mudah  dipahami  oleh pengguna  [7].  Pentingnya  evaluasi usability terbukti  melalui  penelitian  yang  memusatkan  perhatian  pada  evaluasi aplikasi, terutama dalam aspek kegunaan aplikasi dan perbaikan antarmuka pengguna melalui pengujian usability [8]. Perilaku  pengguna  saat  pertama  kali  mengakses  sistem  adalah  salah  satu  faktor  yang  menentukan  pentingnya  aspek usability . Banyak pengguna tidak dapat menerima desain sistem yang buruk, yang membutuhkan waktu untuk dipelajari [9].  Metode  evaluasi ini  termasuk  dalam  tiga  kategori:  inspeksi,  pengujian,  dan  penyelidikan [10]. Berbagai  teknik digunakan untuk  mengevaluasi usability , seperti Think Aloud , Cognitive Walkthrough , dan Heuristic Evaluation [11]. Dalam  pengujian usability menggunakan smartphone , ketiga  metode  ini  telah  dibandingkan,  dan  hasilnya menunjukkan bahwa metode penilaian Heuristic Evaluation menghasilkan nilai terbaik .  [12]. Penelitian terdahulu tentang evaluasi usability sistem informasi sudah pernah dilakukan, seperti pada penelitian [13], Dalam penelitian ini, metode Think Aloud dan Heuristic Evaluation digunakan untuk mengevaluasi usability . Empat puluh masalah yang paling penting dalam penggunaan Padiciti diidentifikasi menggunakan kedua pendekatan tersebut. Pada penelitian  [14], Hasil penelitian menunjukkan bahwa metode Heuristic Evaluation menemukan beberapa masalah pada tiga portal berita yang dievaluasi dengan tingkat kesalahan kecil. Namun, prioritas perbaikan untuk masalah tersebut rendah, dengan nilai keseriusan rata-rata 2, dan analisis Think Aloud menemukan 85 saran perbaikan untuk portal berita tersebut.  Pada  studi  ini  [15],    evaluasi usability dilakukan  dengan  menggunakan  7  dari  10 Heuristik  Usability .  Hasil evaluasi menunjukkan bahwa nilai SUS yang diperoleh adalah 21.3 poin, yang berada di bawah standar yang ditetapkan. Selain itu, ditemukan beberapa kesalahan terkait tampilan, seperti kelebihan konten, tampilan yang tidak diperbaharui, serta ketidaktersediaan menu bantuan dan tombol navigasi seperti next, previous , dan close pada fitur melihat gambar. Penelitian [16], Evaluasi usability pada aplikasi Among Kota menggunakan metode Think Aloud dan Heuristic Evaluation berhasil mengidentifikasi 31 permasalahan melalui metode Think Aloud , sementara melalui metode Heuristic Evaluation teridentifikasi 26 permasalahan. Dari jumlah tersebut, 24 permasalahan mendapatkan persetujuan dari seluruh evaluator, sedangkan  2  permasalahan  hanya  mendapatkan  persetujuan  dari  3  evaluator. Selanjutnya  pada  penelitian  [17],  Dalam penelitian yang dilakukan untuk mengevaluasi website berita online , ditemukan permasalahan terkait aspek heuristik pada prinsip aesthetic and minimalist design . Namun, penelitian ini memiliki keterbatasan dalam hal jumlah responden yang hanya  terdiri  dari  5  orang,  dan responden  tersebut  bukanlah  pengguna  langsung  dari  portal  tersebut.  Keuntungan  dari melibatkan  pengguna  dalam  evaluasi  adalah  mendapatkan  informasi  tentang  cara  pengguna  menggunakan  sistem  dan menghadapi  masalah secara langsung.  Metode evaluasi  ini menggunakan pengguna dalam proses evaluasi  [10]. Salah satu teknik dari metode pengujian yang efektif dalam menggambarkan kebutuhan pengguna adalah Think Aloud . [6]. Tujuan utama usability testing adalah untuk mengevaluasi nilai produk atau layanan dengan menguji produk atau layanan  pada  pengguna  untuk  mengevaluasi  seberapa  baik  sistem  bekerja  dan  seberapa  baik  sistem  tersebut  dapat memenuhi harapan pengguna [18]. Usability Testing adalah suatu metode yang melibatkan partisipasi responden dalam melakukan evaluasi langsung terhadap produk [19]. Usability Testing melibatkan berbagai teknik dengan fungsi dan hasil yang berbeda. Dalam penelitian ini, digunakan dua teknik, yaitu Think Aloud dan Heuristic Evaluation . Pemilihan teknik Think  Aloud dilakukan  karena  teknik  ini  memungkinkan  pengguna  untuk  merekam  masalah  yang  dihadapi  dan memberikan saran serta rekomendasi selama pengujian usability [13] . Think Aloud adalah suatu metode pengujian yang melibatkan pengguna dalam melakukan verbalisasi terus-menerus tentang pemikiran mereka saat menggunakan sistem [20]. Think  Aloud mengamati  bagaimana  pengguna  menggunakan  sistem,  sehingga  tidak  memerlukan  keahlian  yang sangat tinggi dala m usability [21]. Think Aloud memiliki banyak keuntungan, seperti harganya yang terjangkau, kekuatan, fleksibilitas,  meyakinkan,  dan  kemudahan  penggunaan  [11].  Adapun  Tujuan  dari  penelitian  ini  adalah  untuk mengevaluasi usability sistem  informasi  Beasiswa  UIN  Suska  Riau  serta mengetahui  seberapa  mudah  sistem  tersebut digunakan dan  membuat rekomendasi untuk perbaikannya.
Berdasarkan  paparan  diatas,  serta  dari  pemetaan  penelitian  terdahulu  dapat  disimpullkan  bahwa  menerapkan metode Heuristic  Evaluation dan Think  Aloud pada  sistem  informasi  Beasiswa  dapat  lebih  banyak  menemukan permasalah usability serta dapat lebih efektif untuk menggambarkan kebutuhan pengguna. Dalam penelitian ini, metode Heuristic Evaluation dan Think Aloud digunakan untuk menilai usability sistem informasi beasiswa di UIN Suska Riau. Penelitian  ini  bertujuan  untuk  menghasilkan  manfaat  teoritis  dalam  evaluasi usability dan  rekomendasi  praktis  untuk perbaikan desain sistem informasi beasiswa.

## 2. METODOLOGI PENELITIAN

## 2.1 Tahapan Penelitian
Untuk  mewujudkan  tujuan  penelitian,  dilakukan  Sejumlah  tindakan  terencana,  terstruktur  dan  sistematis  yang dikembangkan untuk mencapai tujuan penelitian. Studi ini mencakup metodologi yang disajian pada Gambar 1.
Riska Ayuni, Evaluasi Usability pada Sistem Informasi Beasiswa Menggunakan Metode Heuristic Evaluation dan Think Aloud
Gambar 1. Alur Penelitian

## 2.1.1 Identifikasi Masalah
Identifikasi  masalah dilakukan dengan observasi  langsung terhadap sistem informasi  Beasiswa UIN Suska Riau, serta wawancara langsung dengan beberapa pengguna dari sistem informasi oleh peneliti.

## 2.1.2 Studi Literatur
Pada tahap ini, peneliti membaca literatur, mencatat literatur yang relevan, dan mengelola data sebagai dasar penelitian. Jurnal, buku, dan website resmi yang berhubungan dengan topik penelitian yang akan digunakan sebagai sumber rujukan.

## 2.1.3 Evaluasi dengan Heuristic Evaluation
Pada tahap ini juga melibatkan penyiapan data dan responden dalam metode evaluasi  heuristik. Beberapa faktor yang perlu diperhatikan dalam penelitian ini antara lain sumber data, jenis data, metode pengumpulan data, dan pengolahan data. Dalam penelitian ini, 100 responden digunakan untuk memperoleh statistik stabil dalam metode evaluasi heuristik. Responden  dipilih  secara  acak  dengan  menggunakan  teknik simple  random  sampling [22].  Responden  penelitian  ini adalah mahasiswa yang pernah mendapatkan beasiswa. Pengumpulan data dilakukan menggunakan kuesioner heuristik. Evaluasi Sistem Informasi Beasiswa UIN Suska Riau melibatkan 29 tugas heuristik, dan Proses penyusunan kuesioner heuristik dilakukan dengan menggunakan 10 prinsip heuristik yang ada.

## 2.1.4 Evaluasi dengan Think Aloud
Pada  tahap  ini,  masalah  dapat  muncul  melalui  komentar  dan  tindakan  responden  saat  menggunakan  sistem  informasi Beasiswa UIN Suska Riau. Masalah dapat berupa tanggapan positif atau negatif yang menunjukkan kepuasan responden terhadap sistem informasi Beasiswa UIN Suska Riau. Metode Think Aloud , menurut Ericsson dan Simon, membutuhkan antara  delapan  sampai  sepuluh  responden  pengguna  [23].  Statistik  ini  dianggap  cukup  untuk  memahami  perilaku pengguna saat menjalankan skenario tugas di sistem informasi tersebut. Responden penelitian ini berasal dari mahasiswa yang  pernah  menerima  beasiswa  di  UIN  Suska  Riau.  Untuk  metode Think  Aloud ,  diperlukan  Task  Scennario  yang mendukung  proses  tersebut.  Serangkaian  tugas  yang  dirancang  oleh  peneliti  untuk  membantu  mereka  menggunakan sistem selama pengujian [16].
Tabel 1. Task Scenario No Task Scenario
1 Terlebih dahulu mengakses sistem informasi Beasiswa UIN Suska Riau menggunakan browser yang tersedia pada perangkat anda
2 Melihat rincian persyaratan beasiswa yang tersedia saat ini pada beranda sebelum log in
3 Log in pada sistem informasi  Beasiswa UIN Suska Riau
4 Mengakses menu permohonan saya
Riska Ayuni, Evaluasi Usability pada Sistem Informasi Beasiswa Menggunakan Metode Heuristic Evaluation dan Think Aloud
5 Mengakses menu Beasiswa yang tersedia saat ini
6 Mengakses menu LPJ
7 Log Out pada sistem informasi Beasiswa UIN Suska Riau

## 2.1.5 Analisis dan Pembahasan
Setelah  mendapatkan  hasil  analisis  dan  pembahasan  dari  kedua  metode  evaluasi  ( Think  Aloud  Method dan Heuristic Evaluation ), hasilnya akan digabungkan. Permasalahan akan diselesaikan untuk menentukan prioritas perbaikan sistem informasi  Beasiswa  UIN  Suska  Riau.  Dalam  metode Think  Aloud ,  pengumpulan  data  dilakukan  menggunakan Task Scenario yang  dikerjakan  langsung  oleh reponden. Evaluasi  pada Heuristic  Evaluation mempergunakan  29  kuisioner, Penyusunan kuesioner heuristik dilaksanakan menggunakan 10 prinsip heuristik . Setelah data terkumpul, dilakukan uji validitas dan reliabilitas. Untuk menghitung dan menganalisis hasil kuisioner digunakan IBM SPSS STATISTICS S23 untuk mengetahui tingkat usability pada sistem informasi beasiswa UIN Suska Riau. Data  rating Think  Aloud dianalisis  dengan  menghitung  repetisi  rekomendasi  responden.  Data  rangkuman rekomendasi  diperoleh  dari  hasil  wawancara  dengan  responden  sambil  menonton  rekaman  video.  Wawancara dilaksanakan  guna  memperoleh  informasi  mengenai  pengalaman  dan  pandangan  responden  saat  menggunakan  sistem informasi  beasiswa  tersebut.  Pengolahan  data  dilakukan  dengan  mengumpulkan  umpan  balik  dari  responden  secara verbal,  termasuk  saran  dan  kesulitan  yang  diungkapkan  oleh  responden,  beserta  saran  yang  diberikan  setelah  sesi  tes berakhir [24].

## 2.1.6 Rekomendasi Perbaikan Hasil Evaluasi
Setelah  melakukan  analisis,  hasilnya  akan  digabungkan  untuk  mencapai  kesimpulan  akhir  tentang  evaluasi  sistem informasi  beasiswa  dan  rekomendasi  perbaikan.  Rekomendasi  perbaikan  yang  diperoleh  akan  diimplementasikan kedalam wireframe menggunakan software desain untuk redesign perbaikan tersebut.

## 2.1.7 Penarikan Kesimpulan dan Saran
Setelah mendapatkan hasil analisis dari evaluasi terhadap sistem informasi Beasiswa tersebut, akan di dapatkanpenarikan kesimpulan dan saran yang diberikan.

## 3. HASIL DAN PEMBAHASAN

## 3.1 Heuristic Evaluation
Pada bab ini dilakukan analisis dan pengukuran tingkat keberhasilan sistem informasi Beasiswa UIN Suska Riau ditinjau dari usability dengan  menggunakan  metode Heuristic  Evaluation .  Langkah-langkah  pengukuran  dilakukan  melalui observasi dan wawancara untuk menilai keadaan sistem informasi yang sedang berjalan. Selain itu, kuesioner dibagikan untuk  mengetahui nilai dampak dari kualitas penggunaan (kegunaan). Setelah  berhasil memperoleh data, data tersebut kemudian diolah dan dianalisis untuk mengetahui pengaruh implementasi sistem informasi terhadap 10 prinsip Heuristic Evaluation, untuk memberikan rekomendasi dan saran perbaikan. Data yang digunakan dalam penelitian ini merupakan data  primer  yang  dikumpulkan  melalui  penyebaran  kuesioner  kepada  responden  menggunakan  sistem  informasi Beasiswa.  Setelah  data  terkumpul,  dilakukan  uji  validitas  dan  reliabilitas.  Untuk  menghitung  dan  menganalisis  data kuesioner digunakan IBM SPSS STATISTICS S23 untuk mengetahui tingkat usability sistem informasi Beasiswa UIN Suska Riau.
Penelitian ini mengumpulkan tanggapan dari kuesioner yang diisi oleh 100 pengguna Sistem Informasi Beasiswa UIN Suska Riau sebagai responden. Deskripsi data meliputi persentase rata-rata responden untuk setiap kategori yaitu sangat setuju (SS), setuju (S), tidak setuju (TS) dan Sangat tidak setuju (STS)  untuk mengukur tingkat usability pada setiap indikator, termasuk Visibility of system, Match Between System and The Real World, User Control and Freedom, Consistency and Standards, Error Prevention, Recognition Rather than Recall, Flexibility and Efficiency of Use, Aesthetic and  Minimal  Design,  Help  user  recognize,  diagnose  and  Recovery  from  errors,  dan  Help  and  Documentation .  Dari seluruh  responden  penelitian  yang  telah  ditentukan,  diperoleh  hasil  persentase  untuk  masing-masing  variabel  metode Heuristic Evaluation.
Berdasarkan pernyataan dari setiap variabel dalam kategori sangat setuju dan setuju, ditemukan hasil dengan nilai lebih besar dari 65% yang menunjukkan kualifikasi baik dan kualifikasi sangat baik. Hasil perhitungan dengan nilai di atas 65% dapat dilihat pada Tabel 2.
Tabel 2. Rekapitulasi Nilai Usability Testing Variabel Pernyataan Nilai H1 Visibility Of System Status Sistem jelas dalam menginformasikan keberadaan pengguna ketika berada pada suatu halaman (Ex: jika berada di halaman login maka yang harus dilakukan adalah menginputkan username dan password (P1) 91%
Riska Ayuni, Evaluasi Usability pada Sistem Informasi Beasiswa Menggunakan Metode Heuristic Evaluation dan Think Aloud
Saat saya menginput data, sistem memberikan notifikasi berhasil diinput atau gagal diinput (P2) 83% Ketika saya memasukkan kata sandi, sistem memberikan informasi kekuatan kata sandi (p3) 75% Setiap menjalankan sistem keduanya mendapatkan umpan balik (p4) 81% H2 Match Between System And Real World Menu menggunakan gaya bahasa yang konsisten (P5) 81% Penggunaan istilah pada sistem mudah dimengerti (P6) 90% Pemilihan warna pada sistem merupakan warna yang nyaman anda gunakan (P8) 78% H3 User Control And Freedom Semua link (Navigasi) yang ada pada sistem aktif dan mengarah pada halaman yang diinginkan (P9) 85% Jika sistem memiliki tingkatan menu / halaman, anda dapat dengan mudah kembali ke menu / halaman sebelumnya (P11) 86% H4 Consistency and Standars Sistem konsisten dalam penggunaan bahasa (hanya menggunakan satu bahasa) (P12) 88% Setiap menu / halaman pada sistem memiliki judul (P13) 75% Pemilihan jenis huruf, ukuran, dan paragraf pada sistem sudah sesuai dan konsisten dari setiap menu (P14) 86% sistem konsisten dalam memproses dan menyimpan data (Ex: Halaman yang menampilkan data/ file laporan beasiswa, sesuai dengan data file /laporan yang diinput / upload sebelumnya  (P15) 77% H5 Prevention Error System Sistem memberikan notifikasi pada saat melakukan penginputan data (ex: ketika menekan tombol " save " (simpan) pada halaman upload file beasiswa, sistem menampilakan konfirmasi lanjut atau batal) (P16) 79% Sistem mampu melakukan pencegahan pada saat pengguna melakukan kesalahan (ex: ketika menekan tombol hapus, sistem memunculkan konfirmasi hapus atau batal) (P17) 75% H6 Recognition rather than recall Tombol yang digunakan mudah dipahami (P18) 90% Adanya pesan kesalahan yang bersifat teknis (seperti menampilkan kode sumber) saat gagal mengakses halaman (P19) 72% H7 Flexibility and efficiency of use Menu pengelompokan dan informasi pada sistem dapat diingat dengan mudah (P21) 76% H8 Aesthetic and minimalist design Desain sistem sudah interaktif terhadap pengguna (P22) 81% Ukuran font pada sistem sudah sesuai (P23) 79%
Warna font dan latar belakang ( Background ) pada sistem sudah sesuai (P24) 79% H9 Help User Recognize, Diagnose And Recover From Errors Sistem memberikan pesan kesalahan yang jelas saat salah dalam melakukan perintah (ex: salah menginput username atau
password ) (P25) 82%
Berdasarkan pernyataan masing-masing dalam kategori "Tidak setuju" dan "sangat tidak setuju", terdapat variabel yang  mendapat  hasil  dengan  nilai  dibawah  65%, hal  ini  menunjukkan  tingkat  kualifikasi  sistem  cukup  baik  dan  tidak baik. Hasil perhitungan dengan nilai di bawah 65% dapat ditemukan dalam Tabel 3.
Tabel 3. Rekapitulasi Nilai Usability Testing Variabel Pernyataan Nilai H2 Match between system and real world Gambar atau simbol yang ada pada sistem sudah sesuai (P7) 63% H3 User Control And Freedom Sistem memberikan notifikasi pembatalan seperti Exit/Cancel saat ingin keluar dari sistem (P10) 61% H7 Flexibility and Efficiency Of Use Akses masuk ke sistem cepat (P20) 60% H9 Help User Recognize, Diagnose And Recover From Errors Sistem memudahkan saya untuk mengenali, mendiagnosa, dan keluar dari error (P26) 63%
Riska Ayuni, Evaluasi Usability pada Sistem Informasi Beasiswa Menggunakan Metode Heuristic Evaluation dan Think Aloud
H10 Help and Documentation Sistem menyediakan menu bantuan ( Help) (P27) 61% Pada sistem terdapat panduan yang dapat dilihat secara online (P28) 54% Pada sistem terdapat fasilitas hubungi kami / korespondensasi dari pemilik sistem  (P29) 59%
Selanjutnya,  dari  total  seluruh  variabel  ditemukan  persentase  sebesar  75%  untuk  kategori  ditemukan  dan  25% untuk kategori tidak ditemukan Berdasarkan Berdasarkan hasil persentase dari seluruh variabel, dapat disimpulkan bahwa tingkat usability secara keseluruhan adalah baik. Informasi terkait hasil persentase keseluruhan dapat ditemukan  Tabel 4.
Tabel 4. Hasil Akhir Usability Testing Indikator Hasil Akhir  Keterangan Hasil Usability Testing (ditemukan %) 75% Baik Berhasil Usability Testing (ditemukan %) 25% Tidak Baik  Tidak Berhasil
3.2 Think Aloud

## 3.2.1 Rancangan penelitian dengan Think Aloud
Rancangan  penelitian  berikut  ini  dilakukan  dengan  menetapkan  kriteria  responden  serta task  scenario yang menggambarkan langkah-langkah yang harus dilakukan oleh pengguna untuk mencapai tujuan tertentu. a. Responden
Penelitian ini melibatkan delapan orang dalam proses evaluasi. Kriteria peserta dalam penelitian ini adalah mahasiswa dari  UIN Suska Riau yang pernah mendapatkan beasiswa dari  universitas, berdomisili di Pekanbaru, dan memiliki kemampuan dalam menggunakan teknologi untuk dapat mengakses internet dan mencari informasi pada website yang ditinjau. b. Task Scenario
Task Scenario : Setelah menetapkan kriteria responden, skenario tugas harus dibuat untuk menguji kegunaannya. Serangkaian  tindakan  yang  akan  dilakukan  oleh  responden  pada  antarmuka  yang  diuji  dikenal  sebagai task skenario. Task Skenario memberikan konteks yang disusun sesuai dengan situasi nyata sehingga responden merasa terlibat dan memiliki kepentingan dalam penggunaan website tersebut. Halaman web Sistem Informasi Beasiswa UIN Suska Riau berisi tujuh skenario kegiatan untuk pengujian. Tabel 1 menampilkan daftar skenario tugas yang akan diuji dan penjelasannya.

## 3.2.2 Rancangan Penelitian dengan metode Think Aloud
Pada  penelitian  ini  terdapat  7  Skenario  Tugas  yang  diberikan  kepada  pengguna  sebagai  bagian  dari  pengujian  sistem informasi  Beasiswa  UIN  Suska  Riau.  Setelah  menentukan  kriteria  responden  dan  menyusun  skenario  tugas,  langkah selanjutnya adalah melakukan pengujian  pada sistem informasi. Dalam pelaksanaannya, peneliti memberikan skenario tugas  kepada  responden  berdasarkan  skenario  yang  telah  disiapkan  sebelumnya.  Setelah  peneliti  selesai  membaca instruksi, responden akan menjalankan skenario tugas yang disediakan. Responden kemudian meimbeirikan reispoin dan tanggapan dari seitiap task sceinarioi yang teilah dibeirikan.
Tabel II menunjukkan hasil skenario penyelesaian semua tugas peserta yang diselesaikan oleh responden. Tanda centang menunjukkan bahwa skenario tugas berhasil diselesaikan, sedangkan tanda silang menunjukkan bahwa skenario tugas tidak selesai. responden keenam tidak menyelesaikan skenario tugas di T4 yang diberikan oleh peneliti. Sementara itu,  Dalam  skenario  tugas  ke-7,  responden  ke-8  gagal  menyelesaikannya.  Namun  responden  pertama,  kedua,  ketiga, keempat, kelima dan ketujuh mampu menyelesaikan semua skenario tugas yang diberikan oleh peneliti.
Tabel 5. Keberhasilan Pengerjaan Task Scenario T1 T2 T3 T4 T5 T6 T7 R1 ✓ ✓ ✓ ✓ ✓ ✓ ✓ R2 ✓ ✓ ✓ ✓ ✓ ✓ ✓ R3 ✓ ✓ ✓ ✓ ✓ ✓ ✓ R4 ✓ ✓ ✓ ✓ ✓ ✓ ✓ R5 ✓ ✓ ✓ ✓ ✓ ✓ ✓ R6 ✓ ✓ ✓  ✓ ✓ ✓ R7 ✓ ✓ ✓ ✓ ✓ ✓ ✓ R8 ✓ ✓ ✓ ✓ ✓ ✓ 
Berdasarkan hasil uji skenario tugas oleh responden pada tabel 5, dapat disimpulkan bahwa dari 8 responden, 2 responden (R6 dari T4 dan R8 dari T7) tidak mampu menyelesaikan semua tugas yang diberikan. Sedangkan 5 responden lainnya (R1, R2, R3, R4, R5, R7) telah berhasil menyelesaikan semua tugas yang diberikan. Aktivitas yang tidak dapat
Riska Ayuni, Evaluasi Usability pada Sistem Informasi Beasiswa Menggunakan Metode Heuristic Evaluation dan Think Aloud
dilakukan oleh kedua responden adalah task 4, di  mana mereka tidak dapat  mengakses menu permohonan saya  pada sistem tersebut, dan task  7, di mana mereka mengalami loading yang terlalu lama saat logout dari sistem. Hal ini dapat membuat pengguna merasa tidak nyaman saat menggunakan sistem.
Metode  Think  Aloud  mencatat  semua  masukan  dan  kendala  yang  disampaikan  oleh  responden  dalam menyelesaikan  skenario  tugas  tertentu.  Saran  yang  diberikan  oleh  masing-masing  responden  dirangkum  menjadi rekomendasi perbaikan . Tabel 6 berisi gambaran beberapa saran yang diberikan responden dalam menyelesaikan setiap tugas yang diberikan.
Tabel 6. Saran Perbaikan Responden Kode Saran Responden Halaman SRT3  Pada halaman login seharusnya ada button lupa password agar lebih memudahkan pengguna Login SRT3  Seharusnya pada saat login ada kalimat perintah untuk memasukkan akun
Login SRT4  Penempatan icon menu terlihat sama, harusnya dibedakan Menu SRT5  Pada beranda harusnya disediakan menu kontak dan tombol bantuan Beranda

## 3.3 Wireframe Rekomendasi Perbaikan
Setelah  mengumpulkan  data  dari  wawancara  dengan  responden  dan  mengolah  data,  beberapa  saran  untuk  perbaikan dibuat.  Rekomendasi  perbaikan  ini  akan  diimplementasikan  dalam  bentuk  wireframes  yang  mencerminkan  saran responden.  Gambar  2  menunjukkan  wireframe  implementasi  rekomendasi  perbaikan  Sistem  Informasi  Beasiswa  UIN Suska Riau yang tercantum pada Tabel 5. Perbaikan dilakukan dengan menambahkan tombol lupa password, tombol ingat saya,  perintah  memasukkan    akun  dan  label  username.  kolom  NIM.  Tujuannya  untuk  memudahkan  pengguna  dalam proses login ke sistem informasi tersebut.
Gambar 2. Hasil Perbaikan Halaman Login
Gambar  3.  menunjukkan  hasil  penerapan  perbaikan  yang  dilakukan  berdasarkan  masukan  responden  selama pengujian  kegunaan  menggunakan  metode Think  Aloud dengan  Skenario  Tugas.  Pada  halaman  ini  dilakukan penyempurnaan antara lain penambahan icon yang sesuai  pada halaman utama sistem informasi  Beasiswa UIN Suska Riau.  Inkonsistensi  di  beberapa  tampilan  juga  memengaruhi  pengalaman  pengguna  saat  masuk.  Oleh  karena  itu, konsistensi dalam tata letak sistem sangat penting untuk menghindari kesan yang tidak standar[2].
Riska Ayuni, Evaluasi Usability pada Sistem Informasi Beasiswa Menggunakan Metode Heuristic Evaluation dan Think Aloud
Gambar 4. menunjukkan hasil implementasi perbaikan beranda berdasarkan feedback responden selama usability testing . Perubahan yang dilakukan sesuai dengan rekomendasi perbaikan dari responden yaitu penambahan menu bantuan dan  kontak.  Tujuan  penambahan  ini  adalah  untuk  membantu  pengguna  dalam  mengatasi  kesalahan  dan  memperoleh informasi lebih lanjut. Selain itu, menu bantuan dan kontak juga berguna bagi mahasiswa ketika menemui kesalahan atau kesulitan dan mempermudah pencarian informasi[25], pada saat ini menu bantuan dan kontak belum tersedia pada sistem informasi Beasiswa UIN Suska Riau.
Gambar 4. Hasil Perbaikan Halaman Beranda
Gambar 5 menunjukkan hasil perbaikan berdasarkan saran dari responden selama pengujian kegunaan. Diantara perubahan yang telah dilakukan adalah penggantian gambar beasiswa dengan gambar yang lebih sesuai.
.

## Gambar 5. Hasil Perbaikan Halaman Beranda

## 4. KESIMPULAN
Hasil analisis dari metode Heuristic Evaluation yang telah dilakukan pada sistem informasi Beasiswa UIN Suska Riau telah  berhasil  mengidentifikasi  beberapa  variabel  dari  metode  Heuristic  yang  menunjukkan  tingkat  presentase  yang rendah. Persentase terendah terdapat pada variabel H2 (P7) 63%, pada variabel H3 (P10) 61%, pada variabel H7 (P20) 60%, pada variabel  H9 (P26) 63%, pada variabel H10 (P27) 61%, (P28) 54%, (P29) 59%. Pada hasil akhir Heuristic Evaluation mendapatkan persentase nilai  75%  hal  ini mengindikasikan bahwa sistem cukup baik  untuk penggunanya, untuk total tidak ditemukan mendapatkan nilai 25% hal ini mengindikasikan bahwa  sistem informasi ini  kurang baik bagi penggunanya. Setelah melakukan analisis menggunakan metode Think Aloud untuk mengevaluasi sistem informasi Beasiswa  UIN  Suska  Riau,  ditemukan  sebanyak  23  rekomendasi  perbaikan  berdasarkan  tanggapan  responden  selama mengerjakan skenario tugas. Namun, karena penelitian ini hanya sampai pada tahap memberikan rekomendasi perbaikan, penelitian selanjutnya dapat melanjutkan ke tahap pengujian desain solusi untuk memastikan bahwa solusi yang dibuat dapat diterapkan ke dalam sistem informasi tersebut.  Saran yang dapat peneliti berikan untuk mengembangkan penelitian ini  adalah  dengan  mengambil  pendekatan  yang  berbeda  untuk  memberikan  variasi  yang  lebih  dalam  lagi  pada  topik
Riska Ayuni, Evaluasi Usability pada Sistem Informasi Beasiswa Menggunakan Metode Heuristic Evaluation dan Think Aloud
usability Selain itu, peneliti dapat menambah jumlah saran perbaikan yang dihasilkan. Selanjutnya, evaluasi lebih lanjut terhadap implementasi rekomendasi ini direkomendasikan untuk penelitian selanjutnya.

## REFERENCES
[1] D.  I.  Sensuse  and  S.  H.  Prayoga,  “Analisis  Usability  Pada  Aplikasi  Berbasis  Web  Dengan  Mengadopsi  Model  Kepuasan Pengguna (User Satisfaction),” J. Sist. Inf., vol. 6, no. 1, p. 70, 2012, doi: 10.21609/jsi.v6i1.278.
[2] D. Caesaron, “evaluasi heuristic desain antar muka (interface) Portal mahasiswa (studi kasus portal Mahasiswa universitas x),” J. Metris, vol. 16, no. 01, pp. 9–14, 2015.
[3] P. Handiyani and A. Hermawan, “Kredibilitas portal berita online dalam pemberitaan peristiwa bom Sarinah tahun 2016 (Analisis isi portal berita detik. com dan kompas. com periode 14 Januari-14 Februari 2016),” J. Komun., vol. 12, no. 1, pp. 51–68, 2017.
[4] T. K. Ahsyar, A. Jakawendra, and S. Syaifullah, “Analisa usability website berita online menggunakan metode user centered design,” J. Ilm. Rekayasa dan Manaj. Sist. Inf., vol. 6, no. 2, pp. 165–172, 2020.
[5] L. D. Farida, “Pengukuran User Experience Dengan Pendekatan Usability (Studi Kasus: Website Pariwisata Di Asia Tenggara),” Semnasteknomedia Online, vol. 4, no. 1, pp. 1–3, 2016.
[6] N. L. P. R. Indriyani, G. R. Dantes, and K. Y. E. Aryanto, “Analisis Kebermanfaatan Website Sekolah Tinggi Pariwisata (Stipar) Triatma Jaya Menggunakan Metode Usability Testing,” Int. J. Nat. Sci. Eng., vol. 1, no. 2, pp. 56–64, 2017.
[7] M. Prabowo and A. Suprapto, “Usability Testing pada Sistem Informasi Akademik IAIN Salatiga Mengunakan Metode System Usability Scale,” JISKA (Jurnal Inform. Sunan Kalijaga), vol. 6, no. 1, pp. 38–49, 2021.
[8] I. M. Sukarsa, I. P. W. Buana, I. P. J. A. Utama, and N. W. Wisswani, “Evaluasi Usability dan Perbaikan Antarmuka untuk Meningkatkan User Experience Menggunakan Metode Usability Testing (Studi Kasus: Aplikasi Warga Bali),” J. Teknol. Inf. dan Ilmu Komput., vol. 9, no. 5, pp. 1003–1010, 2022.
[9] T. K. Ahsyar, Husna, and Syaifullah, “Evaluasi Usability Sistem Informasi Akademik SIAM Menggunakan Metode Heuristic Evaluation,” Semin. Nas. Teknol. Informasi, Komun. dan Ind., vol. 11, no. November, pp. 163–170, 2019.
[10]  S. Gupta, “A comparative study of usability evaluation methods,” Int. J. Comput. Trends Technol, vol. 22, no. 3, pp. 103–106, 2015.
[11]  J. Nielsen, “Usability Engineering (AP Professional, New York).” 1993.
[12]  A. P. Hendradewa, “Perbandingan Metode Evaluasi Usability (Studi Kasus: Penggunaan Perangkat Smartphone),” Teknoin, vol. 23, no. 1, 2017.
[13]  M. I. F. Pratama, H. M. Az-Zahra, and N. Y. Setiawan, “Evaluasi usability menggunakan metode Think Aloud dan Heuristic Evaluation pada aplikasi mobile Padiciti,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. e-ISSN, vol. 2548, p. 964X, 2019.
[14]  P.  Tantri  Fajarini,  N.  K.  Ayu  Wirdiani,  and  I.  P.  Arya  Dharmaadi,  “Evaluasi  Portal  Berita  Online  pada  Aspek  Usability Menggunakan  Heurtistic  Evaluation  dan  Think Aloud,”  J.  Teknol.  Inf.  dan  Ilmu  Komput.,  vol.  7,  no.  5,  p. 905,  2020,  doi: 10.25126/jtiik.2020753587.
[15]  O. C. B. Sianipar, K. Ukar, and B. Permana, “Evaluasi Antarmuka Pengguna untuk Meningkatkan Pengalaman Pengguna dengan Metode Heuristic dan Think-aloud,” Media Inform., vol. 20, no. 3, pp. 171–178, 2021, doi: 10.37595/mediainfo.v20i3.83.
[16]  Y. G. Pranandita, H. M. Az-Zahra, and D. Priharsari, “Evaluasi Usability pada Aplikasi Among Kota dengan Metode Think Aloud dan Heuristic Evaluation,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. e-ISSN, vol. 2548, p. 964X.
[17]  T.  K.  Ahsyar  and  D.  Afani,  “Evaluasi  Usability  Website  Berita Online  Menggunakan  Metode Heuristic  Evaluation,”  J.  Ilm. Rekayasa dan Manaj. Sist. Inf., vol. 5, no. 1, pp. 34–41, 2019.
[18]  W.  Welda,  D.  M.  D.  U.  Putra,  and  A.  M.  Dirgayusari,  “Usability  Testing  Website  Dengan  Menggunakan  Metode  System Usability Scale (Sus) s,” Int. J. Nat. Sci. Eng., vol. 4, no. 3, pp. 152–161, 2020.
[19]  I. N. Arifin, H. Tolle, and R. I. Rokhmawati, “Evaluasi dan Perancangan User Interface untuk Meningkatkan User Experience menggunakan Metode Human-Centered Design dan Heuristic Evaluation pada Aplikasi Ezyschool,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. e-ISSN, vol. 2548, p. 964X, 2019.
[20]  I. Astuti, W. A. Kusuma, and F. Ardiansyah, “Analisis usability homepage situs web Perpustakaan Nasional RI menggunakan metode think-aloud,” J. Pustak. Indones., vol. 15, no. 1–2, 2016.
[21]  Y. Ichsani, “Usability performance evaluation of information system with concurrent think-aloud method as user acceptance testing: a literature review,” in International Conference on Science and Technology (ICOSAT 2017)-Promoting Sustainable Agriculture, Food Security, Energy, and Environment Through Science and Technology for Development, 2017, pp. 116–121.
[22]  D. Sugiyono, “Prof, Statistika Untuk Penelitian,” Bandung Alf. Bandung, 2017.
[23]  K. A. Ericsson and H. A. Simon, “Protocol analysis: Verbal reports as data Cambridge,” EUA Massachusetts Inst. Technol., 1993.
[24]  M. I. Sya’Roni, A. P. Kharisma, and F. Amalia, “Perbandingan hasil metode evaluasi usability antara Heuristic Evaluation dengan Think Aloud pada kasus web Filkom Apps untuk mahasiswa,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. e-ISSN, vol. 2548, p. 964X, 2017.
[25]  S. I. Irwan, I. S. Sitanggang, and B. Mustafa, “Analisis Usabilitas Sistem Informasi Manajemen Penerimaan Koleksi Deposit Di Perpusnas Berdasarkan Pendekatan Evaluasi Heuristik,” J. Pustak. Indones., vol. 14, no. 1, 2015.