## EVALUASI USABILITY PORTAL AKADEMIK MAHASISWA MENGGUNAKAN METODE THINK ALOUD (STUDI KASUS: POLITEKNIK KEUANGAN NEGARA STAN)
Azzahra Cantika Maharani 1* , Retno Indah Rokhmawati 2 , Yusi Tyroni Mursityo 3 1,2,3 Sistem Informasi, Universitas Brawijaya email : zahraamaharani@student.ub.ac.id *
Abstrak: PKN  STAN  merupakan  pendidikan  tinggi  kedinasan  di  bawah  Badan  Pendidikan  dan  Pelatihan Keuangan,  Kementerian  Keuangan  RI,  yang  menyelenggarakan  pendidikan  Program  Studi  Diploma  bidang keuangan  negara.  Tujuan  penelitian  ini  adalah  mengevaluasi  portal  akademik  mahasiswa  untuk  mengetahui permasalahan usability dan  memberikan  perbaikan.  Digunakan  metode think  aloud yang  merupakan  metode pengujian sistem dengan user secara verbal sehingga memudahkan pengamat untuk mengintepretasikan antarmuka bermasalah  secara real-time .  Dari  permasalahan  yang  ditemukan,  diberikan  rekomendasi  perbaikan  antarmuka pengguna  yang  akan  dievaluasi  kembali  untuk  mengetahui  perbandingan  hasil  evaluasi.  Penelitian  ini menghasilkan data kualitatif yaitu feedback pengguna dan data kuantitatif berupa penilaian tiga aspek usability yaitu  efektivitas,  efisiensi,  dan  kepuasan.  Hasil  evaluasi  perbandingan  kualitatif  menunjukkan  perbaikan  yang diberikan  mendapat  lebih  banyak  respons  positif  namun  masih  terdapat  respons  negatif  seperti  perlunya penyesuaian terhadap perbaikan dan komponen yang digunakan. Untuk hasil kuantitatif, didapatkan peningkatan tingkat efektivitas sebesar 9,5%, tingkat efisiensi meningkat sebesar 2%, dan nilai rata-rata kepuasan pengguna naik sebesar 21,4.
Kata Kunci : Evaluasi Usability , PKN STAN, Portal Akademik, Think Aloud
Abstract: PKN STAN is an official higher education under the Financial Education and Training Agency, Ministry of Finance of the Republic of Indonesia, which organizes Diploma Study Program education in the field of state finance. The purpose of this research is to evaluate student academic portals to find out usability problems and provide improvements. The think aloud method is used which is a system testing method with the user verbally making it easier for observers to interpret problematic interfaces in real-time. From the problems found, recommendations for improving the user interface are given which will be re-evaluated to find out the comparison of the evaluation results. This study produced qualitative data, namely user feedback and quantitative data, in the form of assessments of three aspects of usability, namely effectiveness, efficiency, and satisfaction. The results of the qualitative comparison evaluation showed that the improvements made received more positive responses but there were still negative responses such as the need for adjustments to the improvements and components used. For quantitative results, the effectiveness level increased by 9.5%, the efficiency level increased by 2%, and the average value of user satisfaction increased by 21.4.
Keywords : Usability Evaluation, PKN STAN, Academic Portal, Think Aloud

## PENDAHULUAN
Teknologi  informasi  saat  ini  digunakan  di berbagai  sektor  organisasi,  termasuk  organisasi sektor  publik.  Salah  satu  contoh  organisasi  sektor publik  yang  memanfaatkan  teknologi  sistem informasi  adalah  universitas. Website merupakan salah  satu  teknologi  yang  sering  digunakan  dalam bidang  pendidikan. Website adalah  kumpulan halaman dengan banyak jenis informasi di dalamnya, termasuk  teks,  foto  diam,  gambar  bergerak,  video, suara,  dan  semua  kemungkinan  kombinasi. Website dapat  bersifat  statis  atau  dinamis,  membentuk bangunan  yang  saling  terkait  dan  dihubungkan jaringan halaman [2].
Portal  akademik  adalah  salah  satu  contoh bagaimana situs web digunakan di perguruan tinggi. Sebuah  sistem  informasi  yang  disebut  portal akademik  berfungsi  sebagai  penyalur  informasi  dari unit  akademik  dan  saluran  komunikasi  untuk akademisi  di  kampus  [3].  Setiap  perguruan  tinggi
memiliki portal akademik mahasiswa yang disesuaikan dengan kebutuhan, tidak terkecuali PKN STAN.  PKN  STAN  adalah  pendidikan  tinggi kedinasan di bawah Badan Pendidikan dan Pelatihan Keuangan (BPPK), Kementerian Keuangan Republik Indonesia,  yang  menyelenggarakan  pendidikan Program  Studi  Diploma  bidang  keuangan  negara. PKN  STAN  menyediakan  fasilitas  penunjang perkuliahan  seperti Learning  Management  System (LMS) dan portal akademik.
Portal  akademik  menjadi  sistem  informasi  yang diandalkan  untuk  mendukung  berjalannya  kegiatan akademik  terutama  dari  sisi  mahasiswa.  Frekuensi penggunaan  yang  tinggi,  menuntut  sistem  dapat berjalan secara efektif dan efisien serta terhindar dari masalah-masalah  yang  dapat  membuat  kegiatan akademik  terganggu.  Namun,  portal  akademik  ini masih sering mengalami kendala yang menyebabkan terganggunya  kegiatan  akademik.  Permasalahan- permasalahan usability ini  dapat  mempengaruhi
tingkat  kemudahan  dan  kepuasan  pengguna  dalam menggunakan aplikasi [4].
Usability merupakan  atribut  yang  digunakan untuk  meningkatkan  kualitas  dan  menilai  suatu sistem dengan menentukan seberapa mudah pengguna  menggunakan  antarmuka  sistem  untuk mencapai  tujuannya,  yang  dapat  berujung  pada kepuasan  pengguna  saat  menggunakannya  [5]. Metode think  aloud merupakan  salah  satu  metode evaluasi  yang  dapat  membantu  pengukuran  tingkat usability dari  sudut  pandang pengguna. Think aloud adalah  suatu  metode  pengujian  sistem  yang melibatkan  pengguna  atau end  user secara  verbal, khususnya  dengan  mengungkapkan  segala  sesuatu yang  dirasakan  dan  dipikirkan  pengguna  ketika menggunakan suatu aplikasi [6].
Dalam  penelitian  ini  maka  akan  dilakukan pengujian menggunakan metode think aloud dengan menilai  tiga  aspek usability menurut  ISO  9241-11 yaitu  efektivitas,  efisiensi,  dan  kepuasan  pengguna. Selain  itu  juga  didapatkan feedback dari  responden berupa response positif dan negatif.

## TINJAUAN PUSTAKA Penelitian Yang Relevan
Pada  penelitian  ini  terdapat  tiga  penelitian terdahulu    terkait  evaluasi  pada  web  atau  aplikasi menggunakan  metode Think  Aloud. Penelitian pertama  oleh  Sulistiya,  et  al.,  (2021)  dengan  judul “Penerapan  Metode Think  Aloud Untuk  Evaluasi Usability Pada Website Dinas  Pendidikan  dan Kebudayaan  Kota  MNO”.  Hasil  penelitian  ini  yaitu ungkapan  respons  positif  dan  negatif  dari  pengujian task  scenario oleh  responden.  Serta  pemberian rekomendasi  perbaikan  desain  yang  bertujuan  agar website dapat lebih baik dan berkembang.
Selanjutnya,  penelitian  yang  dilakukan  oleh Natasia,  et  al.,  (2021)  dengan  judul  “Evaluasi Usability  Website Dinas  Tenaga  Kerja  dan Transmigrasi Kabupaten XYZ Menggunakan Metode Think  Aloud”. Hasil  dari  penelitian  ini  adalah presentasi yang cukup rendah untuk hasil pengerjaan task scenario pada setiap responden. Analisis respons positif  dan  negatif  digunakan  sebagai  dasar rancangan perbaikan website tersebut berupa mockup wireframe . Beberapa bagian yang dilakukan perbaikan  yaitu  pada  halaman home ,  maksud  & tujuan,  sosialisasi  peraturan  kepegawaian,  dan dokumen. Perbaikan seperti pengubahan header dan footer , ukuran text , jenis font , dan peletakan objek. Terakhir  penelitian  dari  Abid  Awaludin (2022) dengan judul “Evaluasi User Experience Pada Game Belajar  Mudah  Huruf  Hijaiyah  dan  Iqro Menggunakan  Metode Think  Aloud”. Penelitian  ini menunjukkan  bahwa  objek  merupakan game yang mudah  untuk  dimainkan.  Namun  memerlukan perbaikan pada beberapa fiturnya. Selain itu metode think  aloud dianggap  cocok  untuk  evaluasi  kepada pengguna yang belum mampu dalam mengisikan user experience secara tertulis.

## Portal Akademik
Situs web yang menyediakan detail tentang akademik universitas dan dapat dilihat secara online dikenal  sebagai  portal  akademik.  Portal  akademik dibuat  berdasarkan  kebutuhan  pengguna  langsung sistem  sehingga  mereka  dapat  mengatasi  masalah yang mereka hadapi [10].

## Usability
Usability merupakan  sejauh  mana  produk dapat  digunakan  oleh user tertentu  untuk  mencapai tujuannya  dengan  lebih  efektif,  efisien,  dan memuaskan dalam ruang lingkup penggunanya [1].
Untuk  mendapatkan  hasil  penilaian  aspek usability ,  dilakukan  penilaian  pada  tiga  aspek usability menurut  ISO  9241-11  yaitu  efektivitas, efisiensi,  dan  kepuasan.  Nilai  efektivitas  didapatkan dari  penghitungan completion  rate yaitu  mengukur tingkat  penyelesaian. Task yang  berhasil  dikerjakan akan  diberi  nilai  biner  1  jika  pengguna  berhasil menyelesaikan tugas dan nilai biner 0 jika gagal.
Effectiveness= 𝑁𝑢𝑚𝑏𝑒𝑟 𝑜𝑓 𝑡𝑎𝑠𝑘𝑠 𝑐𝑜𝑚𝑝𝑙𝑒𝑡𝑒𝑑 𝑠𝑢𝑐𝑐𝑒𝑠𝑠𝑓𝑢𝑙𝑙𝑦 𝑇𝑜𝑡𝑎𝑙 𝑛𝑢𝑚𝑏𝑒𝑟 𝑜𝑓 𝑡𝑎𝑠𝑘𝑠 𝑢𝑛𝑑𝑒𝑟𝑡𝑎𝑘𝑒𝑛
(1)
Efektivitas  dapat  diperoleh  dari  persamaan di  atas. Number  of  tasks  completed  successfully merupakan  jumlah  tugas  yang  berhasil  diselesaikan oleh  responden.  Sedangkan total  number  of  tasks undertaken adalah  jumlah  tugas  yang  diberikan kepada responden untuk dikerjakan.
Efisiensi diukur dengan melihat waktu tugas (detik/menit)  yang  dihabiskan  pengguna  untuk berhasil  mengerjakan task .  Selanjutnya  pada penelitian  ini,  nilai  efisiensi  dihitung  menggunakan time based efficiency .
𝑇𝑖𝑚𝑒 𝐵𝑎𝑠𝑒𝑑 𝐸𝑓𝑓𝑖𝑐𝑖𝑒𝑛𝑐𝑦 = ∑ ∑ 𝑛𝑖𝑗 𝑡𝑖𝑗 𝑁 𝑖=1 𝑅 𝑗 𝑁𝑅 (2)
Keterangan: N= jumlah keseluruhan tugas yang diberikan. R= jumlah peserta uji yang melaksanakan pengujian. nij= penyelesaian tugas i yang dikerjakan peserta ke- j (Peserta sukses mengerjakan tugas memiliki nij= 1 sedangkan peserta gagal memiliki nij= 0). tij=  waktu  pengerjaan  dari  setiap  peserta  j  untuk mengerjakan tugas.
Penilaian  tingkat  kepuasan  pengguna  dapat dihitung  menggunakan kuesioner. Contoh  kuesioner yang  sering  digunakan  yaitu System  Usability  Scale (SUS). Kuesioner ini terdiri dari 10 item pertanyaan dan  memiliki  jawaban  dengan  skala  likert.  SUS dengan skala likert 5 digunakan dalam penelitian ini.

## Gambar 1. Pertanyaan Kuesioner SUS

## Think Aloud
Think  Aloud adalah  teknik  untuk  menguji sistem yang membuat  pengguna  atau end user terus menerus  mengekspresikan  pikiran  dan  perasaan mereka  saat  mereka  menggunakan  sistem  tersebut [6].

## User Interface
Antarmuka pengguna merupakan komputer dan  perangkat  lunak  yang  dapat  dilihat,  didengar, disentuh, diajak bicara, dan dipahami langsung oleh manusia [11].  Di  sisi  lain,  antarmuka  pengguna adalah  cara  perangkat  lunak  dan  pengguna berkomunikasi [12]
Task Scenario beberapa skenario yang dibuat atau disusun sebagai  sebuah  tugas  yang  harus  dikerjakan  oleh responden dalam sebuah pengujian. Dalam merancang task scenario , terdapat beberapa hal yang harus diperhatikan untuk pengguna [13].

## METODE
Menjelaskan  mengenai  metode  penelitian yang  akan  digunakan.  Tahapan  penelitian  dimulai dari  identifikasi  masalah  sampai  dengan  hasil  dari penelitian berupa kesimpulan dan saran.

## Gambar 2. Diagram Alir Penelitian
Sebagai  langkah  awal  dari  penelitian, dilakukan  identifikasi  masalah  dengan  penggalian informasi dengan melakukan wawancara singkat dan penyebaran  kuesioner.  Setelah  itu,  dilanjutkan dengan  studi  literatur  yang  digunakan  sebagai pendukung  penyelesaian  masalah  pada  penelitian yang dilakukan.
Langkah  selanjutnya  yaitu  pengumpulan data  sebagai  persiapan  dari  pengujian  meliputi penentuan jumlah responden, syarat dan kriteria bagi responden, perancangan task scenario , dan penyusunan  pertanyaan  wawancara.  Dilanjutkan dengan  melakukan  evaluasi  dengan  pengujian task scenario kepada responden dan melakukan wawancara  untuk  mendapatkan  saran,  mengetahui pendapat, dan perasaan pengguna pada evaluasi lebih dalam. Setelah evaluasi selesai, dilakukan penghitungan pada aspek usability untuk mengetahui penilaian  mengenai  sistem  dan  juga  dilakukan analisis  permasalahan.  Dari  analisis  hasil  evaluasi yang  pertama,  diberikan  rekomendasi  perbaikan berupa  antarmuka  pengguna  yang  dirancang menggunakan software Figma.  Perbaikan  diberikan kepada permasalahan dan saran yang ditemukan dari pengguna.  Untuk  merancang  perbaikan,  juga
memperhatikan guideline yang  akan  disesuaikan dengan kebutuhan perbaikan.
Setelah diberikan perbaikan antarmuka pada permasalahan usability pada  portal  akademik mahasiswa  PKN  STAN,  dilakukan  pengujian  atau evaluasi kedua guna mengetahui penilaian rekomendasi  perbaikan  yang  diberikan.  Selain  itu, juga dilakukan perbandingan hasil evaluasi  sebelum adanya  perbaikan  dengan  hasil  evaluasi  setelah perbaikan  sehingga  dapat  dilihat  apakah  terdapat peningkatan  atau  tidak.  Tahapan  terakhir  yang dilakukan adalah, dilakukannya penarikan kesimpulan mengenai penelitian yang dilakukan dan pemberian  rekomendasi  saran  untuk  penelitian kedepannya.

## HASIL DAN PEMBAHASAN Pengumpulan Data
Pada penelitian ini, jumlah responden yang digunakan  sebanyak  23  orang  yang  dipilih  secara acak  dari  setiap  angkatan.  Syarat/kriteria  dari responden  dalam  penelitian  ini  yaitu  merupakan mahasiswa  aktif  PKN  STAN  dan  menggunakan portal  akademik.  Sebelum  pengujian  dilakukan, penyusunan task scenario dan pertanyaan wawancara.  Berikut  merupakan  10 task  scenario pengujian.
Gambar 3. Daftar Task Scenario

## Evaluasi Sebelum Perbaikan
Saat melakukan evaluasi, pengguna memberikan  respons  positif  dan  negatif.  Response positif  berupa  ungkapan  pengguna  mengenai keberhasilan melakukan pengerjaan tugas. Selain itu juga  mengenai  kemudahan  pada  sistem.  Respons negatif,  berupa  komentar  atau  ungkapan  pengguna mengenai  tampilan  portal  akademik,  mengenai respon sistem, dan kegagalan pengerjaan tugas. Tabel 1  menjelaskan  hasil  aspek usability pada  evaluasi pertama.
Tabel 1. Hasil Evaluasi Sebelum Perbaikan Aspek Usability Effectiveness 86,5% Efficiency 12,2% Satisfaction 64,3
Setelah  evaluasi  dilakukan,  juga  terdapat wawancara kepada responden. Wawancara dilakukan untuk  mendapatkan  respons  dari  responden  lebih dalam. Topik pertanyaan yang diberikan terdiri dari 3 kategori mengenai pengalaman/perilaku, pendapat/nilai, dan perasaan responden saat melakukan pengujian. Berikut merupakan ringkasan hasil wawancara yang dilakukan kepada responden.
Gambar 4. Ringkasan Hasil Wawancara Rencana Perbaikan
Rencana  perbaikan,  dilakukan  terhadap permasalahan yang ditemukan. Terdapat 12 permasalahan  yang  didapatkan  dan  akan  diberikan perbaikan.  Permasalahan  yang  ditemukan  disajikan pada Gambar 5.
Gambar 5. Permasalahan yang ditemukan
Perbaikan  yang  diberikan,  mengacu  pada sebuah guideline .  Untuk guideline yang  digunakan yaitu 17 item dari total item pada Health and Human Service Guideline. Desain perbaikan yang direkomendasikan penulis, disusun dalam tiga bentuk layout  website pada  umumnya  yaitu desktop,  tablet, dan mobile  phone. Terdapat  dua  contoh  hasil
perbaikan yaitu pada permasalahan KM-01 dan KM- 03.
Gambar 6. Tampilan Halaman Login Portal Akademik
Perbaikan pada permasalahan yang pertama yaitu  pada  halaman  awal  atau  halaman  untuk login pada  sistem  portal  akademik  yang  kurang  menarik. Perbaikan  yang  dilakukan  yaitu  memperbarui tampilan  halaman login .  Gambar  6  merupakan tampilan dari halaman login pada portal akademik.
Gambar 7. Rekomendasi Perbaikan Halaman Login
Gambar 7 merupakan rekomendasi perbaikan yang diberikan untuk halaman login pada layout desktop.  Berdasarkan  permasalahan  yang dirasakan pengguna, dibuatlah rekomendasi perbaikan tampilan pada halaman login tersebut. Pada sisi  kiri  diletakkan  logo  dari  instansi,  gambar  dan informasi  penting yaitu kalimat “Selamat  Datang di Portal  Civitas  PKN  STAN”  yang  menjadi  prioritas utama.  Sedangkan form untuk login diletakkan  di sebelah  kanan.  Penyusunan  tersebut  mengacu  pada guideline mengenai  penetapan  tingkat  kepentingan dari tinggi ke rendah.
Pada  halaman  ini  elemen  disusun  sejajar secara  horizontal  dari  kiri  ke  kanan  seperti  pola membaca yang menjadi prinsip dalam hierarki visual. Font yang  digunakan  juga  diperbaiki  yaitu  dengan menggunakan  jenis font yang  familiar  untuk mencapai  kecepatan  membaca  pengguna  dengan sebaik mungkin dan ukuran yang digunakan minimal yang  digunakan  yaitu  12  point.  Pada  perbaikan  ini jenis font yang  digunakan  yaitu  Arial.  Selanjutnya dilakukan  perbaikan  pada  warna  tampilan  halaman
dan beberapa komponennya seperti button, font , dan form data login .
Perbaikan  warna  ini  disesuaikan  dengan color  palette dari  instansi  dan  kontras  warna  yang bertujuan  untuk  mengurangi  rasa  lelah  yang  dapat dirasakan  mata  manusia  saat  melihat  tampilan tersebut terlalu lama.  Untuk button “MASUK” juga dilakukan perbaikan bentuk dan ukurannya agar lebih sesuai  atau  proporsional  dengan  ukuran  komponen yang lainnya serta penulisan label pada button dengan jelas.
Gambar 8. Rekomendasi Perbaikan Halaman Login Layout Tablet
Rekomendasi  perbaikan  yang  diberikan pada  penelitian  ini,  selain  diberikan  dalam  bentuk desktop juga diberikan untuk layout website lainnya. Website dapat  diakses  melalui  berbagai device sehingga  untuk  penataan  tampilan  yang  diberikan juga menyesuaikan responsivitasnya terhadap berbagai jenis device tersebut. Gambar 8 merupakan rekomendasi  perbaikan  pada  halaman login portal akademik  PKN  STAN  pada layout  device tablet. Untuk ukuran tablet yang digunakan pada penelitian ini yaitu 834 x 1194 px.
Gambar 9. Rekomendasi Perbaikan Halaman Login Layout Tablet
Layout yang  ketiga  adalah mobile  phone . Pada perbaikan ini ukuran device mobile phone yang digunakan  adalah  375  x  667  px.  Perbaikan  yang
diberikan  tidak  jauh  berbeda  dengan  penataan  pada device tablet.  Namun,  pada layout ini  ukuran komponen  seperti font ,  logo,  dan  gambar  yang digunakan  memiliki  ukuran  yang  lebih  kecil menyesuaikan dengan ukuran device .
Gambar 10. Tampilan Awal Halaman Self Assessment Kesehatan
Tampilan dari halaman SAK yang menyisakan  banyak  ruang  kosong  dan card yang digunakan  kurang  memiliki  visual  yang  baik. Peletakan card tersebut  juga  dapat  diperbaiki  agar lebih  baik  untuk  mengurangi  ruang  kosong  yang terlalu banyak.  Perbaikan yang diberikan yaitu pada card yang  berisi  data  SAK  mahasiswa  dan  tombol untuk  pengisian  SAK. Card disusun  dengan menyesuaikan lebar dari halaman SAK namun tidak mengganggu fungsi utama dari fitur tersebut.

## Gambar 11. Rekomendasi Perbaikan Halaman Self Assessment Kesehatan
Komponen  lain  yang  merupakan  item penting pada halaman website seperti logo dan judul halaman, header ,  navigasi  menu,  dan footer ditempatkan secara konsisten.  Selain itu, juga diberi rekomendasi  perbaikan  pada button agar  konsisten seperti  rekomendasi  perbaikan  yang  diberikan  pada button lain.

## Gambar 12. Rekomendasi Perbaikan Halaman SAK Layout Tablet
Perbaikan  selanjutnya  yaitu  pemberian rekomendasi  penataan  halaman Self  Assessment Kesehatan untuk device tablet. Tidak ada perubahan penataan  yang  sangat  berbeda  dari  penataan  pada halaman  dengan device desktop.  Dengan  ukuran halaman yang lebih kecil, tampilan pun terlihat tidak memiliki ruang kosong yang terlalu banyak sehingga informasi  yang ingin ditampilkan juga dapat terlihat dengan jelas dan penataan halaman yang cukup baik.

## Gambar 13. Rekomendasi Perbaikan Halaman SAK Layout Mobile Phone
Gambar  13  menunjukkan  rekomendasi perbaikan  untuk  penataan  halaman Self  Assessment Kesehatan  untuk device mobile  phone .  Seperti  pada layout  untuk  tablet,  tidak  banyak  perubahan  yang dilakukan.  Seluruh  komponen  diletakkan  dengan posisi  yang  sama  dengan  penyesuaian  ukuran kembali.    Tidak  ada  perbedaan  lain  untuk rekomendasi  perbaikan  pada layout ini  seperti  pada layout tablet.

## Evaluasi Setelah Perbaikan
Setelah  diberikan  rekomendasi  perbaikan, dilakukan  evaluasi  untuk  mengetahui  apakah perbaikan  yang  diberikan  dapat  menghasilkan respons yang lebih baik dan meningkatkan nilai aspek usability yang diukur. Pada hasil evaluasi  mengenai
feedback  dari  responden  terhadap  perbaikan  yang diberikan,  terdapat  peningkatan  nilai  keberhasilan pengerjaan  task  dari  responden  dan  respons  negatif yang lebih sedikit daripada saat evaluasi pertama.
Tabel 2. Hasil Evaluasi Setelah Perbaikan Aspek Usability Effectiveness 96% Efficiency 14,2% Satisfaction 85,7
Pada  aspek usability ,  juga  dilakukan penilaian  seperti  pada  evaluasi  pertama  yaitu penilaian  terhadap  aspek  efektivitas,  efisiensi,  dan kepuasan  pengguna.  Tabel  2  merupakan  hasil evaluasi pada aspek usability setelah perbaikan.

## Perbandingan Hasil Evaluasi
Hasil  perbandingan feedback responden pada  sebelum  dan  sesudah  evaluasi  menghasilkan peningkatan. Hal tersebut dapat dilihat dari hasil task yang  dapat  dikerjakan  dan  respons  positif  yang diberikan. Serta untuk respons negatif juga berkurang daripada  sebelumnya.  Namun,  masih  tetap  terdapat respons  negatif  pengguna  mengenai  komponen  atau bagian yang ada pada hasil perbaikan yang diberikan. Pengguna juga memerlukan adaptasi untuk tampilan perbaikan  yang  baru.  Perbandingan  hasil  evaluasi usability untuk  tingkat  efektivitas,  efisiensi,  dan kepuasan ditunjukkan pada Gambar 14.

## Gambar 14. Hasil Perbandingan Evaluasi Sebelum dan Sesudah Perbaikan
Rekomendasi perbaikan yang diberikan dapat meningkatkan  nilai  pada  masing-masing  aspek usability . Pada aspek effectiveness memiliki peningkatan  sebesar  9,5%,  pada  aspek efficiency mendapatkan  peningkatan  sebesar  6,4%,  dan  pada aspek satisfaction mendapatkan  peningkatan  nilai rata-rata sebesar 21,4.

## KESIMPULAN DAN SARAN
Evaluasi think  aloud pada  portal  akademik mahasiswa PKN STAN dilakukan dengan pengujian 10 task  scenario kepada  23  responden.  Dari penelitian yang dilakukan, dapat disimpulkan bahwa evaluasi usability dengan  metode think  aloud dapat menggali  permasalahan  yang  dialami  pengguna dengan  baik.  Hal  itu  dapat  dilihat    dari  hasil perbandingan evaluasi usability sebelum dan sesudah diberikan  perbaikan.  Perbaikan  diberikan  dalam bentuk  desain  antarmuka  pengguna  yang  dirancang dengan  mengacu  pada Health  and  Human  Service guideline (HHS).
Dari  hasil  perbandingan  evaluasi  untuk feedback responden  ditemukan  bahwa  keberhasilan pengerjaan  task  oleh  responden  lebih  banyak  dan jumlah  respons  negatif  juga  berkurang  daripada sebelumnya.  Untuk  penilaian  aspek usability didapatkan  peningkatan  tingkat  efektivitas  sebesar, tingkat  efisiensi  sebesar  dan  peningkatan  nilai  rata- rata pada kepuasan pengguna sebesar .
Saran  dari  penulis  untuk  penelitian  ini, evaluasi  dapat  dikembangkan  dengan  menggunakan model usability lainnya, sehingga bisa mendapatkan penilaian  untuk  parameter  lainnya  dan  menambah pendapat  dari  pengguna.  Selain  itu,  dapat  dilakukan perbaikan terhadap hasil rekomendasi perbaikan yang diberikan.  Perbaikan  diberikan  berdasarkan  respons negatif dari pengguna setelah dilakukannya evaluasi kedua  agar  hasil  lebih  maksimal  dan  memenuhi kebutuhan serta kepuasan pengguna.

## DAFTAR PUSTAKA
[1] ISO  9241-11,  “Ergonomic  requirements  for office  work  with  visual  display  terminals (VDTs)  —  Part  11:  Guidance  on  usability,” 1998.
[Online]. Available:
https://www.iso.org/standard/16883.html.
[Diakses 15 Oktober 2022].
[2] D. Puspita dan S. Aminah, “Sistem Informasi Manajemen Kewirausahaan Pedesaan Berbasis
Web Multimedia,” Seminar Nasional Teknologi Informasi dan Komunikasi, pp. 626-
631, 19 Oktober 2018.
[3] M.  A.  dan  C.  Sylvia,  “Evaluasi  Desain Antarmuka  Portal  Akademik  Menggunakan Metode  Heuristic  Evaluation,” JURNAL MEDIA INFORMATIKA BUDIDARMA, vol. 3, no. 4, pp. 391-399, 2019.
[4] S.  E.  P.  Rosalinda,  N.  Ulinnuha  dan  D.
Rolliawati, “EVALUASI USABILITY SISTEM INFORMASI MANAJEMEN KEPEGAWAIAN  BERBASIS  ISO  9241-11
MENGGUNAKAN METODE PARTIAL LEAST  SQUARE,” Jurnal  Komunikasi, Media dan Informatika, vol. 7, no. 3, pp. 127- 134, 2018.
[5] J.  Nielsen,  “Usability  101:  Introduction  to Usability,” 2012. [Online]. Available: https://www.nngroup.com/articles/usability- 101-introduction-to-usability/.  [Diakses  26
July 2022].
[6] J. Nielsen, “Thinking Aloud: The #1 Usability Tool,” 2012. [Online]. Available: https://www.nngroup.com/articles/thinking- aloud-the-1-usability-tool/. [Diakses 30 September 2022].
[7] M.  Sulistiya,  Z.  Mu'afi,  S.  R.  Natasia  dan  M. Yusuf, “Penerapan Metode Think Aloud untuk Evaluasi  Usability  pada  Website  Dinas Pendidikan  dan  Kebudayaan  Kota  MNO,”
Jurnal  Telematika, vol.  16,  no.  1,  pp.  25-32, 2021.
[8] S.  R.  Natasia,  P.  A.  .  T.  Ashshofiah,  Y.  .  E. Hartanti  dan  J.  Muhammad,  “EVALUASI
USABILITY  WEBSITE  DINAS  TENAGA KERJA DAN TRASMIGRASI KABUPATEN XYZ  MENGGUNAKAN  METODE THINK- ALOUD,” Jurnal Teknologi Informasi, vol. 5, no. 2, pp. 134-143, 2021.
[9] A. Awaludin, “Evaluasi User Experience Pada Game Belajar Mudah Huruf Hijaiyah Dan Iqro Menggunakan Metode Think Aloud,”
Technology  and  Informatics  Insight  Journal, vol. 01, no. 1, pp. 11-16, 2022.
[10] Y.  Nuryanti,  “KAJIAN  PENERAPAN SISTEM INFORMASI AKADEMIK DENGAN MENGGUNAKAN METODE PIECES DALAM MENINGKATKAN KEPUASAN CIVITAS AKADEMIKA STIE-
STMIK  INSAN  PEMBANGUNAN,” Jurnal
IPSIKOM, vol. 5, no. 2, pp. 1-18, 2017.
[11] W.  O.  Galitz,  The  Essential  Guide  to  User Interface Design, 3rd penyunt., Canada: Wiley Publishing, 2007.
[12] S.  Lastiansah,  Pengertian  User  Interface, Jakarta: PT Elex Media Komputindo, 2012.
[13] M.  McCloskey,  “Turn  User  Goals  into  Task Scenarios  for  Usability  Testing,”  2014. [Online].
Available:
https://www.nngroup.com/articles/task-
scenarios-usability-testing/.  [Diakses  Oktober 24 2022].