How to cite: Gunawan.  I.  M.  A.  O.,  I  Made  Agus  Widiana  Putra  &  Kadek  Laksmi  Damayanthi  (2021).  Evaluasi Usability  pada  Website  Pustakawan  Ganeca  Digital  Menggunakan  User  Experience  Questionnaire  dan Think Aloud. Syntax Literate: Jurnal Ilmiah Indonesia, 6 (1). E-ISSN:
2548-1398 Published by: Ridwan Institute
Syntax  Literate:  Jurnal  Ilmiah  Indonesia  p–ISSN:  2541-0849 e-ISSN: 2548-1398 Vol. 6, Spesial Issue No. 1, November 2021

## EVALUASI  USABILITY  PADA  WEBSITE  PUSTAKAWAN  GANECA  DIGITAL MENGGUNAKAN  USER  EXPERIENCE  QUESTIONNAIRE  DAN  THINK ALOUD

## I Made Agus Oka Gunawan, I Made Agus Widiana Putra, Kadek Laksmi Damayanthi
Program Studi Sistem Informasi, Universitas Tabanan, Bali, Indonesia Email: agusokagunawan@gmail.com, imadeagusclass@gmail.com, deklaksmi2016@gmail.com

## Abstrak
Ganeca  Digital  merupakan  aplikasi  perpustakaan  digital  yang  dikembangkan berbasis website dan  aplikasi mobile .  Pada  2  tahun  berjalannya  layanan  aplikasi Ganeca  Digital  ini,  masih  terdapat  pengguna  yang  mengeluhkan  penggunaan Ganeca  Digital,  salah  satunya  adalah  dari  halaman  pustakawan.  Sehingga  perlu dilakukan  evaluasi  lanjutan  untuk  mendapatkan  rekomendasi  pengembangan Ganeca  Digital.  Salah  satu  metode  evaluasi  berbasis  pengguna  yang  dapat digunakan  adalah  evaluasi usability .  Berdasarkan  kajian  yang  dilakukan,  akan dikombinasikan  teknik User  Experience  Questionnaire dan Think  Aloud dalam melakukan  evaluasi  berbasis  pengguna .  User  Experience  Questionnaire (UEQ) mencakup  enam  aspek  dengan  26  butir  pernyataan.  Analisis  data  UEQ  dilakukan dengan  menggunakan  UEQ  Data  Analysis  Tool  dengan  membandingkan  nilai setiap  aspek  dengan  kumpulan  data  produk  yang  tersedia.  Pada  UEQ  akan dilibatkan  20  responden  untuk  mendapatkan  nilai  kepuasan  pengguna.  Evaluasi Think  Aloud melibatkan  10  responden  berdasarkan  hasil  UEQ.  Pada  penelitian  ini digunakan  25  skenario  tugas  yang  disesuaikan  dengan  fungsional  yang  ada. Hasil analisis  menunjukkan  bahwa  aspek  daya  tarik,  ketepatan,  stimulasi  dan  kebaruan termasuk  kategori  sangat  baik . Hasil  analisis  menunjukkan  prioritas  perbaikan dapat difokuskan pada aspek kejelasan yang termasuk kategori diatas rata-rata dan aspek  efisiensi  yang  termasuk  kategori  baik.  Adapun  nilai  rata-rata  setiap  aspek adalah sebagai berikut: aspek daya tarik sebesar 1,77; aspek kejelasan sebesar 1,39; aspek efisiensi sebesar 1,65; aspek ketepatan sebesar 1,84; aspek stimulasi sebesar 1,86  dan  aspek  kebaruan  sebesar  1,54.  Hasil  evaluasi Think  Aloud berhasil memperoleh 10 permasalahan yang dikemukakan responden. Pengembangan untuk penelitian  selanjutnya,  dapat  digunakan  teknik Performance  Measurement untuk membandingkan hasil evaluasi antara pakar dan pengguna aplikasi.
Kata Kunci : evaluasi; usability; user experience; kuesioner; think aloud.

## Abstract
Ganeca  Digital  is  a  digital  library  application  developed  based  on  websites  and mobile applications. In the 2 years since the Ganeca Digital application service has been running, there are still users who complain about using Ganeca Digital, one
of  which  is  from  the  librarian's  page.  So  it  is  necessary  to  carry  out  a  further evaluation to obtain recommendations for the development of Ganeca Digital. One of  the  user-based  evaluation  methods  that  can  be  used  in  usability  evaluation. Based on the study conducted, the User Experience Questionnaire and Think Aloud techniques  will  be  combined  in  conducting  user-based  evaluations.  The  User Experience Questionnaire (UEQ) covers six aspects with 26 statements. UEQ data analysis was carried out using the UEQ Data Analysis Tool by comparing the value of each aspect with the available product data set. In UEQ, 20 respondents will be involved  to  get  user  satisfaction  scores.  The  Think  Aloud  evaluation  involved  10 respondents  based  on  the  UEQ  results.  In  this  study,  25  task  scenarios  were  used that were adapted to existing functionalities. The results of the analysis show that the aspects of attractiveness, accuracy, stimulation, and novelty are in the excellent category. The results show that improvement priorities can be focused on aspects of perspicuity  which  are  included  in  the  above-average  category  and  aspects  of efficiency  which  are  included  in  the  good  category.  The  average  value  of  each aspect is as follows: attractiveness 1.77; perspicuity 1.39; efficiency 1.65; accuracy 1.84; stimulation 1.86 and novelty 1.54. The results of the Think Aloud evaluation succeeded  in  obtaining  10  problems  raised  by  the  respondents.  For  further research,  Performance  Measurement  can  be  used  to  compare  the  evaluation between experts and end-users.
Keywords: evaluation; usability; user experience; questionnaire; think aloud.

## Pendahuluan
Seiring dengan pesatnya perkembangan teknologi informasi, banyak layanan dan produk dihasilkan untuk mendukung tercapainya tujuan seorang individu. Layanan dan produk  ini  dapat  berupa  aplikasi  berbasis website,  desktop atau mobile .  Salah  satu bentuk  pemanfaatan  teknologi  informasi  adalah  dengan  dikembangkannya  aplikasi Ganeca  Digital.  Ganeca  Digital  merupakan  aplikasi  perpustakaan  digital  yang dikembangkan  berbasis website dan  aplikasi mobile .  Pada  Ganeca  Digital,  terdapat beberapa  level  akses  pengguna,  yaitu  halaman  pustakawan  dan  pengguna.  Pengguna dapat  melakukan  proses  peminjaman  buku  pada  suatu  perpustakaan  secara  digital, dimana pengelolaan perpustakaan dilakukan oleh pustakawan. Saat ini terdapat 100 ribu pengguna aplikasi dengan 700 perpustakaan yang dikelola oleh pustakawan.
Pada  2  tahun  berjalannya  layanan  aplikasi  Ganeca  Digital  ini,  masih  terdapat pengguna  yang  mengeluhkan  penggunaan  aplikasi mobile berdasarkan review yang diberikan di Google Playstore . Masukan yang diberikan oleh pengguna aplikasi mobile dianalisis  untuk  melakukan  perbaikan  aplikasi mobile .  Permasalahan  yang  perlu dilakukan perbaikan tidak hanya dari aplikasi mobile , namun juga dari halaman website pustakawan.  Selama  berjalan,  para  pustakawan  melakukan  komunikasi  menggunakan whatsapp sehingga data-data perbaikan yang dilakukan kadang terlewati atau tertumpuk dengan chat lain.  Oleh  sebab  itu,  untuk  mendapatkan feedback yang  lebih  baik  dari pustakawan,  perlu  dilakukan  evaluasi  pada  halaman website pustakawan  yang melibatkan pustakawan langsung.
Evaluasi usability merupakan  salah  satu  metode  evaluasi  yang  dapat  digunakan dalam melakukan menilai kebermanfaatan ( usability ) sebuah produk (Paramitha, 2018) . Pada  evaluasi  ini,  dilakukan  penilaian  terkait  seberapa  baik  dan  puas  pengguna  dalam menggunakan sebuah produk atau layanan. Evaluasi ini dapat dikategorikan menjadi 3 kategori,  yaitu inspection,  testing dan inquiry (Gupta,  2015) .  Setiap  kategori  memiliki teknik-teknik  tersendiri  dalam  melakukan  evaluasi.  Berdasarkan  permasalahan  yang telah  dijabarkan  sebelumnya,  evaluasi  dilakukan  berbasis  pengguna  yaitu  pustakawan Ganeca  Digital.  Sehingga  pada  penelitian  ini  digunakan  teknik  evaluasi  dari  kategori testing dan inquiry .
Usability testing digunakan  untuk  mengobservasi  pengguna  saat  berinteraksi dengan sistem, sedangkan inquiry digunakan untuk memperoleh data dalam mengetahui kepuasan pengguna (Tantri Fajarini, 2020) . Evaluasi inquiry memiliki beberapa teknik evaluasi, salah satunya adalah Questionnaire (Putri Ambarwati, 2021) . User Experience Questionnaire merupakan  salah  satu  jenis  kuesioner  yang  mampu  memberikan gambaran  aspek  kebermanfaatan  hingga  pengalaman  pengguna (Dewi,  2020) . User Experience  Questionnaire (UEQ)  terdiri  dari  26  butir  pernyataan  berdasarkan  6  aspek pengalaman pengguna (Wijaya, 2021) . Adapun 6 aspek tersebut, diantaranya daya tarik, kejelasan, efisiensi, ketepatan, stimulasi dan kebaruan (Schrepp, 2019) . Penerapan UEQ biasanya  dibutuhkan  waktu  selama  3  –  5  menit  untuk  membaca  dan  menyelesaikan kuesioner (Santoso,  2016) .  Keunggulan  lainnya  dari  UEQ  adalah  dapat  diakses  secara gratis  dan  tersedia  dalam  versi  Bahasa  Indonesia (Mochammad  Aldi  Kushendriawan, 2021) .  Analisis  data  UEQ  dilakukan  dengan  menggunakan  UEQ Data  Analysis  Tool dengan membandingkan nilai setiap aspek dengan kumpulan data produk yang tersedia (Schrepp, 2017) .
Evaluasi testing memiliki  beberapa  teknik  evaluasi,  salah  satunya  adalah Think Aloud (Astuti, 2017) . Teknik ini memungkinkan responden yang merupakan pengguna dari  suatu  produk  untuk  menceritakan  hal-hal  yang  dipikirkan  saat  menggunakan produk  tersebut (Roni,  2018) .  Teknik  ini  memerlukan  beberapa  skenario  yang  harus dikerjakan  oleh  setiap  responden (Hendradewa,  2017) .  Pada  penelitian  sebelumnya,  2 teknik  ini  dapat  dikombinasikan  untuk  memaksimalkan  hasil  evaluasi  yang  dilakukan (Indrawan,  2020) .  Penelitian  sebelumnya,  menunjukkan  bahwa  tahapan testing dilakukan terlebih dahulu, untuk selanjutnya dilakukan tahapan inquiry . Pada penelitian ini,  tahapan  penelitian  akan  dilakukan  dengan  diawali  tahapan inquiry kemudian dilanjutkan tahapan testing.
Berdasarkan  pemaparan  di  atas,  salah  satu  cara  yang  dapat  dilakukan  untuk mendapatkan masukan terkait perbaikan website pustakawan adalah dengan melakukan evaluasi usability .    Oleh  karena  itu,  peneliti  ingin  melakukan  penelitian  mengenai “Evaluasi Usability Pada Website Pustakawan  Ganeca  Digital  Menggunakan User Experience  Questionnaire Dan Think  Aloud ”.  Penelitian  ini  diharapkan  menghasilkan tingkat  kepuasan  pengguna  berdasarkan  hasil  UEQ  disertai  masukan-masukan perbaikan berdasarkan hasil teknik Think Aloud .

## Metode Penelitian
Penelitian Evaluasi Usability Pada Website Pustakawan Ganeca Digital ini adalah penelitian  berbasis  pengguna  dengan  menggunakan  metode  deskriptif  analitis.  Metode berupaya menjelaskan atau mencatat kondisi atau sikap untuk menjelaskan apa yang ada saat  ini (Indriyani,  2017) .  Penelitian  ini  menganalisis  secara  deskriptif  mengenai penggunaan Website Pustakawan  Ganeca  Digital  berdasarkan  aspek usability -nya. Tahapan penelitian yang dilakukan digambarkan dengan diagram alir penelitian, seperti ditunjukkan pada pada Gambar 1.
Rekomendasi perbaikan hasil evaluasi Melakukan pengumpulan data Think Aloud Identifikasi Masalah Mulai Studi Literatur Selesai Penyusunan Skenario Tugas Think Aloud Penentuan Metode Penentuan Responden Think Aloud Melakukan pengolahan dan analisis data hasil Think Aloud Penyusunan Kuisioner
Pengalaman Pengguna Melakukan pengumpulan data User Experience Questionnaire Melakukan pengolahan dan analisis data hasil User Experience Questionnaire

## Gambar 1 Diagram Alir Penelitian
Analisis  awal  dilakukan  terkait  identifikasi  masalah  dengan  studi  literatur. Berdasarkan studi literatur, didapatkan bahwa evaluasi dilakukan dengan menggunakan User  Experience  Questionnaire dan Think  Aloud. Pada  tahap  awal,  akan  dilakukan pengumpulan  data  kepuasan  pengguna  dalam  penggunaan  halaman  Pustakawan. Kuesioner yang digunakan merupakan kuesioner pengalaman pengguna berbasis Bahasa
Indonesia  dengan  disertai  pernyataan  tambahan  untuk  memperjelas  (Hinderks,  2019), salah butirnya seperti ditunjukkan Gambar 2.

## Gambar 2 Butir Kuesioner
Penggunaan  20-30  responden  pada  evaluasi  kepuasan  pengguna  sudah  dapat memberikan  hasil  yang  baik  dan  stabil (Schrepp,  2017) .  Sehingga  pada  penelitian  ini, tahap  awal  akan  memilih  20  responden  dari  700  pustakawan  yang  ada  di  Ganeca Digital.  Hasil  kuesioner  yang  telah  diisi  oleh  pengguna,  selanjutnya  dianalisis menggunakan  UEQ Data  Analysis  Tool .  Analisis  UEQ  dilakukan  dengan  menghitung rata-rata  nilai  setiap  aspek  yang  diberikan  oleh  setiap  responden  pada  26  butir pernyataan.  Hasil  UEQ  dilakukan  uji benchmark dan  akan  diinterpretasikan  sesuai dengan
Tabel 1 berikut (Schrepp, 2017) .

## Tabel 1 Rentang Benchmark
Aspek Kategori Sangat Baik Baik Diatas Rata-Rata  Dibawah Rata-Rata  Buruk Daya Tarik  ≥ 1.75 ≥ 1.52 < 1.75 ≥ 1.17 < 1.52 ≥ 0.7 < 1.17 < 0.7 Kejelasan ≥ 1.9 ≥ 1.56 < 1.9 ≥ 1.08 < 1.56 ≥ 0.64 < 1.08 < 0.64 Efisiensi ≥ 1.78 ≥ 1.47 < 1.78 ≥ 0.98
< 1.47
≥ 0.54 < 0.98 < 0.54 Ketepatan ≥ 1.65 ≥ 1.48 < 1.65 ≥ 1.14 < 1.48 ≥ 0.78 < 1.14 < 0.78 Stimulasi ≥ 1.55 ≥ 1.31 < 1.55 ≥ 0.99
< 1.31 ≥ 0.5 < 0.99
< 0.5 Kebaruan ≥ 1.4 ≥ 1.05 < 1.4 ≥ 0.71
< 1.05
≥ 0.3 < 0.71 < 0.3
Interpretasi  dari  masing-masing  rentang benchmark adalah  sebagai  berikut (Nurdin, 2020) .
a. Sangat Baik: termasuk dalam kisaran 10% produk yang memiliki skor tertinggi.
b. Baik:  10%  produk  pada  dataset  memiliki  skor  yang  lebih  tinggi,  sedangkan  75% lainnya lebih rendah.
c. Diatas  Rata-Rata:  25%  produk  pada  dataset  memiliki  skor  yang  lebih  tinggi, sedangkan 50% lainnya lebih rendah.
d. Dibawah  Rata-Rata:  50%  produk  pada  dataset  memiliki  skor  yang  lebih  tinggi, sedangkan 25% lainnya lebih rendah.
e. Buruk: termasuk dalam kisaran 25% produk yang memiliki skor terendah.
Contoh hasil pengolahan data menggunakan UEQ Data Analysis Tool ditunjukkan pada Gambar 3.

## Gambar 3 Contoh Hasil Pengolahan Data
Berdasarkan  hasil  kepuasan  pengguna,  selanjutnya  akan  dipilih  responden  untuk evaluasi Think  Aloud. Penggunaan Think  Aloud memerlukan  8  sampai  10  orang responden  yang  merupakan  pengguna  sistem,  dimana  jumlah  tersebut  sudah  cukup untuk  memahami  perilaku  pengguna  dalam  melakukan  sejumlah  skenario  tugas  yang diberikan (Pratama,  2019) .  Penyusunan  skenario  tugas  disesuaikan  dengan  fungsional yang ada pada halaman website pustakawan. Pada penelitian ini, ada 25 skenario tugas yang disesuaikan dengan fungsionalnya.
Tabel 2 menunjukkan  beberapa  skenario  tugas  yang  akan  dilakukan  oleh  tiap responden.
Tabel 2 Contoh Skenario Tugas No  Fungsional Tugas 1 Hak Akses 1. Silahkan  login  ke  dalam  halaman  pustakawan  dengan  menginputkan email dan password Anda 2 Profil 1. Silahkan  akses  halaman  profil,  lalu  lakukan  perubahan  logo perpustakaan Anda.
2. Anda ingin merubah password Anda, silahkan ubah password Anda saat ini.
3. Ubah status perpustakaan Anda menjadi private . 3 Buku 1. Tambahkan kategori baru dengan nama Teknologi.
2. Cari data penerbit Ganeca Digital.
3. Tambahkan 1 file buku baru pada menu Media
Pada Think Aloud , responden akan diberikan kesempatan untuk menceritakan apa yang dipikirkan pada saat mengerjakan setiap tugas, seperti permasalahan atau masukan dalam memperbaiki website .    Setiap  permasalahan  atau  masukan  tersebut  akan  dicatat untuk  selanjutnya  dirangkum  untuk  mendapatkan  kesimpulan  akhir  dari  permasalahan dan  masukan  dari  semua  responden.  Rekomendasi  akhir  dalam  penelitian  ini  adalah daftar  rekomendasi  perbaikan  dari Website Pustakawan  Ganeca  Digital.  Rekomendasi perbaikan yang didapatkan berdasarkan evaluasi yang dilakukan akan divalidasi dengan tim dari Ganeca Digital.

## Hasil dan Pembahasan
Hasil  evaluasi  UEQ  dilakukan  oleh  20  responden.  Hasil  rekapitulasi  nilai  setiap butir pernyataan dalam kuesioner dapat dilihat pada pada
Tabel 3 .  Hasil  rekapitulasi  tersebut  selanjutnya  diolah  menggunakan  UEQ Data Analysis  Tool .  Tahap  awal  pengolahan  data  dilakukan  dari  transformasi  data  awal. Tahap  selanjutnya,  data  diolah  untuk  mencari  nilai  rata-rata  masing-masing  aspek pengalaman pengguna.

## Tabel 3

## Rekapitulasi Nilai Setiap Butir Pernyataan Dalam Kuesioner
Responden Butir Pernyataan 1 2 3 4 5 6 7 8 9 10  11  12  13 R01 3 5 1 2 1 6 6 7 1 1 7 1 5 R02 5 6 3 3 2 5 5 5 1 2 5 2 5 R03 6 5 1 2 2 6 6 7 2 2 6 1 6 R04 4 4 5 2 1 3 7 6 1 2 6 3 4 R05 4 3 2 2 1 7 7 3 1 1 7 1 6 R06 5 6 3 2 1 4 5 4 6 4 4 2 3 R07 4 5 5 5 6 5 5 5 4 5 5 5 4 R08 4 6 4 2 6 5 6 5 2 5 5 2 5 R09 7 7 1 1 1 7 4 6 1 1 1 1 5 R10 7 7 1 2 3 5 7 3 2 2 7 1 6 R11 5 5 4 1 1 6 5 6 1 2 7 1 3 R12 7 6 2 2 1 6 6 6 2 2 6 2 3 R13 7 7 2 2 2 7 7 6 1 1 5 2 5 R14 6 7 6 1 1 6 7 7 2 2 4 1 5 R15 5 5 6 4 1 3 5 5 2 2 7 3 2 R16 7 7 2 2 2 6 6 6 1 2 7 1 6 R17 6 7 2 2 1 7 3 6 2 1 3 1 3 R18 5 6 6 2 1 5 6 5 1 3 7 2 6 R19 5 5 3 3 3 5 5 5 3 3 5 3 5 R20 6 6 2 2 1 6 5 5 2 3 6 1 4 Responden Butir Pernyataan 14  15  16  17  18  19  20  21  22  23  24  25  26 R01 6 6 7 1 1 1 6 1 3 1 2 2 6 R02 5 6 6 2 2 2 6 3 5 1 1 2 5 R03 6 6 6 1 1 1 6 2 5 1 1 1 7
R04 5 6 7 2 3 2 7 5 6 2 3 1 7 R05 7 7 7 1 1 1 7 1 7 1 1 1 7 R06 4 6 4 2 4 3 4 5 5 3 2 3 2 R07 5 5 5 2 2 3 5 4 3 6 6 6 6 R08 5 2 6 4 2 3 6 3 3 3 3 2 3 R09 7 7 6 2 1 1 5 1 5 1 1 1 7 R10 6 7 7 1 1 1 7 3 4 1 1 2 7 R11 6 6 5 1 1 1 5 2 6 2 2 2 7 R12 5 6 7 2 2 2 3 2 7 2 2 1 7 R13 7 4 4 1 2 2 6 2 6 2 2 1 7 R14 6 7 6 2 1 1 7 2 6 1 2 2 7 R15 5 6 5 1 3 3 5 5 4 1 3 3 4 R16 6 7 7 1 1 1 4 1 7 1 2 1 7 R17 7 7 4 1 2 2 6 1 5 1 2 2 7 R18 3 5 5 2 1 2 3 2 6 7 2 2 1 R19 5 3 5 3 3 3 5 3 5 3 3 3 5 R20 4 5 6 2 2 2 6 3 5 2 4 2 7
Hasil dari UEQ juga dibandingkan pada benchmark seperti ditunjukkan Gambar 4.  Pada  UEQ Data  Analysis  Tool rata  –  rata  nilai  dari  masing  –  masing  aspek  sudah dihubungkan dengan kumpulan data yang ada pada benchmark .

## Gambar 4 Grafik Perbandingan Benchmark
Hasil  perbandingan  rata-rata  aspek  pengalaman  pengguna  pada benchmark ditunjukkan pada Tabel 4 .

## Tabel 4 Hasil Benchmark SIsKA
Aspek Rata-Rata  Perbandingan Pada Benchmark Daya tarik 1.77 Sangat Baik Kejelasan 1.39 Diatas Rata-Rata Efisiensi 1.65 Baik Ketepatan 1.84 Sangat Baik Stimulasi 1.86 Sangat Baik Kebaruan 1.54 Sangat Baik
Berdasarkan  data  pada  tabel  4,  didapatkan  bahwa  aspek  kejelasan  dan  efiensi menjadi  2  aspek  yang  perlu  diperbaiki.  Untuk  mendapatkan  rekomendasi  perbaikan, maka langkah selanjutnya adalah dengan melakukan evaluasi Think Aloud terhadap 10 responden  yang  memberikan  nilai  yang  kecil  terhadap  kedua  aspek  tersebut. Berdasarkan proses Think Aloud yang dilakukan tiap responden, maka dihasilkan daftar permasalahan dan masukan dari aplikasi Smart BTW, yang dapat dilihat pada
Tabel 5 berikut.
Tabel 5 Kesimpulan Data Think Aloud No Permasalahan Masukan 1. Fitur  import  member  tidak berfungsi, karena ada bug Fitur  ini  bisa  disesuaikan,  dengan  fitur add  batch member ,  sehingga  penambahan  banyak  member  tetap dapat dilakukan dalam 1 kali penyimpanan 2. Kesalahan pencarian di menu member of library Perbaikan  perlu  dilakukan  dari  sisi  pengembang  Ganeca Digital 3. Informasi statistik hanya bisa melihat statistik 1 bulan saja Perlu ditambahkan filter sehingga bisa melihat statistik di bulan sebelumnya 4. Informasi statistik dan informasi halaman menu Borrow tidak sama Perlu  diperbaiki  karena  akan  membantu  pustakawan dalam pelaporan data 5. Informasi  eksemplar  buku digital tidak diketahui Perlu  ditambahkan  kolom  informasi  jumlah  buku  di Menu Book 6. Pengguna  tidak  mengetahui kategori  buku  yang  sering dipinjam Perlu  penambahan  informasi  kategori  buku  di  menu Borrow 7. Perjelas penamaan menu Menu-menu  perlu  dinamakan  sesuai  fungsionalnya, seperti  menu  Setting,  perlu  disesuaikan  menjadi  Setting Duration karena hanya mengatur waktu durasi peminjaman sajan. 8. Pustawakan tidak bisa mencetak informasi yang ada Perlu  fitur  export  excel  beberapa  menu,  seperti  Book, Member Library dan Borrow 9. Menambahkan buku langkahnya sangat panjang Optimasi field yang  harus  ditambahkan,  sehingga mempercepat proses penambahan buku. 10.  Pengguna  perlu  bantuan  di beberapa menu Perlu  tambahkan  fitur  bantuan  untuk  membantu pengguna,  bisa  ditambahkan  dokumentasi  panduannya ataupun kontak Whatsapp dari admin Ganeca Digital
Rekomendasi  perbaikan  ini  diperoleh  berdasarkan  analisis  yang  dilakukan  dari evaluasi yang telah dilakukan.
Tabel  6 menunjukkan  beberapa wireframe rekomendasi  perbaikan  halaman website pustakawan Ganeca Digital berdasarkan rekomendasi perbaikan yang dihasilkan dari evaluasi Think Aloud .

## Tabel 6
Wireframe Perbaikan Wireframe Perbaikan Perbaikan  dapat dilakukan  degan menambahkan filter seperti yang ditandai pada rancangan wireframe. Perbaikan  dapat dilakukan dengan  membuat fitur add  bacth , dimana penambahan banyak  member perpustakaan dapat  dilakukan sekaligus. Informasi kategori dapat ditambahkan pada kolom setelah judul buku. Adapun  tombol export untuk mencetak informasi  dapat diposisikan di bagian atas
Wireframe Perbaikan halaman. Penyesuaian dapat  dilakukan dengan menyesuaikan label menu. Selain  itu,  dapat dikembangkan fitur  dual  bahasa sehingga memudahkan pengguna.

## Kesimpulan
Hasil  analisis  kepuasan  pengguna  menunjukkan  bahwa  4  aspek  pengalaman pengguna  ada  pada  kategori  sangat  baik . Kategori  sangat  baik menunjukkan  Web Pustakawan  berdasarkan  aspek  daya  tarik,  ketepatan,  stimulasi  dan  kebaruan  termasuk dalam  kisaran  10%  hasil  terbaik  dari  produk-produk  yang  dibandingkan  pada benchmark UEQ.  Hasil  analisis  juga  menunjukkan  bahwa  aspek  kejelasan  termasuk kategori  diatas  rata-rata  dan  aspek  efisiensi  termasuk  kategori  baik.  Sehingga  kedua aspek tersebut merupakan prioritas yang harus ditingkatkan dalam melakukan perbaikan halaman pustakawan. Adapun nilai rata-rata setiap aspek adalah sebagai berikut: aspek daya  tarik  sebesar  1,77;  aspek  kejelasan  sebesar  1,39;  aspek  efisiensi  sebesar  1,65; aspek ketepatan sebesar 1,84; aspek stimulasi sebesar 1,86 dan aspek kebaruan sebesar 1,54.  Hasil  evaluasi Think  Aloud berhasil  diperoleh  daftar  permasalahan  yang  ada berdasarkan  masukan  pengguna.  Analisis  teknik  evaluasi Think  Aloud berhasil
memberikan  rekomendasi  perbaikan  pada  halaman  pustakawan.  Hasil  analisis menunjukkan  bahwa  terdapat  10  rekomendasi  perbaikan  halaman  pustakawan  Ganeca Digital. Pengembangan untuk penelitian selanjutnya, dapat digunakan teknik lain dalam usability  testing, seperti Performance  Measurement untuk  membandingkan  secara kuantitatif hasil evaluasi antara pakar dan pengguna aplikasi.

## BIBLIOGRAFI
Astuti,  Indra,  Kusuma,  Wisnu  Ananta,  &  Ardiansyah,  Firman.  (2017).  Analisis Usability  Homepage  Situs  Web  Perpustakaan  Nasional  RI  Menggunakan  Metode Think-Aloud. Jurnal  Pustakawan  Indonesia , 15 (1-2  SE-Articles).  Retrieved  from Google Scholar
Dewi, P. W. S., Dantes, G. R., & Indrawan, G. (2020). User Experience Evaluation Of E-Report  Application  Using  Cognitive  Walkthrough  (CW),  Heuristic  Evaluation (HE) And User Experience Questionnaire (UEQ). Journal of Physics: Conference Series , 1516 (1), 1–8. Google Scholar
Gupta,  Sugandha.  (2015).  A  Comparative  study  of  Usability  Evaluation  Methods.
International  Journal  of  Computer  Trends  and  Technology , 22 (3),  103–106.
Google Scholar
Hendradewa,  Andrie  Pasca.  (2017).  Perbandingan  Metode  Evaluasi  Usability  (Studi Kasus : Penggunaan Perangkat Smartphone). Teknoin . Google Scholar
Hinderks,  Andreas,  Schrepp,  Martin,  José,  Francisco,  Mayo,  Domínguez,  &  José, María.  (2019).  Computer  Standards  &  Interfaces  Developing a  UX  KPI  based  on the user experience questionnaire. Computer Standards & Interfaces , (January), 1–
9. Google Scholar
Indrawan,  Gede,  Gunawan,  I.  Made  Agus  Oka,  &  Sariyasa.  (2020).  The  usability evaluation  of  academic  progress  information  system  (SISKA-NG). Advances  in Science, Technology and Engineering Systems , 5 (2), 460–468. Google Scholar
Indriyani,  Ni  Luh  Putu  Ratih,  Dantes,  Gede  Rasben,  &  Ernanda,  Kadek  Yota.  (2017). Analisis  Kebermanfaatan  Website  Sekolah  Tinggi  Pariwisata  (  Stipar  )  Triatma Jaya  Menggunakan  Metode  Usability  Testing. International  Journal  of  Natural Science and Engineering , 1 (2), 55–64. Google Scholar
Mochammad Aldi Kushendriawan, Harry Budi Santoso, Panca O. Hadi Putra, & Martin Schrepp.  (2021).  Evaluating  User  Experience  of  a  Mobile  Health  Application ‘Halodoc’  using  User  Experience  Questionnaire  and  Usability  Testing. Jurnal Sistem Informasi , 17 (1 SE-Articles), 58–71. Google Scholar
Nurdin,  Muhamad.  (2020).  Mengukur  User  Experience  Sistem  Informasi  Akademik.
Infotech Journal , 6 (1), 7–10. Google Scholar
Paramitha,  A.  A.  Istr.  Ita,  Dantes,  Gede  Rasben,  &  Indrawan,  Gede.  (2018).  The Evaluation Of Web Based Academic Progress Information System Using Heuristic Evaluation  And  User  Experience  Questionnaire  (UEQ). Proceedings  of  the  3rd International  Conference  on  Informatics  and  Computing,  ICIC  2018 . Google Scholar
Pratama,  M.  Iqbal  Farras,  Az-Zahra,  Hanifah  Muslimah,  &  Setiawan,  Nanang  Yudi.
(2019).  Evaluasi  Usability  Menggunakan  Metode  Think  Aloud  dan  Heuristic Evaluation  pada  Aplikasi  Mobile  Padiciti. Jurnal  Pengembangan  Teknologi Informasi Dan Ilmu Komputer , 3 (9), 8390–8399. Google Scholar
Putri Ambarwati, & Metty Mustikasari. (2021). Usability Evaluation of the Restaurant Finder  Application  Using  Inspection  and  Inquiry  Methods. Jurnal  Sistem Informasi , 17 (2 SE-Articles), 1–17. Google Scholar
Roni,  Mochammad  Imam  Sya&#039;,  Kharisma,  Agi  Putra,  &  Amalia,  Faizatul.
(2018). Perbandingan Hasil Metode Evaluasi Usability Antara Heuristic Evaluation dengan  Think  Aloud  pada  Kasus  Web  FILKOM  APPS  untuk  Mahasiswa. Jurnal Pengembangan  Teknologi  Informasi  Dan  Ilmu  Komputer , 2 (2),  674–678. Google Scholar
Santoso, Harry B., Schrepp, Martin, Yugo  Kartono Isal, R., Utomo, Andika Yudha, & Priyogi,  Bilih.  (2016).  Measuring  user  experience  of  the  student-centered  E- learning environment. Journal of Educators Online , 13 (1), 58–79. Google Scholar
Schrepp, Martin. (2019). User Experience Questionnaire Handbook Version 8. Google Scholar
Schrepp, Martin, Hinderks, Andreas, & Thomaschewski, Jörg. (2017). Construction of a Benchmark for the User Experience Questionnaire (UEQ). International Journal of Interactive Multimedia and Artificial Intelligence , 4 (4), 40–44. Google Scholar
Tantri  Fajarini,  Putu,  Ayu  Wirdiani,  Ni  Kadek,  &  Arya  Dharmaadi,  I.  Putu.  (2020).
Evaluasi  Portal  Berita  Online  pada  Aspek  Usability  Menggunakan  Heurtistic Evaluation dan Think Aloud. Jurnal Teknologi Informasi Dan Ilmu Komputer; Vol 7,  No  5:  Oktober  2020DO  -  10.25126/Jtiik.2020753587 , 7 (5),  905–910. Google Scholar
Wijaya, I. Nyoman Saputra Wahyu, Santika, Putu Praba, Iswara, Ida Bagus Ary Indra, &  Arsana,  I.  Nyoman  Alit.  (2021).  Analisis  dan  Evaluasi  Pengalaman  Pengguna PaTik  Bali  dengan  Metode  User  Experience  Questionnaire  (UEQ). Jurnal Teknologi Informasi Dan Ilmu Komputer , 8 (2), 217–226. Google Scholar

## Copyright holder:
I Made Agus Oka Gunawan, I Made Agus Widiana Putra, Kadek Laksmi Damayanthi
(2021)

## First publication right:
Syntax Literate: Jurnal Ilmiah Indonesia
This article is licensed under: