Volume 4 Nomor 1, Juni 2021 e-ISSN : 2614-1574 p-ISSN : 2621-3249

## UJI USABILITY DENGAN METODE COGNITIVE WALKTHROUGH DAN SYSTEM USABILITY SCALE (SUS) PADA SITUS WEB STT

## WASTUKANCANA
USABILITY TEST USING COGNITIVE WALKTHROUGH AND SYSTEM USABILITY SCALE (SUS) METHODS ON STT WASTUKANCANA WEBSITE
Meriska Defriani 1 , Mochzen Gito Resmi 2 , Irsan Jaelani 3
Teknik Informatika, STT Wastukancana meriska@stt-wastukancana.ac.id

## ABSTRACT
STT  Wastukancana  website  is  one  of  the  information  media  regarding  institutional  activities,  both  for students, lecturers, educational staff, and the wider community. Apart from being a medium of information, STT  Wastukancana  website  is  also  connected  to  various  information  systems  in  institutions  such  as academic information systems. Ease of information retrieval and a good experience when using the website are very important. Therefore, in this study, an interface evaluation was carried out by conducting usability testing. Usability aspects that are evaluated are learnability, effectiveness, efficiency, and satisfaction. The test was conducted using the cognitive walkthrough method on 10 respondents, either those who have not or have used the STT Wastukancana website and the system usability scale (SUS) on 20 respondents who have used the STT Wastukancana website. The results of this study show that the learnability aspect is 96%, the  effectiveness  is  96%,  the  efficiency  is  0.07  seconds,  and  the  satisfaction  aspect  is  SUS  86.25  and acceptability ranges are in the acceptable category. Recommendations for improving the usability of the STT Wastukancana website consist of two types of recommendations, namely interface improvements and system improvements.
Keywords: Usability Testing, Cognitive Walkthrough, System Usability Scale.

## ABSTRAK
Situs  web  STT  Wastukancana  merupakan  salah  satu  media  informasi  mengenai  kegiatan  institusi,  baik untuk mahasiswa, dosen, tenaga kependidikan, maupun masyarakat luas. Selain sebagai media informasi, situs web STT Wastukancana juga terhubung dengan berbagai sistem informasi yang ada di institusi seperti sistem informasi akademik. Kemudahan pencarian informasi dan pengalaman yang baik saat menggunakan situs  web  tersebut  sangatlah  penting.  Oleh  karena  itu,  pada  penelitian  ini  dilakukan  evaluasi  antarmuka dengan melakukan pengujian usability. Aspek usability yang dievaluasi adalah learnability, effectiveness, efficiency, dan satisfaction. Pengujian dilakukan dengan menggunakan metode cognitive walkthrough pada 10 orang responden, baik yang belum atau sudah pernah menggunakan situs web STT Wastukancana dan system  usability  scale  (SUS)  pada  20  responden  yang  sudah  pernah  menggunakan  situs  web  STT Wastukancana.  Hasil  dari  penelitian  ini  diperoleh  nilai  aspek  learnability  sebesar  96%,  effectiveness sebesar 96%, efficiency sebesar 0,07 detik, dan aspek satisfaction dengan nilai SUS 86,25 dan acceptability ranges berada di kategori acceptable. Rekomendasi perbaikan usability situs web STT Wastukancana terdiri dari dua jenis rekomendasi, yaitu perbaikan antarmuka dan perbaikan sistem.
Kata Kunci : Pengujian Usability, Cognitive Walkthrough, System Usability Scale .

## PENDAHULUAN
STT Wastukancana merupakan salah satu sekolah tinggi yang berada di Kabupaten  Purwakarta.  Terdapat  dua jenjang program studi yang
diselenggarakan,  yaitu  D3  dan  S1.
Program  studi  yang  termasuk  dalam jenjang  D3  adalah  Manajemen  Industri
dan Teknik Tekstil. Program studi yang termasuk  dalam  jenjang  S1  adalah Teknik Informatika, Teknik Industri, dan Teknik Mesin. Untuk penyebaran informasi  mengenai  kegiatan  institusi, STT  Wastukancana  memiliki  media informasi  berupa  situs  web.  Media tersebut  juga  digunakan  sebagai  media
untuk  promosi  sehingga  tidak  hanya dapat diakses oleh sivitas akademika tapi juga dapat diakses oleh masyarakat luas. Selain itu, media tersebut juga terhubung dengan  berbagai  sistem  informasi  yang ada di institusi seperti Sistem Informasi Akademik (SIMAK). Kemudahan
pencarian  informasi  dan  pengalaman yang  baik  saat  menggunakan  situs  web tersebut  merupakan  hal  yang  penting. Oleh karena itu, perlu dilakukan evaluasi antarmuka pada situs web STT
Wastukancana.
Pada penelitian ini dilakukan pengujian  usability pada situs web STT Wastukancana. Usability merupakan aspek  penting  untuk  menilai  kualitas antarmuka  pengguna  dan  mengurangi kerugian pengguna dalam menggunakan sistem(Arijaya  et  al.,  2019).  Aspek usability yang dievaluasi adalah learnability,  effectiveness,  efficiency , dan satisfaction .  Pengujian  dilakukan dengan  menggunakan  metode  cognitive walkthrough  pada  10  orang  responden.
Metode cognitive walkthrough digunakan untuk mengetahui permasalahan  pada  aspek learnability , effectivenes s,  dan efficiency .  Metode
Cognitive Walkthrough
merupakan metode  evaluasi usability dimana  satu atau  lebih  evaluator    bekerja  melalui serangkaian skenario tugas dan meminta sejumlah  pertanyaan  dari  perspektif pengguna(Bligard  &  Osvalder,  2013). Pengujian juga dilakukan dengan menggunakan System  Usability  Scale (SUS)  pada  20  responden  yang  sudah pernah  menggunakan  situs  web  STT Wastukancana.  SUS  digunakan  untuk mengetahui  aspek satisfaction .  SUS adalah  salah  satu  metode  uji  pengguna yang menyediakan alat ukur yang cepat dan  andal.  SUS  dapat  digunakan  untuk menilai  kelayakan  berbagai  produk  dan layanan.  Dengan  menggunakan  metode SUS, responden dapat dengan cepat dan mudah menyelesaikan pertanyaan
kuesioner(Pradini et al., 2019). Pengujian  usability  ini  akan  dilakukan pada sejumlah total 35 orang responden responden  yang  terdiri  dari  mahasiswa, dosen, tenaga kependidikan, dan masyarakat.
Hasil  pengujian usability ini  dapat menjelaskan permasalahan apa saja yang dihadapi pengguna dan menggambarkan sejauh  mana  ketercapaian  aspek-aspek usability pada situs web STT
Wastukancana.  Berdasarkan  penjelasan dan  gambaran  tersebut  kemudian  dapat diusulkan perbaikan apa saja yang harus dilakukan pada tampilan situs web STT Wastukancana  sehingga  nantinya  dapat memberikan  pengalaman  yang  baik kepada  pengguna.  Pengguna  dapat merasa  nyaman  untuk  mengakses  situs web tersebut di waktu yang akan datang.
Pada  tahun  2016,  metode  cognitive walkthrough  pernah  digunakan  untuk menguji usability situs web perpustakaan  di  Universitas  Mercu Buana  Jakarta  dan  menghasilkan  nilai penyelesaian skenario sebesar
90%(Raharjo  et  al.,  2016).  Pada  tahun 2017,  metode  ini  juga  digunakan  untuk menguji  usability  antarmuka  aplikasi braile smart dan menghasilkan nilai rata- rata usability sebesar 68,3%(Kurnia et al., 2017).  Pada  tahun  2019,  metode cognitive  walkthrough dan system usability scale digunakan untuk menguji usability  website e-commerce dan menghasilkan  nilai  aspek learnability sebesar 86%, effectiveness sebesar 24%,
efficiency  sebesar  0,02  detik,  dan satisfaction diperoleh
nilai 57,625(Kusumah et al., 2019).

## METODE
Metode  penelitian  yang  digunakan adalah  literatur  review  serta  pengujian usabilitry  dengan  metode Cognitive Walkthrough dan System Usability Scale (SUS).  Berikut  ini  adalah  penjelasan terkait metode yang digunakan:

## Usability
Usability dapat  diartikan  sebagai suatu  alat  yang  digunakan  untuk mengukur kualitas suatu perangkat lunak, sistem informasi, atau juga website . Hal ini  berkaitan  dengan  kemudahan  dalam mempelajari  dan  menggunakan  suatu sistem  sehingga  mendorong  pengguna untuk  menggunakan  sistem  tersebut sebagai pembantu dalam menyelesaikan tugas(Setiawati  et  al.,  2018). Usability menjelaskan  tentang  sejauh  mana  suatu produk atau layanan yang telah ada dapat dimanfaatkan  oleh  pengguna  untuk mencapai tujuan dan kebutuhan pengguna(Audi et al., 2018).
Berdasarkan  penjelasan  tersebut  dapat diartikan  bahwa usability merupakan ukuran efektifitas, efisiensi, dan kepuasan pengguna dalam menggunakan sebuah produk untuk mencapai tujuan(Aprilia  et  al.,  2015). Usability sebuah sistem memiliki lima komponen yaitu
learnability,
efficiency, memorability, errors , dan
satisfaction (Nielsen, 2012).

## Uji Usability
Proses  uji usability menjelaskan informasi secara langsung dari pengguna mengenai bagaimana pengguna menggunakan sistem serta masalah yang dihadapi.  Hasil  pengamatan  terhadap bagaimana pengguna berinteraksi dengan  fitur-fitur  yang  ada  pada  situs web menggambarkan
bagaimana
pembelajaran dan keberhasilan
pengguna  dalam  mengakses  situs  web. Pada  uji usability akan  diperoleh sejumlah  permasalahan usability yang belum  diketahui  solusinya.  Dalam beberapa  waktu,  uji usability akan mempelajari  bagian-bagian  pada  situs web yang sulit digunakan atau dimengerti  oleh  pengguna.  Pada  uji usability tidak berfokus pada kelayakan tetapi juga praktik berkelanjutan, memiliki  potensi  yang  mengakibatkan
perubahan  atau  perbaikan  yang  besar pada isi, desain dan tampilan situs web.
Hasil uji usability mengarahkan keputusan  dan  memungkinkan  untuk mengambil lompatan besar menuju user experience (pengalaman pengguna) yang lebih baik(Blakinston, 2015).

## Responden
Pada  pengujian  usability  dengan menggunakan metode Cognitive Walkthrough , Nielsen menjelaskan bahwa jumlah penguji dapat mempengaruhi identifikasi masalah usability pada situs web(Nielsen, 2000).
Satu responden diprediksi dapat mengidentifikasi  permasalahan  pada  uji usability kurang lebih sebesar 25 persen, sedangkan  15  responden  diprediksi dapat  mengidentifikasi  permasalahan sebesar  100  persen.  Nielsen  juga menyatakan  bahwa  evaluasi usability dilakukan  dengan  15  penguji  tetapi  ia juga  menganggap  bahwa  pengujian dapat  dilakukan  dengan  lima  penguji.
Pengujian dengan sejumlah lima responden mampu mengidentifikasi sebagian  besar  permasalahan  pada  uji usability (kurang lebih 85 persen) tanpa perlu  melibatkan  banyak  sumber  daya atau pengguna. Hubungan  jumlah permasalahan dengan jumlah responden dapat dilihat pada Gambar 1.
Sumber : (Nielsen, 2000) Gambar 1. Persentase Jumlah Permasalahan Usability Yang Ditemukan Berdasarkan Jumlah Responden
Menurut  Nielsen,  jumlah  peserta pengujian  pada  studi usability adalah lima  peserta  (Nielsen,  2012).  Hal  ini memungkinkan  penelitian  menemukan hampir sama banyaknya masalah usability menggunakan peserta pengujian yang lebih banyak. Pengujian usability dengan sejumlah lima responden hampir selalu mendekati rasio antara  manfaat  dan  biaya  maksimum pengujian. Responden pada uji usability dengan  metode cognitive  walkthrough
merupakan reviewer, pengembang,
desainer,  personil  usability,  atau  ahli konten.  Namun,  beberapa Cognitive Walkthrough dapat  juga  responden meliputi target end user (George, 2008). Pada  pengujian  usability  dengan menggunakan  metode  SUS,  responden dapat terdiri dari 5 (lima) responden(Pudjoatmojo & Wijaya,
2016).  Namun  Alroobaea  &  Mayhew menyatakan tidak ada jumlah responden yang  pasti  untuk  mendapatkan  hasil evaluasi usability (Alroobaea & Mayhew, 2014).  Akan  tetapi,  aturan  16    ±  4 (artinya jumlah pengguna antara 16  – 4 sampai  dengan  16  +  4)  menghasilkan hasil  uji  dengan  tingkat  validitas  yang tinggi.

## Cognitive Walkthrough
Menurut  Lewis  dalam  Bligard  dan Osvalder, Cognitive Walkthrough adalah metode  pengujian usability dengan  satu atau  lebih  aspek  yang  dinilai  melalui beberapa  skenario  tugas  dan  sejumlah pertanyaan untuk menggali permasalahan dari perspektif
pengguna(Bligard  &  Osvalder,  2013). Menurut Hwang, cognitive walkthrough ialah  metode  yang  berbasiskan  teori. Aspek-aspek  yang  mengevaluasi  setiap langkah  dibutuhkan  untuk  melakukan tugas yang mengacu pada skenario, dan mencari  permasalahan usability yang akan  mengganggu  eksplorasi(Hwang, 2010).
Menurut Jacobsen dan John, Cognitive  Walkthrough terdiri  dari  dua tahapan yaitu tahap persiapan dan tahap eksekusi(Jacobsen  &  John,  2000). Tahapan  persiapan  terdiri  dari  studi literatur,  mempelajari  sistem  yang  akan diuji, menentukan responden dan menyusun  skenario  tugas  yang  harus dikerjakan  oleh  responden.  Tahapan eksekusi  terdiri  dari  rangkaian  aksi
Walkthrough berurut  dan  perekaman permasalahan.
Tahapan pengujian
Cognitive  Walkthrough dapat  dilihat pada Gambar 2.
Sumber : (Jacobsen & John, 2000) Gambar. 2  Tahapan Pengujian Cognitive Walkthrough

## System Usability Scale (SUS)
System  Usability  Scale (SUS) adalah  metode  berbasis  kuesioner  yang dapat  digunakan  untuk  mengetahui sejauh mana kegunaan suatu sistem dari pandangan  subyektif  pengguna(Brooke, 2013).  SUS  memiliki  10  pertanyaan yang  harus  dijawab  oleh  responden. Responden  pada  metode  SUS  adalah pengguna  yang  telah  menggunakan sistem  yang  akan  diuji.  Berikut  ini adalah  sepuluh  pertanyaan  dari  SUS yang  diadopsi  dari  penelitian  Sharfina dan Santoso(Sharfina & Santoso, 2016): 1. Saya  berpikir  akan  menggunakan sistem ini lagi
2. Saya  merasa  sistem  ini  rumit  untuk digunakan
3. Saya  merasa  sistem  ini  mudah digunakan
4. Saya  membutuhkan  bantuan  dari orang  lain  atau  teknisi  dalam menggunakan sistem ini
5. Saya  merasa  fitur-fitur  sistem  ini berjalan dengan semestinya
6. Saya  merasa  ada  banyak  hal  yang tidak  konsisten  (tidak  serasi  pada sistem ini)
7. Saya  merasa  orang  lain  akan memahami cara menggunakan sistem
ini dengan cepat 8. Saya merasa sistem ini membingungkan 9. Saya  merasa  tidak  ada  hambatan dalam menggunakan sistem ini
10. Saya  perlu  membiasakan  diri terlebih dahulu sebelum menggunakan sistem ini.
Metode  SUS  menggunakan  skala likert  pada  jawaban  pertanyaan.  Skala likert memiliki 5 pilihan jawaban, yaitu sangat  tidak  setuju,  tidak  setuju,  ragu- ragu,  setuju,  dan  sangat  setuju.  Skor masing-masing  jawaban  mulai  dari  0 sampai 5.
Menurut  Sauro,  untuk  menghitung skor  SUS  terdapat  beberapa  aturan (Sauro, 2011), yaitu:
1. Untuk item pertanyaan dengan nomor ganjil  (1,3,5,7,9),  bobot  diperoleh dengan  mengurangi  1  untuk  setiap skor yang diperoleh.
2. Untuk item pertanyaan dengan nomor genap (2,4,6,8,10), bobot yang diperoleh  adalah  5  dikurangi  skor yang  diperoleh  untuk  setiap  item genap .
3. Hasil  dari  pembobotan  kemudian dikalikan dengan 2,5.
Setelah ditemukan hasil untuk setiap responden, skor SUS keseluruhan dapat diperoleh  dengan  menghitung  rata-rata seluruh nilai responden.
Skor SUS memiliki rentang nilai 0- 100(Aprilia  et  al.,  2015).  Untuk mengetahui  bagaimana  kualitas  dari suatu  perangkat  lunak  yang  diuji,  hasil perhitungan  rata-rata  seluruh  nilai responden  dibandingkan  dengan  nilai pada bagan penilaian SUS pada Gambar 3.
Sumber : (Aprilia et al., 2015) Gambar. 3  Bagan Penilaian System Usability Scale (SUS) Secara matematis, rumus
perhitungan  skor  SUS  untuk  setiap responden  dapat  diformulasikan  seperti pada rumus  berikut ini[21]:
Nilai SUS = ∑ 𝑋𝑖 𝑛 𝑖=0 𝑁
dimana  Xi  adalah  jumlah  nilai  seluruh pertanyaan dikali 2,5 pada responden ke- i dan N adalah jumlah responden.
Skor SUS yang dihasilkan kemudian diinterpretasikan dalam beberapa  penilaian(Bangor  et al.,  2008) sebagai berikut:
1. Acceptability  Ranges :  Interpretasi skor  SUS  berdasarkan  penerimaan pengguna.  Skala  peringkat  yang digunakan  adalah Not  Acceptable , Marginal , dan Acceptable 2. Grade Scale : Skor SUS
dikelompokkan  menjadi  5  grade, yaitu A (skor antara 90-100), B (skor antara 80- 90), C (skor antara 70-80), D (skor antara 60-70), dan F (skor di bawah 60)
3. Adjectives  Rating :  Merupakan  kata sifat  yang  menterjemahkan  skor numerik  SUS  ke  dalam  penilaian absolut  terhadap usability .  Skala
peringkat adjective s  ini  terdiri  dari Worst  Imaginable , Awful , Poor , OK , Good , Excellent , Best Imaginable .
4. Percentiles :  Perhitungan  persentil membandingkan  data  mentah  hasil penelitian dengan database penelitian yang  telah  dilakukan  sebelumnya. Skor SUS rata-rata adalah 68. Hal ini menunjukkan bahwa skor SUS di atas 68  berarti  di  atas  rata-rata  (above average)  sedangkan  skor  SUS  di bawah  68  berarti  di  bawah  rata-rata ( below average ).
5. Promoters and Detractors :  Sauro mengkorelasikan  skor  SUS  dengan
Net  Promoter  Score (NPS)(Sauro, 2011). NPS merupakan survei tingkat kepuasan  dan  keloyalan  pelanggan/ pengguna  terhadap  sebuah  produk yang  berkaitan  dengan  persentase kemungkinan
pengguna mere- komendasikan  produk  tersebut  pada orang lain(Hanifah et al., 2018).

## HASIL DAN PEMBAHASAN
Sistem yang diuji pada penelitian ini adalah  situs  web  STT  Wastukancana. Situs  web  ini  memiliki  sembilan  menu, yaitu Tentang Kami, Akademik, Jurusan,
Penelitian dan Publikasi, Civitas,
Kemahasiswaan,  Alumni,  Layanan,  dan Download.  Situs  web  ini  digunakan sebagai  media  informasi  mengenai kegiatan akademik di STT
Wastukancana.  Selain  itu,  situs  web  ini juga  digunakan  sebagai  media  promosi STT Wastukancana ke masyarakat luas.
Pengujian  ini  dilakukan  pada  30 responden dengan rincian 10 responden diberikan  pengujian  dengan  metode
Cognitive Walkthrough dan 20
responden  diberikan  pengujian  SUS. Responden  terdiri  dari  mahasiswa, dosen,  dan  karyawan  STT,  serta stakeholder  di  luar  lingkungan  STT Wastukancana.  Pemilihan  responden menggunakan teknik purposive sampling yaitu  pemilihan  sampel  yang
dilakukan menggunakan kriteria tertentu. Kriteria tersebut adalah pengguna  yang  telah  mahir  dalam mengoperasikan  komputer  dan  mencari informasi  menggunakan  situs  web. Selain  itu  dipertimbangkan  juga  terkait pengetahuan, keterampilan dan frekuensi responden dalam menggunakan internet , web  browser , website , dan search engine . Hal ini dapat diketahui melalui kuesioner yang disebarkan ke calon responden.

## Pengujian Cognitive Walkthrough
Sebelum  tahapan  eksekusi,  pada pengujian Cognitive  Walkthrough perlu dilakukan  penyusunan  scenario  tugas yang kemudian diubah menjadi tahapan pengerjaan  yang  harus  dikerjakan  oleh responden.  Skenario  tugas  ditentukan berdasarkan  fitur-fitur  yang  tersedia  di situs  web  STT  Wastukancana.  Pada Tabel 1 dapat dilihat penjelsan mengenai scenario tugas tersebut.
Perekaman  pengujian  dilakukan menggunakan perangkat lunak penangkap  aktivitas  layar  komputer. Aplikasi  ini  digunakan  untuk  merekam segala  interaksi  responden  terhadap antarmuka situs web STT
Wastukancana. Aplikasi yang digunakan adalah  Bandicam  versi  4.4.1.  Hasil  dari perekaman pengujian adalah video yang menggambarkan  aktivitas  responden pada  saat  menyelesaikan  scenario  tugas pengujian  usability.  Pada  penelitian  ini parameter yang digunakan adalah kesuksesan  tugas  yang  menunjukkan aspek  learnability,  jumlah  waktu  yang menunjukkan  aspek  eficiency  dan jumlah  kesalahan  yang  menunjukkan aspek efectiveness.
Tabel 1. Skenario Tugas Pengujian ST Tujuan Jumlah Tahapan 1 Mengunduh brosur penerimaan siswa baru 6 2 Mencari informasi lowongan kerja 5
3 Mencari redaksi jurnal teknologika edisi ke-5 cetakan ke-2 5 4 Mencari info tentang Penerimaan Mahasiswa Baru (PMB) 4 5 Mencari informasi mengenai salah satu organisasi mahasiswa 4
Tahap  eksekusi  diawali  dengan menempatkan  responden  pada  suatu ruangan  yang  telah  dilengkapi  dengan laptop  dan  jaringan  internet.  Kemudian responden diberikan
penjelasan
mengenai tujuan dari pengujian, pemahaman  tentang usability ,  dan skenario  yang  harus  dilakukan  oleh responden,  serta  peraturan  pelaksanaan selama pengujian usability berlangsung. Setelah itu dilakukan pengujian usability dengan menggunakan metode walkthrough . Tingkat penyelesaian scenario diukur  dari  seberapa  jumlah  scenario yang  dapat  diselesaikan  oleh  seluruh responden.  Penilaian  yang  digunakan adalah  sukses  (S)  dan  tidak  sukses  (F). Data  penyelesaian  scenario  tugas  dapat dilihat pada Tabel 2.
Aspek  learnability  dapat  diperoleh dengan  melakukan  perhitungan success rate . Success  rate adalah  presentase scenario  tugas  yang  dapat  diselesaikan dengan  benar  oleh  responden(Nielsen, 2012).  Berdasarkan  data  penyelesaian scenario tugas, didapatkan hasil presentase success rate sebesar 96%. Hal
ini menunjukkan bahwa tingkat learnability  pada  situs  web  STT Wastukancana masih di atas rata-rata.
Tabel 2. Data Penyelesaian Skenario Tugas
ST1  ST2  ST3  ST4  ST5 R1 S S S S S R2 S S S F S R3 S S S S S R4 S S S S S R5 S S S S S R6 S S S F S R7 S S S S S R8 S S S S S R9 S S S S S R10 S S S S
S
Jumlah  kesalahan  yang  dilakukan menunjukkan aspek effectiveness . Terdapat dua responden yang melakukan kesalahan  dimana  setiap  responden melakukan  masing-masing  satu  kali kesalahan  yaitu  pada  ST  ke  4.  Tingkat effectiveness dapat diukur dengan menggunakan error rate , yaitu sebesar 4% sehingga didapatkan quality level sebesar 96%. Menurut Sauro, nilai rata– rata kesalahan per scenario tugas adalah sebensar  0,7  dengan  2  dari  3  pengguna melakukan kesalahan(Sauro, 2012). Berdasarkan error  rate yang  diperoleh dapat disimpulkan bahwa tingkat effectiveness situs web STT Wastukancana masih di atas rata-rata.
Jumlah waktu penyelesaian skenario merupakan  waktu  yang  diperlukan  oleh responden  untuk  menyelesaikan  setiap scenario  tugas.  Waktu  dihitung  mulai awal mengerjakan scenario sampai tugas tersebut  selesai  atau  gagal  diselesaikan. Data waktu penyelesaian scenario tugas setiap  responden  dapat  dilihat  pada Tabel 3.

## Tabel 3. Data Waktu Penyelesaian Skenario
Tugas ST1  ST2  ST3  ST4  ST5 R1 73 22 33 9 2 R2 75 51 59 53 6 R3 78 49 80 43 5 R4 72 66 54 17 4
R5 52 41 45 12 12 R6 59 33 55 106 11 R7 33 63 40 14 2
R8 55 37 41 20 6 R9 58 24 50 34 2 R10 77 51 19 18 24
Efisiensi  dapat  diukur  dengan menghitung waktu untuk menyelesaikan tugas, dimana waktu dapat berupa menit atau  detik  yang  dibutuhkan  pengguna dalam  menyelesaikan  tugas  (Mifsud, 2015). Tingkat efficiency dapat diperoleh dari  perhitungan time  based  efficiency . Hasil  perhitungan time  based  efficiency pada  penelitian  ini  adalah  sebesar  0,07
skenario  tugas  per  detik.  Hal  tersebut menunjukkan  bahwa  rata-rata  setiap detik  responden  dapat  menyelesaikan sejumlah  7%  dari  setiap  scenario  tugas yang  diberikan  atau  setiap  tugas membutuhkan  waktu  penyelesaian  rata- rata selama 14 detik.
Pengujian  System  Usability  Scale (SUS)
Data yang digunakan untuk mengukur aspek satisfaction adalah data kuesioner System Usability Scale (SUS) yang  telah  disebarkan  kepada  20 responden.  Responden  pada  pengujian SUS ini merupakan pengguna situs web STT  Wastukancana.  Berdasarkan  hasil kuesioner  tersebut  diperoleh  nilai  rata– rata SUS sebesar 86,25 sehingga masuk ke dalam grade scale B dengan adjective ranges  excellent dan acceptability ranges kategori acceptable .

## Rekomendasi
Berdasarkan hasil pengujian dengan metode Cognitive Walkthrough dan SUS, terdapat beberapa rekomendasi perbaikan untuk situs web STT Wastukancana.  Rekomendasi  perbaikan ini  didasarkan  pada  permasalahan  yang muncul dari pengujian Cognitive Walkthrough dan  juga  saran  dari responden. Rekomendasi yang diberikan dapat  berupa  perbaikan  antarmuka  atau juga  perbaikan  fungsionalitas  sistem. Rekomendasi  perbaikan  tersebut  adalah sebagai berikut:
1. Menambahkan menu pencarian untuk mempermudah pengguna menemukan informasi dengan cepat.
2. Meletakkan informasi penting seperti informasi  Penerimaan  Mahasiswa Baru (PMB) di beranda situs web.
3. Menambahkan konten situs web yang belum  lengkap  sehingga  situs  web menjadi lebih informatif.
4. Meningkatkan kualitas foto-foto yang ada pada situs web.

## SIMPULAN
Berdasarkan  hasil  pengujian  yang telah  dilakukan  dengan  menggunakan metode  cognitive  walkthrough  dan system  usability  scale  (SUS)  diperoleh tingkat learnability sebesar 96%, effectiveness  sebesar  96%,  efficiency sebesar 0,07 detik, dan aspek satisfaction dengan nilai SUS 86,25 dan acceptability  ranges  berada  di  kategori acceptable.  Hal  tersebut  menunjukan bahwa  situs  web  STT  Wastukancana sudah sangat baik namun tetap membutuhkan  perbaikan  agar  dapat lebih  maksimal  dalam  penggunaannya. Oleh  karena  itu,  berdasarkan  hasil pengujian diberikan rekomendasi perbaikan  berupa  perbaikan  antarmuka dan perbaikan system. Perbaikan antarmuka meliputi peletakan informasi penting di halaman beranda, melengkapi konten  yang  masih  kosong,  dan meningkatkan  kualitas  foto  yang  ada  di dalam situs web. Perbaikan system yaitu menambahkan  fitur  pencarian  yang dapat mempermudah pengguna mencari informasi dengan cepat.

## DAFTAR PUSTAKA
Alroobaea, R., & Mayhew, P. J. (2014). How  many  participants  are  really enough  for  usability  studies? Proceedings  of  2014  Science  and Information Conference, SAI 2014 , 48–56. Aprilia,  I.  H.  N.,  Santoso,  P.  I.,  & Ferdiana,  R.  (2015).  Pengujian Usability  Website  Menggunakan System  Usability  Scale  Website Usability  Testing  using  System Usability  Scale. Jurnal  IPTEK- KOM , 17 (1), 31–28.
Arijaya, I. G. N. P., Pradnyana, I. M. A., &  Wirawan,  I.  M.  A.  (2019). Usability  Testing  in  Tourism Object  Management  System. 3rd
International Conference on Innovative Research Across Disciplines  (ICIRAD  2019) ,  139– 144.
Audi,  M.,  Rokhmawati,  R.  I.,  &  Az- zahra, H. M. (2018). Analisis Aspek Usability  dan  User  Experience Website dan Aplikasi Mobile Radio Streaming ( Studi Pada Website dan Aplikasi Mobile Radio Prambors ).
Jurnal  Pengembangan  Teknologi Informasi  Dan  Ilmu  Komputer  (J- PTIIK) Universitas Brawijaya , 12 (2), 6391–6400.
Bangor, A., T.Kortum, P., & Miller, J. T.
(2008). An Empirical Evaluation of the System Usability Scale.
International  Journal  of  Human–
Computer  Interaction , 24 (6),  574– 594.
Blakinston, R. (2015). Usability testing a practical  guide  for  librarians . Rowman & Littlefield.
Bligard,  L.-O.,  &  Osvalder,  A.-L.
(2013). Enhanced Cognitive Walkthrough:  Development  of  the Cognitive  Walkthrough  Method  to
Better Predict, Identify, and Present Usability  Problems. Advances  in Human-Computer Interaction . Brooke, J. (2013). SUS: a retrospective.
Journal  of  Usability  Studies , 8 (2), 29–40.
George,  C.  A.  (2008). User-Centred Library Websites: Usability evaluation methods . Hanifah, S., Rahayu, A., & Dirgantari, P.
D. (2018). Gambaran Brand Experience Dan Brand Love Iphone Pada Komunitas Fanspage Facebook Iphone Indonesia. Journal  of  Business  Management Education , 3 (1), 1–10.
Hwang,  W.  (2010).  Number  of  people required  for  usability  evaluation: the  10±2  rule. Communications  of the ACM , 53 (5), 130–133.
Jacobsen,  N.,  &  John,  B.  (2000). Two
case  studies  in  using  cognitive walkthrough for interface evaluation . http://reports- archive.adm.cs.cmu.edu/anon/2000 /CMU-CS-00-132.pdf Kurnia, R. S., Utami, E., & Al-Fatta, H. (2017). Pengujian Usability Antarmuka  Aplikasi  Braille  Smart Pada  Siswa  Tunanetra. Jurnal Informasi Interaktif , 2 (1), 21–28. Kusumah, M. A. A., Rokhmawati, R. I., &  Amalia,  F.  (2019).  Evaluasi Usability Pada Website E- commerce XYZ Dengan Menggunakan  Metode  Cognitive Walkthrough dan System Usability Scale (SUS). Jurnal Pengembangan Teknologi Informasi  Dan  Ilmu  Komputer , 3 (5), 4340–4348.
Nielsen,  J.  (2000). Designing  Web Usability . New Riders Publishing.
Nielsen,  J.  (2012,  January).  Usability 101:  Introduction  to  Usability. Nielsen Norman Group . https://www.nngroup.com/articles/ usability-101-introduction-to- usability/
Pradini,  R.  S.,  Kriswibowo,  R.,  &
Ramdani,  F.  (2019).  Usability Evaluation  on  the  SIPR  Website Uses  the  System  Usability  Scale and Net Promoter Score. Proceedings of 2019 4th International Conference on Sustainable Information Engineering and Technology (SIET 2019) , 280–284. Pudjoatmojo,  B.,  &  Wijaya,  R.  (2016). Tes  Kegunaan  (Usability  Testing) Pada Aplikasi Kepegawaian Dengan Menggunakan System Usa- bility  Scale  (Studi  Kasus:  Dinas Pertanian  Kabupaten  Bandung). Seminar Nasional Teknologi Informasi Dan Multimedia 2016 . Raharjo, P., Kusuma, W. A., & Sukoco,
H.  (2016).  Uji  Usability  Dengan
Metode  Cognitive  Walkthrough Pada  Situs  Web  Perpustakaan Universitas  Mercu  Buana  Jakarta.
Jurnal Pustakawan Indonesia ,
15 (1–2), 19–27. Sauro,  J.  (2011). practical  guide  to  the System Usability Scale: Background,  benchmarks,  &  best practices . Measuring Usability
LLC. Sauro,  J.  (2012). Measuring  Errors  In The User Experience . https://measuringu.com/errors-ux/
Setiawati,  A.,  Rahim,  A.,  &  Kisbianty, D.  (2018).  Pengembangan  dan Pengujian  Aspek  Usability  pada Sistem  Informasi  Perpustakaan  ( Studi  Kasus :  STIKOM  Dinamika Bangsa  Jambi  ). Jurnal  Ilmiah Sistem Informasi, Teknologi Informasi  Dan  Sistem  Komputer
(PROCESSOR) , 13 (1). Sharfina,  Z.,  &  Santoso,  H.  B.  (2016). An  Indonesian  adaptation  of  the System  Usability  Scale  (SUS). 2016  International  Conference  on Advanced  Computer  Science  and Information  Systems  (ICACSIS) , 145–148.