## USABILITY TESTING PADA APLIKASI POTWIS
Tifani Yuliyana 1 , I Ketut Resika Arthana 1 , Ketut Agustini 1
Program Studi Pendidikan Teknik Informatika, UniversitasPendidikan Ganesha, Bali, Indonesia Email: tifaniyuliyana.012pti@gmail.com
Abstrak
Penelitian  ini  dilakukan  untuk  mengevaluasi  aplikasi  POTWIS  dengan  menyoroti tiga  konsep usability yaitu  efektivitas,  efisiensi,  dan  kepuasan  pengguna  dalam menggunakan  aplikasi  POTWIS  diukur  menggunakan  metode Usability  Testing teknik Performance Measurement , RTA, UEQ, dan SUS. Tujuannya ialah untuk mengetahui hasil usability  testing  dan  rekomendasi  perbaikan  pada  aplikasi  POTWIS  berdasarkan  hasil usability testing.
Hasil penelitian ini berdasarkan analisis dari perhitungan statistik Mann Whitney U Test ,  UEQ  dan  SUS  menunjukkan  bahwa  (1)  aplikasi  POTWIS  belum  efektif  dilihat  dari adanya  kesalahan  yang  dilakukan  oleh  responden  saat  pengerjaan  tugas,  (2)  aplikasi POTWIS  sudah  efisien  dilihat  dari  waktu  pengerjaan  tugas  karena  tidak  ada  perbedaan yang signifikan waktu pengerjaan tugas responden kelompok mahir dan kelompok pemula, (3) aplikasi POTWIS belum memenuhi skala efisiensi diukur menggunakan UEQ dengan skor sebesar 0.625 dinyatakan masih dibawah rata-rata, dan (4) aplikasi POTWIS belum memenuhi kepuasan pengguna dilihat dari skor SUS sebesar 53.00 yang dinyatakan masih dibawah skor rata-rata yaitu > 68.
Kata kunci: usability , POTWIS, SUS, UEQ, wireframe .

## Abstract
This research was conducted to evaluate POTWIS application by highlighting three usability concepts that effectiveness, efficiency, and the satisfaction of the user in using POTWIS application measured by usability testing methode, Performance Measurement, RTA, UEQ, and SUS technique. The purpose is to know the result of usability testing and improvement  recommendation  on  POTWIS  application  based  of  the  result  of  usability testing.
The  result  of  this  research  is  based  on  analysis  of  statical  calculation  Mann Whitney U Test, UEQ dan SUS which showed (1) POTWIS application is not effective seen from  the  existance  of  the  mistake  made  by  respondent  during  the  task,  (2)  POTWIS application is efficient seen from the time of task execution because the execution time between proficient group and beginner group was not significantly different, (3) POTWIS application has not met the scale of efficiency measured by UEQ with score 0.625 which showed below the average and (4) POTWIS application has not fulfilled user satisfaction measured by SUS with score 53.00 which is stated still below the average score is > 68.
Keywords : usability, POTWIS, SUS, UEQ, wireframe.

## PENDAHULUAN
Aplikasi  POTWIS  bermanfaat  untuk menginformasikan potensi atau objek wisata yang  diketahui  dan  menampilkan  objek wista.  Aplikasi  POTWIS  memanfaatkan teknologi  LBS  ( Location-Based  Services ) untuk  memberikan  informasi  dalam  bentuk peta, objek wisata terdekat dan rute menuju objek  wisata  tersebut.  Aplikasi  POTWIS dirancang  dengan  mengadopsi  konsep Crowdsourcing dimana  konten,  tanggapan dan  penilaian  diberikan  oleh  masyarakat (Arthana Resika, Setemen, Purnamawan, &
Andiani, 2016). Aplikasi POTWIS diharapkan dapat menjadi fasilitas pendukung masyarakat  yang  ingin  berwisata.  Namun, hingga saat belum pernah dilakukan evaluasi dari  tingkat usability ,  sehingga  belum diketahui  apakah  aplikasi  POTWIS  telah memenuhi  kriteria usability yaitu  efektivitas, efisiensi, dan kepuasan pengguna.
Usability berasal  dari  Bahasa  Inggris yaitu usable yang secara umum berarti dapat digunakan  dengan  baik.  Sesuatu  dapat dikatakan  berguna  dengan  baik  apabila kegagalan  dalam  penggunaannya  dapat
dihilangkan atau diminimalkan serta memberi  manfaat  dan  kepuasan  kepada pengguna  (Rubin,  J.,  &  Chisnell,  2008). Suatu  aplikasi  disebut usable jika  fungsi- fungsinya  dapat  dijalankan  secara  efektif, efisien, dan memuaskan (Nielsen, 1993).
Evaluasi usability adalah  proses  yang melibatkan  pengguna  sehingga  dapat mempelajari dan menggunakan produk guna tercapainya aspek-aspek kenyamanan pengguna  seperti  efektivitas,  efisiensi,  dan kepuasan pengguna terhadap sistem secara keseluruhan  (U.S.  Department  of  Health  & Human Services, 2014).
Menurut Zaphiris & Kurniawan, metode evaluasi usability dapat  dikategorikan menjadi  model/ metrics  based , inspection , inquiry , dan testing (Utama, 2011). Diantara keempat kategori metode tersebut yang saat ini  paling  banyak  digunakan  untuk  menguji sebuah  sistem  karena  lebih  akurat  adalah metode usability  testing (Utami,  2016). Sehingga  dalam  penelitian  ini  metode  yang digunakan  adalah usability  testing ,  dimana metode ini digunakan untuk mengobservasi pengguna  saat  berinteraksi  dengan  aplikasi POTWIS.
Usability  testing memiliki  beberapa teknik  evaluasi  yang  berbeda.  Diantara beberapa  teknik  dalam usability  testing terdapat  teknik  dengan  mengukur  performa keberhasilan dan kecepatan pengerjaan task (tugas) yaitu teknik
Performance
Measurement .  Selain  itu,  ada  teknik  RTA ( Retrospective Think Aloud ) dimana teknik ini memungkinkan  responden  menceritakan perasaan,  pikiran,  dan  pendapatnya  saat berinteraksi  dengan  aplikasi.  Kedua  teknik tersebut  lebih  mudah  digunakan  dan  dapat mengukur  aspek  penting  dalam usability , yaitu  efektivitas,  efisiensi,  dan  kepuasan pengguna. Oleh karena itu, dalam penelitian ini  teknik  yang  digunakan  ialah  teknik Performance Measurement dan RTA. Pentingnya melakukan usability testing pada  aplikasi mobile dibuktikan  dengan adanya  penelitian  yang  dilakukan  oleh Gatsou  et  al.,  pada  tahun  2013  lalu  denga judul  penelitian  “ Exploring  Inexperienced User  Performance  of  a  Mobile  Tablet Application  Through  Usability  Testing ”. Setelah  dilakukan usability testing pada pengguna  diperoleh  aspek  yang  perlu
ditingkan  yaitu  efektivitas  dan  mengurangi terjadinya  kesalahan  yang  dilakukan  oleh pengguna,  serta  didapatkan  hasil  berupa nilai  kepuasan  pengguna  yang  diukur dengan kuesioner SUS yang nantinya dapat dijadikan  acuan  dalam  aspek  kepuasan pengguna.
Penelitian lain yang dilakukan oleh Az- zahra  et  al.,  tahun  2015  dengan  judul penelitian “Usability  Evaluation  of  Mobile Application  in  Culinary  Recommendation System ”.  Setelah  melakukan  evaluasi usability pada  pengguna  diperoleh  aspek- aspek  penting  dalam  mengukur learnability , efektivitas, dan kepuasuan pengguna, yang diukur dengan teknik CTA ( Concurent Think Aloud ) dan kuesioner SUS. Selain itu berdasarkan penelitian yang dilakukan  oleh  Satria  Utama  pada  tahun 2011,  yang  berjudul  “Perbaiakn User Interface Halaman Internet Banking dengan Metode Usability  Testing ”,  menunjukkan setelah dilakukannya perbaikan user interface halaman  Internet  Banking  dapat menjadikan user  interface lebih  efektif, efisien, dan meningkatkan kepuasan pengguna  yang  didapatkan  dari  hasil evaluasi usability dengan  teknik Eye Tracking,  Performance  Measurement, dan RTA.
Berdasarkan permasalahan yang dipaparkan  tersebut,  maka  penulis  hendak melakukan penelitian yang berjudul “ Usability  Testing pada  Aplikasi  POTWIS” dengan tujuan mengevaluasi aplikasi POTWIS pada aspek usability menggunakan teknik usability  testing dengan  teknik Performance Measurement , RTA, UEQ, dan Kuesioner SUS . Selain itu, dari hasil usability testing ini  diharapkan  dapat  memberikan sebuah  rekomendasi  perbaikan  aplikasi POTWIS.

## METODE
A.  Aplikasi POTWIS Aplikasi  POTWIS  bermanfaat  untuk menginformasikan potensi atau objek wisata yang  diketahui  dan  menampilkan  objek wista.  Aplikasi  POTWIS  memanfaatkan teknologi  LBS (Location-Based  Services) untuk  memberikan  informasi  dalam  bentuk peta, objek wisata terdekat dan rute menuju
objek  wisata  tersebut.  Aplikasi  POTWIS dirancang  dengan  mengadopsi  konsep Crowdsourcing dimana  konten,  tanggapan dan  penilaian  diberikan  oleh  masyarakat (Arthana Resika et al., 2016).
Adapun halaman-halaman yang terdapat  pada  aplikasi  POTWIS  adalah halaman login, halaman daftar objek wisata, informasi  detail  objek  wisata,  rute  menuju lokasi  objek  wisata,  komentar  dan  rating pada  objek  wisata,  menambah  dan  melihat foto objek wisata, menambah atau mengedit konten  objek  wisata,  melaporkan  konten objek wisata, menambah, objek wisata baru, peta seluruh tempat objek wisata.
B. Usability Istilah usability sering digunakan dalam bidang Human  Computer  Interaction (HCI) (Gatsou,  Politis,  &  Zevgolis,  2013).  Human Computer Interaction yaitu sebagai interaksi komputer manusia, adalah multi disiplin ilmu yang  fokus  pada  desain,  evaluasi  dan implementasi  dari  interaksi  sistem  yang digunakan  oleh  manusia  dan  hal  lain  yang berada di sekitar (Saifulloh & Asnawi, 2015). Usability berasal  dari  Bahasa  Inggris  yaitu usable yang  secara  umum  berarti  dapat digunakan  dengan  baik.  Sesuatu  dapat dikatakan  berguna  dengan  baik  apabila kegagalan  dalam  penggunaannya  dapat dihilangkan atau diminimalkan serta memberi  manfaat  dan  kepuasan  kepada pengguna  (Rubin,  J.,  &  Chisnell,  2008). Suatu  aplikasi  disebut usable jika  fungsi- fungsinya  dapat  dijalankan  secara  efektif, efisien, dan memuaskan (Nielsen, 1993).
Usability didefinisikan oleh 5 komponen berkualiatas  yaitu learnability,  efficiency, memorability,  error,  satisfaction (Nielsen, 2012).  ISO  9241-11  mengatakan usability memiliki 3 dimensi yaitu efektivitas, efisiensi dan kepuasan (ISO 9241-11, 1998).
Menurut Zaphiris & Kurniawan, metode evaluasi usability dapat  dikategorikan menjadi  model/ metrics  based , inspection , inquiry ,  dan testing (Utama,  2011).  Dalam penelitian ini menggunakan metode Testing . Usability  testing adalah  teknik  yang digunakan  untuk  mengevaluasi  produk dengan mengujinya langsung pada pengguna (Nalurita, Yogasara, & Hariandja, 2015). Usability testing mempunyai
beberapa teknik evaluasi yang berbeda yaitu teknik Think Aloud dibagi menjadi dua CTA ( Concurent Think Aloud ) dan RTA ( Restrospective  Think  Aloud ) ,  Shadowing Method, Coaching Method, Question-Asking Protocol,  Teaching  Method,  Performance Measurement,  Remote  Testing,  dan  Eye Tracker .  Dalam  penelitian  ini,  peneliti menggunakan teknik Performance
Measurement dan teknik RTA.
B.1 Performance Measurement
Teknik ini digunakan untuk
memperoleh  data  kuantitatif  terkait  kinerja peserta  tes  ketika  melakukan  tugas  selama pengujian usability .  Teknik  ini  umumnya melarang  interaksi  antara  peserta  dan evaluator selama uji yang akan mempengaruhi data kinerja kuantitatif. Data kuantitatif sangat berguna dalam melakukan pengujian  perbandingan  waktu  pengerjaan untuk melihat efisiensi dan membandingkan jumlah error untuk melihat efektifitas.
B.2 Retrospective Think Aloud (RTA) Teknik  evaluasi  RTA  dilakukan  ketika responden  selesai  melakukan  interaksi dengan  sistem.  Responden  akan  diminta memverbalisasi  pikiran,  perasaan,  dan pendapatnya dengan bantuan melihat media video  yang  memutar  kembali  aktifitas  yang dilakukan  responden  saat  berinteraksi dengan sistem.
C.  UEQ ( User Experience Questionnaires ) Tujuan utama dari penggunaan kuesioner  UX  adalah  untuk  memungkinkan pengukuran  cepat  dan  segera  pengalaman pengguna  produk  interaktif  (Laugwitz,  Held, &  Schrepp,  2008).  UEQ  telah  diterapkan dalam berbagai konteks penelitian, misalnya untuk  evaluasi  perangkat  lunak  bisnis (Rauschenberger, Hinderks, & Thomaschewski, 2011) , alat-alat
pengembangan (Wieschnowsky & Paulheim, 2011),  situs  web  dan  layanan  web (Hartmann,  2011),  atau  jaringan  sosial (Hartmann, 2011).
Item  penilaian  UEQ  diwujudkan sebagai  diferensial  semantik,  yaitu  masing- masing item penilaian diwakili oleh sepasang istilah dengan arti yang berlawanan. Urutan istilah  diacak  per  item,  yaitu  setengah  dari
item dari skala awal dengan istilah positif dan setengah  lainnya  dari  item  dimulai  dengan istilah  negatif.  UEQ  menggunakan  skala tujuh  tahap  untuk  mengurangi  terkenanya bias  tendensi  sentral  untuk  jenis  seperti barang.
UEQ  mengandung  6  pertimbangan dengan total 26 item penilaian. Struktur skala UEQ adalah sebagai berikut.
Gambar 1 Struktur Skala UEQ Sumber : (Schrepp, 2015)
D.  SUS ( System Usability Scale )
SUS  merupakan  sebuah  kuesioner yang  mengacu  pada Standard  Usability Questionnaires .  SUS  dikenal  sebagai pengukur  kepuasan  pengguna  yang “quick and  dirty” artinya  penggunaan  kuesioner SUS sangat cepat dan data yang dihasilkan dapat  dipercaya.  Kuesioner  SUS  paling sering  digunakan  untuk  mengukur  persepsi usability (Sauro, 2011). SUS juga merupakan paket usability testing (pengujian kebergunaan) yang efektif dan handal untuk digunakan  pada  berbagai  produk  dan aplikasi (Bangor, Kortum, & Miller, 2009).
E.  Uji Statistik Mann Whitney U Test Mann Whitney U test adalah sebuah uji statistik non parametrik  yang  digunakan untuk  membandingkan  dua  kelompok independen  (berbeda  partisipan  dalam setiap kelompoknya) (Utama, 2011). Asumsi yang  berlaku  dalam Mann  Whitney  U  test yaitu  (1)  sampel  yang  berasal  dari  populasi
adalah acak, (2) sampel bersifat independen, dan  (3)  skala  pengukuran  yang  digunakan adalah  ordinal  (Utama,  2011).  Dalam penelitian  ini  menggunakan  nilai  α  (alpha) 0.05.
F.  Responden Literatur  tidak  memberikan  jumlah responden  optimal  yang  jelas  dalam melakukan usability testing . Nielsen
(Nielsen,  2000)  berpendapat  bahwa  5 responden atau partisipasi akan menemukan 80%  dari  masalah  suatu  sistem.  Faulkner (Faulkner,  2003)  berpendapat  bahwa  5 orang  hanya  akan  menemukan  sebanyak 55% permasalahan usability , untuk mendapatkan  90%  permasalahan  dalam usability maka diperlukan sebanyak minimal 15  orang,  dan  untuk  mendapatkan  95% permasalahan dalam usability maka diperlukan  sebanyak  minimal  20  orang pengguna. Dalam  penelitian  Gatsou  et  al.  (2013) dengan judul penelitian “ Exploring
Inexperienced User Performance of a Mobile Tablet Application Through Usability Testing ”
menggunakan 12 peserta partisipasi. Sedangkan  penelitian  yang  dilakukan  oleh Az-zahra  et  al.  (2015)  dengan  judul penelitian “Usability  Evaluation  of  Mobile Application  in  Culinary  Recommendation System ” menggunakan 5 peserta partisipasi. Oleh  sebab  itu,  peneliti  menggunakan  20 responden  yang  dijadikan  sampel  untuk melakukan usability  testing pada  aplikasi POTWIS,  dimana  responden  tersebut dikelompokkan  menjadi  kelompok  pemula dan kelompok mahir.
G. Wireframe
Wireframes dapat  dibuat  secara manual  dengan  tangan  atau  dengan menggunakan  perangkat  lunak,  seperti Balsamiq  (Junus,  Santoso,  Isal,  &  Utomo, 2015). Wireframes yang  dibuat  dalam penelitian  ini  adalah  gambar  rangka sederhana  yang  menyediakan  gambar mengenai  tata  letak  dan  memberikan informasi  atau  fungsi  yang  lebih  rinci mengenai  perbaikan  rekomendasi  halaman antarmuka sistem aplikasi POTWIS dengan menggunakan  perangkat  lunak Balsamiq Mockups 3.

## HASIL DAN PEMBAHASAN
Untuk  mengukur  efektivitas  pada aplikasi  POTWIS  yakni  mengetahui error yang  dilakukan  oleh  responden  pada  tiap tugas  yang  diberikan.  Sedangkan  efisiensi diukur  dari  hasil  data  waktu  pengerjaan tugas  kemudian  akan  dibandingkan  antara responden kelompok pemula dan kelompok mahir dengan menggunakan uji statistik, dan untuk  mengukur  efisiensi  juga  digunakan perhitungan
UEQ. Untuk
mengukur kepuasan pengguna yakni dengan melakukan  rekapitulasi  hasil  kuisioner  dan dianalisis dengan perhitungan SUS.
Data  yang  diperoleh  dari  proses usability testing dengan teknik Performance Measurement diperoleh  hasil  data  waktu pengerjaan  tugas  terhadap  20  responden mahasiswa.  Sedangkan  data  yang  didapat dari  proses usability  testing dengan  teknik RTA  diperoleh  hasil  data  berupa  data masalah  atau  kesulitan  saat  menggunakan aplikasi  serta  saran  dari responden yang menunjukkan  kesulitan  atau  masalah  yang dialami responden ketika  menggunakan aplikasi POTWIS.
Dari  hasil  analisis  data  responden mengalami kesalahan ( error ) saat mengerjakan tugas 4, 5, 6, 7, 10, 11, 12, 13, dan tugas 14.
Tabel  1  Data  Penyebab  Kesalahan (Error) Responden
Tugas  Kode Respo nden Penyebab Error 4 RP02, RM02 Setelah  klik  lihat  objek wisata  secara  detail, responden langsung terfokus  pada  rating bintang dibawah gambar  utama  objek wisata  dan  mencoba mengklik beberapa kali tetapi tidak menunukkan  adanya respon  dari  aplikasi, maka responden langsung  melanjutkan pada tugas selanjutnya sehingga tidak menemukan menu Rating dan Komentar. 5 RP04 Sudah  masuk  pada Tampilan  Lihat  Semua Gambar  Objek  Wisata, responden  tidak  tahu dimana  letak  tombol untuk meng-upload gambar, responden hanya mengklik Refresh ,  setelah  itu responden langsung melanjutkan pada tugas selanjutnya sehingga tidak menemukan tombol untuk Upload gambar. 6 RP08 Setelah  klik  icon  menu Edit dan Tambah Deskripsi Objek Wisata,  maka  keluar tampilan  Pilih  Konten Yang  Diedit.  Namun pada bagian ini responden merasa ragu  untuk  mengklik karena pada pada tampilannya responden membaca dan beranggapan hanya diperuntukkan  “untuk konten yang diedit saja” sehingga responden melanjutkan pada tugas berikutnya. 7 RP08 RM09 Tugas  7  tidak  dibaca (terlewati). Responden  sudah  klik icon tombol Lapor Objek  Wisata,  akan tetapi proses
menampilkannya lumayan  lama  maka
responden
memutuskan  untuk  ke tugas selanjutnya. 10 RP05, RP07 Saat responden memasukkan alamat pada  kolom  Masukkan Alamat  Objek  Wisata, responden tidak
menyedari
bahwa setelah itu perlu lagi di klik  tombol  Search dibagian  pojok  kanan
kolom Memasukkan Alamat  Objek  Wisata, sehingga responden langsung Next pada tahap selanjutnya. 11 RP01, RP02, RP04, RP05, RP06, RP07, RP08, RP10, RM02, RM07, RM10 Ketika responden melakukan  pencarian objek wisata yang telah ditambahkan,  namun responden merasa kebingungan karena objek wisata yang telah ditambahkan  tidak  ada atau  tidak  tampil  saat dicari pada kolom Search .  Jadi,  disini responden belum memahami bahwa ketika melakukan Pencarian objek wisata aplikasi POTWIS hanya  bisa  membaca satu  keyword  (satu suku kata) saja. 12 RP01, RP02, RP,04, RP05, RP06, RP08, RP10, RM02, RM03, RM07, RM10 Karena  objek  wisata yang telah ditambahkan tidak ditemukan melalui pencarian  di  kolom Search dan sudah mencari secara manual semampunya maka tugas  12  ini  dilewati oleh user . 13 RP01, RP02, RP,04, RP05, RP06, RP08, RP10, RM02, RM07, RM10 Karena  objek  wisata yang telah ditambahkan tidak ditemukan melalui pencarian  di  kolom Search dan sudah mencari secara manual semampunya maka tugas  13  ini  dilewati oleh user. 14 RM04 Tugas  14  tidak  dibaca (terlewati).
Data  analisis  yang  didapat  dari  proses usability testing dengan teknik Performance Measurement dan Retrospective  Think Aloud (RTA), sebagai berikut : a.  Efektivitas
Untuk  menganalisis  dan  mengukur efektivitas diukur dengan melihat terjadinya Error yang terjadi saat responden menyelesaikan  tugas.  Mmaka  diperoleh data terjadinya kesalahan ( error ) responden pada Tabel 2 berikut. Tabel 2 Data Kesalahan Penggunaan ( Error ) Responden
Dengan  terdapatnya error beserta penyebabnya  pada  proses  penyelesaian task  skenario  (tugas)  tersebut,  dapat disimpulkan bahwa halaman aplikasi POTWIS dikatakan belum efektif .

## b.  Efisiensi
Untuk  mengukur  efisiensi  pengerjaan tugas  dilakukan  dengan  membandingkan waktu  pengerjaan  responden  pemula dengan  responden  mahir  pada  hasil pengukuran usability aplikasi  POTWIS menggunakan Mann Whitney U-test . Hipotesis yang digunakan tiap tugas adalah sebagai berikut:
- H0 :  Tidak  ada  perbedaan  waktu pengerjaan  tugas  (x)  pada  responden kelompok pemula dan kelompok mahir.
- H1  :  Ada  perbedaan  waktu  pengerjaan tugas  (x)  pada  responden  kelompok pemula dan kelompok mahir.
Pada  hasil  data  responden,  nilai pvalue dari  masing-masing  tugas  terdapat pada Tabel 3 berikut.
Tabel 3 Nilai p-value Data Responden
Tugas p-value Task 1 0.029 Task 2 0.140 Task 3 0.068 Task 4 0.130 Task 5 0.494 Task 6 0.472 Task 7 0.404 Task 8 0.317 Task 9 0.677 Task 10 0.596 Task 11 0.031 Task 12 0.281 Task 13 0.146 Task 14 0.412
Secara  statistik  dari  14  tugas  dapat dinyatakan  tidak  ada  perbedaan  yang signifikan,  naum  tugas  1  dan  11 menunjukkan  perbedaan  yang  signifikan, meskipun waktu pengerjaan tugas responden kelompok  mahir  sedikit  lebih cepat  dari  kelompok  pemula.  Maka  dapat diputuskan bahwa halaman aplikasi POTWIS sudah  efisien dilihat  dari  waktu pengerjaan tugas.
Sedangkan  dilihat  dari  skala  Efisiensi yang  diukur  menggunakan  kuesioner  UEQ perolehan  nilai  rata  responden  sebesar 0.625.  Hal  ini  berarti  nilai  skor  tersebut dibawah rata-rata, sehingga dapat dikatakan bahwa aplikasi POTWIS belum memenuhi faktor  efisiensi UEQ.  Serta  terdapatnya hasil pengukuran skala UEQ lainnya (Daya Tarik, Kejelasan, Ketepatan, Stimulasi, dan Kebaruan aplikasi POTWIS).
Tabel 4 Rekapitulasi Nilai Skala UEQ

## Gambar 2 Tingkat Pencapaian Berdasarkan
Hasil Uji Lapangan

## c.  Kepuasan Pengguna
Perolehan  nilai  skor  responden kuesioner SUS sebesar 53.00. Hal ini berarti nilai  skor  tesrsebut  lebih  kecil  dari  skor standar  SUS  yaitu  68.  Sehingga  dapat dikatakan  bahwa  responden kurang  puas menggunakan aplikasi POTWIS. Dilihat dari data  kuesioner  yang  diperoleh  pernyataan yang  memiliki  nilai  terendah  adalah pengguna  merasa  memerlukan  bantuan orang  lain  ketika  menggunakan  aplikasi POTWIS,  dan  responden  menemukan  fitur yang  sangat  rumit  digunakan  pada  aplikasi POTWIS.
Dari  hasil  yang  didapatkan  maka rekomendasi  perbaikan  dilakukan  dengan membuat wireframe ,  dimana  dasar  yang digunakan untuk mengembangkan rekomendasi adalah panduan HCI dan hasil data usability  testing yaitu performance measurement dan  RTA.  Berdasarkan  hasil performance  measurement ,  rekomendasi perbaikan  dalam  penelitian  ini  akan difokuskan pada tata letak (layout) halaman dan  menu  navigasi  sesuai  hasil  data penyebab  kesalahan (error) pengguna sesuai  dengan  data  penyebab  kesalahan ( error )  pengguna,  serta  saran  pengguna melalui  hasil  RTA  yaitu  menyederhanakan menu, konsistensi kejelasan button , konsistensi penggunaan bahasa dan istilah untuk  setiap button ,  serta  rekomendasi perbaikan fungsionalitas .  Berikut  adalah halaman aplikasi POTWIS hasil rekomendasi perbaikan. 1.  Rekomendasi perbaikan Halaman
Utama Aplikasi POTWIS
-1,00 -0,50 0,00 0,50 1,00 1,50 2,00 2,50 Da ya ta rik Ke je la sa n Ef is ie ns i Ke te pa ta n St im ul as i Ke ba ru an Excellent Good Above Average Below Average
Gambar  3  Halaman  Utama  dan Wireframe

## Rekomendasi
Rekomendasi perbaikan halaman utama  POTWIS  yang  dilakukan  adalah bahasa  yang  digunakan  setiap button aplikasi  POTWIS,  menambahkan button masuk  ke  aplikasi  POTWIS  menggunakan akun Google .
2.  Rekomendasi Perbaikan Halaman Beranda Gambar 4 Halaman Beranda dan Wireframe Rekomendasi
Rekomendasi perbaikan halaman Beranda  POTWIS  adalah  perbaikan  pada form pencarian  dengan  memasukkan sebuah  keterangan  pada  kolom  pencarian, menghilangkan button yang berfungsi untuk menampilkan  objek  wisata  terdekat user , menambah menu filter berdasarkan wilayah objek  wisata  dan  kategori  wisata, serta perbaikan  pada  segi  fungsionalitas  agar aplikasi POTWIS memastikan kembali terkait dengan  keabsahan  data  objek  wisata  yang diinput user .
3.  Rekomendasi Perbaikan Halaman Lihat Detail Objek Wisata
Gambar  5  Halaman  Lihat  Detail  Objek Wisata dan Wireframe Rekomendasi Rekomendasi
perbaikan yang
dilakukan adalah gambar sampul bisa di klik, terdapat  opsi  pilihan  untuk  mengganti gambar sampul objek wisata dan menyimpan  gambar  sampul  objwk  wisata, serta perbaikan pada fungsionalitas dimana ketika  responden  sudah  mendapatkan berupa  pesan  berhasil  mengganti  gambar sampul  objek  wisata,  namun  sebenarnya gambar  sampul  objek  wisata  tidak  terganti (tidak ada perubahan).
4.  Rekomendasi Perbaikan Halaman
Komentar Gambar  6  Halaman  Komentar  dan Wireframe Rekomendasi Rekomendasi
perbaikan yang
dilakukan adalah memindahkan tombol Kirim Komentar di sebelah kolom Tulis Komentar. 5.  Rekomendasi Perbaikan Halaman Lihat Galeri Gambar Objek Wisata
Gambar  7  Halaman  Lihat  Galeri  Gambar Objek Wisata dan Wireframe Rekomendasi
Perbaikan yang dilakukan
adalah menambahkan  berupa  keterangan  nama halaman  yang  sedang  dibuka,  dan  adanya tombol Kembali ( back ).
6.  Rekomendasi Perbaikan Halaman Share
Gambar 8 Halaman Berbagi ( share ) dan wireframe Rekomendasi
Perbaikan  yang  dilakukan  adalah menambah pesan berupa tautan berhasil di Bagikan ( share ) atau tidak, dan tersedianya tampilan  yang  digunakan  untuk  menulis keterangan  ( caption )  sebelum  tautan  objek wisata di bagikan ( share ).
7.  Rekomendasi Perbaikan Halaman Menambah Alamat Objek Wisata Baru
Gambar  9  Halaman  Menambah  Alamat Objek  Wisata  Baru  dan Wireframe Rekomendasi
Perbaikan  yang  dilakukan  adalah ketika meletakkan/menggeser penanda peta pada  titik  yang  dimaksud  maka  akan langsung terdeteksi titik koordinat dan alamat lokasi  yang  diberi  tanda,  serta  pada  kolom Pencarian  bisa  digunakan  untuk  mencari alamat  objek  wisata  berdasarkan  titik koordinat. Selain itu, menaambahkan pesan berupa  syarat  untuk  bisa  lanjut  pada  step berikutnya.
8.  Rekomendasi Perbaikan Halaman Seluruh Peta Objek Wisata
Gambar  10  Halaman  Seluruh  Peta  Objek
Wisata dan Wireframe Rekomendasi
Rekomendasi perbaikan yang
dilakukan adalah mengubah warna penanda peta berdasarkan kategori objek wisata, dan menambahkan  berupa  tombol  Kembali ( back )  yang  berfungsi  untuk  kembali  ke halaman sebelumnya.
9.  Rekomendasi Perbaikan Halaman Menu Aplikasi POTWIS
Gambar  11  Halaman  Menu  POTWIS  dan Wireframe Rekomendasi
Perbaikan  yang  dilakukan  adalah perubahan  bahasa  yang  digunakan  pada tombol Home menjadi  Beranda,  tombol Logout menjadi Keluar. Konsistensi penggunaan  bahasa  ini  dibataskan  pada tombol  aplikasi  POTWIS  saja.  Perbaikan lainnya  adalah  terkait  fungsionalitas  tombol Logout agar  diperjelas,  apakah  berfungsi keluar  dari  akun  yang  digunakan  untuk masuk  ke  aplikasi  POTWIS,  atau  menutup aplikasi  POTWIS.  Hal  ini  dilakukan berdasarkan  kritik  dari  responden  untuk kejelasan menu/tombol Logout .

## SIMPULAN
Berdasarkan  hasil  penelitian  yang dilakukan  terkait usability testing pada aplikasi POTWIS dapat disimpulkan bahwa (1) halaman aplikasi POTWIS secara umum belum  efektif  karena  terjadi error dalam pengerjaan tugas oleh responden (2) dilihat dari  hasil  data  yang  didapat  dengan  teknik performance measurement diketahui bahwa secara  statistik  waktu  pengerjaan  tugas responden pemula secara signifikan hampir sama  dengan  responden  mahir,  walaupun mean  rank untuk  kelompok  mahir  lebih cepat,  sehingga  halaman  aplikasi  POTWIS sudah  efisien,  (3)  dari  data  skala  efisiensi kuesioner  UEQ  diperoleh  hasil  sebesar 0.625  dikatakan  masih  dibawah  rata-rata, sehingga  aplikasi  POTWIS  belum  efisiensi dari  segi  kuesioner  UEQ,  dan  (4)  dari  data kepuasan responden yang didapat dari hasil kuesioner  SUS  diketahui  bahwa  skor  yang diperoleh  kurang  dari  68  yaitu  sebesar 53.00,  sehingga  responden  dikatakan merasa kurang puas menggunakan aplikasi POTWIS.
Hasil yang didapat dari proses usability testing diketahui  bahwa  halaman  aplikasi POTWIS  tidak  memenuhi  kriteria  sebuah produk  dengan usability yang  baik.  Hal  ini dapat  dilihat  pada  penilaian  tingkat efektivitas, efesiensi, dan kepuasan pengguna,  halaman  aplikasi  POTWIS  tidak mampu  memenuhi  kriteria  yang  baik  untuk ketiga aspek tersebut. Rekomendasi perbaikan dalam penelitian  ini  difokuskan  untuk  mengubah tata  letak (layout) halaman  dan  memenuhi menu  navigasi  sesuai  hasil  data  penyebab kesalahan ( error )
pengguna, menyederhanakan  menu,  kejelasan button , konsistensi penggunaan bahasa dan istilah untuk  setiap button ,  serta  rekomendasi perbaikan  fungsionalitas  aplikasi  POTWIS sesuai  dengan  data  penyebab  kesalahan ( error )  pengguna.  Perbaikan  dilakukan dengan  membuat wireframe rekomendasi halaman  utama  POTWIS,  halaman home , halaman  lihat  detail  objek  wisata,  halaman lihat  foto  sampul  objek  wisata,  halaman komentar,  halaman  lihat  galeri  foto  objek wisata,  halaman  lihat  detail  foto  objek wisata,  halaman share objek  wisata, halaman  menambah  alamat  objek  wisata baru,  halaman  seluruh  peta  objek  wisata, halaman menu aplikasi POTWIS, fungsionalitas  logout ,  serta  fungsionalitas keterpercayaan data objek wisata.

## SARAN
Sebaiknya  dilakukan  penyesuaian design aplikasi  POTWIS  agar  terlihat menarik,  dan  untuk  penelitian  selanjutnya perlu ditambahkan metode untuk mengukur aspek usability lainnya, yaitu learnability dan memorability , sehingga hasil penelitian lebih detail mengenai variabel apa saja yang perlu mendapat perhatian.

## DAFTAR PUSTAKA
Arthana  Resika,  I.  K.,  Setemen,  K., Purnamawan,  I.  K.,  &  Andiani,  N.  D. (2016).  Penggalian  dan  Penyebaran Potensi Wisata melalui Aplikasi Mobile dengan Konsep Crowdsourcing. JPTK ,
13 (1), 111–126. Bangor,  A.,  Kortum,  P.,  &  Miller,  J.  (2009). Determining  What  Individual  SUS Scores  Mean:  Adding  an  Adjective
Rating  Scale. Journal  of  Usability Studies , 4 (3), 114–123. Retrieved from http://dl.acm.org/citation.cfm?id=28355 89
Faulkner,  L.  (2003).  Beyond  the  five-user assumption:  Benefits  of  increased sample  sizes  in  usability  testing.
Behavior Research Methods, Instruments & Computers , 35 (3), 379–
383. https://doi.org/10.3758/BF03195514
Gatsou, C., Politis, A., & Zevgolis, D. (2013).
Exploring inexperienced
user performance  of  a  mobile  tablet application  through  usability  testing.
Computer Science and … , 557–564. Hartmann,  J.  (2011).  User  Experience Monitoring:  Über  die  Notwendigkeit geschäftskritische Online-Prozesse permanent  zu  überwachen. I-Com ,
10 (3),
59–62. https://doi.org/10.1524/icom.2011.0035 ISO 9241-11. (1998). ISO 9241-
11:1998(en),  Ergonomic  requirements for  office  work  with  visual  display terminals (VDTs) — Part 11: Guidance on usability. Retrieved March 27, 2017, from https://www.iso.org/obp/ui/#iso:std:iso: 9241:-11:ed-1:v1:en Laugwitz, B., Held, T., & Schrepp, M. (2008). Construction and Evaluation of a User
Experience Questionnaire. LNCS , 5298 , 63–76. Retrieved from http://citeseerx.ist.psu.edu/viewdoc/do wnload?doi=10.1.1.472.3719&rep=rep 1&type=pdf
Nalurita, R., Yogasara, T., & Hariandja, D. J. (2015).  Evaluasi  Metode  dan  Kriteria Usability  Testing  pada  Aplikasi  Mobile untuk  Anak-Anak  Sekolah  Dasar  di Indonesia. Seminar  Nasional  IENACO
– , 2337–4349.
Nielsen,  J.  (1993). Usability  Engineering  - Jakob Nielsen - Paperback .
Nielsen,  J.  (2000).  Why  You  Only  Need  to Test  with  5  Users. Jakob  Nielsens Alertbox , 19 (September  23),  1–4. https://doi.org/http://www.useit.com/ale rtbox/20000319.html
Nielsen,
J. (2012). Usability 101: Introduction  to  Usability. Nielsen Norman Group , Articles.
https://doi.org/10.1145/1268577.12685
85 Rauschenberger,  M.,  Hinderks,  A.,  & Thomaschewski, J. (2011). Benutzererlebnis bei Unternehmenssoftware : Ein
Praxisbericht  über  die  Umsetzung attraktiver  Unternehmenssoftware.  In Usability Professionals Konferenz 2011 (Vol.  1,  p.  pp--158).  Retrieved  from https://usability-bremen.de/wp- content/uploads/2013/03/Rauschenber ger-Hinderks-et-al-2011- Benutzererlebnis-bei- Unternehmenssoftware.pdf Rubin,  J.,  &  Chisnell,  D.  (2008). Handbook of usability testing [electronic resource] :  How  to  plan,  design,  and conduct  effective  tests  (2nd  ed.) .
Indianapolis,
IN: Wiley Pub. https://doi.org/10.1007/s13398-014-
0173-7.2
Saifulloh,  &  Asnawi,  N.  (2015).  Data Manajemen  Dan  Teknologi  Informasi. Jurnal  Ilmiah  DASI  (Data  Manajemen Dan  Teknologi  Informasi) , 16 (4),  55–
58. Retrieved from http://ojs.amikom.ac.id/index.php/dasi/ article/view/246/244
Sauro,  J.  (2011).  MeasuringU:  Mengukur Usability dengan Sistem Usability Skala (SUS).  Retrieved  March  3,  2017,  from https://measuringu.com/sus/
Schrepp,  M.  (2015).  User  Experience Questionnaire Handbook. https://doi.org/10.13140/rg.2.1.2815.02 45 U.S.  Department  of  Health  &  Human Services.  (2014).  Usability  evaluation basics, 6–7. Retrieved from http://www.usability.gov/what-and- why/usability-evaluation.html
Utama, S. (2011). Perbaikan User Interface Halaman  Internet  Banking  dengan Metode Usability Testing. SKRIPSI . Wieschnowsky, T., & Paulheim, H. (2011). A Visual  Tool  for  Supporting  Developers in Ontology-based Application Integration. 7th International Workshop on … . Retrieved from
http://www.heikopaulheim.com/docs/s wese2011b.pdf