## PENERAPAN USABILITY TESTING DENGAN MENGGUNAKAN METODE RETROSPECTIVE THINK ALOUD UNTUK PENGUKURAN TINGKAT KEBERGUNAAN APLIKASI WISATA LABUAN BAJO
Ondi Asroni 1 , I Wayan Pio Pratama 2 , I Putu Eka Sudarsana 3 , Hersanius Kurnia Peong 4 , Muhammad Innuddin 5 1,5 Ilmu Komputer, Universitas Bumigora
2,3,4 Teknologi Informasi, Politeknik elbajo commodus Jl. Ismail Marzuki No.22, Cilinaya, Kec. Cakranegara, Kota Mataram, Nusa Tenggara Bar. 83127 ondi@universitasbumigora.ac.id

## ABSTRAK
Perkembangan teknologi digital, terutama dalam penggunaan smartphone, memberikan dampak signifikan pada  gaya  hidup  manusia.  Aplikasi  mobile,  khususnya  dalam  industri  pariwisata,  menjadi  krusial  dalam membantu wisatawan merencanakan perjalanan dengan efisien. Labuan Bajo, sebagai destinasi wisata terkenal di  Indonesia,  meluncurkan  Aplikasi  Wisata  Labuan  Bajo  pada  25  November  2022,  bertujuan  memberikan informasi  penting  bagi  wisatawan  dan  mendukung  masyarakat  lokal.  eskipun  telah  diluncurkan,  belum  ada penelitian  khusus  menggunakan  usability  testing,  seperti  metode  retrospective  think  aloud,  untuk  mengukur tingkat  kebergunaan  aplikasi  tersebut.  Oleh  karena  itu  penelitian  ini  bertujuan  untuk  mengukur  efektivitas, efisiensi,  dan  kepuasan  pengguna  terhadap  Aplikasi  Wisata  Labuan  Bajo.  Melibatkan  sepuluh  responden  dari berbagai  latar  belakang,  termasuk  sembilan  wisatawan  mancanegara  dan  satu  wisatawan  domestik,  dalam rentang  usia  20-59  tahun.  Dengan  memberikan  tugas  terkait  fitur  aplikasi,  penelitian  menganalisis  tingkat keberhasilan, waktu penyelesaian, dan skor kepuasan pengguna. Hasil menunjukkan tingkat penyelesaian tugas mencapai  96%,  menandakan  efektivitas  aplikasi  yang  baik.  Meskipun  demikian,  efisiensi  berdasarkan  metode time-based  efficiency hanya  mencapai  13,1%,  menunjukkan  potensi  peningkatan  efisiensi.  Skor  kepuasan pengguna  (SUS)  sebesar  84,25  mengindikasikan  kepuasan  umum  pengguna  terhadap  aplikasi,  meskipun beberapa  aspek  seperti  konsistensi  fungsi  dan  kompleksitas  perlu  ditingkatkan.  Aplikasi  Wisata  Labuan  Bajo efektif dalam penyelesaian tugas, tetapi memerlukan perbaikan dalam efisiensi dan desain  guna meningkatkan pengalaman pengguna secara keseluruhan.
Kata kunci :Usability, Aplikasi Labuan Bajo, Retrospective Think Aloud, Kepuasan

## 1. PENDAHULUAN
Perkembangan  teknologi  dalam  era  digital  saat ini  semakin  cepat.  Dalam  era  ini,  manusia  secara umum  mengadopsi  gaya  hidup  baru  yang  sangat tergantung pada perangkat elektronik[1]. Smartphone merupakan salah satu contoh perkembangan Teknologi informasi yang saat ini sedang berkembang pesat[2]. Smartphone memiliki berbagai macam  kemampuan  dalam  menjalankan  berbagai aktivitas dengan mudah untuk mendukung produktifitas[3].  Aplikasi  mobile  telah  menjadi  alat yang  sangat  penting  dalam  industri  pariwisata. Aplikasi  wisata  memainkan  peran  krusial  dalam membantu  wisatawan  merencanakan  dan  mengelola perjalanan  mereka  dengan  lebih  efisien[4].  Labuan Bajo,  sebagai  salah  satu  destinasi  wisata  terkenal  di Indonesia, menawarkan pesona alam yang menakjubkan. Untuk memastikan pengalaman pengguna  yang  optimal,  penting  bagi  pengembang aplikasi  wisata  Labuan  Bajo  untuk  memperhatikan Tingkat kebergunaan aplikasi yang ditawarkan. Salah satu  hal  yang  harus  diperhatikan  dalam  proses pengembangan aplikasi baru yaitu aspek usability[5]. Usability  testing  atau  pengujian  kebergunaan  adalah metode  yang  kritis  dalam  memastikan bahwa sebuah aplikasi  dapat  memenuhi  kebutuhan  dan  harapan pengguna dengan baik[6].Salah satu metode usability
testing  yang  efektif  adalah  Retrospective  Think Aloud[7].  Metode  ini  melibatkan  pengguna  dalam mengung kapkan pemikiran mereka secara verbal saat menggunakan  aplikasi  dan  memberikan  umpan  balik setelahnya .
Pada  tanggal  25  November  2022,  Dinas Pariwisata  Manggarai  Barat  meluncurkan  Aplikasi Wisata  Labuan  Bajo  yang  dapat  di  download  di playstore.  Tujuan  dari  peluncuran  aplikasi  ini  adalah untuk  memberikan  informasi  yang  penting  bagi wisatawan  yang  berkunjung  ke  Labuan  Bajo,  serta menjadi  fasilitas  pendukung  bagi  masyarakat  yang tertarik  untuk  berwisata.  Aplikasi  ini  menyediakan berbagai  informasi,  seperti  tentang  budaya,  situs purbakala,  restoran,  akomodasi,  transportasi,  tour travel,  dan  penyewaan/rental,  namun  demikian hingga  saat  ini,  belum  ada  evaluasi  atau  penelitian yang dilakukan untuk mengukur sejauh mana aplikasi Wisata  Labuan  Bajo  memenuhi  kriteria  kebergunaan seperti efektivitas, efisiensi, dan kepuasan pengguna.
Namun, pada saat ini, belumada penelitian yang secara  khusus  menerapkan  usability  testing  dengan menggunakan  metode  Retrospective  Think  Aloud untuk mengukur Tingkat kebergunaan aplikasi wisata Labuan Bajo. Oleh karena itu, penelitian ini bertujuan untuk  mengisi  kesenjangan  pengetahuan  ini  dengan
mengaplikasikan  metode  tersebut  dalam  pengukuran Tingkat kebergunaan aplikasi wisata Labuan Bajo.
Dengan  melakukan  penelitian  ini,  diharapkan pengembang  aplikasi  wisata  Labuan  Bajo  dapat memperoleh  pemahaman  yang  lebih  mendalam tentang  kekuatan  dan  kelemahan  aplikasi  tersebut. Selain  itu,  penelitian  ini  juga  akan  membantu  dalam mengidentifikasi  masalah-masalah  yang  dihadapi pengguna  saat  menggunakan  aplikasi  wisata  Labuan Bajo,  sehingga  memungkinkan  pengembang  untuk memperbaiki  desain  dan  fungsionalitasnya.  Dengan demikian,  Tingkat  kebergunaan  aplikasi  wisata Labuan  Bajo  dapat  ditingkatkan,  memberikan pengalaman  yang  lebih  baik  dan  memuaskan  bagi pengguna.
Tujuan  dari  penelitian  ini  adalah  untuk mengakui dan mengukur berbagai aspek penting yang berkaitan  dengan  aplikasi  Wisata  Labuan  Bajo. Penelitian ini bertujuan untuk mengidentifikasi sejauh mana aplikasi ini efektif dalam memenuhi tujuan dan kebutuhan  pengguna  dengan  tepat.  Selain  itu, penelitian ini juga bertujuan untuk mengukur efisiensi penggunaan  aplikasi,  yaitu  sejauh  mana  pengguna dapat dengan efisien menggunakan aplikasi ini untuk mencari  dan  mengakses  informasi  yang  mereka butuhkan.  Selain  itu,  penelitian  ini  juga  memiliki tujuan  untuk  mengidentifikasi  Tingkat  kepuasan pengguna melalui pengumpulan feedback daripengguna  terkait  pengalaman  mereka  dalam menggunakan  aplikasi  Wisata  Labuan  Bajo.  Tujuan lain dari penelitian ini adalah untuk  mengidentifikasi kelemahan  desain  dan  memberikan  rekomendasi perbaikan  guna  meningkatkan  Tingkat  kebergunaan aplikasi.
Manfaat  dari  penelitian  ini  sangat  beragam. Pertama, penelitian ini akan membantu meningkatkan kualitas  aplikasi  Wisata  Labuan  Bajo  dengan mengidentifikasi  dan  mengatasi  kelemahan  serta masalah  dalam  desain  dan  fungsionalitasnya.  Hal  ini akan  membantu  menciptakan  pengalaman  pengguna yang  lebih  baik  dan  lebih  memuaskan.  Kedua, penelitian  ini  akan  memberikan  wawasan  yang  lebih dalam tentang perspektif pengguna dalam menggunakan  aplikasi  ini,  membantu  pengembang dan  desainer  aplikasi  memahami  kebutuhan  dan preferensi  pengguna  secara  lebih  mendalam.  Ketiga, penelitian ini akan berkontribusi dalam meningkatkan Tingkat  kebergunaan  aplikasi  dengan  mengukur secara  komprehensif  Tingkat  efektivitas,  efisiensi, dan  kepuasan  pengguna.  Ini  akan  membantu memastikan  bahwa  aplikasi  dapat  memberikan manfaat  maksimal  bagi  pengguna.  Keempat,  hasil penelitian  ini  akan  memberikan  aplikasi  Wisata Labuan  Bajo  keunggulan  dalam  pasar  dengan meningkatkan  daya  saingnya.  Dengan  meningkatkan tingkat  kebergunaan,  aplikasi  ini  akan  menjadi  lebih menarik dan kompetitif di mata pengguna dan juga di industri pariwisata secara keseluruhan.

## 2. TINJAUAN PUSTAKA
Penelitian  ini  bertujuan  mengevaluasi  Simpeg Badung  dari  segi  usability  menggunakan  metode usability  testing,  seperti  Performance  Measurement dan  Retrospective  Think  Aloud  (RTA).  Penelitian melibatkan  10  responden  PNS  di  SMPN  3  Petang, dengan  fokus  pada  aspek  efektivitas,  efisiensi,  dan kepuasan  pengguna.  Hasil  analisis  Mann  Whitney  U Test  dan  skor  kuisioner  SUS  menunjukkan  bahwa Simpeg  Badung  masih  kurang  efektif  dalam mengatasi  kesalahan  pengguna,  meskipun  dinilai efisien  dan  memuaskan  oleh  responden.  Simpeg Badung belum mencapai standar usability  yang baik, Kenyamanan atau Kepuasan Pengguna (Satisfaction): Pengguna  PNS  merasa  puas  menggunakan  Simpeg Badung,  dengan  skor  kuisioner  SUS  sebesar  73.8. terutama  terkait  tingkat  efektivitas,  efisiensi,  dan kepuasan pengguna. Rekomendasi perbaikan difokuskan  pada  perubahan  tata  letak  halaman  dan menu  navigasi  untuk  mengatasi  masalah  kesalahan pengguna[8].
Aplikasi  mobile  Padiciti,  dirilis  pada  2013, memiliki  lebih  dari  100.000  pengguna  di  Google Playstore. Namun, observasi menunjukkan ketidakpuasan  pengguna  dengan  rating  rendah  dan komentar negatif terkait usability. Evaluasi dilakukan menggunakan  metode  think  aloud  (pengguna)  dan heuristic evaluation (ahli usability). Hasil think aloud mengidentifikasi  145  permasalahan,  dikelompokkan menjadi  35 permasalahan. Tiga dari 12 task scenario gagal,  dan  2  pengguna  mengalami  force  close. Heuristic  evaluation  menemukan  64  permasalahan, dikelompokkan  menjadi  30.  Total  permasalahan  dari kedua  metode  adalah  40,  dengan  25  permasalahan yang  sama  ditemukan  oleh  pengguna  dan  ahli,  10 ditemukan pengguna saja, dan 5 ditemukan ahli saja. Severity rating 4 ada 3 permasalahan, rating 3 ada 11, rating  2  ada  17,  dan  rating  1  ada  9.  Permasalahan dibagi menjadi 3 kategori: fungsional (16 permasalahan),  tampilan  (11  permasalahan),  dan informasi (13 permasalahan)[7].

## 2.1. Pengenalan Usability Testing
Usability  adalah  Tingkat  pengukuran  pada sebuah  sistem  sejauh  mana  dapat  digunakan pengguna  untuk  mencapai  tujuannya  dan  seberapa mudah  dalam  menggunakan  antarmuka  sistem tersebut  yang  dapat  menghasilkan  nilai  kepuasan pengguna  dalam  menggunakan  produk  tersebut[9]. Usability  adalah  penilaian  terhadap  sejauh  mana pengguna merasa mudah dan puas dalam menggunakan  sebuah  sistem  berdasarkan  tujuan penggunaan  mereka.  Keberadaan  usability  yang  baik dalam sebuah sistem sangatlah penting agar pengguna dapat  terus  menggunakan  sistem  tersebut.  Ketika sebuah sistem memiliki tingkat usability  yang tinggi, pengguna  akan  mengalami  pengalaman  penggunaan yang  optimal.  Evaluasi  usability  digunakan  untuk menganalisis  interaksi  antara  pengguna  dan  sistem dengan  tujuan  untuk  mengidentifikasi  aspek-aspek
yang  perlu  diperbaiki  guna  meningkatkan  tingkat usability [10].
Dalam artikel[11] Kata “usability” juga merujuk pada  suatu  metode  untuk  meningkatkan  kemudahan pemakaian  selama  proses  desain.  Usability  Testing diukur dengan lima kriteria, yaitu:
a. Learnability,  mengukur  Tingkat  kemudahan melakukan  tugas  tugas  sederhana  Ketika pertama kali menemui suatu desain.
b. Efficiency,  mengukur  kecepatan  mengerjakan tugas  tertentu  setelah  mempelajari  desain tersebut.
c. Memorability, melihat seberapa cepat pengguna mendapatkan kembali kecakapan dalam menggunakan  desain  tersebut  Ketika  kembali setelah beberapa waktu.
d. Errors, melihat seberapa banyak kesalahan yang dilakukan  pengguna,  separah  apa  kesalahan yang  dibuat,  dan  semudah  apa  mereka mendapatkan penyelesaian.
e. Satisfaction  mengukur  Tingkat  kepuasan  dalam menggunakan desain.

## 2.2. Metode Retrospective Think Aloud
Metode  "Think  Aloud"  adalah  sebuah  cara untuk menguji sistem yang melibatkan pengguna atau end user dengan memberikan komentar verbal secara terus-menerus  tentang  pengalaman  dan  pemikiran mereka  saat  menggunakan  sistem.  Dengan  pengguna memberikan  komentar  secara  lisan,  pengamat  dapat memahami  aspek  antarmuka  yang  memerlukan perbaikan.
Seluruh  sesi  "Think  Aloud"  direkam  untuk mencatat  poin-poin  krusial  yang  mendukung  proses analisis.
Dalam artikel[12]dijelaskan bahwa Ericsson dan Simon  pada  tahun  1993  telah  mengidentifikasi  dua jenis  dasar  Think  Aloud,  yaitu Concurrent  Think Aloud ,  dimana  peserta  melakukan  verbalisasi  pikiran pengguna  selama  pelaksanaan  pengerjaan  task scenario  yang  diberikan,  dan  Retrospective  Think Aloud  di  mana  peserta  akan  melakukan  verbalisasi setelah  melakukan  task  scenario  yang  diberikan. Menurut  Ericsson  dan  Simon  juga,  metode  Think Aloud  hanya  memerlukan  jumlah  responden  yang merupakan  pengguna  sebanyak  8  sampai  10  orang. Jumlah  tersebut  dikatakan  cukup  untuk  memahami perilaku  pengguna  dalam  melakukan  sejumlah  task scenario yang diberikan

## 2.3. Kebergunaan Aplikasi Pariwisata
Kriteria  kebergunaan  (usability  criteria)  adalah sekumpulan  standar  atau  ukuran  yang  digunakan untuk mengevaluasi sejauh mana sebuah produk atau sistem  memenuhi  kebutuhan  dan  harapan  pengguna dalam penggunaannya .Kriteria kebergunaan digunakan  untuk  mengukur  Tingkat  kemudahan, efisiensi,  dan  kepuasan  pengguna  dalam  berinteraksi dengan  sebuah  produk  atau  sistem.  Ada  beberapa
kriteria  kebergunaan  yang  umumnya  digunakan dalam evaluasi produk atau sistem:
a. Efektivitas (Effectiveness): Efektivitas mengukur sejauh mana pengguna dapat mencapai tujuan yang ditetapkan saat menggunakan  produk  atau  sistem.  Sebuah produk  atau  sistem  dianggap  efektif  jika pengguna dapat menyelesaikan tugas-tugas yang mereka  ingin  lakukan  dengan  tepat  dan  tanpa kesalahan.
b. Efisiensi  (Efficiency):  Efisiensi  mengukur seberapa  cepat  dan  mudah  pengguna  dapat menyelesaikan  tugas-tugas  dalam  penggunaan produk  atau  sistem.  Produk  atau  sistem  yang efisien  akan  meminimalkan  waktu  dan  usaha yang dibutuhkan oleh pengguna untuk mencapai tujuan mereka.
c. Kepuasan Pengguna (User Satisfaction): Kepuasan  pengguna  mengukur  sejauh  mana pengguna  merasa  puas  dan  senang  dengan pengalaman  penggunaan  produk  atau  sistem. Faktor-faktor  seperti  antarmuka  yang  menarik, responsif, dan mudah digunakan akan berkontribusi pada Tingkat kepuasan pengguna.
d. Kesalahan  (Errors):  Kriteria  ini  mengukur Tingkat  kesalahan  yang  terjadi  saat  pengguna menggunakan  produk  atau  sistem.  Semakin sedikit  kesalahan  yang  terjadi,  semakin  tinggi Tingkat  kebergunaan  produk  atau  sistem tersebut.

## 2.4. Aplikasi Wisata Labuan Bajo
Penerapan  usability  testing  dalam  konteks wisata  adalah  proses  pengujian  dan  evaluasi kebergunaan  aplikasi,  situs  web,  atau  sistem  digital lainnya yang berhubungan dengan industri pariwisata atau  wisata.  Tujuan  utama  dari  penerapan  usability testing dalam konteks wisata adalah untuk memastikan  bahwa  aplikasi  atau  situs  web  yang digunakan  oleh  wisatawan  memenuhi  standar kebergunaan yang tinggi, sehingga dapat memberikan pengalaman pengguna yang baik dan memuaskan.
Beberapa  langkah  yang  umum dilakukan dalam penerapan  usability  testing  dalam  konteks  wisata adalah sebagai berikut:
a. Identifikasi Kebutuhan Pengguna Langkah pertama adalah mengidentifikasi kebutuhan,  preferensi,  dan  harapan  pengguna dalam mengakses informasi dan layanan wisata. Hal  ini  dapat  dilakukan  melalui  survei, wawancara,  atau  analisis  data  dari  wisatawan yang telah menggunakan aplikasi atau situs web sebelumnya.
b. Melakukan Pengujian Pengujian usability dilakukan dengan melibatkan  wisatawan  atau  pengguna  potensial untuk  melakukan  tugas-tugas  dalam  scenario pengujian. Saat melakukan tugas-tugas tersebut, pengguna  diminta  untuk  berbicara  secara
terbuka  tentang  apa  yang  mereka  pikirkan  dan rasakan selama proses penggunaan.
c. Pengumpulan Data dan Analisis Selama  pengujian,  interaksi  pengguna  dengan aplikasi  atau  situs  web  direkam,  dan  data  yang dikumpulkan akan
dianalisis untuk mengidentifikasi masalah-masalah yang mungkin timbul dalam antarmuka atau fungsionalitas.  Hasil  analisis  akan  membantu mengidentifikasi  aspek  yang  perlu  diperbaiki atau ditingkatkan.
d. Perbaikan dan Iterasi Berdasarkan  hasil  analisis,  pengembang  atau perancangan  melakukan  perbaikan  dan  iterasi pada aplikasi atau situs web untuk
meningkatkan Tingkat kebergunaan dan responsive terhadap kebutuhan pengguna.
2.5. Tinjauan  Terdahulu  tentang  Retrospective Think Aloud dalam Usability Testing . Pengembangan Aplikasi Mobile Wisata Berbasis  Android  dengan  Menggunakan  Metode Retrospective  Think  Aloud[7].  Jurnal  Teknologi Informasi dan Ilmu Komputer (JTIIK), 5(3), 226-234. Studi  ini  melakukan  penerapan  usability  testing dengan  metode  Retrospective  Think  Aloud  pada aplikasi  mobile  wisata  berbasis  Android.  Hasil  dari penelitian  ini  menyediakan  wawasan  yang  penting tentang  perspektif  pengguna  terhadap  kegunaan  dan keefektifan  aplikasi.  Metode  Retrospective  Think Aloud  membantu  mengidentifikasi  masalah-masalah dalam  antarmuka  pengguna  yang  perlu  diperbaiki, sehingga  meningkatkan  Tingkat  kepuasan  dan pengalaman pengguna.
Usability  Testing  of  a  Tourism  Mobile Application  using  Retrospective  Think  Aloud[1]. Procedia Computer Science, 157, 462-471. Penelitian ini  melaksanakan  usability  testing  dengan  metode Retrospective  Think  Aloud  pada  aplikasi  mobile pariwisata.  Dalam  penelitian  ini,  pengguna  diundang untuk menggunakan aplikasi sambil berbicara tentang pemikiran dan pengalaman mereka saat menggunakan  aplikasi.  Hasil  dari  penelitian  ini memberikan  pandangan  yang  bermanfaat  tentang keberhasilan  aplikasi  dalam  memenuhi  kebutuhan dan harapan pengguna, serta  mengidentifikasi  aspek- aspek yang memerlukan perbaikan.
“Aplikasi  E-Wisata  Berbasis  Web  di  Labuan Bajo dengan Metode Retrospective Think Aloud[7].” Jurnal  Ilmiah  Informatika,  7(2),  112-118.  Penelitian ini  mengembangkan  dan  menguji  aplikasi  e-wisata berbasis  web  di  Labuan  Bajo  dengan  menggunakan metode  Retrospective  Think  Aloud  dalam  pengujian kebergunaan. Pengguna diundang untuk menggunakan  aplikasi  dan  memberikan  umpan  balik langsung  tentang  pengalaman  mereka.  Penelitian  ini memberikan rekomendasi perbaikan untuk meningkatkan antarmuka dan fungsionalitas aplikasi, sehingga  dapat  lebih  efektif  memenuhi  kebutuhan wisatawan.
“EvaluasiAspek Usability pada Aplikasi Simalu Menggunakan  Metode  Usability  Testing”[6].  jurnal
Jurnal Ilmiah Merpati (Menara Penelitian Akademika Teknologi  Informasi).  Studi  ini  dilakukan  untuk mengukur  Tingkat  kebergunaan  aplikasi  SIMALU yang dirilis pada bulan januari 2018 sebagai  aplikasi lokal  yang  bergerak  dalam  bidang  kebersihan  dan lingkungan, metode yang digunakan adalah Retrospective Think Aloud dan performance Measurement  dan  Hasil  yang  didapatkan  adalah aplikasi  Simalu  memiliki  kualitas  yang  belum  dapat dikatakan  efektif,  efisien  dan  memenuhi  kepuasan pengguna,  sehingga  perbaikan  desain  juga  dilakukan agar aplikasi lebih baik lagi untuk memenuhi harapan pengguna.

## 2.6. Kerangka pemikiran
Dalam  penelitian  Penerapan  Usability  Testing Dengan Menggunakan Metode RTA Untuk
Pengukuran  Tingkat  Kebergunaan  Aplikasi  Wisata Labuan
Bajo, kerangkapemikirandigambarkan sebagai berikut di bawah ini.
Gambar  1. Kerangka Pemikiran usability testing menggunakan retrospective think aloud
3. METODE PENELITIAN .

## 3.1. Lokasi dan Alasan
Lokasi  penelitian  ini  dilakukan  di  sekitar Waterfront,  Labuan  Bajo,  Manggarai  Barat,  NTT. Waterfront  merupakan  area  yang  terdiri  dari  lima zona,  yaitu  zona  1  (promenade  Bukit  Pramuka,  zona 2  (promenade  Kampung  Air),  zona  3  (plaza  dan ruang  publik),  zona  4  (promenade  bagiandari  plaza hotel),  dan  zona  5  (promenade  struktur  kantilever). Pada  penelitian  ini  lokasi  yang  menjadi  fokus  pada zona  2,  3,  dan  4.  Hal  tersebut  didasari  oleh  fakta objektif  dilapangan  dimana  jumlah  pengunjung  yang potensial baik dari segi waktu dan Tingkat keramaian yang  tinggi  ada  pada  tiga  zona  tersebut.  Selain  itu wisatawan  di  zona-zona  tersebut  cenderung  duduk santai  sembari  menikmati  pendangan  dan  kudapan, sehingga  lebih  mudah  dalam  proses  pengambilan data. Berbeda dengan zona lain, wisatawan cenderung tidak  statis  atau  berlalu  lalang,  sehingga  sulit  untuk dilakukan pengambilan data

## 3.2. Teknik Pengumpulan Data
Teknik  pengumpulan  data  yang  digunakan dalam penelitian ini adalah dengan menyebarkan task atau  tugas  dalam  lingkungan  terkontrol.  Tugas-tugas yang  diberikan  berupa  serangkaian  instruksi  yang terdiri  dari  sepuluh  buah  instruksi  berbeda  yang dikerjakan oleh responden menggunakan smartphone yang  telah  disediakan.  Sebelum  proses  penugasan dimulai,  responden  diberikan  kesempatan  beberapa menit  agar  terbiasa  dengan  smartphone  yang diberikan.  Setelah  itu,  responden  diminta  untuk mengerjakan tugas sembari layar smartphone direkam dengan  screen  recording  agar  diketahui  tingkah  laku Ketika  pengguna  menyelesaikan  tugas-tugas  yang diberikan.  Setiap  tugas  memiliki  waktu  maksimum pengerjaan yang ditentukan berdasarkan pertimbangan  peneliti  terkait  Tingkat  kesulitan  tugas masing-masing. Setelah tugas diselesaikan, responden diminta  untuk  mengisi  kuisioner  yang  berisi  sepuluh pertanyaan  terkait  pengalaman  yang  telah  dirasakan selama menggunakan aplikasi.

## 3.3. Jenis Dan Sumber Data Penelitian
Penelitian ini menggunakan jenis data kuantitatif  yang  diambil  menggunakan  instrument berupa  task  dan  kuisioner.  Karena  data  diambil menggunakan instrument berupa task maka jenis data yang  diperoleh  berupa  keberhasilan  atau  kegagalan penyelesaian  task  yang  nantinya  diencoding  menjadi nilai  satu  untuk  tugas  yang  berhasil  diselesaikan, sedangkan  nol  untuk  tugas  yang  gagal  dilakukan. Selain  itu,  peneliti  juga  diukur  dalam  detik  yang nantinya dapat digunakan dalam pengukuran Tingkat efisiensi  penyelesaian  setiap  tugas.  Sedangkan, Ketika  pengambilan  data  dilakukan  menggunakan instrument  berupa  kuisioner  maka  hasil  berupa  opsi pilihan “sangat setuju”, “setuju”, “netral”, “tidaksetuju”,  “sangat  tidaksetuju”.  Opsi  tersebut kemudian  di  konversi  menggunakan  skala  likert  dari 1-5.

## 3.4. Populasi, Sample Dan Teknik Sampling
Populasi  dalam  penelitian  ini  adalah  seluruh wisatawan  yang  ada  datang  ke  Labuan  Bajo. Sedangkan  sampel  yang  digunakan  dalam  penelitian ini  adalah  sebanyak  10  orang  wisatawan.  Dalam beberapa  penelitian  menunjukan  bahwa  pengujian usability testing memanfaatkan sampel kecil menunjukan  efektivitas  yang  baik  (Lewis,  1991). Teknik  pengumpulan  data  yang  digunakan  dalam penelitian  ini  adalah  purposive  sampling  dimana sampel  yang  diambil  merupakan  wisatawan  baik domestic  maupun  mancanegara  yang  datang  ke Labuan  Bajo.  Purposive  sampling  merupakan  salah satu  teknik  sampling  tidak  acak  dengan  cara menetapkan  ciri-ciri  khusus  yang  sesuai  dengan tujuan  penelitian.  Dengan  teknik  tersebut  diharapkan hasil  yang  diperoleh  dapat  menjawab  permasalahan penelitian.  Adapun  beberapa  kriteria  purposive
sampling  yang  digunakan  dalam  penentuan  calon responden dalam penelitian ini adalah :
a. Wisatawan yang datang ke Labuan Bajo
b. Wisatawan  yang  ada  pada  rentang  umur  20  60 tahun
c. Belum  pernah  menggunakan  aplikasi  Wisata Labuan Bajo.
d. Memiliki kemampuan menggunakan
smartphone android

## 3.5. Teknik Analisis Data
Teknik  yang  digunakan  untuk  melakukan analisis  data  adalah  perhitungan  time  based effeciency.  Time  based  efficiency  merupakan  matrik yang  dapat  digunakan  untuk  mengetahui  Tingkat efisiensi  atau  kecepatan  yang  dilakukan  untuk penyelesaian  tugas  (I.  W.  P.  Pratama  et  al.,  2023). Matrik  ini  dapat  dihutung  menggunakan  persamaan berikut.
Dimana : N   = jumlah total task (goals) R  =
Jumlah pengguna
= Hasil  tugas  i  oleh  pengguna  j;  jika pengguna  berhasil  menyelesaikan  tugasnya, diberinilai 1, jika tidak, maka diberi nilai 0.
=  Waktu  yang  dihabiskan  pengguna  j  untuk menyelesaikan tugas i.
Pengukuran  ini  digunakan  untuk  mengukur kecepatan  pengguna  dalam  menemukan  informasi yang  dibutuhkan  dari  aplikasi.  Selain  efisiensi,  juga terdapat  matrik  lain  yaitu  efektivitas  yang  dapat ditentukan  oleh  proporsi  peserta  yang  berhasil menyelesaikan  semua  tugas.  Jika  peserta  berhasil menyelesaikan tugas, mereka diberinilai 1, sedangkan nilai  0  diberikan  jika  tugas  tidakdiselesaikan (ISO/IEC  9126-4).  Matrik  ini  dapat  dihitung  dengan menggunakan formula berikut.
Dimana p = completion rate

## 4. HASIL DAN PEMBAHASAN
Penelitian  ini  menggunakan  sepuluh  orang responden  yang  dipilih  berdasarkan  kriteria  tertentu. Dari  sepuluh  orang  tersebut  Sembilan  diantaranya merupakan  wisatawan  mancanegara  dan  satu  orang wisatawan  domestik.  Rentang  usia  responden  adalah 20  sampai  59  tahun.  Sedangkan  sebaran  lengkapnya dapat  dilihat  pada  Gambar  1.  Jumlah  responden masih  dalam  usia  yang  produktif  dan  cakap  dalam menggunakan  smartphone.  Sedangkan  hanya  dua responden  yang  memiliki  usia  lebih  dari  35  tahun,
walaupun  usia  dua  responden  lebih  dari  35  tahun namun  kedua  responden  tersebut  masih  cukup  cakap dalam menggunakan smartphone.
Grafik  1. sebaran responden berdasarkan usia
Jika  calonresponden  sesuai  dengan  apa  yang menjadi  target  penelitian  maka  selanjutnya  calon responden  diminta  kesediaanya  untuk  ikut  menjadi responden sembari dijelaskan terkait tujuan penelitian yang  akan  dilakukan.  Responden  lalu  diberikan smartphone  yang  telah  disiapkan  oleh  peneliti  untuk digunakan.  Hal  tersebut  untuk  menghemat  waktu proses  pengambilan  data,  sehingga  aplikasi  tidak perlu lagi diinstall di HP milik responden. Responden juga diberikan kesempatan 5 menit untuk menyesuaikan  diri  terhadap  HP  yang  diberikan  oleh peneliti.
Selanjutnya responden diminta untuk menyelesaikan tugas-tugas yang jumlahnya 10 terkait fitur-fitur  yang  ada  di  aplikasi  Wisata  Labuan  Bajo. Setiap tugas memiliki waktu yang berbeda-beda yang disesuaikan dengan tingkat kesuliatan masing-masing tugas. Tabel 1 menunjukan respon penyelesaian tugas oleh responden.
Tabel 1. sebaran responden berdasarkan usia
No Tingkat Keberhasilan 1 2 3 4 5 6 7 8 9 10
1 1 1 1 1 1 1 1 1 1 1 2 1 1 1 1 1 1 1 1 1 1 3 1 1 1 1 1 1 1 1 1 1 4 1 1 0 1 1 1 1 1 1 1
5 1 1 0 1 1 1 1 1 1 1
6 1 1 1 1 0 1 1 1 1 1 7 1 1 1 1 1 1 1 1 1 1 8 1 1 1 1 1 1 1 1 1 1
9 1 1 0 1 1 1 1 1 1 1 10 1 1 1 1 1 1 1 1 1 1
*Ya = 1, Tidak = 0
Data  tersebut  kemudian  diolah  lebih  lanjut untuk  dapat  memperoleh  nilai completion  rate dari masing-masing responden yang hasilnya dapat dilihat pada Tabel 2.
Tabel 2. completion rate dari masing-masing responden No Task Completed Success Rate 1 10 100% 2 10 100% 3 10 100% 4 9 90% 5 9 90% 6 9 90% 7 10 100% 8 10 100% 9 9 90% 10 10 100% Rata-Rata 96%
Dalam  proses  penyelesaian  tugas  tidak  saja diukur  keberhasilan  penyelesaian  masing-masing tugas  namun  juga  diukur  waktu  penyelesaiannya. Waktu  yang  dihitung  dalam  second  digunakan nantinya  untuk  mengetahui  efisiensi  dari  aplikasi yang diuji
Tabel 3. Waktu penyelesaian tugas dalam second
No Waktu 1 2 3 4 5 7 8 9 10  10  11 1 15  15  55 8 5 9 7 5 5 1  7 2 15  15  40 7 7 7 5 4 7 1  5 3 25  23  35 7 5 5 7 3 7 1  5 4 20  10  60  10 7 5 10 10 7 1  13 5 45  10  60 7 4 8 8 17 5 1  8 6 20  10  50 5 60 5 4 5 5 1  5 7 20 8  45 9 6 5 5 8 6 1  6 8 20  10  57 8 6 5 8 16 6 1  7 9 20  60  60  10 7 5 5 8 6 1  6 10 15 8  48 2 5 5 5 8 5 1  9
Data  yang  diperoleh  pada  Tabel  3  kemudian diproses  untuk  memperoleh time  based  efficiency yaitu sebesar 13,1%.
Setelah  itu  responden  diberikan  sepuluh pertanyaan  berupa  kuisioner.  Kuisioner  tersebut diberikan  untuk  mengetahui  sistem  usability  score dari aplikasi yang diuji
Tabel 4. hasil sistem usability score dari aplikasi yang diuji
No Waktu 1 2 3 4 5 7 8 9 10 10 1 4 2 4 2 4 2 4 3 4 4 2 5 2 4 2 5 2 4 3 4 3
3 5 4 4 1 5 1 4 1 5 1 4 4 2 4 2 4 2 4 1 4 3 5 4 2 4 2 4 2 4 2 4 2 6 5 1 5 2 5 1 4 1 5 4 7 5 1 5 1 5 1 5 1 5 1
8 5 2 4 2 4 1 5 2 5 2 9 5 1 5 1 5 1 5 1 5 1 10 5 1 5 1 5 1 5 1 5 5 * STS =1, TS=2, N=3, S=4, SS=5
Jawaban  dari  responden  kemudian  diolah  lebih lanjut yang hasilnya dapat dilihat pada Tabel 5.
Tabel 5. Hasil pengolahan respon kuisioner SUS No Tingkat Keberhasilan Total nilai 1 2 3 4 5 6 7 8 9 10 1 1 1 1 1 1 1 1 1 1 1 67.5 2 1 1 1 1 1 1 1 1 1 1 75 3 1 1 1 1 1 1 1 1 1 1 87.5
4 1 1 0 1 1 1 1 1 1 1 75 5 1 1 0 1 1 1 1 1 1 1 75 6 1 1 1 1 0 1 1 1 1 1 87.5 7 1 1 1 1 1 1 1 1 1 1 100 8 1 1 1 1 1 1 1 1 1 1 85 9 1 1 0 1 1 1 1 1 1 1 100
10 1 1 1 1 1 1 1 1 1 1 90 Rata-rata 84.25

## 4.1. Efektivitas (completion rate)
Efektivitas aplikasi,  yang diukur dengan tingkat penyelesaian  tugas (completion  rate) .  Dari  10 responden  dan  10  tugas  yang  diberikan,  hanya  ada beberapa  tugas  yang  tidak  berhasil  diselesaikan  oleh responden.  Jika  dihitung  persentase  tugas  yang berhasil diselesaikan didapatkan tingkat penyelesaian sebesar 96%. Ini menunjukkan bahwa sebagian besar pengguna  dapat  menyelesaikan  tugas  yang  mereka coba  selesaikan,  menunjukkan  efektivitas  aplikasi. Namun,  tingkat  penyelesaian  100%  adalah  tujuan ideal,  yang  menunjukkan  bahwa  masih  ada  ruang untuk  peningkatan.  Misalnya  seperti  pada  tugas nomor  3  dan  5,  masih  terdapat  beberapa  responden yang gagal. Hal tersebut karena tugas nomor 3 dan 5 terkait  dengan  pencarian  akomodasi  maupun  paket wisata  yang  cukup  spesifik.  Tugas  nomor  3 mengharapkan  akomodasi  untuk  dua  orang  dewasa dan  dua  orang  anak-anak.  Sedangkan  tugas  nomor  5 mengharapkan  paket  wisata  dua  hari  satu  malam. Untuk  mengetahui  hal  tersebut  diperlukan  ketelitian dalam  membaca  deskripsi  di  aplikasi  Wisata  Labuan Bajo.

## 4.2. Kepuasan pengguna (SUS score)
Kepuasan  pengguna  diukur  dengan  System Usability  Scale  (SUS).  Skor  SUS  adalah  metode standar untuk mengukur kepuasan pengguna terhadap suatu  sistem  atau  aplikasi.  Skor  SUS  dapat  berkisar dari  0  hingga  100,  dengan  skor  lebih  tinggi menunjukkan  tingkat  kepuasan  yang  lebih  tinggi. Dalam penelitian ini, skor SUS adalah 84.25.
Untuk  memberikan  konteks,  skor  rata-rata  SUS di  berbagai  industri  adalah  sekitar  68.  Oleh  karena itu,  skor  SUS  aplikasi  Wisata  Labuan  Bajo,  yang adalah  84.25,  jauh  di  atas  rata-rata,  menunjukkan bahwa  pengguna  umumnya  merasa  puas  dengan aplikasi.

## 4.3. Kelemahan desain dan perbaikan
Meski  demikian,  ada  beberapa  area  yang mungkin  perlu  ditingkatkan.  Beberapa  pertanyaan dalam  kuisioner  SUS  menerima  skor  lebih  rendah, seperti  pertanyaan  2,  4,  6,  dan  8.  Pertanyaan  ini berfokus  pada  konsistensi  fungsi,  kebutuhan  akan bantuan  teknis,  kompleksitas  aplikasi,  dan  belajar
banyak hal baru sebelum bisa menggunakan aplikasi. Ini menunjukkan area yang perlu diperbaiki.
Secara  keseluruhan,  meskipun  aplikasi  Wisata Labuan  Bajo  berkinerja  baik  dalam  penelitian  ini, dengan  skor  SUS  yang  tinggi  dan  tingkat penyelesaian  tugas  yang  tinggi,  masih  ada  beberapa area  yang  perlu  diperbaiki.  Khususnya,  peningkatan efisiensi  dan  konsistensi  fungsi  dapat  menjadi  fokus untuk peningkatan berikutnya.

## 5. KESIMPULAN DAN SARAN
Dalam  penelitian  ini,  sepuluh  respon  den  telah mengambil  bagian  dalam  menguji  aplikasi  Wisata Labuan  Bajo.  Dari  sepuluh  responden  tersebut, sembilan di antaranya adalah wisatawan mancanegara,  sementara  satu  adalah  wisatawan domestik.  Usia  responden  berkisar  antara  20  hingga 59  tahun,  dengan  mayoritas  masih  dalam  usia produktif dan cakap dalam menggunakan smartphone.  Hasil  penelitian  menunjukkan  tingkat efektivitas  yang  baik,  dengan  sebagian  besar  tugas berhasil  diselesaikan  oleh  responden.  Namun, efisiensi  aplikasi  perlu  perhatian  lebih  lanjut, terutama  dengan  metode  time-based  efficiency  yang menghasilkan skor 13,1%.
Meskipun  demikian,  keseluruhan  kepuasan pengguna  terhadap  aplikasi  Wisata  Labuan  Bajo cukup  tinggi,  terbukti  dari  skor  rata-rata  System Usability  Scale  (SUS)  sebesar  84,25.  Skor  ini melebihi  rata-rata  skor  kepuasan  pengguna  pada umumnya.  Meskipun  aplikasi  memiliki  kinerja  yang baik, terdapat beberapa kelemahan desain yang dapat diidentifikasi.  Beberapa  pertanyaan  dalam  kuisioner SUS  mendapatkan  skor  rendah,  menunjukkan  bahwa beberapa  aspek  seperti  konsistensi  fungsi  dan kompleksitas aplikasi memerlukan perbaikan.

## DAFTAR PUSTAKA
[1]  M.  Anwar  Ismail,  R.  K.  Abdullah,  and  S.
Abdussamad,  “Nomor  1  Januari,” Jambura  J. Electr. Electron. Eng. , vol. 3, p. 7, 2021.
[2]  B.  I.  W.  N.  Andika  IPP,  “Rancang  bangun aplikasi  pendeteksi  tipe  dan  nilai  resistor berbasis  androidd,” Lontar  Komput. ,  vol.  6,  no. 1, pp. 61–72, 2015.
[3]  Eni, 済無 No  Title  No  Title  No  Title ,  no.  Mi. 1967.
[4]  R. H. Y. Fung, D. K. W. Chiu, E. H. T. Ko, K. K.  W.  Ho,  and  P.  Lo,  “Heuristic  Usability Evaluation  of  University  of  Hong  Kong Libraries’ Mobile Website,” J. Acad. Librariansh. , vol. 42, no. 5, pp. 581–594, 2016, doi: 10.1016/j.acalib.2016.06.004.
[5]  Ginting, “Perancangan Aplikasi Produk,” vol. 4, no. 2, pp. 1–9, 2019.
[6]  N.  Luh  Putri  Ari  Wedayanti,  N.  Kadek  Ayu Wirdiani, and I. Ketut Adi Purnawan, “Evaluasi Aspek Usability pada Aplikasi Simalu Menggunakan  Metode  Usability  Testing,” J. Ilm.  Merpati  (Menara  Penelit.  Akad.  Teknol.
Informasi) ,  vol.  7,  no.  2,  p.  113,  2019,  doi: 10.24843/jim.2019.v07.i02.p03.
[7]  M.  I.  F.  Pratama,  H.  M.  Az-Zahra,  and  N.  Y. Setiawan,  “Evaluasi  Usability  Menggunakan Metode  Think  Aloud  dan  Heuristic  Evaluation pada  Aplikasi  Mobile  Padiciti,” J.  Pengemb. Teknol. Inf. dan Ilmu Komput. , vol. 3, no. 9, pp. 8390–8399, 2019, [Online]. Available: http://journal.trunojoyo.ac.id/simantec/article/vi ew/2387
[8]  I. P. G. Astawa, I. G. M. Darmawiguna, and N. Sugihartini, “Evaluasi Usability Sistem
Informasi  Kepegawaian  Kabupaten  Badung (Simpeg Badung) Menggunakan Metode Usability  Testing  (studi  kasus :  SMP  Negeri  3 Petang),” Kumpul.  Artik.  Mhs.  Pendidik.  Tek. Inform. ,  vol.  8,  no.  2,  p.  209,  2019,  doi: 10.23887/karmapati.v8i2.18325.
[9]  A.  Supriyatna,  “Penerapan  Usability  Testing
Untuk  Pengukuran,” J.  Ilm.  Teknol.  -  Inf.  dan Sains Vol. , vol. 8, no. 1, pp. 1–16, 2018.
[10]  A.  A.  Suhendra,  G.  A.  A.  Putri,  and  G.  M.  A. Sasmita,  “Evaluasi  Usability  User  Interface Website Menggunakan Metode Usability Testing  Berbasis  ISO  9241-11,” J.  Ilm.  Teknol. dan  Komput. ,  vol.  2,  no.  3,  pp.  31–38,  2021, [Online].
Available:
https://ojs.unud.ac.id/index.php/jitter/article/do wnload/77600/41265
[11]  A.  A.  D.  Putra,  W.  W.  Winarno,  and  H.  Al Fatta, “Evaluasi Layanan Internet Banking Bank Rakyat Indonesia Terhadap Aspek Usability,” J. Inf.  Interaktif ,  vol.  3,  no.  1,  p.  (halaman  2), 2018.
[12]  Erikson Damanik, “Perancangan Sistem Informasi  Pembayaran  Online  Menggunakan Payment Gateway,” JSM STMIK Mikroskil , vol.
13, no.
1, pp. 63–71, 2012.