Volume 5 Nomor 2, Desember 2022 e-ISSN : 2614-1574 p-ISSN : 2621-3249

## USABILITY APLIKASI KEBENCANAAN DI INDONESIA DENGAN USABILITY TESTING DAN SISTEM USABILITY SCALE

## USABILITY DISASTER APPLICATIONS IN INDONESIA WITH USABILITY TESTING AND USABILITY SCALE SYSTEM
Mochammad Zakiyamani 1 , Lindung Parlingotan Manik 2
Program Studi Magister Ilmu Komputer Universitas Nusa Mandiri 1-2 mochzy@gmail.com

## ABSTRACT
Indonesia as an archipelagic country is in a geographical, geological, hydrological and demographic position that is prone to disasters. Geographically, 83% of Indonesia's territory (383 regencies/cities) has high disaster risk potential. Moreover,  until  now  there  are  no  researchers,  systems  or  tools  that  can  predict  when  an  earthquake  will  occur. However, there are several disaster applications in Indonesia that can help provide disaster information. However, there are many applications that have user complaints, especially usability problems. This study was conducted to analyze user complaints by conducting usability testing to find out weaknesses and to test the usability level of disaster applications in measuring the variables of effectiveness, efficiency, and satisfaction in using disaster applications in Indonesia.  The  method  used  in  this  study  is  usability  testing  with  performance  measurement  techniques  and retrospective  think  aloud.  While  the  respondents  used  in  this  study  were  30  people  as  test  participants  and  400 respondents  filled  out  the  questionnaire.  The  results  of  the  usability  test  show  that  the  value  of  the  effectiveness component is 89%, the value of the efficiency component is 0.13 goals/second and the satisfaction value is 63.22%.
Keywords: InaRISK Application, Usability Testing, Performance Measurement, Retrospective Think Aloud

## ABSTRAK
Indonesia sebagai  negara kepulauan berada pada  posisi  geografis, geologis, hidrologis, dan demografi  yang rawan bencana. Secara geografis, 83% wilayah Indonesia (383 kab/kota) berpotensi risiko bencana tinggi. Apalagi hingga saat  ini  belum  ada  peneliti,  sistem  maupun  alat  yang  mampu  memprediksi  kapan  gempa  akan  terjadi.  Walaupun demikian  ada  beberapa  aplikasi  kebencanaan  yang  ada  di  Indonesia  yang  dapat  membantu  memberikan  informasi bencana.  Namun  aplikasi  yang  ada  banyak  terdapat  keluhan  pengguna  khususnya  masalah usability .  Penelitian  ini dilakukan untuk  menganalisis keluhan pengguna dengan melakukan usability testing untuk  mengetahui  kelemahan serta  menguji  tingkat usability pada  aplikasi  kebencanaan  di  dalam  mengukur  variabel  efektifitas,  efisiensi,  dan kepuasan dalam menggunakan aplikasi kebencanaan di Indonesia. Metode yang digunakan dalam penelitian ini adalah usability testing dengan teknik performance measurement dan restrsopective think aloud . Sedangkan responden yang digunakan  dalam  penelitian  ini  sebanyak  30  orang  sebagai  peserta  uji  dan  400  responden  melakukan  pengisian kuesioner. Hasil dari pengujian usability menunjukan bahwa nilai komponen efektivitas sebesar 89%, nilai komponen efisiensi sebesar 0,13 goals/second dan nilai kepuasan sebesar 63,22%.
Kata Kunci : Aplikasi InaRISK, Usability Testing, performance measurement, restrospective think aloud

## PENDAHULUAN
Indonesia  sebagai  negara  kepulauan berada  pada  posisi  geografis,  geologis, hidrologis,  dan  demografi  yang  rawan bencana.  Secara  geografis,  83%  wilayah Indonesia  (383  kab/kota)  berpotensi  risiko bencana  tinggi  (Amri  et  al.,  2016).  Apalagi
hingga  saat  ini  belum  ada  peneliti,  sistem maupun  alat  yang  mampu  memprediksi kapan  gempa  akan  terjadi.  Walaupun demikian ada beberapa aplikasi kebencanaan yang ada di Indonesia yang dapat membantu memberikan  informasi  penting  yang  actual, mitigasinya  serta  langkah-langkah  apa  yang
harus  dilakukan.  Penyebaran  informasi mitigasi  bencana  saat  ini  sangat  bergantung dengan  teknologi  teknologi  informasi  dan komunikasi (TIK). Ketua Umum Indonesian Digital  Empowering  Community  (Idiec)  M. Tesar  Sandikapura  menyebut  Indonesia terlambat  dalam  mengikuti  perkembangan teknologi  untuk  mitigasi  bencanaan  dimana seharusnya  Indonesia  sudah  lama  memiliki aplikasi  mitigasi  bencana  (D.  Herlinda, 2021).  Pada  kegiatan  rapat  koordinasi nasional  penaggulangan  bencana  pada  22 februari  2022  presiden  memberikan  arahan bahwa pemerintah harus membangun sistem edukasi  kebencanaan  yang  berkelanjutan dimana  fokus  utamanya  adalah  pencegahan dalam menghadapi resiko bencana.
Berdasarkan  dengan  arahan  presiden tersebut  peneliti  melihat  bahwa  beberapa aplikasi bencana di Indonesia memiliki fitur dan  fungsinya  masing-masing  sesuai  fungsi utama  dari  intansi  tersebut.akan  tetapi berdasarkan  hasil  pengamatan,  peneliti melihat  aplikasi  Inarisk  dari  BNPB  yang memiki  fitur  dan  fungsi  yang  lengkap  serta sejalan  dengan  visi  dan  misi  presiden membangun  sistem  edukasi  kebencanaan yang  berkelanjutan  dan  utamanya  adalah pencegahan atau mitigasi dalam menghadapi bencana.  Akan  tetapi  walaupun  aplikasi InaRISK  memiliki  fitur  dan  fungsi  yang lengkap  serta  sejalan  dengan  visi  presiden. Peneliti  melihat  dari review yang  ada  di google  playstore aplikasi  InaRISK  masih memiliki  permasalahan  berkaitan  dengan aspek usability . Pengguna banyak mengeluhkan terjadi eror saat menggunakan aplikasi,  fitur  yang  ditawarkan  tidak berfungsi dengan baik, terdapat penempatan fitur  yang  tidak  sesuai  dan icon yang digunakan  dinilai  ambigu  sehingga  dapat membuat pengguna baru merasa bingung dan memiliki  persepsi  yang  berbeda  saat menggunakan  aplikasi.  Dan  Menurut  data unduhan  di Google  Play  Store ,  aplikasi inaRISK  sudah  diunduh  lebih  dari  100.000 unduhan.  Jumlah  tersebut  terhitung  sedikit
bila  dibandingkan  dengan  keseluruhan jumlah penduduk Indonesia dimana awereness masyarakat  dalam  menghadapi bencana  sangatlah  penting.  Oleh  karena  itu berdasarkan  masalah  yang  ada,  peneliti merasa  aplikasi  InaRISK  perlu  dilakukan analisa  aspek usability .  Pengujian usability ini sangat penting dan dapat dijadikan bahan dalam  rencana  pengembangan  aplikasi  ke depan.
Beberapa penelitian mengenai usability  sudah  pernah  dilakukan  yaitu penelitian  yang  dilakukan  oleh  Marion,  dkk pada  tahun  2020  membahas  mengenai Modified  Usability  Framework  for  Disaster Apps  :  A  Qualitative  Thematic  Analysis  of User Reviews . Masalah yang
melatarbelakangi  penelitian  tersebut  adalah banyak  yang  melakukan  studi  tentang aplikasi  bencana  akan  tetapi  sebagian  besar berfokus pada evaluasi kemampuan operasional  dengan  hanya  sedikit  yang menilai  kegunaan  atau usability (Tan  et  al., 2020). Pada penelitian tersebut peneliti ingin mengetahui  kegunaan  aplikasi  bencana  dari perspektif pengguna sebagai pengguna akhir dengan  melihat  dari feedback Appstore  dan Google  Play .  Peneliti  menggunakan  model Hoehle  dan  Venkatesh  yang  mendifinisikan kegunaan  aplikasi  seluler  dengan  enam tingkat konstruksi ( app design, app utility, UI graphics,  UI  Input,  UI  Output ,  dan UI structure ). Hasil dari penelitian ini menunjukkan  bahwa  ada  pertimbangan khusus  untuk  aplikasi  bencana  dari  persepsi pengguna  dimana  aplikasi  berguna  saat kondisi bencana hal ini menunjukkan bahwa pengguna  memiliki  masalah  keselamatan jiwa  yang  terkait  dengan  aplikasi  bencana. Penelitian  lain  dilakukan  oleh  oleh  Adelia, dkk, pada tahun 2019 dengan judul Evaluasi Usability Aplikasi  Digital  Citizen  Journalist dengan  Menggunakan  Metode Usability Testing .  Tujuan  dari  penelitian  ini  adalah untuk menguji tingkat usability dari aplikasi
Digital
Citizen Jornalist, mencari permasalahan  pengguna,  serta  memberikan
solusi  perbaikan  aplikasi  dari  permasalahan usability yang  ditemukan  (Trilestari  et  al., 2019). Komponen yang di uji pada penelitian ini adalah komponen learnability, efficiency, memorability,  error  dan  satisfaction. Hasil dari penelitian ini menunjukkan bahwa nilai komponen efficiency (0,12  goals/sec  dan 74%),  komponen errors (0,29),  komponen memorability mengalami peningkatan, komponen satisfaction (74)  dan  komponen learnability yang  baik.  Penelitian  ini memberikan
17
rekomendasi solusi perbaikan  untuk  penyelesaian  permasalahan usability yang ditemukan. Sedangkan penelitian yang dilakukan oleh Farouqi, dkk, pada  tahun  2018  dengan  judul  Evaluasi usability pada  aplikasi  Go-Jek  dengan menggunakan  metode  pengujian usability . Masalah yang melatarbelakangi penelitian ini adalah  usability  yang  masih  ada.  Tingkat usability  perlu  diketahui  untuk  menjelaskan usability pada aplikasi GO-JEK sudah berada pada  tingkatan  mana  dari  sisi  pengguna (Farouqi  et  al.,  2018).    Mendapatkan  hasil tingkat usability dari  aplikasi  Go-Jek  yang terdiri dari tingkat kemudahan sebesar 100%, kecepatan 0,001 goals/sec , tingkat kesalahan sebesar 0,1 dan tingkat kepuasan sebesar 60 –  70  %  dan  dari  penelitian  tersebut menujukkan bahwa terdapat lima permasalahan usability.

## METODE
Metodologi  penelitian  berisi  tahapan atau gambaran dari penelitian yang dilakukan.  Metodelogi  bermanfaat  pada setiap  penelitian  untuk  mempermudah mengerjakan penelitian yang dibuat. Metodelogi penelitian yang dibahas meliputi studi literatur, pengumpulan data yang terdiri dari  identifikasi  pengguna,  skenario  tugas dan wawancara, analisis dan pengolahan data dan kesimpulan dan saran.

## Alur Penelitian
Alur  penelitian  merupakan  tahapan atau  urutan  yang  sudah  ditetapkan  dalam
melakukan  penelitian.  Tahapan  penelitian disesuaikan dengan tahapan pada analisis dan evaluasi  usability  dengan  metode usability Testing  pada  aplikasi  InaRISK.  Alur  yang dilakukan  dalam  proses  penelitian  ini  dapat dilihat pada Gambar 1.
Gambar 1. Alur Penelitian

## A. Studi Literatur
Studi  literatur  dilakukan  dengan  mencari refrensi seperti penelitian terdahulu, menentukan  metode  pengujian,  menentukan responden,  melakukan  pengumpulan  data untuk mendapatkan hasil pengujian, melakukan pengujian, melakukan
pengolahan data, menganalisa hasil pengujian, selanjutnya menarik kesimpulan.

## B. Pengumpulan Data
Pengumpulan  data  yang  terdiri  dari tiga  tahapan  yaitu  identifikasi  pengguna dilakukan dengan cara melakukan pengujian kepada 30 partisipan yang terbagi menjadi 3 kelompok  umur  yaitu  teens  (13-17  tahun), college students / young adult (18-24 tahun) dan adult (25-64 tahun) (Nielsen, 2013). Hal ini  karena  target  pengguna  dari  aplikasi InaRisk adalah masyarakat yang berada pada usia  produktif  yaitu  15  -  64  tahun.  Setelah
dilakukan  identifikasi  pengguna  kemudian membuat  skenario  tugas  dengan  cara membuat  sekumpulan  tugas  yang  harus dikerjakan oleh pengguna saat menggunakan aplikasi yang akan dievaluasi, daftar skenario tugas dapat dilihat pada tabel..

## Tabel 1. Daftar Tugas
Dan  terakhir  melakukan  wawancara untuk  pengumpulan  data  secara  langsung guna memperoleh kedalaman informasi yang dibutuhkan.  Sedangkan  jenis  data  yang digunakan  dalam  penelitian  ini  terdiri  dari data kuantitatif dan kualitatif. Data kuantitatif yaitu  hasil  dari  pengujian Usability  Testing dengan  teknik Performance  Measurement . Data  kualitatif  yaitu  hasil  dari  pengujian Usability Testing
dengan
teknik Retrospective  Think  Aloud (RTA)  (Putri  et al., n.d.).
C. Analisis dan Pengolahan Data Data  yang  telah  dikumpulkan  pada  tahap pengumpulan  data  selanjutnya  diolah.  Data yang  telah  diolah  kemudian  dilakukan analisis hasil. Pegolahan data dalam penelitan usability pada  aplikasi  InaRISK  adalah sebagai berikut.
1. Usability Testing Usability  testing adalah  teknik  yang digunakan dalam mengevaluasi kualitas dan kegunaan  pada  sebuah  layanan  atau  produk dalam  melibatkan  pengguna  aplikasi  secara langsung  demi  upaya  mengetahui  informasi permasalahan pada aplikasi perangkat bergerak yang diujikan (Rubin & Chrisnell, 2008) . Ada  sepuluh  teknik  dalam  metode usability
testing yang dapat digunakan untuk melakukan  evaluasi usability meliputi: Thinking-Aloud Protocol,
Shadowing Method,  Co-Discovery  Learning,  Coaching Method, Question-Asking Protocol, Teaching Method, Restrospective Testing, PerformanceMeasurement,  Remote  Testing, dan Eye Tracking .
2. Performance Measurement
Teknik Performance Measurement
digunakan  untuk  mengukur  bagaimana keefektifitasan  dan  keefisiensian  aplikasi InaRISK  saat  digunakan  oleh  pengguna. Pengukuran efektifitas dapat dihitung berdasarkan  kesuksesan  dan  kegagalan  task yang telah dikerjakan oleh setiap responden. Pengukuran efektifitas dapat dihitung berdasarkan  kesuksesan  dan  kegagalan  task scenario  yang  telah  dikerjakan  oleh  setiap responden.  Efektifitas  dihitung  dengan menetapkan angka biner “1” untuk responden yang berhasil mengerjakan task scenario dan “0”  untuk  responden  yang  gagal.  Rumus yang  digunakan  untuk  menghitung  tingkat keberhasilan  responden  adalah  persamaan (1), sedangkan rumus yang digunakan untuk menghitung  tingkat  kegagalan  responden adalah persamaan (2).
Tingkat keberhasilan responden dihitung dari banyaknya task  scenario yang  berhasil dikerjakan  dibagi  banyaknya  total task scenario yang  diberikan,  lalu  hasilnya dikalikan 100%. Tingkat kegagalan responden  dihitung  dari  banyaknya task scenario yang  gagal  dikerjakan  dibagi banyaknya total task scenario yang diberikan,  lalu  hasilnya  dikalikan  100%. Hasil  perhitungan  yang  didapat  nantinya menunjukkan task mana saja yang membutuhkan  waktu  paling  lama  untuk
Uraian Tugas Deskripsi Tugas Tugas 1 (T1) Lakukan login ke dalam aplikasi Tugas 2 (T2) Temukan Info Tingkat Bahaya di Sekitar Anda Tugas 3 (T3) Temukan rekomendasi mitigasi bencana dari tingkat bahaya di sekitar anda Tugas 4 (T4) Tampilkan Layer bahaya yang ingin dilihat Tugas 5 (T5) Temukan  fitur  untuk  melaporkan  kegiatan  pengurangan resiko  bencana  (kondisi  lingkungan  yang  berpotensi bencana, kegiatan positif atau kondisi lingkungan sekitar) Tugas 6 (T6) Temukan notifikasi bencana (gempa bumi, Gunung Api atau Pergerakan Tanah)
diselesaikan  berdasarkan  rata-rata  waktu untuk  mengerjakan  setiap  task  dari  seluruh responden  yang  ada  (Sitasi  et  al.,  2017). Sedangkan untuk mengukur tingkat efisiensi dapat  diukur  dari  waktu  penyelesaian  tugas dengan  sukses  tidaknya  pengerjaan  tugas dengan menggunakan rumus :
Keterangan: N = total tugas R = total partisipan nij = Hasil tugas i oleh pengguna j; jika pengguna berhasil menyelesaikan tugas, maka Nij = 1. Jika tidak berhasil, maka Nij = 0.
Tij   =  Waktu yang diperlukan pengguna j untuk menyelesaikan tugas i; jika tugas tidak berhasil diselesaikan pengguna, maka waktu yang diukur sampai saat pengguna berhenti dari tugas

## 3. Restrospective Think Aloud
Think aloud adalah sebuah metode untuk menguji  sebuah  sistem  yang  melibatkan pengguna,  atau  end  user,  dengan  cara verbalisasi secara berkelanjutan terhadap apa yang  pengguna  rasakan  dan  pikirkan  ketika menggunakan sebuah sistem (Sulistiya et al., n.d.).  Verbalisasi  yang  dilakukan  adalah dengan  melakukan  wawancara  kepada responden  untuk  mengetahui  pengalaman dan pendapat responden selama menggunakan aplikasi InaRISK. Verbalisasi tersebut  meliputi  kesan  pesan  ataupun kesulitan yang diutarakan responden beserta saran  yang  diberikan  saat  sesi  pengujian selesai dilaksanakan.

## HASIL DAN PEMBAHASAN
Pelaksanaan  usability  testing  dilakukan kepada  30  orang  yang  telah  memenuhi persyaratan  pengujian.  persyaratan  yang digunakan  adalah  peserta  uji  memiliki  usia produktif yaitu berusia 15 tahun – 64 tahun, dapat menggunakan aplikasi pada
smartphone  android  dan  peserta  uji  belum pernah menggunakan aplikasi InaRISK. Pada Tabel 2 merupakan data diri peserta uji dalam penelitian ini.

## Tabel 2. Daftar Peserta Uji
Pengujian usability yang  dilakukan  pada penelitian  ini  bertujuan  untuk  menghitung komponen effectiveness,  efficiency,  dan satisfaction
menggunakan teknik performance measurement
dan restrospevtive  think  aloud. Pengujian  ini dilakukan  dengan  memberikan  serangkaian tugas  kepada  peserta  uji  untuk  diselesaikan. Pengujian usability yang dilakukan menggunakan enam tugas seperti pada tabel 2  yang  setiap  tugasnya  difokuskan  untuk menunjukkan penggunaan fungsi utama pada aplikasi ini.

## 1. Teknik Performance Measurement
Pengujian  dengan  menggunakan  teknik performance  measurement digunakan  untuk mengukur  variabel  efektifitas  dan  efisiensi. Hasil dari proses pengolahan data efektifitas dan  efisiensi  yang  telah  di  dapat  dari
Kode Peserta Jenis Kelamin Usia Pekerjaan Golongan P1 Laki-Laki 17 Siswa Teen P2 Laki-Laki 17 Siswa Teen P3 Laki-Laki 17 Siswa Teen P4 Laki-Laki 17 Siswa Teen P5 Laki-Laki 17 Siswa Teen P6 Laki-Laki 17 Siswa Teen P7 Laki-Laki 17 Siswa Teen P8 Laki-Laki 17 Siswa Teen P9 Laki-Laki 17 Siswa Teen P10 Laki-Laki 17 Siswa Teen P11 Laki-Laki 22 Swasta College Student P12 Laki-Laki 23 Mahasiswa College Student P13 Laki-Laki 24 Swasta College Student P14 Laki-Laki 24 PNS College Student P15 Laki-Laki 24 Swasta College Student P16 Laki-Laki 24 Swasta College Student P17 Laki-Laki 24 Swasta College Student P18 Perempuan 24 PNS College Student P19 Perempuan 24 PNS College Student P20 Perempuan 24 PNS College Student P21 Perempuan 27 PNS Adult P22 Laki-Laki 28 Swasta Adult P23 Laki-Laki 36 PNS Adult P24 Laki-Laki 38 PNS Adult P25 Laki-Laki 39 PNS Adult P26 Laki-Laki 42 PNS Adult P27 Laki-Laki 42 PNS Adult P28 Laki-Laki 42 PNS Adult P29 Laki-Laki 45 PNS Adult P30 Laki-Laki 48 PNS Adult
pengujian  yang  telah  dilaksanakan  adalah sebagai berikut.
a. Komponen effectiveness
Tujuan  mengukur  tingkat effectiveness adalah untuk memberikan gambaran bagaimana aplikasi tersebut dapat mendukung  kemudahan  peserta  uji  dalam menggunakan aplikasi berdasarkan keberhasilan dalam melakukan tugas. Tingkat  keberhasilan  dihitung  dengan  cara membagi jumlah tugas yang dapat diselesaikan  dengan  sukses  dengan  total tugas yang dikerjakan oleh peserta uji. Hasil dari  tingkat  keberhasilan  akan  ditampilkan dalam bentuk persentase. Semua data peserta uji yang berhasil menjalankan tugas maupun peserta  uji  yang  gagal  dalam  menjalankan tugas ditunjukkan pada Tabel 3
Tabel 3. Hasil Pengujian Peserta Uji
Tabel 3 adalah hasil dari keberhasilan peserta uji  dalam  pengerjaan  tugas.  Data  pada  tabel hasil pengujian peserta uji di representasikan menggunakan  bilangan  biner  yakni  ‘0’  dan ‘1’  untuk  mempermudah  perhitungan.  Nilai ‘1’  akan  diberikan  jika  partisipan  mampu menyelesaikan tugas yang diberikan dengan benar dan nilai ‘0’ apabila peserta uji gagal
mengerjakan  tugas.  Berikut  di  bawah  ini tabel 4 hasil konversi menjadi bilangan biner.
Tabel 4. Hasil Konversi Bilangan Biner
Pada  Tabel  4  diolah  dengan  persamaan  1 menghasilkan nilai effectiveness :
Sebagian besar hasil dari penyelesaian tugas tidak terjadi adanya banyak kegagalan. Tabel 4 juga tidak menunjukkan adanya perbedaan besar  pada  setiap  kategori  umurnya.  Akan tetapi, terdapat beberapa anomali pada tugas T2 dan T3. Beberapa peserta uji mengalami kesulitan dalam menyelesaikan tugas T2 dan T3. Setelah dilakukan wawancara, peserta uji memiliki pemahaman mengenai tugas 2 dan 3  akan  tetapi  permasalahannya  beberapa peserta  uji  kurang  fokus  dan  kurang menyadari  letak  tombol  info  bahaya  dan rekomendasinya. Karena peserta uji menganggap  tombol  (i)  dalam  aplikasi merupakan sebuah fungsi bukan bagian dari desain interface.
Hasil  dari  perhitungan  tingkat  keberhasilan penggunaan  aplikasi  ini  adalah  89  %  diatas dari rata-rata tingkat keberhasilan yakni 78% . Hal ini menyatakan bahwa aplikasi InaRISK memiliki  effectiveness  yang  baik.  Hal  ini
Kode Peserta T1 T2 T3 T4 T5 T6 P1
Sukses Sukses Gagal Sukses Sukses Sukses P2 Sukses Sukses Sukses Sukses Sukses Sukses
P3 Sukses Sukses Sukses Sukses Sukses Sukses P4 Sukses Sukses Sukses Sukses Sukses Sukses P5 Sukses Sukses Gagal Sukses Sukses Sukses P6 Sukses Sukses Sukses Sukses Sukses Sukses P7 Sukses Sukses Sukses Sukses Sukses Sukses P8 Sukses Sukses Gagal Sukses Sukses Sukses P9 Sukses Sukses Sukses Sukses Sukses Sukses P10 Sukses Sukses Gagal Sukses Sukses Sukses P11 Sukses Sukses Sukses Sukses Sukses Sukses P12 Sukses Gagal Gagal Sukses Sukses Sukses P13 Sukses Sukses Sukses Sukses Sukses Sukses
P14 Sukses Gagal Gagal Sukses Sukses Sukses P15 Sukses Sukses Sukses Sukses Sukses Sukses
P16 Sukses Sukses Sukses Sukses Sukses Sukses P17 Sukses Gagal Gagal Sukses Sukses Sukses P18 Sukses Sukses Sukses Sukses Sukses Sukses
P19 Sukses Sukses Sukses Sukses Sukses Sukses P20 Sukses Gagal Sukses Sukses Sukses Sukses P21 Sukses Sukses Sukses Sukses Sukses Sukses P22 Sukses Sukses Sukses Sukses Sukses Sukses
P23 Sukses Gagal Sukses Sukses Sukses Sukses P24 Sukses Sukses Sukses Sukses Gagal Gagal
P25 Sukses Sukses Sukses Sukses Sukses Sukses P26 Sukses Gagal Sukses Sukses Sukses Sukses
P27 Sukses Sukses Sukses Sukses Gagal Sukses P28 Sukses Sukses Sukses Sukses Gagal Gagal P29 Sukses Sukses Sukses Sukses Sukses Gagal
P30 Sukses Sukses Sukses Sukses Gagal Sukses
Kode
Peserta T1 T2 T3 T4 T5 T6 P1 1 1 0 1 1 1 P2 1 1 1 1 1 1 P3 1 1 1 1 1 1 P4 1 1 1 1 1 1 P5 1 1 0 1 1 1 P6 1 1 1 1 1 1 P7 1 1 1 1 1 1 P8 1 1 0 1 1 1 P9 1 1 1 1 1 1 P10 1 1 0 1 1 1 P11 1 1 1 1 1 1 P12 1 0 0 1 1 1 P13 1 1 1 1 1 1 P14 1 0 0 1 1 1 P15 1 1 1 1 1 1 P16 1 1 1 1 1 1 P17 1 0 0 1 1 1 P18 1 1 1 1 1 1 P19 1 1 1 1 1 1 P20 1 0 1 1 1 1 P21 1 1 1 1 1 1 P22 1 1 1 1 1 1 P23 1 0 1 1 1 1 P24 1 1 1 1 0 0 P25 1 1 1 1 1 1 P26 1 0 1 1 1 1 P27 1 1 1 1 0 1 P28 1 1 1 1 0 0 P29 1 1 1 1 1 0 P30 1 1 1 1 0 1
menyatakan  bahwa  aplikasi  ini  telah memiliki tingkat Learnability yang baik.

## b. Komponen efficiency
Untuk  mengukur  komponen  ini  waktu yang  dibutuhkan  oleh  peserta  uji  dalam menyelesaikan  tugas  yang  diberikan  dicatat dan  direkam.  Waktu  dalam  penyelesaian tugas  terhitung  sejak  peneliti  selesai memberikan  tugas  dan  peserta  uji  mulai menggunakan  aplikasi.  Perhitungan  waktu akan dihentikan ketika peserta uji menyatakan  bahwa  tugas  telah  selesai dilakukan  atau  peserta  uji  menyerah  untuk menyelesaikan  tugas.  Tabel  5  menunjukkan waktu yang dibutuhkan oleh setiap peserta uji untuk menyelesaikan tugas.

## Tabel 5 Hasil Waktu Pengujian Peserta Uji dalam Menyelesaikan Tugas (Satuan Detik)
Jika dilihat dari komponen efisiensi, kategori teens memiliki performa yang paling efisien dibandingkan oleh kategori lainnya. Sedangkan kategori adult memilki performa yang  lebih  baik  dibandingkan  dengan kategori college students .
Perhitungan  efisiensi  berdasarkan  waktu dihitung dengan menggunakan data
keberhasilan partisipan dalam menyelesaikan tugas  yang  terdapat  pada  Tabel  4  dan  data waktu  yang  dibutuhkan  partisipan  dalam menyelesaikan tugas pada Tabel 5 Data dari kedua  tabel  tersebut  dihitung  menggunakan persamaan 1.
Hasil perhitungan menunjukkan nilai efisiensi  berdasarkan  waktu  dari  Aplikasi InaRISK  sebesar  0,13  goals/sec.  Hal  ini menunjukkan bahwa partisipan dapat menyelesaikan 1 tugas dalam waktu 9 detik.

## c. Komponen Satisfaction
Komponen  Satisfaction  pada  penelitian ini  diukur  dengan  pengisian  kuesioner  SUS online yang diberikan kepada 400 pengguna aplikasi  InaRISK.  SUS  adalah  pengukuran tingkat    kepuasan    pengguna    dengan memberikan kuesioner formal kepada pengguna setelah memakai aplikasi (Brooke, 2013).  Responden  diminta  untuk  mengisi data diri dan 10 buah pernyataan dari System Usability Scale (SUS) dengan skala likert 1- 5. Berikut  ini  merupakan  persentase tanggapan  setiap  item  pertanyaan  semua responden  terhadap  kuesioner  yang  dapat dilihat pada tabel 4.10.

## Tabel 6. Persentase Hasil Kuesinoer
Berdasarkan perhitungan rata – rata skor SUS yang  diperoleh  dari  400  responden  adalah 63,23. Sedangkan jika melihat dari 500 studi yang  telah  dilakukan  adalah  rata-  rata  68
Tugas / Peserta Uji T1 T2 T3 T4 T5 T6 Rata-Rata Tiap Peserta Uji P1 11 30 0 4 4 2 8,5 P2 8 16 58 15 7 4 18,0 P3 14 54 19 16 10 2 19,2 P4 5 48 13 14 11 4 15,8 P5 13 22 0 2 13 4 9,0 P6 13 26 18 10 13 5 14,2 P7 8 14 16 12 15 5 11,7 P8 14 34 0 7 9 4 11,3 P9 11 18 20 9 10 3 11,8 P10 9 23 0 12 12 4 10,0 P11 5 60 95 15 9 10 32,3 P12 4 0 0 1 8 1 2,3 P13 5 81 9 8 19 2 20,7 P14 33 0 0 31 8 3 12,5 P15 40 1 312 279 85 65 130,3 P16 6 30 45 13 8 11 18,8 P17 4 0 0 3 7 3 2,8 P18 8 56 9 8 23 3 17,8 P19 5 55 8 9 15 5 16,2 P20 25 0 15 27 9 10 14,3 P21 5 25 30 1 12 6 13,2 P22 2 8 9 17 32 2 11,7 P23 17 0 7 6 5 10 7,5 P24 3 24 28 2 15 5 12,8 P25 19 8 8 14 0 0 8,2 P26 12 0 8 5 7 9 6,8 P27 11 56 71 10 0 11 26,5 P28 13 129 89 11 0 0 40,3 P29 11 5 11 7 9 0 7,2 P30 10 4 12 5 0 10 6,8
Rata-Rata Tiap Tugas 11,5 27,6 30,3 19,1 12,5 6,8 Skala Liekert Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 Q10 Sangat tidak setuju 0% 3% 0% 15% 0% 12% 0% 16% 0% 5%
Tidak Setuju 3% 13% 1% 27% 1% 38% 8% 40% 1% 17%
Netral 20%  30%  22%  30%  19%  35%  21%  34%  30%  33% Setuju 53%  33%  40%  18%  48%  11%  48% 9% 42%  24% Sangat Setuju 25%  21%  37%  10%  33% 5% 23% 2% 28%  21%
(Sauro, 2011). Skor SUS diatas 68 maka akan dianggap  diatas  rata-rata  dan  apa  pun dibawah 68 dibawah rata-rata. Dari pernyataan tersebut dapat disimpulkan bahwa skor  SUS  pada  aplikasi  InaRISK  Masih berada  di  bawah  rata-rata  serta memperoleh grade scale D dengan adjective ratings “OK” dan acceptability range masuk pada kategori “ marginal acceptable ”.
Penelitian  yang  dilakukan  menggunakan metode  kuesioner  perlu  diuji  validitas  dan reliabilitasnya.  Berikut  hasil  pengujian validitas dan reabilitas pada pertanyaan yang diajukan untuk partisipan menggunakan alat bantu  aplikasi  R  Studio  yang  dapat  dilihat pada gambar 2

## Gambar 2. Hasil Uji Validitas dan Reliabilitas Kuesioner SUS menggunakan aplikasi R Studio
Dan  di  bawah  ini  merupakan  hasil kesimpulan dari aplikasi R Studio yang dapat dilihat pada tabel 7 dan 8.
Tabel 7. Hasil Uji Validitas

## Tabel 8. Hasil Uji Reliabilitas
Setelah  dilakukan  pengujian  validitas dengan  menggunakan Alpha  Cronbach , maka ke-10 item pertanyaan tersebut adalah valid  dimana  rHitung  hasil  pengujian  lebih besar dari rtabel sedangkan  hasil pengujian reliabilitas hasil pengujian menunjukan nilai alpha  lebih  besar  dari  0,60  dinyatakan reliabel  seperti  terlihat  pada  tabel  4.11  dan tabel  4.12.  Sehingga  ke-10  item  pertanyaan dapat  digunakan  untuk  alat  ukur  pengujian. Dan  berikut  merupakan  hasil  uji  usability testing  dengan  mengukur  komponen/metrik tingkat effectivness , efficiency dan
satisfaction pengguna  yang  ditunjukan melalui  tabel  9 Usability meterik  dan  SUS Score berdasarkan tingkat usia.

## Tabel 9. Usability metrik dan SUS Score berdasarkan tingkat usia
Berdasarkan  tabel  di  atas  menunjukan bahwa  kelompok  usia  kategori  teens  (13-17 tahun)  lebih  efektif  dan  efisien  dengan tingkat succces  rate mencapai  93%, time based  efficiency 0,73  detik  dibandingkan dengan  kelompok  usia young  adult dengan tingkat success  rate 88  %, time  based efficiency 0,89 detik dan adult dengan tingkat success rate 85 %, time based efficiency 0,76 detik.  Dari  tingkat  kepuasan  kategori  teens mencapai  hasil  yang  lebih  baik  daripada kategori young adult dan adult .

## 2. Restrospective Think Aloud
Data retrospective think aloud diperoleh dengan  melakukan  wawancara  kepada peserta  uji.  Wawancara  dilakukan  untuk
Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 Q10 rHitung 0,50 0,54 0,44 0,52 0,50 0,45 0,48 0,40 0,46 0,58 rtabel 0,098  0,098  0,098  0,098  0,098  0,098  0,098  0,098  0,098  0,098 Kesimpulan
Valid  Valid  Valid  Valid  Valid  Valid  Valid  Valid  Valid  Valid
Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 Q10 Raw_alpha 0,69 0,68 0,69 0,68 0,69 0,69 0,69 0,70 0,69 0,68
Kesimpulan reliabel  reliabel  reliabel  reliabel  reliabel  reliabel  reliabel  reliabel  reliabel  reliabel
Kategori   Kelompok Usia Metrik / Komponen Skor SUS Success Rate Time Based Efficiency Teens 13 - 17 Tahun 93% 0,73 detik 68,50 Young adult 18 - 24 Tahun 88% 0,89 detik 62,97 Adult 25 - 64 Tahun 85% 0,76 detik 63,16
mengetahui pengalaman dan pendapat peserta  uji  selama  menjalankan  tugas skenario  menggunakan  aplikasi  InaRISK. Daftar  pertanyaan  yang  digunakan  sesuai dengan  kerangka  wawancara  yang  telah dibuat sebelumnya. Pada Tabel 10 merupakan  pertanyaan-  pertanyaan  yang digunakan dalam wawancara.
Tabel 10. Daftar Pertanyaan Wawancara
Pertanyaan selanjutnya diajukan sesuai dengan  jawaban  partisipan  dengan  tujuan untuk  menggali  permasalahan.  Dari  hasil wawancara  kepada  semua  peserta  uji, ditemukan beberapa masalah dan saran yang diberikan  oleh  peserta  uji  tersebut.  Daftar permasalahan seluruh peserta uji dapat dilihat pada Tabel 11.

## Tabel 11. Daftar Permasalahan dan Saran
Seluruh Peserta Uji

## SIMPULAN
Berdasarkan hasil evaluasi dan analisis data  penelitian  yang  dilakukan,  maka  dapat disimpulkan  bahwa  hasil  evaluasi  terhadap aplikasi kebencanaan (InaRISK) telah
memenuhi kriteria usability, yaitu efektivitas dan  efisiensi  serta  memberikan  kepuasan pengguna  dalam  menggunakan  aplikasi tersebut. Hasil evaluasi menggunakan teknik performace  measurement  yang  mengukur komponen effectivness dan efficiency kepada 30  orang  peserta  uji  menghasilkan  nilai komponen effectivness sebesar  89%  dan efficiency sebesar  0,13  detik.    Nilai tersebut menunjukan bahwa tingkat learnability pada aplikasi InaRISK di atas rata-rata. Sedangkan nilai  dari  komponen satisfaction sebesar 63,23  sehingga  masuk  ke  dalam  kategori grade scale D dengan keterangan “OK”. Hal ini  menunjukan  bahwa  kelompok  usia kategori teens (13-17 tahun) lebih efektif dan efisien dengan tingkat succces rate mencapai 93%, time  based  efficiency 0,73  detik dibandingkan  dengan  kelompok  usia young adult dengan tingkat success rate 88 %, time based efficiency 0,89 detik dan adult dengan tingkat success  rate 85  %, time  based efficiency 0,76  detik.  Kemudian  dengan menggunakan  teknik restrospective  think aloud dilakukan  melalui  wawancara  kepada peserta  uji  menghasilkan  beberapa  masalah usability terhadap aplikasi. Dalam penelitian ini  menunjukkan  bahwa  terdapat  pengaruh usability pada  kelompok  usia  pengguna terhadap  kepuasaan  penggunaan  aplikasi kebencanaan (InaRISK).
Penelitian ini masih banyak kekurangan  berikut  saran  yang  dapat dijadikan bahan pertimbangan untuk melakukan  evaluasi usability lebih  lanjut pada  aplikasi  kebencanaan  berdasarkan penelitian yang sudah dilakukan adalah:
1. Untuk pengembangan selanjutnya dapat menggunakan metode lain untuk melihat perbandingannya.
2. Penelitian  selanjutnya  dapat  dilakukan dengan  membandingkan  hasil  evaluasi usability aplikasi kebencanaan lain agar dapat
mengetahui perbandingan usability aplikasi kebencanaan di Indonesia.
No Pertanyaan
1 Bagaimana  perasaan  anda  ketika  menjalankan  tugas  pada  aplikasi
InaRISK ?
2 Apakah  anda  mengalami  kendala  Ketika  menggunakan  aplikasi
InaRISK ? Jika anda menemukan kendala, apa sajakah kendala yang anda alami ?
3 Bagian  mana  pada  aplikasi  InaRISK  yang  membuat  anda  merasa kesulitan dalam menjalankan tugas yang diberikan ?
4 Menurut anda, Setelah anda menggunakan aplikasi InaRISK, apakah ada  yang  perlu  diperbaiki  atau  dirubah  dari  aplikasi  InaRISK  yang nantinya dapat membuat anda dapat lebih mudah dalam menjalankan tugas ? No Daftar Permasalahan Usability
1 Kesulitan mencari fitur dan menu dari aplikasi
2 Tidak ada petunjuk penggunaan bagi pengguna baru
3 Tombol yang tidak memiliki nama/label
4 Desain interface dan tombol serupa jadi membuat bingung
5 Urutan menu membingunkan
6 membutuhkan jaringan internet dan GPS yang stabil karena harus
me-load peta
7 Aplikasi berjalan terasa berat jika menggunakan spesifikasi HP android yang rendah
8 Masih ada beberapa bugs di beberapa fitur menu
9 Belum ada fitur offline untuk me- load peta

## DAFTAR PUSTAKA
Amri,  M.  R.,  Yulianti,  G.,  Yunus,  R.,
Wiguna, S., W. adi, A., Ichwana, A. N., Randongkir,  R.  E.,  &  Septian,  R.  T.
(2016). RISIKO BENCANA
INDONESIA (R.  Jati  &  M.  R.  Amri, Eds.).
Brooke,  J.  (2013). SUS:  a  retrospective. Journal of Usability Studies . 8 (no.2, 29- 40).
D.  Herlinda,  W.  (2021,  December  14). SISTEM  MITIGASI  KEBENCANAAN BNPB BAKAL DIKEMBANGKAN ALA STARTUP .
Farouqi, M. I., Aknuranda, I., & Herlambang,
A.  D.  (2018). Evaluasi  Usability  pada Aplikasi Go-Jek Dengan Menggunakan Metode  Pengujian  Usability (Vol.  2,
Issue 9). http://j-ptiik.ub.ac.id Nielsen,  J.  (2013). Teenage  Usability: Designing  Teen-Targeted  Websites .
Https://Www.Nngroup.Com/Articles/U sability-of-Websites-for- Teenagers.
Putri,  N.  L.,  Wedayanti,  A.,  Kadek,  N.,
Wirdiani, A., Ketut, I., & Purnawan, A. (n.d.). Evaluasi  Aspek  Usability  pada Aplikasi  Simalu  Menggunakan  Metode Usability Testing . 7 (2). Rubin, J., & Chrisnell, D. (2008). Handbook of  Usability  Testing,  Second  Edition: How  to  Plan,  Design,  and  Conduct Effective  Tests (2nd  ed.).  Wiley Publishing. Sauro,  J.  (2011).  A  practical  guide  to  the
System  Usability  Scale:  Background, benchmarks, & best practices. Denver . Sitasi, P., Syaifullah, D. H., Puspasari, M. A.,
&  Hanifah,  A.  (2017). Analisis  User Experience  pada  Penggunaan  Aplikasi Mobile  Jakarta  Smart  City.  Prosiding SNTI dan SATELIT .
Sulistiya, M., Mu’afi #2, Z., Rahayu, S., #3,
N.,  #4,  H.,  &  Yusuf,  M.  (n.d.).
Penerapan  Metode  Think  Aloud  untuk Evaluasi  Usability  pada  Website  Dinas
Pendidikan  dan  Kebudayaan  Kota MNO. Jurnal Telematika , 16 (1).
Tan, M. L., Prasanna, R., Stock, K., Doyle, E. E.  H.,  Leonard,  G.,  &  Johnston,  D. (2020).  Modified  Usability  Framework for  Disaster  Apps:  A  Qualitative Thematic  Analysis  of  User  Reviews. International  Journal  of  Disaster  Risk Science , 11 (5), 615–629. https://doi.org/10.1007/s13753-020- 00282-x Trilestari, A. A., Muslimah Az-Zahra, H., & Wijoyo,  S.  H.  (2019). Evaluasi Usability  Aplikasi  Digital  Citizen Journalist Dengan Menggunakan Metode Usability Testing (Vol. 3, Issue 6). http://j-ptiik.ub.ac.id