## Analisis Tingkat Usability Pada Aplikasi Frostid Menggunakan
System Usability Scale (SUS)
Arista Pratama 1 , Asif Faroqi 2 , Eka Prakarsa Mandyartha 3
1,2 Program Studi Sistem Informasi, Universitas Pembangunan Nasional “Veteran”, Surabaya, Indonesia
3 Program Studi Informatika, Universitas Pembangunan Nasional “Veteran”, Surabaya, Indonesia email: 1 aristapratama.si@upnjatim.ac.id

## Abstrak
Banjir adalah keadaan dimana suatu daratan tergenang oleh air dalam jumlah besar yang tidak sepenuhnya mampu diserap  oleh  tanah.  Banjir  merupakan  permasalahan  yang  sering  terjadi  saat  musim  hujan  di  berbagai  daerah Indonesia.  Jalan  yang  banjir  membuat  kerugian  bagi  para  pengendara  yang  melewatinya,  misalnya  seperti kerusakan  mesin,  bahkan  hingga  kecelakaan.  Dibutuhkan  aplikasi  pelaporan  jalan  banjir  yang  memberikan informasi daerah banjir sehingga pengendara dapat menghindari jalanan banjir dan menempuh jalur yang lebih baik.  Aplikasi  Frostid  merupakan  aplikasi  berbasis  android  yang  bertujuan  untuk  pelaporan  jalan  banjir  secara online  yang  berfokus  pada  peta  navigasi  berlalu-lintas  dengan  melibatkan  partisipasi  warga  secara  aktif (crowdsourcing). Penelitian ini bertujuan untuk mengukur tingkat usability pada Aplikasi Frostid menggunakan analisa System Usability Scale (SUS). Hasil penelitian menunjukkan bahwa aplikasi Frostid termasuk dalam range OK dengan hasil score 59.7. Hasil perhitungan kategori satu variabel dan dua variabel keduanya menunjukkan hasil perhitungan dengan range yang berada pada kategori OK dan Good.
Kata Kunci:  Banjir, Frostid, Usability, System Usablity Scale.

## Abstract
The number of herbal plants found in Indonesia is 30,000 species, but only 1,200 species of all types of medicinal Flooding is a condition where a land is inundated by large amounts of water that are not fully absorbed by the soil. Flooding is a problem that often occurs during the rainy season in various regions of Indonesia. Flooded roads  cause  losses  for  motorists  who  pass  by,  such  as  engine  damage,  even  accidents.  A  flood  road  reporting application is needed that provides information on flooded areas so that motorists can avoid flooded roads and take better routes. Frostid application is an android-based application that aims to report flood roads online which focuses on traffic navigation maps by involving active citizen participation (crowdsourcing). This study aims to measure the usability level of the Frostid Application using System Usability Scale (SUS) analysis. The results showed that the Frostid application was in the OK range with a score of 59.7. The results of the calculation of the category of one variable and two variables both show the results of the calculation with a range that is in the OK and Good categories.
Keywords: Flooding, Frostid, Usability, System Usablity Scale

## PENDAHULUAN
Banjir merupakan salah satu bencana alam yang merugikan masyarakat yang sering terjadi di berbagai wilayah (Li & Li, 2011). Definisi banjir adalah keadaan dimana suatu daratan tergenang oleh air dalam jumlah besar yang tidak sepenuhnya mampu diserap oleh tanah (Kodoatie & Sugiyanto, 2002). Penyebab  banjir  antara  lain  curah  hujan  yang tinggi,  debit  air  yang  melebihi  kapasitas  drainase,  dan keterbatasan  daerah  resapan  akibat  alih  fungsi  menjadi  kawasan  pemukiman  (Sholihah  et  al.,  2020). Cuaca  ekstrem  yang  mengakibatkan  banjir  dapat  mengganggu  mobilitas  manusia  dan  barang,  yang nantinya akan berdampak pada kesejahteraan masyarakat terutama dalam perekonomian.
Banjir  merupakan  permasalahan  yang  sering  terjadi  saat  musim  hujan  di  berbagai  daerah Indonesia  (Findayani,  2015).  Jalan  yang  banjir  membuat  kerugian  bagi  para  pengendara  yang melewatinya, misalnya seperti kerusakan mesin, bahkan hingga kecelakaan. Dari permasalahan diatas, perlu  adanya  aplikasi  pelaporan  jalan  banjir  yang  memberikan  informasi  daerah  banjir  sehingga pengendara dapat menghindari jalanan banjir dan menempuh jalur yang lebih baik.
Aplikasi  Frostid  merupakan  aplikasi  berbasis  android  yang  bertujuan  untuk  pelaporan  jalan banjir  secara online yang  berfokus  pada  peta  navigasi  berlalu-lintas,  dengan  melibatkan  partisipasi warga  secara  aktif  ( crowdsourcing ).  Aplikasi  Frostid  memiliki  tampilan  antarmuka  yang  sederhana dengan menampilkan halaman utama berupa peta navigasi berlalu-lintas yang memberikan informasi titik  banjir.  Pada  saat  instalasi,  akan  muncul  informasi  pengenalan  aplikasi  serta  kategori  banjir. Kategori banjir menunjukkan level banjir yang telah disediakan pada Aplikasi Frostid. Tampilan pada Aplikasi Frostid dapat dilihat seperti pada Gambar 1.

## Gambar 1. Tampilan Awal Instalasi Aplikasi Frostid
Tampilan  halaman  utama  aplikasi  Frostid  mengarah  pada  peta  navigasi  yang  bertujuan  agar pengguna  dengan  mudah  melaporkan  jalan  banjir  yang  mereka  temui.  Sistem  pelaporan  banjir  pada aplikasi Frostid mengikuti lokasi pengguna seperti pada Gambar 2.
Aplikasi  Frostid  berbasis  crowdssourcing,  sehingga  tingkat usability menjadi  faktor  penting. Pengembangan dan evaluasi Graphic User Interface (GUI) guna mendukung fungsi aplikasi merupakan bagian penting karena berkaitan erat dengan usability . GUI membuat aplikasi lebih mudah digunakan atau dioperasikan dengan adanya gambar-gambar grafik, menu, dan ikon yang menarik (Galitz, 2007). Dengan  pendekatan  usability  maka  pengalaman  pengguna  seperti  kemudahan,  ketertarikan,  dan kenyamanan  pengguna  saat  menjalankan  aplikasi  dapat  diketahui.  Menurut  ISO  9241-210  (2009) usability  adalah  ukuran  sejauh  man  sebuah  produk  (aplikasi)  dapat  digunakan  oleh  pengguna  untuk mencapai tujuan tertentu dengan efektif, efisiensi, dan kepuasan dalam penggunaan produk (aplikasi) (Nielsen, 2012).

## Gambar 2. Tampilan Halaman Utama (Maps)
Usability  merupakan  atribut  kualitas  yang  menaksirkan  bahwa  bagaimana  kemudahan  user interface saat digunakan (Nielsen, 2012). Usability dapat dikatakan sebagai metode untuk memegang prinsip ease of use saat melakukan proses desain.  Dalam buku yang berjudul The Essential Guide to User Interface Design: An Introduction to GUI Design , Quensenbery menyatakan usability dapat diukur dengan  beberapa  indikator  yaitu  1) Effective yaitu  kelengkapan  dan  akurasi  yang  didapat  pengguna dalam  mengerjakan  tugas  tertentu,  2) Efficient yaitu  kecepatan  dan  akurasi  yang  didapat  pengguna dalam  mencapai  tujuan  tertentu,  3) Engaging yaitu  sejauh  mana  warna  dan  gaya  desain  antarmuka membuat  produk  menyenangkan  atau  memuaskan  pengguna  saat  digunakan,  4) Error  tolerant yaitu seberapa baik desain dapat mencegah kesalahan dan membantu perbaikan dari hal-hal yang telah terjadi, 5) Easy to learn yaitu seberapa baik produk mendukung orientasi awal serta peningkatan pengetahuan terhadap kemampuannya (Galitz, 2007).
Metode evaluasi usability didefinisikan sebagai prosedur yang terdiri dari serangkaian aktivitas pengumpulan data penggunaan aplikasi yang terkait dengan interaksi pengguna akhir untuk mencapai tingkat kegunaan tertentu (Fernandez et al., 2011). Metode usability dibagi menjadi dua kategori yaitu metode empiris dan metode inspeksi. Metode empiris ini kemudian dibagi menjadi metode penyelidikan (misalnya wawancara, kuesioner, dan survei), dan pengujian kegunaan formal (seperti interaksi dengan situs web untuk melakukan tugas tertentu) (Battleson et al., 2001). Dalam metode empiris, penelitian didasarkan pada fenomena yang diamati dan diukur untuk memperoleh pengetahuan dan pengalaman aktual (Cahoy, 2021).
Penelitian  ini  bertujuan  untuk  mengukur  tingkat usability desain user  interface pada  Aplikasi Frostid menggunakan analisa System Usability Scale (SUS). Penelitian ini menggunakan pengujian dan kuesioner  yang  berfokus  pada  lima  komponen usability yaitu learnability , efficiency , memorability , e rrors dan satisfaction (Nielsen,  2012).  Penelitian  ini  merupakan  pengujian  verifikasi  dan  validasi. Pengujian  verifikasi  merupakan  sebuah  pengecekan  dimana  aplikasi  tersebut  sudah  dapat  mencapai tujuannya  tanpa  adanya bug .  Pengujian  validasi  merupakan  proses  evaluasi  apakah  produk  yang dikembangkan sesuai dengan tujuan (Muqoddas et al., 2020).

## METODE PENELITIAN
Analisis usability desain user interface pada aplikasi Frostid menggunakan metode kuantitatif. Pengumpulan  data  melalui  angket  pengujian  usability  dengan  menggunakan System  Usability  Scale (SUS). Adapun tahapan pengujian pada penelitian ini adalah:
1. Menyusun langkah-langkah yang dilakukan oleh pengguna sebelum mengisi kuesioner usability testing. Saat menggunakan aplikasi Frostid hal yang paling penting bagi pengguna adalah proses pembuatan  akun  beserta  menjelajahi  fitur-fitur  yang  tersedia  pada  aplikasi  sehingga  didapat langkah-langkah sebagai berikut:
a. Membuat akun Frostid. User harus memiliki akun terlebih dahulu agar dapat menggunakan aplikasi
b. Menjelajahi  fitur  aplikasi.  Seminimal  mungkin User harus  sudah  berada  pada  halaman utama  ( Maps )  yang  berisi  peta  navigasi  berlalu-lintas  yang  memberikan  informasi  titik banjir.
2. Memilih  responden.  Responden  dipilih  secara  acak  dengan  ketentuan  responden  sudah menginstal, membuat akun, dan menjelajahi fitur aplikasi.
3. Tahapan Pengujian. Responden mengisi kueisoner usability testing sesuai dengan sebelumnya mengikuti langkah-langkah yang telah dibuat seperti pada Tabel 1.
Tabel 1. Pertanyaan SUS No. Pertanyaan
1 Saya merasa akan sering menggunakan aplikasi Frostid
2 Saya menemukan bahwa aplikasinya kompleks
3 Saya merasa aplikasi Frostid mudah digunakan
4 Saya merasa membutuhkan technical support untuk dapat menggunakan aplikasi Frostid
5 Saya merasa berbagai bentuk fitur aplikasi telah terintegrasi dengan baik satu sama lain
6 Saya merasa erlalu banyak ketidakkonsistenan dalam aplikasi Frostid
7 Saya dapat membayangkan bahwa akan ada banyak orang yang belajar menggunakan aplikasi Frostid secara cepat.
8 Saya merasa aplikasi Frostid sangat rumit untuk digunakan
9 Saya merasa sangat percaya diri saat menggunakan aplikasi Frostid
10 Saya harus belajar banyak hal terlebih dahulu sebelum saya dapat mulai menggunakan aplikasi Frostid

## Gambar 3. Interpretasi Nilai SUS
4. Rekapitulasi  hasil  pengujian  menggunakan  SUS  pada  aplikasi  Frostid.  Analisa  SUS menggunakan skala penilaian 1 hingga 5 (x) dengan bobot 0 hingga 4 dari 10 pertanyaan yang diberikan. Pertanyaan dibagi menjadi 2 yaitu pertanyaan yang bernada positif (diletakkan pada
nomer  pertanyaan  1,3,5,7  dan  9)  dan  pertanyaan  bernada  negatif  (diletakkan  pada  nomer pertanyaan 2,4,6,8 dan 10). Untuk Pertanyaan 1,3,5,7 dan 9 nilai didapat dari skala penilaian dikurang  1  (x-1)  sedangkan  Pertanyaan  2,4,6,8,  da  10  nilai  didapat  dari  5  dikurang  skala penilaian (5 – x). Hasil penjumlahan dari nilai score dikalikan dengan 2.5 untuk mendapatkan nilai SUS (Brooke, 1996). Rentang hasil penilaian yang digunakan untuk penelitian ini akan diterjemahkan menggunakan adjective scale seperti yang terlihat pada Gambar 4 (Bangor et al., 2009).

## HASIL DAN PEMBAHASAN

## A. Analisa Responden
Berdasarkan hasil survei yang dilakukan terhadap 87 orang responden, diambil 60 orang responden yang  memenuhi  syarat  sesuai  dengan  ketentuan  bahwa  responden  harus  memiliki  akun  beserta menjelajahi  fitur  seminimal  mungkin  halaman  utama  ( maps )  yang  berisi  peta  navigasi  berlalu-lintas yang memberikan informasi titik banjir. Dari 60 responden yang diambil diketahui bahwasanya 40% dari responden pria, dan 60% dari responden wanita. Dilihat dari usia, sebagian besar responden berasal dari umur 18-30 tahun (70%), sisanya <18 tahun sebesar 7%, 31-40 tahun 5%, 41-50 tahun 5%, dan >50 tahun 13%. Untuk sebaran pekerjaan responden sebagai berikut:
a. Dosen/Tenaga Pendidik : Wanita (3 responden)
b. Pelajar/Mahasiswa : Pria (12 responden) dan Wanita (16 responden)
c. PNS : Pria (3 responden) dan Wanita (3 responden)
d. Wiraswasta : Pria (7 responden) dan Wanita (8 responden)
e. Wirausaha : Pria (2 responden) dan Wanita (6 responden)
Gambar 4. Grafik Sebaran Pekerjaan dan Jenis Kelamin Pengguna
B. Analisa Hasil SUS
Hasil analisa usability dengan menggunakan SUS yang diubah dalam bentuk adjective scale . Hasil  nilai  SUS  Aplikasi  Frostid  didapat  dari  survei  yang  telah  dikonversi  sesuai  dengan  bobotnya masing-masing.    Hasil  SUS  menunjukkan  bahwa  secara  keseluruhan  Aplikasi  Frostid  masuk  dalam range OK (cukup baik) dengan nilai 59.71 seperti pada Gambar 5.
Untuk mendapatkan hasil penelitian yang lebih mendalam, maka penulis mencoba meneliti hasil SUS dengan membedakannya pada kategori lain yaitu dengan melihat SUS berdasarkan jenis kelamin yaitu  responden  pria  dan  wanita.  Selain  itu  penulis  juga  meneliti  berdasarkan  kategori  usia  dengan rentang usia <18 tahun, 18-30 tahun, 31-40 tahun, 41-50 tahun, dan >50 tahun. Seperti yang dilihat pada gambar 5 diatas, hasil SUS final scor e berdasarkan kategori jenis kelamin memiliki range OK dengan SUS Final Score 57,29 pada Pria dan 59,17 pada wanita seperti pada Gambar 6.
Gambar 6. Grafik Analisa Usability Berdasarkan Jenis Kelamin
Selanjutnya  pada range SUS  berdasarkan  kategori  usia,  pada  kategori  usia  <18  tahun,  41-50 tahun, serta >50 ketiganya memiliki range Good dengan SUS Final Score 60 pada rentang usia <18 tahun, 65,83 pada rentang usia 41-50 tahun, dan yang terakhir pada rentang >50 tahun sebesar 67,1875. Sedangkan pada rentang usia 18-30 dan 31-40 tahun keduanya memiliki range OK dengan SUS Final Score 56,07 pada rentang usia 18-30 tahun dan sebesar 58,33 pada rentang usia 41-50.
Gambar 7. Grafik Analisa Usability Berdasarkan Usia
Selain menganalisis range SUS pada satu variabel, penulis juga memperdalam analisisnya pada SUS Final Score di dua variabel. Dengan mengambil score SUS berdasarkan kategori usia dengan jenis kelamin. Hasil perhitungan SUS Final Score didapatkan angka yang sangat berbeda dengan perhitungan sebelumnya. Range Good dengan score lebih tinggi di atas 70 didapatkan pada kategori 2 variabel Pria berusia dengan rentang 40-50 tahun dan >50 tahun dengan score SUS 75. Sedangkan score SUS 70 didapatkan dari kategori wanita dengan rentang usia <18 tahun. Score SUS antara 60-70 didapatkan dari kategori wanita dengan rentang usia 31-40 tahun dengan score 62,5, 40-50 tahun dengan score 61,25, dan >50 tahun dengan score 62,5. Selebihnya diperoleh score SUS dengan range OK ( range 15-59) pada kategori pria dengan rentang usia <18 tahun dengan score 56,67, pria berusia 18-30 tahun dengan score 52,83, pria berusia 31-40 tahun dengan score SUS 56,25, serta kategori wanita dengan rentang usia 18-30 tahun dengan score 57,87.
Gambar 8. Grafik Analisa Usability Berdasarkan 2 Variabel
Berdasarkan  hasil  survei pada  87  orang responden terdapat  48  orang  yang memberikan  saran untuk  pengembangan  aplikasi  Frostid  kedepannya.  Di  antara  saran  tersebut  sebanyak  13  responden memberikan saran agar aplikasi dapat mengembangkan tampilan dan fitur-fitur yang disediakan, banyak diantara  mengatakan  bahwa  tampilan  aplikasi  kurang  menarik  dan  terlalu  polos,  selain  itu  fitur-fitur seperti  map  dan  menu  lainnya  perlu  untuk  ditambahkan  variasi  lain  agar  memudahkan  pengguna, terutama  tutorial  mengenai  penggunaan  aplikasi  bagi  pengguna  baru.  Sebanyak  5  responden mengeluhkan  saat  proses  verifikasi  email  karena  dianggap  kurang  efisien.  Sebanyak  5  responden membutuhkan  penjelasan  mengenai  alur  aplikasi.  Sebanyak  6  responden  mengatakan  bahwa pengembangan  aplikasi  diperlukan  untuk  kedepannya  untuk  memaksimalkan  pengalaman  pengguna. Sebanyak  9  responden  mengatakan  aplikasi  sudah  baik  dan  mendoakan  kesuksesan  aplikasi kedepannya.  Berdasarkan  data  saran  responden  di  atas  hal  utama  yang  harus  ditingkatkan  untuk pengembangan  aplikasi  Frostid  adalah  tampilan user interface dan  fitur-fitur  yang  disediakan  agar pengguna  dapat  lebih  tertarik  dan  nyaman  dalam  menggunakan  aplikasi  ini.  Hasil  evaluasi  Analisa permasalahan pengguna ditunjukkan pada Tabel 2.
Tabel 2. Hasil Evaluasi Analisa Permasalahan Pengguna
Saran Jumlah Responden Memperbaiki tampilan UI dan fitur-fitur aplikasi untuk memudahkan pengguna 13 Verifikasi email dinilai tidak efisien 5 Memberikan keterangan / penjelasan mengenai proses berjalannya aplikasi 5 Meningkatkan pengembangan aplikasi untuk kedepannya 6 Aplikasi dinilai sudah baik 5 Aplikasi sukses kedepannya 4 Lain-lain 10

## KESIMPULAN
Hasil analisa usability dapat ditarik kesimpulan bahwa pengalaman pengguna terhadap usability dari  aplikasi  Frostid  menggunakan  SUS  yang  diterjemahkan  menggunakan Adjective  Scal e  secara keseluruhan mendapatkan hasil perhitungan yang berada pada range OK dengan SUS score antara 15- 59 dengan score 59,71. Sedangkan hasil analisa SUS berdasarkan 2 kategori (jenis kelamin dan usia) berada pada range GOOD . Kategori range tersebut menyatakan bahwa aplikasi Frostid berjalan baik dengan  memaksimalkan  pengalaman  pengguna  dalam  menggunakan  aplikasi.  Dengan  analisa  hasil perhitungan score SUS Final Score yang didapat berdasarkan satu variabel dan 2 variabel, keduanya menunjukkan hasil yang signifikan dengan score yang didapat berada pada kategori OK dan GOOD.
Selain hasil analisis tersebut, menurut responden terpilih dari kuesioner yang telah disebarkan terdapat kekurangan pada aplikasi Frostid yaitu pada bagian tampilan user interface dan fitur-fitur di dalamnya yang memerlukan perbaikan dan pengembangan kedepannya.

## DAFTAR PUSTAKA
Bangor, A., Kortum, P., & Miller, J. (2009). Determining What Individual SUS Scores  Mean: Adding an Adjective Rating Scale. Journal of Usability Studies , 4(3), 114-123.
Battleson, Brenda., Booth, Austin., Weintrop, Jane. (2001). Usability testing of an Academic Library Web site: A case Study. The Journal of Academic  Librarianship vol. 27, pp 188-198.
Cahoy, Ellysa. (2021). Empirical Research in the Social Sciences and Education . PennState University Libraries: https://guides.libraries.psu.edu/emp .
Fernandez,  Adrian.,  Insfran,  Emilio.,  Abrahao,  Silvia.  (2011).  Usability  Evaluation Methods  for   the Web: A Systematic Mapping Study. Information & Software Technology , vol. 53, pp 789-817.
Findayani,  Aprilia.  (2015).  Kesiap  Siagaan  Masyarakat  dalam  Penanggulangan  Banjir  di  Kota Semarang. Jurnal Geografi Media Informasi Pengembangan Ilmu dan Profesi Kegeografian , Universitas Negeri Semarang.
Galitz, W.O. (2007). The Essential Guide to User Interface Design . Third Edition. Indianapolis. Indiana:
Wiley Publishing, Inc.
Kodoatie  &  Sugiyanto.  (2002). Banjir  Beberapa  Penyebab  dan  Metode  Pengendaliannya  dalam Perspektif Lingkungan . Yogyakarta: Pustaka Belajar.
Li, Yan., Li, Manchun. (2011). Application and Research on Flood Risk Assessment Decision Support System in the Lower Yellow River . IEEE.
Muqoddas, Ali., Yogananti, Auria F., dan Bastian, Henry. (2020). Usability User Interface  Desain pada Aplikasi Ecommerce: Studi Komparasi terhadap Pengalaman Pengguna  Shopee, Lazada, dan Tokopedia. Jurnal Desain Komunikasi Visual & Multimedia ,  vol. 06, no. 01. Pp 73-82.
Nielsen, J. (2012). Usability 101: Introduction to Usability .
Sholihah, Q., Kuncoro, W., Wahyuni, S., Suwandi, S. P., & Feditasari, E. D. (2020). The Analysis of the Causes  of  Flood  Disasters  and  Their  Impacts  in  the  Perpective  of  Environmental  Law .  IOP Conference Series: Earth and Environmental Science 437(1), 012056.