Jurnal Ilmu Komputer Indonesia (JIK) , Volume  7 , No : 1, Februari 2022 p-ISSN : 2615-2703 (Print)   dan  e-ISSN: 2615-2711 (Online)

## PERBANDINGAN EVALUASI USABILITY PADA APLIKASI SMART BINA TARUNA WIRATAMA MENGGUNAKAN HEURISTIC EVALUATION DAN CONCURRENT THINK ALOUD
Putu Eka Parianthana 1 , Gede Indrawan 2 , I Gede Aris Gunadi 3
1,2,3 Program Studi Ilmu Komputer, Pascasarjana, Universitas Pendidikan Ganesha, Bali parianthanae@gmail.com 1 , gindrawan@undiksha.ac.id 2 , igedearisgunadi@undiksha.ac.id 3

## Abstrak
Aplikasi  Smart  BTW  merupakan  platform  berbasis  mobile  untuk  mempermudah  para pengguna dalam mempersiapkan dirinya menghadapi seleksi SKD/TKD berbasis Computer Assesment  Test  (CAT).  Pada  rentang  waktu  1  tahun  penggunaan  Aplikasi  Smart  BTW, terdapat  permasalahan  yang  berkaitan  dengan  antarmuka  pengguna  sehingga  diperlukan evaluasi  lanjutan  untuk  pengembangannya.  Salah  satu  metode  evaluasi  berbasis  pengguna yang dapat digunakan adalah evaluasi usability. Evaluasi usability dapat dilakukan berbasis pakar  dan  pengguna.  Berdasarkan  kajian  yang  dilakukan,  akan  dibandingkan  evaluasi berbasis  pakar  dan  pengguna  menggunakan  teknik  Evaluasi  Heuristik  dan  Concurrent Think  Aloud.  Evaluasi  Heuristik  akan  melibatkan  5  orang  ahli  yang  bertugas  sebagai evaluator aplikasi, sedangkan pada evaluasi pengalaman pengguna, minimal menggunakan 20  responden.  Pada  evaluasi  heuristik,  dihasilkan  juga  20  daftar  permasalahan  yang dirasakan  oleh  setiap  evaluator.  Pada  Concurrent  Think  Aloud  dihasilkan  7  daftar permasalahan  yang  dirasakan  oleh  pengguna  saat  mengerjakan  skenario  tugas  yang diberikan.   Pengembangan untuk penelitian selanjutnya, dapat digunakan teknik lain dalam usability  testing,  seperti  Performance  Measurement  untuk  membandingkan  hasil  evaluasi antara pakar dan pengguna aplikasi berdasarkan data kuantitatif.
Kata Kunci: evaluasi, usability, heuristik, think aloud,

## Abstract
The  Smart  BTW  application  is  a  mobile-based  platform  to  make  it  easier  for  users  to prepare  themselves  for  the  SKD/TKD  selection  based  on  the  Computer  Assessment  Test (CAT).  In  the  span  of  1  year  of  using  the  Smart  BTW  Application,  there  are  problems related to the user interface so that further evaluation is needed for its development. One of the  user-based  evaluation  methods  that  can  be  used  is  usability  evaluation.  Usability evaluation  can  be  done  based  on  experts  and  users.  Based  on  the  study  conducted,  the evaluation  based  on  expert  and  user  will  be  compared  using  Heuristic  Evaluation  and Concurrent Think Aloud techniques. Heuristic evaluation will involve 5 experts who serve as  application  evaluators,  while  the  user  experience  evaluation  uses  a  minimum  of  20 respondents.  In  the  heuristic  evaluation,  20  lists  of  problems  felt  by  each  evaluator  were also  generated.  In  Concurrent  Think  Aloud,  7  lists  of  problems  experienced  by  users  are generated  when  working  on  the  given  task  scenario.  Development  for  further  research, other  techniques  in  usability  testing  can  be  used,  such  as  Performance  Measurement  to compare the evaluation results between experts and application users based on quantitative data.
Keywords: evaluation, usability, heuristics, think aloud.
Jurnal Ilmu Komputer Indonesia (JIK) , Volume  7 , No : 1, Februari 2022 p-ISSN : 2615-2703 (Print)   dan  e-ISSN: 2615-2711 (Online)

## P ENDAHULUAN
Aplikasi Smart BTW hadir dengan konsep dan program  yang  inovatif  untuk  mempersiapkan peserta  secara  optimal  dalam  mengikuti  seleksi SKD/TKD  berbasis  Computer  Assesment  Test (CAT)  yang  meliputi  Tes  Wawasan  Kebangsaan (TWK),  Tes  Intelegensia  Umum  (TIU)  dan  Tes Karakteristik Pribadi (TKP). Aplikasi Smart BTW menyediakan  modul  soal  yang  memiliki  beberapa fitur  diantaranya  yaitu  fitur  tryout  gratis,  fitur tryout  premium,  fitur  paket  bimbel,  pembahasan soal, ebook kunci sukses SKD, Raport Siswa, fitur tryout  tatap  muka  dan  fitur  tryout  siswa  bimbel. Aplikasi  ini  telah  mulai  digunakan  sejak  bulan Desember  2019,  dimana  dari  feedback  yang disampaikan  melalui  ratings  dan  review  pada Playstore  masih  terdapat  rating  1-2  disertasi masukan  untuk  aplikasi.  Selain  masukan  lewat playstore,  melalui  layanan  support  Telegram  juga seringkali para pengguna menyampaikan pertanyaan  terkait  penggunaan  fitur  dari  aplikasi ini.  Beberapa  permasalahan  yang  dikemukakan pengguna,  diantaranya  1)  Siswa  bingung  memilih metode pembayaran dalam membeli paket bimbel, 2)  Siswa  tidak  menemukan  pembahasan  soal,  3) Siswa  tidak  mengerti  cara  mengerjakan  Tryout Gratis,  4)  Banyak  pilihan  fitur  yang  tidak dilengkapi  penjelasan  cara  penggunaan.  Poin utama  dari  permasalahan  yang  disampaikan pengguna  ada  pada  kejelasan  antarmuka  aplikasi yang cukup sulit dipahami pengguna awam. Solusi terhadap  permasalahan  tersebut  adalah  dengan melakukan  evaluasi  dan  pengembangan  yang berkelanjutan  berbasis  kebutuhan  dan  masukan pengguna.  Pengembangan  dan  evaluasi  secara berkelanjutan  agar  penggunaan  sebuah  produk lebih efektif, efisien, dan memuaskan dalam ruang lingkup  penggunanya  (ISO,  2018).  Salah  satu metode  evaluasi  berbasis  pengguna  yang  dapat digunakan  adalah  evaluasi  usability  (Indrawan, 2020).
Evaluasi  usability  merupakan  metode  evaluasi yang  berfokus  mengevaluasi  1)  seberapa  baik pengguna dapat belajar, 2) seberapa baik pengguna dapat  menggunakan  sistem,  dan  3)  seberapa  puas pengguna  dengan  proses-proses  pada  sistem (Farida, 2016). Metode evaluasi usability
dikategorikan  menjadi  3  yaitu  inspection,  testing dan inquiry (Gupta, 2015). Masing–masing metode memiliki  kelebihan  dan  kekurangannya,  dimana metode  inquiry  dan  testing  adalah  metode  yang melibatkan  pengguna  pada  proses  evaluasinya (Gupta,  2015).  Namun  karena  dimungkinkan pemilihan  pengguna  awam,  maka  perlu  juga masukan  yang  diberikan  berasal  dari  para  pakar dengan menggunakan metode inspection. Sehingga pada  penelitian  ini  digunakan  ketiga  metode tersebut dengan mengamati pengguna dan responnya saat menggunakan aplikasi Smart BTW disertai  masukan  dan  hasil  penilaian  dari  pakar terkait antarmuka aplikasi Smart BTW.
Metode  inspection  memiliki  beberapa  teknik evaluasi,  salah  satunya  adalah  evaluasi  heuristik. Evaluasi heuristik dalam mengevaluasi penggunaan  smartphone  berhasil  menghasilkan masukan  terbaik  dari  beberapa  metode  inspection (Hendradewa,  2017).  Evaluasi  heuristik  sangat cocok  digunakan  untuk  mengevaluasi  antarmuka sebuah  produk  (Paramitha,  2018).  Pada  evaluasi heuristik,  akan  dibutuhkan  beberapa  pakar  yang akan  mengevaluasi  produk  berdasarkan  10  prinsip heuristik (Sandhiyasa, 2020).
Remote  Testing,  Coaching  Method,  Question Asking  Protocol,  Think  Aloud  merupakan  teknik- teknik evaluasi dari metode usability testing. Think Aloud memiliki sejumlah keunggulan, diantaranya murah,  kuat,  fleksibel,  meyakinkan,  dan  mudah digunakan  (Nielsen,  2012).  Penelitian  yang dilakukan  dengan  menggunakan  Think  Aloud berhasil  menemukan  permasalahan  pengguna seperti kendala-kendala yang dialami saat mengerjakan  suatu  aksi  atau  tugas,  permasalahan antarmuka,  serta  fungsionalitas  sistem  yang  tidak berjalan  (Roni,  2018).  Think  Aloud  sangat  cocok untuk  pengujian  usability  karena  cepat,  mudah bagi  pengguna  untuk  berhubungan,  dan  tidak membutuhkan sumber daya yang banyak (Mcdonald, 2012). Berdasarkan tahap evaluasinya, Think  Aloud  dapat  dibagi  menjadi  2,  yaitu Concurrent Think Aloud (CTA) dan Retrospective Think Aloud (RTA) (Pratama, 2019). Teknik CTA dilakukan  ketika  responden  sedang  berinteraksi dengan  sistem  sedangkan  RTA  dilakukan  ketika responden sudah selesai berinteraksi dengan sistem
Jurnal Ilmu Komputer Indonesia (JIK) , Volume  7 , No : 1, Februari 2022 p-ISSN : 2615-2703 (Print)   dan  e-ISSN: 2615-2711 (Online)
(Utami,  2020).  Teknik  CTA  lebih  baik  daripada RTA  dalam  mendeteksi  masalah  kegunaan  karena pengguna  secara  langsung  akan  mengemukakan pendapat mereka saat sedang menggunakan sistem (Peute, 2015).
Berdasarkan  paparan  diatas,  maka  dalam penelitian  ini  evaluasi  pada  Aplikasi  Smart  BTW dilakukan  dengan  mengkombinasikan  beberapa teknik evaluasi. Evaluasi heuristik akan melibatkan pakar  dalam  melakukan  evaluasi  berdasarkan  10 aspek  heuristik  dari  antarmuka  aplikasi.  Adapun Concurrent  Think  Aloud  dan  heuristik  dan  User Experience  Questionnaire  (UEQ)  akan  melibatkan pengguna  aplikasi  dalam  melakukan  evaluasi. Concurrent Think Aloud akan menghasilkan daftar masukan  dari  pengguna  saat  menggunakan aplikasi.  Teknik  evaluasi  UEQ  digunakan  untuk mengukur  aspek  pengalaman  pengguna  terhadap aplikasi.  Berdasarkan  3  teknik  evaluasi  yang dilakukan,  akan  dihasilkan  saran  perbaikan terhadap Aplikasi Smart BTW. Hasil penelitian ini nantinya dapat dijadikan saran atau acuan bagi tim pengembang Aplikasi Smart BTW untuk memperbaiki kualitas aplikasi, khususnya berkaitan dengan aspek antarmuka dan pengalaman pengguna.

## M ETODOLOGI P ENELITIAN
Penelitian  ini  menggunakan  gabungan  metode kualitatif dan  kuantitatif  yang biasa disebut  mixed method.  Mixed  method  adalah  merupakan  suatu metode penelitian yang mengkombinasikan metode kuantitatif dengan kualitatif yang digunakan  secara  bersamaan  pada  suatu  kegiatan penelitian,  sehingga  didapatkan  data  yang  lebih komperhensif, valid, reliabel dan obyektif (Sugiyono, 2017a).
Rekomendasi perbaikan hasil evaluasi
Melakukan pengumpulan data Concurrent Think Aloud Identifikasi Masalah Mulai Studi Literatur Selesai Penyusunan Skenario Tugas CTA Penentuan Metodelogi Penentuan Responden Pengguna Melakukan pengolahan dan analisis data hasil Concurrent Think Aloud P e rs ia p an P en e li ti a n P e n en tu an R es p o n d en , E v al u at o r d an In st ru m en P en e li ti a n P e n g u m p u la n D a ta P e n g o la h a n d an A n al is is D a ta P e n y u su n an R e k o m en d as i Penentuan Evaluator Heuristik Penyusunan Form Evaluasi Heuristik Melakukan pengumpulan data Evaluasi Heuristik Melakukan pengolahan dan analisis data hasil Evaluasi
Heuristik

## Gambar 1. Metodelogi Penelitian
Evaluasi  Heuristik  menghasilkan  data  kualitatif berupa  saran  dari  evaluator  sedangkan  data kuantitatif  yang  dihasilkan  adalah  berupa  nilai severity rating. Berdasarkan kajian yang dilakukan,  evaluator  dalam  Evaluasi  Heuristik dapat  berjumlah  3  –  5  orang  ahli.  Penentuan jumlah  responden  tersebut  disebabkan  jumlah responden  yang  banyak  pada  evaluasi  ini  akan menimbulkan banyak masalah dan biaya pengujian (Ependi,  2017).  Penelitian  yang  sudah  dilakukan menunjukkan  bahwa  penggunaan  5  ahli  berhasil memberikan permasalahan antarmuka pada produk yang dievaluasi (Sandhiyasa, 2020). Pada
penelitian ini akan digunakan 5 orang ahli sebagai evaluator dalam Evaluasi Heuristik. Pada Evaluasi Heuristik  akan  digunakan  instrumen  berupa  form tugas  untuk  setiap  evaluator.  Form  tugas  Evaluasi Heuristik  berfungsi  untuk  menjelaskan  aspek- aspek  yang  akan  dievaluasi  oleh  masing-masing evaluator.  Evaluator  nantinya  akan  memberikan hasil  evaluasi,  rekomendasi  perbaikan  dan  nilai dari severity  rating setiap  aspek  heuristik.  Tabel
3.1  menunjukkan  skala  dari severity  rating yang digunakan pada penelitian ini (Nielsen, 1993). Tabel 3.1 Severity Rating Rating Definisi
Jurnal Ilmu Komputer Indonesia (JIK) , Volume  7 , No : 1, Februari 2022 p-ISSN : 2615-2703 (Print)   dan  e-ISSN: 2615-2711 (Online)
0 Tidak terdapat permasalahan usability secara keseluruhan.
1 Masalah estetika yang dapat diperbaiki apabila disediakan waktu.
2 Masalah usability minor, perbaikan menjadi prioritas rendah.
3 Masalah usability mayor, perbaikan menjadi prioritas tinggi.
4 Masalah usability sangat besar, harus segera diperbaiki sebelum produk dirilis
Pada Evaluasi Heuristik, terdapat 4 langkah dalam proses  pengumpulan  datanya,  yaitu  sebagai berikut.

## X
1 Training –  pada  tahapan  ini  setiap evaluator  diberikan  penjelasan  tentang cakupan inspeksi produk dan karakteristik pengguna yang akan menggunakan produk  tersebut.  Evaluator  meninjau daftar prinsip heuristik untuk memastikan bahwa  mereka  memahami  prinsip-prinsip tersebut.
2 Evaluation –  Tahap  evaluasi  merupakan tahapan  dimana  evaluator  menggunakan prinsip  heuristik  untuk  mengidentifikasi dan mendeskripsikan
permasalahan secara individu. Pedoman yang digunakan untuk melakukan evaluasi heuristik adalah  sepuluh  prinsip  heuristik  oleh Nielsen.  Permasalahan  yang  ditemukan oleh  evaluator  dicatat  pada  form  evaluasi yang telah disediakan.
3 Rating – evaluator selanjutnya memberikan severity  rating dari  masalah yang ditemukan berdasarkan Tabel 3.1.
4 Debriefing –  tahapan  terakhir  adalah melakukan konsolidasi dengan
memberikan  kembali  semua  permasalan yang  ditemukan  oleh  evaluator  untuk diverifikasi.
Evaluasi  Heuristik  akan  menghasilkan  data kualitatif  yaitu  rekomendasi/saran  perbaikan  dan data  kuantitatif  yaitu  nilai  severity  rating  produk. Analisa data kualitatif dilakukan dengan mendeskripsikan  dan  menjelaskan  temuan  data penelitian berdasarkan rekomendasi dari permasalahan yang telah ditentukan oleh evaluator. Analisis  data  kualitatif  dilakukan  secara  manual dengan  mengidentifikasi  masalah-masalah  yang didapatkan  yang  kemudian  dirangkum  ke  dalam bahasa  formal  (Ersa,  2015).  Data  kuantitatif  akan dilakukan  analisis  dengan  menghitung  hasil
evaluasi  yang  diperoleh  melalui  rata-rata  dari masing-masing  sub  aspek  pada  setiap  aspek heuristik (Sandhiyasa, 2020).
Concurrent Think Aloud (CTA) akan menghasilkan  data  kualitatif  berupa  masukan  dan permasalahan  yang  dikemukakan  responden  saat mengerjakan  tugas.  Pada  penelitian  ini,  untuk menentukan responden digunakan teknik purposive  sampling .  Teknik  ini  dipilih  karena responden  yang  dipilih  merupakan  pengguna  dari Aplikasi  Snart  BTW.  Penggunaan Think  Aloud tidak memerlukan jumlah responden yang banyak, dimana  hanya  diperlukan  8  sampai  10  orang responden  yang  merupakan  pengguna  sistem. Jumlah  tersebut  sudah  cukup  untuk  memahami perilaku pengguna dalam melakukan sejumlah task scenario yang  diberikan  (Pratama,  2019).  CTA akan dikombinasikan dengan evaluasi pengalaman pengguna.  Pada  evaluasi  pengalaman  pengguna, dengan  menggunakan  20-30  responden  sudah dapat  memberikan  hasil  yang  baik  dan  stabil (Schrepp,  2017).  Oleh  sebab  itu,  penelitian  ini menggunakan  20  responden  yang  dipilih  dari pengguna  aktif  aplikasi.  Pada  penelitian  ini, instrumen  yang  digunakan  pada  evaluasi  CTA adalah skenario tugas. Skenario tugas ini berfungsi untuk menjelaskan tugas-tugas yang harus dilakukan  oleh  responden  penelitian  yang  dalam penelitian ini adalah pengguna aplikasi. Responden akan  mengerjakan  tugas  yang  diberikan  sesuai dengan  halaman  pengguna  yang  diuji.  Pada  CTA, proses  pengumpulan  data  dilakukan  terhadap responden pada saat proses pengerjaan tugas. Pada pengumpulan  data  dengan  teknik  ini,  responden akan diberikan pengarahan untuk dapat menceritakan  sejelas-jelasnya  apa  yang  responden tersebut pikirkan saat responden tersebut menjalankan tahapan-tahapan untuk menyelesaikan tugas yang diminta. Proses pengumpulan  data  dilakukan  dengan  merekam semua  permasalahan  atau  saran  yang  responden ungkapkan untuk
selanjutnya dilakukan pengolahan terhadap setiap hasil rekaman responden.  Pada  tahapan  ini  juga  akan  dilakukan pencatatan  keberhasilan  tingkat  pengerjaan  tugas oleh  responden  untuk  nantinya  dilakukan  analisis efektivitas.
Pada  evaluasi  dengan Concurrent  Think  Aloud (CTA)  juga  dihasilkan  data  kualitatif  berupa permasalahan/saran responden dan data kuantitatif terkait  efektivitas  responden.  Permasalahan/saran responden  akan  dirangkum  untuk  mendapatkan kesimpulan  akhir  dari  permasalahan  dan  saran semua  responden.  Tingkat  efektivitas  akan  dilihat

## Jurnal Ilmu Komputer Indonesia (JIK) , Volume  7 , No : 1, Februari 2022 p-ISSN : 2615-2703 (Print)   dan  e-ISSN: 2615-2711 (Online)
jumlah  kegagalan  yang  terjadi  pada  masing- masing kelompok percobaan untuk setiap tugasnya.  Analisis lanjutan juga dilakukan dengan menganalisis  faktor  penyebab  kesalahan  yang dilakukan  responden  melalui  pengamatan  ulang video pengerjaan tugas.
Rekomendasi  dalam  penelitian  ini  adalah  daftar rekomendasi perbaikan dari  Aplikasi Smart BTW.
Rekomendasi perbaikan yang
didapatkan berdasarkan evaluasi yang dilakukan akan divalidasi  dengan  tim  dari  Aplikasi  Smart  BTW. Daftar  rekomendasi  akhir  yang  didapatkan selanjutnya  dimodelkan  dengan  menggunakan software Adobe  XD  untuk  dapat  dilakukan follow up perbaikan.

## H ASIL DAN P EMBAHASAN
Berdasarkan evaluasi yang dilakukan oleh 5 evaluator, maka terdapat rangkuman permasalahan  yang  dirasakan  dari  10  aspek Evaluasi Heuristik, seperti ditunjukkan pada Tabel
4.1. Tabel 4.1 Rangkuman permasalahan Item Kode Permasalahan Visibility of system status Evl 1. Jika pengguna ingin lakukan login dengan melakukan paste username,  dengan  kasus tidak  sengaja  ada  spasi pada  bagian  akhir  email, form belum dapat melakukan filter whitespace  di  akhir  isian email. 2. Jika pengguna ingin mengisi  form  registrasi, belum ada konfirmasi password, ada potensi pengguna  ternyata  tidak menginput  password  yang diinginkan. 3. Jika pengguna ingin melakukan  reset  password (lupa password), form belum  mampu  mengenali inputan  pengguna  berupa email. 4. Jika pengguna ingin mengisi formulir registrasi, pengguna  belum  melihat tanda field-field yang wajib diisi (required field) 5. Jika pengguna selesai
Item Kode Permasalahan lakukan login, lalu koneksi tidak  ada,  belum ada informasi  bahwa  jaringan user sedang offline.
6. Jika user mengerjakan soal,  navigasi  nomor  soal letaknya masih tersembunyi dibagian bawah layar.
7. Jika  pengguna  melakukan scroll  pada  tampilan  list yang  memanjang  portrait di  beberapa  screen  (misal di tampilan notifikasi), tombol  naviasi  back  ikut mengalami scroll.
8. Jika pengguna ingin logout ke  aplikasi,  tombol  keluar ada  diatas  versi  aplikasi, tidak  representatif  untuk sebuah  navigasi  tombol logout.  Pengguna  mengira adalah  label  text  untuk menyatakan  release  nya kode versi bagian bawah.
9. Jika pengguna gagal login, pemberitahuan  kesalahan password muncul di dibagian bawah form email. Hal ini menyebabkan pengguna fokus pada kesalahan input email. Ev2, E4 1. Antarmuka kurang memberikan kemudahan pada  user  terutama  pada proses pembelian paket Ev3 1. Aplikasi memberikan informasi kepada pengguna  seperti  loading, sehingga  pengguna  tidak panik  Ketika  proses  pada aplikasi sedang terjadi. Ev1, Ev5 1. Sign  Up  tidak  telihat  pada saat  buka  halaman  awal, harus scroll kebawah Match between system and the real world Ev1 1. Jika penguna ingin melakukan "Lupa password", belum ada petunjuk/proses yang dilalui  untuk  melakukan proses "Lupa Password".
2. Jika pengguna berhasil login  ke  sistem,  menu

## Jurnal Ilmu Komputer Indonesia (JIK) , Volume  7 , No : 1, Februari 2022 p-ISSN : 2615-2703 (Print)   dan  e-ISSN: 2615-2711 (Online)
Item Kode Permasalahan bagian bawah belum seragam menggunakan bahasa Indonesia/Inggris. 3. Jika  pengguna  membuka menu  latihan,  pada  waktu yang  tertera  di  'Batas Akses'  belum  memberikan keterangan  zona  waktu yang digunakan (WIB, WITA, WIT dsb). 4. Jika pengguna berhasil login  ke  sistem,  terdapat nama  menu  denga  icon yang disingkat (SKD, SKB,  TPS,  TKA,  TPA, Samapta,  Mitra),  sehingga penggunaan  menu  icon tersebut belum terlalu jelas. Ev2, Ev3 1. Aplikasi telah menggunakan Bahasa yang jelas dan dimengerti semua user Ev4, Ev5 1. Navigasi menu bagian bawah  sebaiknya  dibuat seragam Bahasa Indonesia/ Inggris User control and Freedom Ev1 1. Jika  pengguna  melakukan scroll  pada  tampilan  list yang  memanjang  portrait di  beberapa  screen  (misal di tampilan notifikasi), tombol  navigasi  back  ikut mengalami scroll. Ev2 1. Kebebasan pengguna halaman  telah  diterapkan seperti saat menjawab tryout,  saat  tertentu  user keluar  dari  aplikasi,  hal tersebut  telah  di  handel aplikasi dengan baik Ev3 1. Pengguna dapat menggunakan tombol back,  untuk  membatalkan pilihan Ev4 1. Kebebasan  dalam  control kondisi oleh pengguna sudah baik Ev5 1. Saat  membuka  halaman notifikasi  ,  navigasi  back tertutup Ketika scroll kebawah Item Kode Permasalahan Consistency and standards Ev1 1. Jika pengguna melihat history aktivitas yang telah dilakukan, pengguna belum  melihat  zona  waktu history yang sesungguhnya. 2. Jika pengguna ingin
melakukan  logout,  tombol logout  masih  berupa  teks, belum  merepresentasikan tombol logout. Ev2, Ev3, Ev4, Ev5 1. Tampilan  aplikasi  telah dibuat standar dari segi UI Error prevention Ev1 1. Jika pengguna ingin melakukan  reset  password (lupa password), form belum  mampu  mengenali inputan  pengguna  berupa email (3) 2. Jika pengguna ingin lakukan login dengan melakukan paste username,  dengan  kasus tidak  sengaja  ada  spasi pada  bagian  akhir  email, form belum dapat melakukan filter whitespace  di  akhir  isian email (2) Ev2, Ev3, Ev4, Ev5 1. Aplikasi  telah  melakukan penanggulangan  kesalahan dengan baik Recognition rather than recall Ev1, Ev5 1. Jika pengguna ingin logout ke  aplikasi,  tombol  keluar ada  diatas  versi  aplikasi,
tidak  representatif  untuk sebuah  navigasi  tombol logout.  Pengguna  mengira adalah  label  text  untuk menyatakan  release  nya kode versi bagian bawah Ev2 1. Tampilan  Aplikasi  telah dibuat  sedemikian  rupa untuk memudahkan pengguna Ev3 1. Icon  dan  Menu yang digunakan  pada  aplikasi mewakili  fitur,  sehingga mudah untuk dikenali. Ev4 1. Komponen  UI  “Apa  Kata Mereka:  Sebaiknya  dipilih

## Jurnal Ilmu Komputer Indonesia (JIK) , Volume  7 , No : 1, Februari 2022 p-ISSN : 2615-2703 (Print)   dan  e-ISSN: 2615-2711 (Online)
Item Kode Permasalahan review  yang  benar-benar mendalam  dan  baik  jika ingin menampilkan keunggulan  dari  aplikasi karena ada review mengatakan  "soal  tidak nampak  semua"  tapi  di- rating  bintang  5  (sangat memuaskan),  tidak  masuk akal banyak juga mengatakan soal typo, sebaiknya  review  seperti itu  digunakan  untuk  pihak perbaikan  internal  bukan ditampilkan sebagai keunggulan Flexibility and efficiency of use
Ev1 1. Jika pengguna selesai lakukan login, lalu koneksi tidak  ada,  belum ada informasi  bahwa  jaringan user sedang offline. 2. Jika user mengerjakan soal,  navigasi  nomor  soal letaknya masih tersembunyi dibagian bawah layar 3. Jika  pengguna  melakukan scroll  pada  tampilan  list yang  memanjang  portrait di  beberapa  screen  (misal di tampilan notifikasi), tombol  naviasi  back  ikut mengalami scroll Ev2, Ev3, Ev5 1. Tampilan  aplikasi  telah dibuat fleksibel Ev4 1. Perlu ditambahkan halaman  penjualan  produk seperti  marketplace  untuk memudahkan pembelian. Aesthetic and minimalist Design Ev1, Ev2, Ev4, Ev5 1. Design sudah terlihat minimalis,  dan  interaktif dengan  penggunaan  icon dan ilustrasi gambar Ev3 1. Aplikasi  tidak  menganggu pengguna dalam berinteraksi dengan Aplikasi. Perlu ditambahkan konfirmasi Ketika tombol back tertekan Help users recognize, diagnose Ev1, Ev5 1. Jika pengguna selesai lakukan login, lalu koneksi tidak  ada,  belum ada Item Kode Permasalahan and recover from error informasi  bahwa  jaringan user sedang offline 2. Jika pengguna gagal login, pemberitahuan  kesalahan password muncul di dibagian bawah form email. Hal ini menyebabkan pengguna fokus pada kesalahan input email. Ev2, Ev3 1. Aplikasi menampilkan pesan  error  Ketika  terjadi kesalahan  dan  pengguna dapat menekan tombol back  untuk  keluar  dari error Ev4 1. Pada  Halaman  Kebijakan &  Privasi  dan  Syarat  & Ketentuan: navigasi terkadang  tidak  se-lancar pada  halaman  aplikasi, bisa  terjadi  patah-patah ketika  menggulung  layar naik ataupun turun Help and decumentat ion Ev1 1. Jika penguna ingin melakukan "Lupa password", belum ada petunjuk/proses yang dilalui  untuk  melakukan proses "Lupa Password". Ev2, Ev4 1. Aplikasi belum menyediakan/
menyuguhkan halaman pengenalan.  Namun  begitu buka  aplikasi,  langsung ditampilkan halaman login Ev3 1. Aplikasi menyediakan informasi & bantuan sesuai  dengan  menu  yang diakses  oleh  pengguna  & aplikasi dapat menyerahkan pengguna direct whatsapp untuk bertanya  langsung  pada Admin Ev1, Ev5 1. Menu  dengan  singkatan sebaiknya diberikan penjelasan diawal agar tidak membingungkan pengguna awam Berdasarkan rekapitulasi  nilai severity rating pada Tabel  4.2,  maka  dapat  dilihat bahwa  dihasilkan rata-rata  nilai  severity  rating 1.  Nilai  atau  skala  1

## Jurnal Ilmu Komputer Indonesia (JIK) , Volume  7 , No : 1, Februari 2022 p-ISSN : 2615-2703 (Print)   dan  e-ISSN: 2615-2711 (Online)
ini  menunjukkan  bahwa  perbaikan  aplikasi  ini termasuk  dalam  kategori cosmetic  problem (Paramitha, 2018). Kategori ini berarti ada potensi pengguna mengalami permasalahan dalam menggunakan  aplikasi.  Permasalahan  ini  tidak wajib  untuk  diperpaiki,  kecuali  disediakan  waktu untuk perbaikan. Pada Tabel 4.8 dapat dilihat juga nilai severity  rating tiap  aspek,  dimana  terdapat  4 aspek dengan nilai severity  rating sebesar 2. Nilai atau  skala  2    ini  menunjukkan  bahwa  perbaikan aplikasi  ini  termasuk  dalam  kategori minor usability  problem (Paramitha,  2018) . Kategori  ini menunjukkan bahwa pada keempat aspek memiliki permasalahan  yang  skala  prioritas  perbaikannya adalah rendah.
Tabel 4.2 Rekapitulasi Nilai Severity Rating
Evaluator Rata-rata Item Ev1  Ev2  Ev3  Ev4  Ev5 H1 2.5 3 0 3 3 2.3 H2 2 3 0 2 2 1.8 H3 2 0 1 0 1 0.8 H4 2 0 0 0 0 0.4 H5 2.5 0 0 0 0 0.5 H6 2 3 0 1 2 1.6 H7 2.6 0 0 2 0 0.92 H8 0 0 1 0 0 0.2 H9 2.5 0 0 2 2 1.3 H10 2 2 0 2 2 1.6 Rata-rata 1.142
Pada  evaluasi  heuristik,  dihasilkan  juga daftar  permasalahan  yang  dirasakan  oleh  setiap
evaluator  seperti  ditunjukkan  Tabel  4.1.  Daftar permasalahan  juga  dihasilkan  oleh  metode  CTA seperti  ditunjukkan Error!  Reference  source  not found. .
Berdasarkan perbandingan yang dilakukan,  maka  berdasarkan  perspektif  evaluator dihasilkan  20  permasalahan  terkait  penggunaan aplikasi  Smart  BTW.  Sedangkan  responden memberikan  7  daftar  kesalahan.  Hasil  ini menunjukkan  bahwa  evaluasi  heuristik  lebih  baik dalam menemukan permasalahan usability aplikasi Smart  BTW  seperti  juga  dijabarkan  dalam penelitian  Hendradewa  (2017) . Perbedaan  temuan permasalahan  ini  dikarenakan  persepsi  pengguna dalam  menggunakan  sebuah  aplikasi.  Metode evaluasi berbasis kuantitatif dapat digunakan untuk mendapatkan  nilai  pasti  perbedaan  yang  terjadi antara  evaluator  yang  merupakan  pakar  dan responden  yang  merupakan  pengguna  aplikasi. Salah  satu  model  evaluasi  yang  dapat  digunakan adalah Performance  Measurement (Indrawan, 2020).  Teknik  ini  dapat  digunakan  untuk memperoleh  data  kuantitatif  tentang  kinerja peserta tes ketika mereka melakukan tugas selama pengujian.  Kinerja  yang  dapat  dihitung  adalah efektivitas  dan  efisiensi  penggunaan  sistem (Indriyani, 2017). Pada  teknik ini, dapat dianalisis perbedaan kinerja yang jelas antara aplikasi Smart BTW  antara  pakar  dan  pengguna  berdasarkan perbedaan  nilai  efektivitas  dan  efisiensi  yang dihasilkan.
Rekomendasi  perbaikan  ini  diperoleh  berdasarkan analisis  yang  dilakukan  dari  evaluasi  yang  telah dilakukan. Berikut merupakan wireframe rekomendasi  perbaikan  aplikasi  Smart  BTW berdasarkan analisis yang telah dilakukan. No Sebelum Perbaikan Evaluasi

## Jurnal Ilmu Komputer Indonesia (JIK) , Volume  7 , No : 1, Februari 2022 p-ISSN : 2615-2703 (Print)   dan  e-ISSN: 2615-2711 (Online)
1 Jika  pengguna  selesai  lakukan login,  lalu  koneksi  tidak  ada, belum  ada  informasi  bahwa jaringan  user  sedang  offline (3)(EV1,ev5) 2 Agar  pengguna  dapat  dengan mudah  mengenali  field  form yang  wajib  diisi  pada  menu Pendafaran,  dapat  ditambahkan tanda asterik star (bintang) pada field  form  yang  wajib  terisi, atau dengan memberikan validasi form. Jika form required  belum  terpenuhi  dapat disable tombol 'Daftar'(EV1)

## Jurnal Ilmu Komputer Indonesia (JIK) , Volume  7 , No : 1, Februari 2022 p-ISSN : 2615-2703 (Print)   dan  e-ISSN: 2615-2711 (Online)
3 Tombol Daftar (Sign Up) : Agar pengguna  dapat  melihat  tombol sign  up,  ada  baik  nya  tata  letak tombol  berada  di  bagian  yang mudah  dijangkau,  tidak  perlu melakukan  scroll  layar.  (EV1, EV5) 4 Melakukan pembuatan satu halaman  khusus  untuk  menjual modul sepereti marketplace (EV2,ev4)

## Jurnal Ilmu Komputer Indonesia (JIK) , Volume  7 , No : 1, Februari 2022 p-ISSN : 2615-2703 (Print)   dan  e-ISSN: 2615-2711 (Online)
5 Perbaikan UI Apa Kata Mereka memilih  review  yang  baik sebagai keunggulan yang ditampilkan (Ev4) 6 Agar  pengguna  dapat  dengan mudah mengenali tombol logout,  sebaiknya  dibuatkan tanda navigasi yang merepresentasikan sebuah button  untuk  lakukan  Logout. Ketika di form Login menggunakan  redaksi  tombol "Login",  maka  sebaiknya  saat ingin keluar dari portal pengguna,  gunakana  redaksi tombol "Logout"(Ev1, Ev5)

## Jurnal Ilmu Komputer Indonesia (JIK) , Volume  7 , No : 1, Februari 2022 p-ISSN : 2615-2703 (Print)   dan  e-ISSN: 2615-2711 (Online)
7 Aplikasi  belum  menyediakan/ menyuguhkan halaman pengenalan. Namun begitu buka aplikasi, langsung ditampilkan halaman login(ev2,2v4) K ESIMPULAN 1. Berdasarkan rekapitulasi rata-rata nilai severity  rating,  maka  dapat  dilihat  bahwa  dihasilkan rata-rata nilai severity rating 1. Nilai atau skala 1  ini menunjukkan  bahwa  perbaikan  aplikasi  ini  termasuk dalam  kategori  cosmetic  problem.  Hasil  penelitian menunjukkan  bahwa  terdapat  4  aspek  yang  memiliki nilai severity rating di atas 1, yaitu visiblity of sistem status,  match  between  sistem  and  the  real  world, recognition  rather  than  recall  dan  help  and documentation.  Aspek  tersebut  menghasilkan  nilai severity  rating  sebesar  2,  yang  menunjukkan  bahwa perbaikan  aspek  tersebut  termasuk  dalam  kategori minor  usability  problem.  Pada  evaluasi  heuristik, dihasilkan  juga  20  daftar  permasalahan  yang dirasakan  oleh  setiap  evaluator.  Pada  Concurrent Think  Aloud  dihasilkan  7  daftar  permasalahan  yang dirasakan  oleh  pengguna  saat  mengerjakan  skenario tugas yang diberikan.

## D AFTAR P USTAKA
Belkhir,  A.,  Abdellatif,  M.,  Tighilt,  R.,  Moha,  N., Gueheneuc,  Y.  G.,  &  Beaudry,  E.  (2019).  An observational study on the state of REST API uses in android  mobile  applications. Proceedings  -  2019 IEEE/ACM  6th  International  Conference  on  Mobile Software  Engineering  and  Systems,  MOBILESoft 2019 . https://doi.org/10.1109/MOBILESoft.2019.00020 Brooke,  J.  (2013).  SUS:  a  retrospective. Journal  of Usability Studies .
Carifio,  J.,  &  Perla,  R.  J.  (2007).  Ten  Common Misunderstandings, Misconceptions, Persistent Myths and  Urban  Legends  about  Likert  Scales  and  Likert Response  Formats  and  their  Antidotes. Journal  of Social Sciences , 3 (3), 106–116. https://doi.org/10.3844/jssp.2007.106.116
Madhuram,  M.,  Kumar,  A.,  &  Pandyamanian,  M.  (2019).
Cross Platform Development using Flutter. International  Journal  of  Engineering  Science  and Computing .
Nielsen,  J.,  &  Mack,  R.  (1994).  Heuristic  Evaluation.  In
Usability Inspection Methods . https://doi.org/10.1089/tmj.2010.0114
Nielsen,  L.,  &  Madsen,  S.  (2012).  The  usability  expert’s fear  of  agility  -  An  empirical  study  of  global  trends

## Jurnal Ilmu Komputer Indonesia (JIK) , Volume  7 , No : 1, Februari 2022 p-ISSN : 2615-2703 (Print)   dan  e-ISSN: 2615-2711 (Online)
and  emerging  practices. NordiCHI  2012:  Making Sense  Through  Design  -  Proceedings  of  the  7th Nordic Conference on Human-Computer Interaction . https://doi.org/10.1145/2399016.2399057
Sharfina,  Z.,  &  Santoso,  H.  B.  (2017).  An  Indonesian
adaptation of the System Usability Scale (SUS). 2016 International  Conference  on  Advanced  Computer Science  and  Information  Systems,  ICACSIS  2016 . https://doi.org/10.1109/ICACSIS.2016.7872776