JUTIS (Jurnal Teknik Informatika Unis) Vol. 11 No. 1 Bulan April 2023                                                                                                                 p-ISSN: 2252-5351 Program Studi Teknik Informatika – Fakultas Teknik
e-ISSN: 2656-0860
Universitas Islam Syekh-Yusuf Tangerang

## OPTIMASI REMOTE MODERATED USABILITY TESTING PADA LOW-FIDELITY PROTOTYPE DARI E-COMMERCE DENGAN WAWANCARA PADA GENERASI Z DI INDONESIA
Bayu Kelana 1 , Alya Firyal L. R. 2 , Frans Firmansyah 3 , Khalisha Salma A. 4 1 , 2 , 3 , 4 Program Studi Sistem Informasi, STIMIK ESQ Menara 165, Lantai 2, Jl. TB. Simatupang Kav 1, Jakarta Selatan
bayu@esqbs.ac.id 1

## Abstrak
Penelitian ini bertujuan mengoptimasi metode remote moderated usability testing pada low- fidelity prototype dari e-commerce dengan wawancara, pada generasi Z di Indonesia. Untuk mencapai  tujuan  ini,  maka  penelitian  ini  membandingkan  jumlah  temuan  negatif  yang dihasilkan  dari  metode  remote  moderated  usability  testing,  tanpa  dan  dengan  tambahan wawancara.  Usability  testing  dilakukan  secara  daring  dengan  menerapkan  protokol  think- aloud pada lima mahasiswa S1 yang berlokasi di area Jabodetabek, Indonesia. Data kualitatif yang  berupa  rekaman  video,  diobservasi,  diolah  dan  dianalisa  hingga  mendapat  temuan sentimen negatif. Usability testing dengan tambahan wawancara dapat meningkatkan jumlah temuan  negatif  sebesar  100%.  Dengan  begitu,  teknik  wawancara  dapat  digunakan  secara signifikan untuk mengoptimasi metode remote usability moderated usability testing pada low- fidelity prototype dari e-Commerce pada pengguna generasi Z di Indonesia.
Kata kunci: Usability testing, remote moderated usability testing, think-aloud, interview

## A. Pendahuluan

## A.1. Remote Moderated Usability Testing
Usability  testing adalah  metode  evaluasi usability yang  mendasar  dan  saat  ini  telah diterima sebagai aktivitas penting dalam siklus hidup desain perangkat lunak, implementasi pengujian,  penerimaan,  dan  perbaikan  (Wirasasmiata  &  Uska,  2019). Usability  testing merupakan pengujian yang paling populer dan banyak digunakan di kalangan praktisi User Center  Design.  Metode usability  testing ini  memiliki  karakteristik  utama,  diantaranya: melibatkan 1) Calon pengguna yang menjalankan tugas dengan produk dan; 2) Evaluator yang  mengamati  dan  mencatat  perilaku  pengguna  dalam  sesi  singkat  dimana  pengguna memberikan  saran  maupun  tanggapan  tentang  produk  (Tarkkanen  &  Harkke,  2019). Berdasarkan lokasi pengujian, usability testing dapat dilakukan dengan dua cara, yaitu in- person  usability  testing dan remote  usability  testing (Moran,  2019). In-person  usability  testing dilaksanakan  dengan  mengundang  partisipan  untuk  menguji  aplikasi  pada  ruang  dan waktu yang sama. Fasilitator dan partisipan dapat berkomunikasi secara langsung selama pengujian dilakukan. Fasilitator dapat memantau interaksi partisipan dengan aplikasi secara langsung dan melalui rekaman video (Ramli, Jaafar, & Mohamed, 2009).
Dalam  kondisi  pandemi  Covid  19,  pemerintah  Indonesia  memberlakukan  kebijakan PPKM  (Pemberlakukan  Pembatasan  Kegiatan  Masyarakat)  di  seluruh  Indonesia  (Menteri
JUTIS (Jurnal Teknik Informatika Unis) Vol. 11 No. 1 Bulan April 2023                                                                                                                 p-ISSN: 2252-5351 Program Studi Teknik Informatika – Fakultas Teknik
e-ISSN: 2656-0860
Universitas Islam Syekh-Yusuf Tangerang
Dalam Negeri Republik Indonesia, 2021). Kebijakan ini menjadi kendala bagi pelaksanaan in-person usability testing , karena pengujian sulit dilakukan dalam ruang yang sama, yang disebabkan  adanya  pembatasan  kegiatan  yang  dilakukan  berdekatan.  Dalam  kondisi berjauhan,  pengujian  dengan  cara remote usability  testing lebih  cocok  digunakan.  Metode remote  usability  testing dapat  membantu  proses usability  testing ,  untuk  bisa  dilakukan  di waktu dan ruang yang berbeda.
Berdasarkan  ada  atau  tidaknya  kehadiran  fasilitator, remote  usability  testing dapat dilakukan dengan dua metode yaitu remote unmoderated usability testing dan remote moderated testing (Moran, 2021). Metode remote unmoderated testing dapat dilakukan dalam waktu dan ruang  yang  berbeda.  Tanpa  kehadiran  fasilitator,  partisipan  akan  berinteraksi  dengan aplikasi pengujian dan aplikasi yang diuji (Moran & Pernice, 2020b).
Dengan remote unmoderated usability testing, kegagalan proses pengujian lebih mungkin terjadi, karena partisipan tidak dapat berkonsultasi dengan fasilitator, jika ada hal yang tidak dipahami selama proses pengujian. Temuan dari partisipan pada metode ini pun, cenderung lebih  sedikit  diperoleh dan  kurang  jelas.  Temuan  dari  partisipan  dengan  metode  ini  pun cenderung lebih sedikit diperoleh dan kurang jelas (Moran & Pernice, 2020b).
Berbeda  dengan  metode remote  unmoderated  usability  testing ,  Cara  kerja  metode remote moderated  usability  testing mirip  dengan in-person  usability  testing .  Namun,  dalam  metode remote  moderated  usability  testing ,  komunikasi  dilakukan  dalam  ruang  berbeda  atau berjauhan.  Dengan  metode remote  moderated  usability  testing ,  antara  komunikasi  antara fasilitator dengan partisipan dibantu oleh alat bantu komunikasi jarak jauh, seperti Zoom dan Google Meet (Moran & Pernice, 2020a). Remote moderated usability testing memiliki ciri- ciri  sebagai  berikut  (Moran  &  Pernice,  2020b),  yaitu  1)  Perlu  adanya  fasilitator;  2)  Dapat mengajukan  pertanyaan  yang  spesifik  pada  partisipan;  3)  Fasilitator  bisa  melakukan perubahan task scenario ; 4) Fasilitator dapat mendorong partisipan untuk melakukan think- aloud ;  5)  Berbiaya  rendah,  dan;    6)  Fasilitator  dan  partisipan  dapat  berada  di  lokasi  yang berbeda atau berjauhan (Moran & Pernice, 2020b).
Karena  kekurangan  metode remote  unmoderated  usability  testing ,  maka  penelitian  ini mengeksplorasi penggunaan remote moderated usability testing dengan mendorong partisipan untuk melakukan think-aloud .

## A.2. Think-Aloud
Dengan  protokol think-aloud ,  partisipan  diminta  untuk  mengutarakan  dan mengekspresikan secara lantang pemikiran mereka terhadap apa yang mereka lakukan, lihat dan  rasakan saat  mengerjakan  tugas  (Umar  &  Khan  Tatari,  2008). Adapun  jenis  protokol think-aloud diantaranya adalah traditional think-aloud protocol ,  dimana  fasilitator membiarkan informan  untuk  terus  berbicara  tanpa  ada  interupsi,  untuk  menyelidiki  apa  yang diungkapkan oleh partisipan (Ericsson & Simon, 1980).
Metode think-aloud pada usability testing dikembangkan untuk memahami proses kognitif manusia  (Lyzara, Purwandari,  Zulfikar, Santoso, & Solichah, 2019; P.-Y. Yen et al.,  2016), namun  membutuhkan  waktu  yang  cukup  lama(Lyzara  et  al.,  2019).  Protokol think-aloud banyak  digunakan  dalam  penelitian usability pada  sistem  informasi  di  bidang  kesehatan
JUTIS (Jurnal Teknik Informatika Unis) Vol. 11 No. 1 Bulan April 2023                                                                                                                 p-ISSN: 2252-5351 Program Studi Teknik Informatika – Fakultas Teknik
e-ISSN: 2656-0860
Universitas Islam Syekh-Yusuf Tangerang
(Cho et al., 2019; Cho, Powell, et al., 2018; Jibb et al., 2017; Kawakyu et al., 2019; Minen et al., 2019; Stonbraker, Cho, Hermosi, Pichon, & Schnall, 2018; Widman, Golin, Kamke, Massey, & Prinstein, 2017; P. Y. Yen et al., 2018). Stonbraker (Stonbraker et al., 2018) menemukan adanya perbedaan umpan balik dari usability testing yang menggunakan antara ahli dan pengguna dari komponen-komponen usability pada aplikasi mHealth, yang mendukung penanganan HIV  non-AIDS  secara  mandiri.  Sejalan  dengan  Stonbraker  (Stonbraker  et  al.,  2018)  ,  Cho (Cho, Powell, et al., 2018) berhasil menentukan tingkat keparahan dari temuan negatif, yang didapat dari usability testing dengan think-aloud oleh ahli.
Dengan menerapkan think-aloud pada metode remoted moderated usability testing , fasilitator dapat memandu jalannya pengujian dan mendapatkan informasi  yang lebih spesifik dari partisipan dengan biaya yang rendah. Walaupun begitu, dengan metode ini, fasilitator dapat membuat  hasil  pengujian  menjadi  bias.  Fasilitator  dapat  dengan  tidak  sengaja mempengaruhi hasil pengerjaan tugas partisipan.  Fasilitator dapat mempengaruhi proses pemikiran  partisipan  dan  mempengaruhi  kecepatan  partisipan  dalam  menyelesaikan pengujian  (Moran & Pernice, 2020b). Kekurangan metode seperti  ini,  dapat dialami  pada partisipan yang berasal dari generasi Z, yang sering menggunakan e-Commerce . Generasi Z yang mahir dan sering menggunakan e-Commerce , membuat mereka sangat sensitif terhadap ketidaknyamanan  penggunaan  aplikasi e-Commerce .  Oleh  karena  itu  masukan  terhadap aplikasi e-Commerce dapat  banyak  diperoleh  dari  generasi  Z,  apalagi  generasi  ini  senang berkomunikasi  dengan  ekspresi  yang  bebas  di  lingkungan  yang  berbeda-beda,  terutama pada jejaring sosial (Andryanto, 2021).
Walaupun generasi Z cocok dijadikan partisipan bagi proses remote usability testing pada aplikasi e-Commerce , fasilitator tidak dapat secara langsung melihat reaksi yang ditampilkan partisipan  saat  pengujian  terjadi.  Jadi  reaksi  emosi  partisipan  lebih  sulit  diamati  pada pengujian dengan metode remoted moderated testing dibandingkan metode in-person usability testing .  Sementara  itu,  teknik  wawancara  dapat  digunakan  untuk  menggali  dan mengklarifikasi temuan yang didapat pada remote moderated usability testing (Nuraeni, 2021).

## A.3. Wawancara
Wawancara  merupakan  sebuah  metode  penelitian  di  bidang user  experience ,  dimana fasilitator  mengajukan  pertanyaan  pada  seorang  partisipan  mengenai  topik  yang diminatinya, dengan tujuan mempelajari topik tersebut (Pernice, 2018). Penelitian Pazz & Pw-Sang  (2016)  menunjukkan  bahwa  metode  wawancara  menempati  urutan  keempat sebagai  metode  yang  paling  banyak  digunakan,  41  (10,35%)  dari  396  penelitian  terkait usability  testing.  Jumlah  ini  lebih  banyak  dibandingkan  jumlah  penelitian  yang menggunakan usability testing dengan think-aloud (9, 60%).
Wawancara  dilakukan  di  akhir usability  testing ,  untuk  mengumpulkan  tanggapan  dari partisipan  secara  verbal  terkait  perilaku  partisipan  saat  menggunakan  aplikasi  (Pernice, 2018). Wawancara dilakukan untuk mengetahui pengalaman partisipan dan mendapatkan kritik, serta saran terkait aplikasi yang diuji (Firdaus & Zakiah, 2021; Geisen & Bergstorm, 2017).  Metode  wawancara  memiliki  tiga  kelebihan,  yaitu  1)  Cocok  untuk  implementasi sistem  di  awal;  2)  Cocok  untuk  partisipan  dalam  jumlah  kecil;  dan  3)  Cocok  untuk
JUTIS (Jurnal Teknik Informatika Unis) Vol. 11 No. 1 Bulan April 2023                                                                                                                 p-ISSN: 2252-5351 Program Studi Teknik Informatika – Fakultas Teknik
e-ISSN: 2656-0860
Universitas Islam Syekh-Yusuf Tangerang
mendapatkan apa yang dipikirkan pengguna (Lyzara et al., 2019). Di samping kelebihannya, metode wawancara memiliki tiga kekurangan, yaitu 1) Tidak semua orang nyaman bicara dengan orang asing; 2) Tidak semua orang bisa selalu mengingat sesuatu dengan rinci dan akurat; 3) Partisipan terkadang berpikir hal-hal kecil tidak akan penting sehingga tidak perlu diutarakan (Pernice, 2018). Disamping itu wawancara juga membutuhkan waktu yang lama (Lyzara et al., 2019).
Salah satu tipe wawancara adalah wawancara semi terstruktur. Wawancara dengan tipe ini dilakukan dengan berfokus pada topik-topik tertentu yang menarik untuk digali (Davis, Gardner,  &  Schnall,  2020).  Metode  wawancara  semi  terstruktur  banyak  ditemukan  pada penelitian usability testing di bidang kesehatan (Cho, Yen, Dowding, Merrill, & Schnall, 2018; Jibb  et  al.,  2017;  Musiimenta  et  al.,  2018;  Richardson  et  al.,  2017).  Musiimenta  et  al. (Musiimenta  et  al.,  2018)  mendapatkan  temuan  penting  dari  wawancara  pada  pengguna sistem  terapi  antiretroviral  di  Uganda.  Dengan  metode  wawancara,  penelitian  ini menemukan bahwa pengguna sistem ini, yang merupakan pengidap HIV, merasa mendapat kekuatan,  setiap  kali  menerima  SMS  pengingat  untuk  minum  obat  dari  sistem.  Dengan temuan ini, sistem ini diputuskan bisa diterima di Uganda.
Beberapa  penelitian  juga  menggunakan  metode  wawancara  bersama think-aloud pada usability  testing .  Penelitian  seperti  ini  dapat  ditemukan  pada  perangkat  lunak  di  bidang kesehatan (Cho, Yen, et al., 2018; Jibb et al., 2017).  Cho (Cho, Yen, et al., 2018) mendapatkan dua temuan baru dari 15 tema yang diperoleh dari evaluasi usability pada aplikasi bergerak di bidang kesehatan, dengan metode wawancara. Temuan ini sebelumnya tidak ditemukan dari metode think-aloud di tahap evaluasi sebelumnya dengan lingkungan pengujian yang berbeda. Jibb  (Jibb et al., 2017) menggunakan wawancara dan observasi dengan protokol think-aloud untuk memenuhi triangulasi temuan dari lintas sumber data. Dengan cara ini, kredibilitas temuan usability testing dapat meningkat.
Penelitian Cho (Cho, Yen, et al., 2018) dan Jibb (Jibb et al., 2017) menunjukkan wawancara secara  langsung  dapat  membantu usability  testing dengan  protokol think-aloud untuk menemukan temuan baru dengan kredibilitas yang baik. Walaupun begitu, penelitian Cho (Cho, Yen, et al., 2018) dan Jibb (Jibb et al., 2017) dilakukan dengan in-person usability testing yang dilakukan oleh fasilitator dan partisipan secara berjauhan.
Berdasarkan hal diatas, penelitian ini bertujuan untuk membandingkan jumlah temuan negatif  dari usability  testing pada low-fidelity  prototype dari e-Commerce dengan remote moderated  usability  testing dan  protokol think-aloud saja  dan  dengan  tambahan wawancara pada generasi Z di Indonesia. Low-fidelity prototype yang diuji merupakan kumpulan sketsa atau storyboard yang  fleksibel  untuk  menggambarkan  aspek  konseptual  dari  aktivitas- aktivitas  di  aplikasi  dan  alur  aktivitas  (Zhang,  Rau,  Salvendy,  &  Zhou,  2013).  Bentuk prototipe ini dibuat dengan menggunakan aplikasi digital, seperti Figma, Adobe CX atau Marvel (Babich, 2017).
Jika jumlah temuan negatif bisa bertambah secara signifikan dari usability testing dengan tambahan  wawancara,  maka  optimasi  terhadap remote  moderated  usability  testing dan protokol think-aloud pada low-fidelity  prototype dari e-Commerce dapat  dilakukan  dengan wawancara,  pada  generasi  Z  di  Indonesia.  Hasil  penelitian  ini  diharapkan  dapat
JUTIS (Jurnal Teknik Informatika Unis) Vol. 11 No. 1 Bulan April 2023                                                                                                                 p-ISSN: 2252-5351 Program Studi Teknik Informatika – Fakultas Teknik
e-ISSN: 2656-0860
Universitas Islam Syekh-Yusuf Tangerang
memberikan  kontribusi  dalam  bidang  interaksi  manusia  dan  komputer,  khususnya  di bidang usability testing .

## A.4. Hipotesis
Berdasarkan tujuan di atas, penelitian ini membentuk hipotesis: H1  Terdapat perbedaan jumlah temuan negatif dari antara penggunaan remote moderated usability testing dan protokol think-aloud saja dan dengan tambahan wawancara, pada low-fidelity prototype dari e-Commerce , pada generasi Z di Indonesia. H2  Jumlah  temuan  negatif  dari  penggunaan remote  moderated  usability  testing dan protokol think-aloud saja, lebih sedikit dibandingkan dengan tambahan wawancara, pada low-fidelity prototype dari e-Commerce , pada generasi Z di Indonesia.

## B. Metode
Tujuan penelitian ini dicapai dengan menggunakan desain studi perbandingan non eksperimen.  Dengan  begitu,  obyek  yang  sudah  mendapat  intervensi,  dianalisa  dan hasilnya  dibandingkan  (Ranjit  Kumar,  2011).  Metode remote  moderated  usability  testing tanpa  wawancara  dan  dengan  wawancara,  merupakan  dua  jenis  intervensi  yang dilakukan  pada usability  testing pada  aplikasi e-Commerce berbasis  komunitas.  Jumlah temuan usability  testing yang  didapat  dari  kedua  intervensi  ini  dibandingkan  untuk membuktikan hipotesis.
Untuk  mencapai  tujuan  penelitian  ini,  maka  langkah-langkah  dalam  desain penelitian ini dibagi menjadi lima langkah. Pertama, melakukan identifikasi kelebihan dan kekurangan metode remote moderated usability testing dengan protokol think-aloud dan wawancara,  dari  penelitian-penelitian  sebelumnya.  Kedua,  tahap  perancangan,  yang bertujuan untuk mempersiapkan urutan proses usability testing berikut alat bantu yang akan digunakan dalam tahap implementasi.
Ketiga,  tahap  implementasi,  yang  bertujuan  untuk  mengimplementasikan  proses usability  testing dengan  dua  metode,  yaitu  metode remote  moderated  usability  testing bersama  protokol think-aloud ,  dan  metode  wawancara.  Dengan  kedua  metode  ini, pengujian dilakukan oleh lima partisipan, dengan alat bantu komunikasi Google Meet. Partisipan merupakan mahasiswa S1 yang berlokasi di area Jabodetabek, Indonesia. Selanjutnya,  semua  data  berupa  rekaman  video remote  usability  testing dan wawancara  diolah  dalam  bentuk  dokumen verbatim .  Setelah  itu  analisa  sentimen dilakukan  pada  dokumen  verbatim, hingga  mendapatkan  temuan-temuan  dalam  tiga kategori sentimen, yang berupa sentimen positif, netral dan negatif. Jumlah temuan yang didapat  dengan  metode remote  moderated  usability  testing kemudian  dibandingkan dengan  jumlah  temuan  dengan  metode  yang  sama  dengan  tambahan  metode wawancara.  Hasil  perbandingan  ini  akan  menguji  hipotesis  dalam  penelitian  ini. Terakhir, rekomendasi akan dihasilkan dari hasil analisa penelitian ini.

## C. Hasil dan Pembahasan C.1. Tahap Perancangan
Tahap perancangan terdiri dari dua langkah, yaitu 1) mengembangkan task scenario dan panduan wawancara, dan 2) melakukan pra ujicoba. Task scenario digunakan untuk
JUTIS (Jurnal Teknik Informatika Unis) Vol. 11 No. 1 Bulan April 2023                                                                                                                 p-ISSN: 2252-5351 Program Studi Teknik Informatika – Fakultas Teknik
e-ISSN: 2656-0860
Universitas Islam Syekh-Yusuf Tangerang
memandu  partisipan  mengerjakan  tugas-tugas  selama usability  testing berlangsung. Adapun rincian task scenario dapat dilihat pada Tabel 1.
Tabel 1.

## Task Scenario
No Fitur Skenario Task Indikator Kesuksesan 1. Register & Login Setelah membuka website esqstore.com, anda ingin membuat akun untuk dapat Masuk Akun dan melakukan pembelian Buat Akun & Masuk Akun Klik tombol akun> pilih daftar akun>  isi form daftar> klik tombol DAFTAR> aktivasi akun di email> kembali ke web esqstore.com> selesai akun sudah terverifikasi. klik tombol akun> pilih masuk akun> isi form email/no.telp dan password> jika lupa password  klik tombol MASUK> menuju  halaman main page. 2 Main page Setelah berhasil login, akan masuk ke main page, tampilan halaman utama esq store Lakukan pencarian barang/klik fitur kategori yang ada pada main page Klik tempat pencarian > ketik barang yang akan dicari > enter > keluar hasil pencarian 3 Keranjang Setelah memilih barang yang akan dibeli, akan dimasukkan ke keranjang Memasukkan barang ke keranjang Klik masukkan keranjang > ceklist yang akan di checkout > klik tombol checkout 4 Pengiriman Customer melakukan checkout terhadap barang yang ingin kan maka akan diarahkan pada pemilihan pengiriman Memilih pengiriman yang sesuai dari berapa hari masa pengiriman dan sekaligus besar ongkir nya dengan klik pilihan pengiriman Klik beli-->Klik Pilih pengiriman- ->Klik pengiriman yang di inginkan 5 Filter/Sortir Ketika customer ingin mencari barang yang sesuai  dia inginkan bisa Mencari barang di pencarian lalu klik fitur filter setelah itu klik apa saja yang di filter Klik tempat pencarian -> ketik barang yang akan dicari > enter - > keluar hasil pencarian -> filter barang -> keluar barang yang dicari
JUTIS (Jurnal Teknik Informatika Unis) Vol. 11 No. 1 Bulan April 2023                                                                                                                 p-ISSN: 2252-5351 Program Studi Teknik Informatika – Fakultas Teknik
e-ISSN: 2656-0860
Universitas Islam Syekh-Yusuf Tangerang
memfilter atau menyortir barang tersebut 6 Metode Pembayaran Ketika customer ingin membayar terdapat beberapa metode pembayaran yang dapat dipilih Memilih metode pembayaran yang sudah tersedia Klik keranjang ->kemudian total harga lalu klik beli-> pilih promo jika ada->kemudian klik pilih pembayaran dan bayar
Sumber: Hasil proses penelitian ini
Di  samping  itu,  panduan  wawancara  dikembangkan  untuk  memandu  peneliti menggali  pengalaman  partisipan  melalui  teknik  wawancara.  Pra  uji  coba  dilakukan untuk mengetahui kelayakan alat bantu usability testing , dan kejelasan task scenario dan instruksi usability testing . Alat bantu komunikasi dalam usability testing adalah Zoom Meeting. Hasil pra ujicoba dapat dilihat pada Tabel 2.
Tabel 2 Hasil Pra Ujicoba Kriteria Hasil Desain Instruksi Fasilitator dapat memberikan desain instruksi dengan  jelas dan dapat dipahami Alat Bantu Menggunakan alat bantu Figma dan Zoom Meeting Wajah partisipan full di depan kamera sehingga mudah menangkap ekspresi Task Scenario Masih sering memberi tahu partisipan (seharusnya tidak) User menjalankan sesuai instruksi yang diberikan Terjadi kebingungan saat melakukan uji coba karena masih dalam bentuk prototipe
Sumber: Hasil proses penelitian ini

## C.2. Tahap Implementasi
Tahap implementasi  dilakukan dengan menerapkan proses usability testing dalam dua tahap. Pertama, proses usability testing dilakukan dengan metode remote moderated usability  testing bersama  protokol think-aloud .  Proses usability  testing dengan  metode remote moderated usability testing , dilakukan oleh tiga pihak, yaitu fasilitator, pengamat dan  partisipan.  Proses usability  testing dilakukan  dengan  dua  langkah.  Pertama, fasilitator  memberikan  instruksi  pada  partisipan  untuk  mengerjakan  tugas-tugas pengujian, sesuai dengan task scenario yang telah dibuat di tahap perancangan. Kedua, partisipan mengerjakan tugas-tugas pengujian, tanpa dibantu oleh fasilitator. Dengan traditional think-aloud protocol , partisipan mengungkapkan isi hati dan pikirannya secara
JUTIS (Jurnal Teknik Informatika Unis) Vol. 11 No. 1 Bulan April 2023                                                                                                                 p-ISSN: 2252-5351 Program Studi Teknik Informatika – Fakultas Teknik
e-ISSN: 2656-0860
Universitas Islam Syekh-Yusuf Tangerang
verbal mengenai pengalamannya menggunakan e-Commerce , saat mengerjakan tugas. Fasilitator  dan  pengamat  mengamati  ekspresi,  ungkapan  perasaan  dan  pikiran,  dan langkah yang dilakukan partisipan ketika menyelesaikan tugas-tugas yang diberikan fasilitator. Semua proses implementasi ini direkam dalam bentuk video.
Selanjutnya,  proses usability  testing dilakukan  dengan  metode  wawancara. Berdasarkan  hasil  pengamatan  pada  saat usability  testing dengan remote  moderated usability testing , wawancara dilakukan untuk menggali lebih dalam dari hal negatif yang ditemukan partisipan, selama menggunakan aplikasi e-Commerce . Dengan pendekatan semi  terstruktur  dan  kontekstual,  wawancara  dilakukan  dengan  menggunakan pertanyaan terbuka.

## C.3. Tahap Analisa
Dalam tahap analisa, data berupa video rekaman diamati kembali dan diolah dalam bentuk  dokumen  verbatim.  Setelah  itu  analisa  sentimen  dilakukan  pada  dokumen verbatim,  hingga  mendapatkan  temuan-temuan  dalam  tiga  kategori  sentimen,  yang berupa  sentimen  positif,  netral  dan  negatif.  Temuan  dari  proses remote  moderated usability testing dapat dilihat pada Tabel 3, sedangkan temuan yang didapat dari proses wawancara dapat dilihat pada Tabel 3.
Tabel 3
Temuan remote moderated usability testing Partisipan Fitur Temuan Negatif Temuan Netral Temuan Positif Sukma All Perlu tambahan beberapa fitur Dari tahap task scenario dijalankan lancar tanpa kendala* Design saya suka sudah bagus menyesuaikan sama ESQ Jessy All Icon kurang konsisten* Tampilannya sudah bagus* Belum ada tombol kembali* Pamela All Perlu instruksi untuk pendaftar Mudah digunakan Fitur pembayaran ditambahkan Desain sudah bagus Putri All Belum ada tombol kembali Layoutnya sudah simple Tata letaknya kurang konsisten Dari setiap tahap halaman (task skenario) lancar dalam menggunakannya Rezka All Icon yang diletakkan kurang konsisten atau masih kurang lengkap Dari segi tampilan sudah bagus
Sumber: Hasil proses penelitian ini
JUTIS (Jurnal Teknik Informatika Unis) Vol. 11 No. 1 Bulan April 2023                                                                                                                 p-ISSN: 2252-5351 Program Studi Teknik Informatika – Fakultas Teknik
e-ISSN: 2656-0860
Universitas Islam Syekh-Yusuf Tangerang

## Tabel 4 Temuan wawancara
Partisipan Fitur Isu Input Kesimpulan Sukma All Fitur Sudah sangat baik, design nya juga sudah oke sangat mudah dioperasikan (Positif) Sudah sangat clear dalam menjalan kan tahap tahap nya, dan design nya juga sudah baik Mudah untuk dioperasikan, dan tampilannya juga sudah bagus Pembayaran Harus nya saat pembayaran ada fitur riwayat transaksi (Negatif) Fitur tambahan riwayat transaksi agar memudahkan user jika ingin repeat order Membuat fitur riwayat transaksi Home Tidak ada tampilan katalog (Negatif) Tidak adanya fitur katalog di home Membuat tampilan katalog home Fitur chat kurang spesifik (Negatif) Kurang spesifik dari tampilan chat yang tersedia Memperbaiki fitur chat lebih spesifik agar memudahkan user Jessy All fitur Tampilan sudah bagus (Netral), namun ada beberapa icon yang kurang konsisten (Negatif) , dan belum ada tombol kembali (Negatif) Design interface sudah bagus, dan tiap stepnya sudah berjalan dengan baik Untuk penggunaannya mudah untuk dijalankan dan tampilannya sudah bagus Putri All fitur Tampilan sudah bagus (Netral), namun tata letak kurang konsisten (Negatif), dan belum ada tombol kembali (Negatif) Design interface sudah simple dan tiap menjalankan task skenarionya berjalan dengan baik Untuk penggunaannya mudah untuk dijalankan dan tampilannya sudah bagus Pamela All fitur Sudah cukup bagus dan mudah digunakan (Positif) Design yang sudah cukup dan juga fitur yang mudah digunakan. Untuk design dan fitur sudah cukup bagus dan mudah digunakan Log in Diberi panduan untuk Log in (Negatif) Untuk memudahkan user dalam log in jika ada kesulitan Membuat guide log in
JUTIS (Jurnal Teknik Informatika Unis) Vol. 11 No. 1 Bulan April 2023                                                                                                                 p-ISSN: 2252-5351 Program Studi Teknik Informatika – Fakultas Teknik
e-ISSN: 2656-0860
Universitas Islam Syekh-Yusuf Tangerang
Pembayaran Fitur pembayaran diperjelas ada apa saja pilihan nya (Negatif) Variasi fitur pembayaran Membuat fitur pembayaran lebih beragam Rezka All fitur Sudah cukup bagus (Netral) Design yang sudah cukup dan tapi tampilan masih agak kaku Untuk design dan fitur sudah cukup bagus dan ada tambahan masukan untuk tampilan kedepannya Tampilannya masih agak kaku (Negatif) Home Ditambahkan lagi fiturnya lebih banyak (Negatif) Untuk menarik perhatian user dan lebih mempermudah user dalam mencari barang Membuat opsi kategori di bagian ujung  kiri atas dan membuat fitur rekomendasi untuk user
Sumber: Hasil proses penelitian ini
Jumlah temuan dari proses usability testing dengan metode remote moderated usability testing adalah 12 temuan, yang terdiri dari satu temuan positif, lima temuan netral dan enam temuan negatif. Terdapat beberapa temuan yang sama, yaitu dua temuan negatif dan dua temuan netral. Dengan metode wawancara, jumlah temuan bertambah menjadi 18 temuan, yang terdiri dari  satu temuan positif, lima  temuan netral  dan 12 temuan negatif.  Jumlah temuan negatif bertambah 100%, sedangkan jumlah temuan positif dan netral adalah tetap. Berdasarkan perbandingan antara kedua temuan ini, maka terdapat perbedaan jumlah temuan negatif dari usability testing pada e-Commerce dengan remote moderated  usability  testing saja  dan  dengan  tambahan  wawancara  pada  generasi  Z  di Indonesia. Oleh karena itu hipotesis H1 dapat diterima.
Hasil analisis dalam penelitian ini, membuktikan pula bahwa jumlah temuan negatif dari usability testing pada e-Commerce dengan remote moderated usability testing saja secara signifikan lebih sedikit dibandingkan dengan tambahan wawancara pada generasi Z di Indonesia. Dengan begitu, hipotesis H2 dapat diterima dalam penelitian ini. Adapun temuan usability  testing dengan  kombinasi  dari kedua  metode  ini  dapat  dilihat  pada Tabel 5.
Walau  dilakukan  dalam  situasi  yang  berbeda,  hasil  penelitian  ini  tetap  sejalan dengan penelitian Jibb (Jibb et al., 2017) dan Cho (Cho, Yen, et al., 2018). Terdapat dua hal  menarik antara penelitian ini  dan dua penelitian lainnya. Pertama, penelitian ini menunjukkan  bahwa  metode  wawancara  semi  terstruktur  dapat  menyediakan informasi berharga secara dalam, walau dilakukan dengan cara dan di lingkungan yang berbeda dengan penelitian Cho (Cho, Yen, et al., 2018). Penelitian ini dilakukan dengan cara jarak jauh melalui Google Meet, sedangkan Jibb (Jibb et al., 2017) dan Cho (Cho, Yen, et al., 2018) melakukannya dengan bertemu langsung. Disamping itu, think-aloud dilakukan  oleh  Cho  (Cho,  Yen,  et  al.,  2018)  di  lingkungan  pengujian  yang  berbeda dengan  wawancara  semi  terstruktur. Think-aloud dilakukan  dalam  lingkungan laboratorium  (versi  alpha),  namun  wawancara  semi  terstruktur  dalam  lingkungan
JUTIS (Jurnal Teknik Informatika Unis) Vol. 11 No. 1 Bulan April 2023                                                                                                                 p-ISSN: 2252-5351 Program Studi Teknik Informatika – Fakultas Teknik
e-ISSN: 2656-0860
Universitas Islam Syekh-Yusuf Tangerang
penggunaan aplikasi secara nyata (versi beta). Penelitian ini dan Jibb (Jibb et al., 2017) menggunakan  kedua  metode  ini  pada  lingkungan  yang  sama,  yaitu  lingkungan laboratorium (versi alpha).
Tabel 5 Temuan wawancara Negatif Netral Positif Masih ada kurangnya beberapa fitur Dari tahap skenario dijalankan lancar tanpa kendala Designnya sangat bagus, katena menyesuaikan dengan ESQ Tidak adanya fitur katalog di home Layoutnya simpel Kurang spesifik dari tampilan chat yang tersedia Mudah digunakan dan dioperasikan Iconnya masih kurang konsisten Desain sudah bagus Tidak ada tombol kembali Tampilannya bagus Tidak ada panduan login Harusnya saat pembayaran, ada fitur riwayat transaksi
Perlu instruksi untuk pendaftar Perlu tambahan fitur pembayaran Tata letaknya kurang konsisten Tampilannya agak kaku Sumber: Hasil proses penelitian ini
Kedua,  penelitian  ini  dilakukan  pada low-fidelity  prototype di  bidang e-commerce , sedangkan penelitian Jibb (Jibb et al., 2017) dan Cho (Cho, Yen, et al., 2018) dilakukan pada  aplikasi  yang  telah  hampir  siap  diimplementasikan.  Perbedaan  ini  mungkin menyebabkan  penelitian  ini  mendapatkan  jumlah  temuan  dengan  sentimen  negatif yang lebih banyak dibandingkan kedua penelitian lainnya.
D. Kesimpulan
Penelitian ini bertujuan untuk membandingkan jumlah temuan negatif dari usability testing pada low-fidelity prototype dari e-Commerce , antara dengan menggunakan remote moderated  usability  testing dan  dengan  tambahan  wawancara  pada  generasi  Z  di Indonesia.  Penelitian  ini  menghasilkan  jumlah  pertambahan  temuan  negatif  yang signifikan  dari usability  testing dengan  tambahan  wawancara.  Hal  ini  menunjukkan bahwa optimasi terhadap remote moderated usability testing pada low-fidelity prototype dari e-Commerce , dapat dilakukan dengan wawancara, pada generasi Z di Indonesia. Dengan begitu,  penelitian  ini  diharapkan  dapat  membantu  memahami  hal  praktis  yang berkaitan  dengan remote  moderated  usability  testing pada low-fidelity  prototype dari e- Commerce , pada generasi Z di Indonesia.
JUTIS (Jurnal Teknik Informatika Unis) Vol. 11 No. 1 Bulan April 2023                                                                                                                 p-ISSN: 2252-5351 Program Studi Teknik Informatika – Fakultas Teknik
Universitas Islam Syekh-Yusuf Tangerang
Dari  kontribusi  yang  telah  diberikan,  penelitian  ini  memiliki  keterbatasan  yang menyebabkan  munculnya  peluang untuk  dilakukan  penelitian  lebih  lanjut. Pertama, penelitian ini dilakukan dengan metode remote moderated usability testing dengan jumlah partisipan yang sedikit. Hal ini menyebabkan temuan yang didapat pada penelitian ini mungkin kurang dapat digeneralisasi. Penelitian selanjutnya dapat dilakukan dengan metode lainnya yang cocok dilakukan dengan jumlah partisipan yang banyak. Kedua, penelitian  ini  dilakukan  pada low-fidelity  prototype ,  yang  sangat  mungkin  banyak terdapat  kekurangan  dibandingkan  dengan high-fidelity  prototype. Jumlah  temuan negatif  dari usability  testing pada low-fidelity  prototype memang  sudah  sepatutnya banyak. Hal ini menyebabkan temuan negatif yang banyak dari penelitian ini menjadi agak  bias. Penelitian  selanjutnya  dapat  dilakukan  pada high-fidelity  prototype .  Ketiga, penelitian ini dilakukan pada konteks e-Commerce dan generasi Z. Penelitian selanjutnya dapat dilakukan pada konteks lainnya dan generasi lainnya.

## Daftar Pustaka
Andryanto, S. D. (2021). Memahami 6 Karakter Generasi Z, Bukan Cuma Familiar Teknologi Sejak Kecil. Retrieved February 4, 2022, from Tempo.co website: https://gaya.tempo.co/read/1467165/memahami-6-karakter-generasi-z-bukan-cuma- familiar-teknologi-sejak-kecil/full&view=ok
Babich, N. (2017). Prototyping 101: The Difference between Low-Fidelity and High-Fidelity Prototypes  and  When  to  Use  Each.  Retrieved  May  3,  2022,  from  Adobe  website: https://blog.adobe.com/en/publish/2017/11/29/prototyping-difference-low-fidelity- high-fidelity-prototypes-use
Cho, H., Powell, D., Pichon, A., Kuhns, L. M., Garofalo, R., & Schnall, R. (2019). Eye-tracking retrospective  think-aloud  as  a  novel  approach  for  a  usability  evaluation. International Journal of Medical Informatics , 129 , 366 – 373. https://doi.org/10.1016/j.ijmedinf.2019.07.010
Cho, H., Powell, D., Pichon, A., Thai, J., Bruce, J., Kuhns, L. M., … Schnall, R. (2018). A Mo bile Health Intervention for HIV Prevention Among Racially and Ethnically Diverse Young Men:  Usability  Evaluation. JMIR  MHealth  and  UHealth , 6 (9),  e11450 – e11450. https://doi.org/10.2196/11450
Cho, H., Yen, P.-Y., Dowding, D., Merrill, J. A., & Schnall, R. (2018). A multi-level usability evaluation of mobile health applications: A case study. Journal of Biomedical Informatics , 86 , 79 – 89. https://doi.org/10.1016/j.jbi.2018.08.012
Davis, R., Gardner, J., & Schnall, R. (2020). A Review of Usability Evaluation Methods and Their Use for Testing eHealth HIV Interventions. Current HIV/AIDS Reports , 17 (3), 203 – 218. https://doi.org/10.1007/s11904-020-00493-3
Ericsson, K. A., & Simon, H. A. (1980). Verbal reports as data. Psychological Review , 87 (3), 215 – 251. https://doi.org/10.1037/0033-295X.87.3.215
Firdaus, H., & Zakiah, A. (2021). Implementation of usability testing methods to measure the usability  aspect  of  management  information  system  mobile  application  (Case  study sukamiskin  correctional  institution). International  Journal  of  Modern  Education  and
JUTIS (Jurnal Teknik Informatika Unis) Vol. 11 No. 1 Bulan April 2023                                                                                                                 p-ISSN: 2252-5351 Program Studi Teknik Informatika – Fakultas Teknik
e-ISSN: 2656-0860
Universitas Islam Syekh-Yusuf Tangerang
Computer Science , 13 (5), 58 – 67. https://doi.org/10.5815/ijmecs.2021.05.06
Geisen, E., & Bergstorm, J. R. (2017). Usability Testing for Survey Research . Morgan Kaufmann.
Jibb, L. A., Cafazzo, J. A., Nathan, P. C., Seto, E., Stevens, B. J., Nguyen, C., & Stinson, J. N.
(2017).  Development  of  a  mHealth  Real-Time  Pain  Self-Management  App  for Adolescents  With  Cancer:  An  Iterative  Usability  Testing  Study  [Formula:  see  text]. Journal of Pediatric Oncology Nursing : Official Journal of the Association of Pediatric Oncology Nurses , 34 (4), 283 – 294. https://doi.org/10.1177/1043454217697022
Kawakyu, N., Nduati, R., Munguambe, K., Coutinho, J., Mburu, N., DeCastro, G., … Gimbel, S.  (2019).  Development  and  Implementation  of  a  Mobile  Phone-Based  Prevention  of Mother-To-Child Transmission of HIV Cascade Analysis Tool: Usability and Feasibility Testing  in  Kenya  and  Mozambique. JMIR  MHealth  and  UHealth , 7 (5),  e13963. https://doi.org/10.2196/13963
Lyzara, R., Purwandari, B., Zulfikar, M. F., Santoso, H. B., & Solichah, I. (2019). E-Government Usability Evaluation: Insights from A Systematic Literature Review. Proceedings of the 2nd International  Conference  on  Software  Engineering  and  Information  Management ,  249 – 253. https://doi.org/10.1145/3305160.3305178
Menteri  Dalam  Negeri  Republik  Indonesia. INSTRUKSI  MENTERI  DALAM  NEGERI NOMOR  27  TAHUN  2021  TENTANG  PEMBERLAKUANPEMBERLAKUAN PEMBATASAN KEGIATAN MASYARAKAT LEVEL 4, LEVEL 3, DAN LEVEL 2 CORONA VIRUS DISEASE 2019 DI WILAYAH JAWA DAN BALI . , (2021).
Minen, M. T., Jalloh, A., Ortega, E., Powers, S. W., Sevick, M. A., & Lipton, R. B. (2019). User Design  and  Experience  Preferences  in  a  Novel  Smartphone  Application  for  Migraine Management: A Think Aloud Study of the RELAXaHEAD Application. Pain Medicine (Malden, Mass.) , 20 (2), 369 – 377. https://doi.org/10.1093/pm/pny080
Moran, K. (2019). Usability Testing 101. Retrieved February 4, 2022, from Nielsen Norman Group website: https://www.nngroup.com/articles/usability-testing-101/
Moran, K. (2021). Remote Usability Testing: Study Guide. Retrieved from Nielsen Norman Group  website:  https://www.nngroup.com/articles/remote-usability-testing-study- guide/
Moran,  K.,  &  Pernice,  K.  (2020a).  Remote  Moderated  Usability  Tests:  How  to  Do  Them. Retrieved  February 4, 2022, from  Nielsen Norman Group website: https://www.nngroup.com/articles/moderated-remote-usability-test/
Moran,  K.,  &  Pernice,  K.  (2020b).  Remote  Moderated  Usability  Tests:  Why  to  Do  Them. Retrieved  February 4, 2022, from  Nielsen Norman Group website: https://www.nngroup.com/articles/moderated-remote-usability-test-why/
Musiimenta, A., Atukunda, E. C., Tumuhimbise , W., Pisarski, E. E., Tam, M., Wyatt, M. A., … Haberer, J. E. (2018). Acceptability and Feasibility of Real-Time Antiretroviral Therapy Adherence Interventions in Rural Uganda: Mixed-Method Pilot Randomized Controlled Trial. JMIR MHealth and UHealth , 6 (5), e122 – e122. https://doi.org/10.2196/mhealth.9031
Nuraeni,  R.  (2021). Kombinasi  Usability  Resting  yang  Optimum  Untuk  Pengembangan  Aplikasi POS Bagi UMKM Saat Pandemi Covid-19 Di Indonesia . Sekolah Tinggi Ilmu Manajemen dan Ilmu Komputer ESQ.
Paz, F., & Pow-Sang, J. A. (2016). Usability Evaluation Methods for Software Development: A
JUTIS (Jurnal Teknik Informatika Unis) Vol. 11 No. 1 Bulan April 2023                                                                                                                 p-ISSN: 2252-5351 Program Studi Teknik Informatika – Fakultas Teknik
e-ISSN: 2656-0860
Universitas Islam Syekh-Yusuf Tangerang
Systematic  Mapping  Review. Proceedings  -  8th  International  Conference  on  Advanced Software Engineering and Its Applications, ASEA 2015 , 10 (1), 1 – 4. https://doi.org/10.1109/ASEA.2015.8
Pernice,  K.  (2018).  User  Interviews:  How,  When,  and  Why  to  Conduct  Them.  Retrieved
February 26, 2022, from Nielsen Norman Group website: https://www.nngroup.com/articles/user-interviews/
Ramli, R., Jaafar, A., & Mohamed, H. (2009). Remote usability evaluation system (e-RUE). 2009
International  Conference  on  Computer  and  Electrical  Engineering, ICCEE  2009 , 2 ,  639 – 643. https://doi.org/10.1109/ICCEE.2009.247
Ranjit Kumar. (2011). Research Methodology A Step-by-Step Guide for Beginners (3rd ed.). Sage Publication, Inc.
Richardson,  S.,  Mishuris,  R.,  O’Connell,  A.,  Feldstein,  D., Hess,  R.,  Smith, P., …  Mann,  D. (2017). “Think aloud” and “Near live” usability testing of two complex clinical decision support tools. International Journal of Medical Informatics , 106 , 1 – 8. https://doi.org/10.1016/j.ijmedinf.2017.06.003
Stonbraker, S., Cho, H., Hermosi, G., Pichon, A., & Schnall, R. (2018). Usability Testing of a mHealth  App  to  Support  Self-Management  of  HIV-Associated  Non-AIDS  Related Symptoms. Studies in Health Technology and Informatics , 250 , 106 – 110.
Tarkkanen,  K.,  &  Harkke,  V.  (2019).  Scope  for  usability  tests  in  IS  development. AIS Transactions on Human-Computer Interaction , 11 (3), 136 – 156.
https://doi.org/10.17705/1thci.00117
Umar, A., & Khan Tatari, K. (2008). Appropriate Web Usability Evaluation Method during Product Development . Retrieved from www.bth.se/tek
Widman,  L.,  Golin,  C.  E.,  Kamke,  K.,  Massey,  J.,  &  Prinstein,  M.  J.  (2017).  Feasibility  and acceptability of a web-based HIV/STD prevention program for adolescent girls targeting sexual  communication  skills. Health  Education  Research , 32 (4),  343 – 352. https://doi.org/10.1093/her/cyx048
Wirasasmiata, R., & Uska, M. (2019). Evaluation of E-Rapor Usability using Usability Testing Method. Advances in Social Science, Education and Humanities Research (ASSEHR) , 330 (Iceri 2018), 71 – 74. https://doi.org/10.2991/iceri-18.2019.15
Yen,  P.- Y.,  Lara,  B.,  Lopetegui,  M.,  Bharat, A., Ardoin,  S.,  Johnson,  B.,  …  Curtis,  J.  (2016). Usability and Workflow Evaluation of “RhEumAtic Disease activitY” (READY). Applied Clinical Informatics , 07 (04), 1007 – 1024. https://doi.org/10.4338/aci-2016-03-ra-0036
Yen, P. Y., Walker, D. M., Smith, J. M. G., Zhou, M. P., Menser, T. L., & McAlearney, A. S. (2018).  Usability  evaluation  of  a  commercial  inpatient  portal. International  Journal  of Medical Informatics , 110 (June 2017), 10 – 18.
https://doi.org/10.1016/j.ijmedinf.2017.11.007
Zhang, T., Rau, P.-L. P., Salvendy, G., & Zhou, J. (2013). Comparing Low and High-Fidelity Prototypes in Mobile Phone Evaluation. International Journal of Technology Diffusion , 3 (4),
1 – 19. https://doi.org/10.4018/jtd.2012100101