Jurnal Teknik Informatika dan Sistem Informasi ISSN 2407-4322 Vol. 8, No. 2, Juni 2021, Hal. 805-814 E- ISSN 2503-2933 805

## Usability Testing Pada Aplikasi Zoom Dengan Menggunakan Metode Cognitive Walkthrough
Kartika Gianina Tileng
Universitas Ciputra Surabaya; UC Town, Citraland CBD Boulevard, 031-7451699
3 Jurusan Sistem Informasi, Fakultas Teknologi Informasi, Surabaya e-mail: kargia@ciputra.ac.id

## Abstrak
Pandemi  Covid-19  yang  terjadi  di  berbagai  belahan  dunia  mengakibatkan  banyak interaksi sosial dikurangi dan berbagai aktivitas dialihkan menjadi berbasis online. Salah satu dampak signifikan yang terjadi adalah perkuliahan yang diselenggarakan secara online. Guna mendukung perkuliahan secara online ini, ada berbagai tools teknologi yang digunakan untuk membantu  proses  online  tersebut,  salah  satu  diantaranya  adalah  aplikasi  teleconference. Dalam  perubahan  metode  offline  menjadi  online,  ada  banyak  adaptasi  aktivitas  yang  harus dilakukan oleh dosen maupun mahasiswa atau peserta didik lainnya dalam melakukan kegiatan perkuliahan  dalam  perguruan  tinggi.  Oleh  sebab  itu,  penelitian  ini  bertujuan  untuk  melihat bagaimana  proses  adaptasi  teknologi  dalam  pembelajaran  online  melihat  semakin  banyaknya aktivitas  pembelajaran  yang  berbasis  online,  untuk  kemudian  merancangkan  desain  aplikasi yang  dirasa  sesuai  dengan  keperluan.  Penelitian  ini  dilakukan  dengan  metode  Cognitive Walkthrough,  dengan  menggunakan  responden  sebanyak  5  orang  yang  menjalani  penugasan sesuai  job  desk dan  perekaman  layar,  maka  didapatlah  kesimpulan  bahwa  penggunaan  Zoom untuk 4 fitur utama sudah dapat dilakukan dengan baik, kesulitan hanya terjadi pada skenario kedua.
Kata kunci — Usability Testing, Cognitive Walkthrough, Zoom

## Abstract
The  Covid-19  pandemic  that  occurred  in  various  parts  of  the  world  resulted  in  a reduction  in  social  interactions and  various  activities  being  shifted to an  online  basis.  One of the  significant  impacts  that  occurs  is  lectures  that  are  held  online.  To  support  this  online lecture, there are various technological tools that are used to assist the online process, one of which  is  the  teleconference  application.  In  changing  the  offline  method  to  online,  there  are many  adaptations  of  activities  that  must  be  carried  out  by  lecturers  and  students  or  other students in carrying out lecture activities in higher education. Therefore, this study aims to see how the technology adaptation process in online learning sees the increasing number of online- based  learning  activities,  to  then  design  an  application  that  is  deemed  appropriate.  This research  was  conducted  using  the  Cognitive  Walkthrough  method,  using  5  respondents  who were  assigned  according  to  work  desks  and  screen  recording,  so  it  was  found  that  the  use  of Zoom for 4 main features could be done well, difficulties only occurred in the second scenario.
Keywords — Usability Testing, Cognitive Walkthrough, Zoom
806 Jatisi ISSN 2407-4322 Vol. 8, No. 2, Juni 2021, Hal. 805-814 E-ISSN 2503-2933

## 1. PENDAHULUAN
Hadirnya pandemi Covid-19 yang terdeteksi sejak akhir tahun 2019 dan mulai mewabah di  berbagai  belahan  dunia  pada  tahun  2020  termasuk  Indonesia,  membuat  berbagai  sektor mengalami  pengaruh  signifikan.  Salah  satu  di  antaranya  adalah  di  bagian  sektor  pendidikan. Kegiatan  proses  pendidikan  di  Indonesia  yang  biasanya  dijalankan  dengan  cara  tatap  muka langsung, mulai berubah seiring kebijakan dari pemerintah dalam menanggulangi kondisi yang diakibatkan  oleh  pandemi  Covid-  19,  dialihkan  menjadi  aktivitas  tatap  maya  secara online. Dalam  hal  ini,  ada  banyak  adaptasi  aktivitas  yang  harus  dilakukan  oleh  para  dosen  maupun mahasiswa dalam melakukan berbagai kegiatan perkuliahan dalam perguruan tinggi. Oleh sebab itu, dirasa penting untuk melihat bagaimana proses adaptasi teknologi yang digunakan sebagai tools , dalam perkuliahan online melihat keadaan yang semakin mengandalkan aktivitas online. Penggunaan platform teknologi teleconference dalam metode perkuliahan online semakin marak digunakan  karena  sangat  membantu  untuk  menggantikan  proses  tatap  muka  yang  biasanya dijalani. Oleh sebab itu, penting untuk mengamati bagaimana proses adaptasi oleh para peserta didik  dalam  menggunakan  platform  Zoom  sebagai tools dalam  kegiatan  pembelajaran. Berdasarkan International  Standarts  Office dihasilkan  dari  penggunaan  dan  atau  antisipasi penggunaan  produk,  sistem  atau  layanan.  Sebuah  produk  dapat  dikatakan  baik  jika  memiliki kesesuaian  antar  fitur  dengan  kebutuhan  penggunanya.  Dalam user  experience pengguna diharapkan dapat berinteraksi dengan sistem secara mudah dan efisien. [1] Metode yang dapat digunakan  untuk  menilai user  experience adalah usability  evaluation . Usability adalah  suatu ukuran,  dimana  pengguna  dapat  mengakses  fungsionalitas  dari  sebuah  sistem  dengan  efektif, efisien  dan  memuaskan  dalam  mencapai  tujuan  tertentu.  Pengukuran usability pada  sebuah aplikasi  sangat  penting,  karena  dengan  adanya  pengukuran  tersebut  akan  diketahui  tingkat kemudahan  suatu  Aplikasi  ketika  digunakan  [2] . Salah  satu  metode  di  dalam usability evaluation yang  sering  digunakan  adalah cognitive  walkthrough.  Cognitive  walkthrough merupakan  metode  evaluasi usability dimana  satu  atau  lebih  evaluator  bekerja  melalui serangkaian  skenario  tugas  dan  meminta  sejumlah  pertanyaan  dari  perspektif  pengguna  [3]. Cognitive walkthrough adalah sebuah metode evaluasi yang dapat memprediksi seberapa mudah seseorang  mengerti  terhadap  tugas  yang  diberikan  dalam  menggunakan  sistem  berbasis komputer [ 4].  Metode  ini  mengharuskan  evaluator  mengamati  apa  yang  dilakukan  oleh pengguna  saat  melakukan  skenario  –  skenario  tugas  yang  diberikan  sehingga  evaluator  dapat mengetahui  apakah  sistem  mudah  dimengerti  atau  tidak.  Beberapa  penelitian  yang  telah dilakukan  menunjukkan  bahwa  pengujian  Cognitive  Walkthrough  mampu  mengidentifikasi kendala-kendala  yang  dihadapi  pengguna  ketika  menggunakan  sebuah  antarmuka. Pengembangan  antarmuka  berdasarkan  hasil  pengujian  tersebut  mampu  meningkatkan efektivitas penggunaan website . [5]
Adapun ruang lingkup untuk penelitian ini adalah:
1. 4 fitur utama Zoom yang diuji adalah 4 fitur yang dianggap paling sering digunakan dalam proses menjadi peserta pembelajaran yaitu:
a. Pertemuan rapat one-on-one.
b. Konferensi rapat grup video.
c. Screen sharing dan chat.
d. Fitur recording video call.
2. Responden penelitian meliputi 5 mahasiswa aktif pengguna Zoom.
3. Dalam  pengujian  terkait  Usability  ini,    ada  2  unsur  yang  dicermati,  yaitu  efektivitas  dan efisiensi.
a. Efektivitas berkaitan dengan tingkat penyelesaian skenario tugas.
b. Efisiensi  berhubungan  dengan  jumlah  waktu  yang  diperlukan  untuk  menyelesaikan  dan jumlah kesalahan yang dilakukan pada saat menyelesaikan skenario tugas.
ISSN 2407-4322
E- ISSN 2503-2933   807
2. METODE PENELITIAN
Uji Usability dengan metode Cognitive Walkthrough, terdiri dari 2 (dua) tahapan, yaitu tahan persiapan ( preparation ) dan tahap eksekusi ( execution ). Tahapan persiapan meliputi studi literature, mempelajari sistem  yang akan diuji, menentukan responden dan menyusun skenario tugas yang harus dikerjakan oleh responden.

## 2.1 Responden
Responden penelitian ini adalah 5 mahasiswa aktif yang menggunakan Zoom baik dalam kegiatan pembelajaran secara langsung (kelas tatap maya) maupun secara tidak langsung (kerja kelompok). Teknik yang digunakan dalam menentukan sampel adalah simple random sampling dari  populasi  mahasiswa  jurusan  Sistem  Informasi  yang  dianggap  telah familiar dengan penggunaan  teknologi.  Menurut  Nielsen  (2012),  jumlah  peserta  untuk  pengujian  ini  adalah sebanyak 5 (lima) peserta.

## 2.2 Skenario Tugas
Untuk  pembagian  tugas  dibagi  ke  dalam  4  kelompok  dari  fitur-fitur  yang  dianggap utama dalam penggunaan aplikasi Zoom seperti berikut ini:
a. Pertemuan rapat one-on-one. b. Konferensi rapat grup video.
c. Screen sharing dan chat . d. Fitur recording video call.
2.2.1 Pertemuan rapat one-on-one.
1. Meminta peserta membuat account baru di Zoom
2. Meminta peserta log in di Zoom
3. Meminta peserta untuk membuat sebuah meeting dan menyebarkan invitation ke salah satu sosial media ( Tombol perisai dan Participant)
4. Meminta peserta untuk join meeting (diundang anggota lain)
5. Meminta peserta untuk leave meeting
Tabel 1. Skenario Uji Usability Dalam Pertemuan Rapat One-On-One ST Tujuan Tahapan ST 1 Meminta peserta membuat account baru di Zoom 7 ST 2 Meminta peserta log in di Zoom 2 ST 3 Meminta peserta untuk membuat sebuah meeting dan menyebarkan
invitation ke salah satu sosial media ( Menggunakan tombol Perisai
dan Participant) 5 dan 6 ST 4 Meminta peserta untuk join meeting (diundang anggota lain) 2 ST 5 Meminta peserta untuk leave meeting 2
Keterangan: Skenario Tugas = ST
808 Jatisi ISSN 2407-4322 Vol. 8, No. 2, Juni 2021, Hal. 805-814 E-ISSN 2503-2933

## 2.2.2 Konferensi rapat grup video
1. Meminta peserta untuk menggunakan fitur mute, unmute, on cam dan off cam pada breakout room
2. Meminta peserta membuat breakout room
3. Meminta peserta Rename Participant
4. Meminta peserta untuk menjadikan anggota lain sebagai host
5. Meminta peserta untuk menjadikan anggota lain sebagai co-host
6. Meminta peserta untuk mengganti virtual background
7. Meminta peserta untuk memberikan reaction
Untuk tahapan-tahapan yang dalam setiap Skenario Tugas digambarkan dalam Tabel 2.
Tabel 2. Skenario Uji Usability Dalam Konferensi Rapat Grup Video ST Tujuan Tahapan ST 1 Meminta  peserta  untuk  menggunakan fitur mute, unmute, on cam dan off cam 1,1,1,1 ST 2 Meminta  peserta  membuat breakout room 4 ST 3 Meminta peserta Rename Participant 5 ST 4 Meminta  peserta  untuk  menjadikan anggota lain sebagai host 4 ST 5 Meminta  peserta  untuk  menjadikan anggota lain sebagai co-host 4 ST 6 Meminta  peserta  untuk  mengganti virtual background 5 ST 7 Meminta  peserta  untuk  memberikan reaction 2

## Keterangan: Skenario Tugas = ST
3. Screen sharing dan chat.
a. Meminta peserta untuk melakukan chatting dengan peserta lain secara pribadi b. Meminta peserta Melakukan share-screen file atau website.
Tabel 3. Screen Sharing dan Chat ST Tujuan Tahapan ST 1 Meminta  peserta  untuk  melakukan chatting dengan peserta lain secara pribadi 4 ST 2 Meminta  peserta  Melakukan share-screen untuk file atau website 2
4. Fitur recording video call
a. Meminta peserta untuk start recording
b. Meminta peserta untuk stop recording
E- ISSN 2503-2933   809
c. Meminta peserta untuk mengecek dimana recording tersebut tersimpan.
Tabel 4. Fitur Recording Video Call ST Tujuan Tahapan ST 1 Meminta peserta untuk start recording 1 ST 2 Meminta peserta untuk stop recording 1 ST 3 Meminta peserta untuk mengecek dimana recording tersebut tersimpan 1

## 3. HASIL DAN PEMBAHASAN
Adapun  hasil  dari  penelitian  ini  menunjukkan  hasil  seperti  berikut  ini  pada  setiap responden ( User ) untuk skenario Uji Usability dalam pertemuan rapat one-on-one ditunjukkan dalam Tabel 5.
Tabel 5. Hasil Skenario Untuk Pertemuan Rapat One-On-One ST Tujuan User 1 User 2 User 3 User 4 User 5 ST 1 Meminta peserta membuat account baru di Zoom 7 7 7 7 7 ST 2 Meminta peserta log in di Zoom 2 2 2 2 2 ST 3 Meminta peserta untuk membuat sebuah meeting dan menyebarkan invitation ke salah satu sosial media  (Whatsapp atau Line) 6 5 5 6 5 ST 4 Meminta peserta untuk join meeting (diundang anggota lain) 2 2 2 2 2 ST 5 Meminta peserta untuk leave meeting 2 2 2 2 2
Dengan  jumlah  waktu  penyelesaian  skenario  tugas  yang  ditunjukkan  pada  Tabel  6  di bawah ini.
810 Jatisi ISSN 2407-4322 Vol. 8, No. 2, Juni 2021, Hal. 805-814 E-ISSN 2503-2933
Tabel 6. Waktu Penyelesaian Skenario Tugas Untuk Pertemuan Rapat One-On-One (Dalam Detik)
Adapun  hasil  dari  penelitian  ini  menunjukkan  hasil  seperti  berikut  ini  pada  setiap responden ( User )  untuk  skenario  Uji Usability dalam  konferensi rapat  grup  video  ditunjukkan dalam Tabel 7.
Tabel 7. Hasil Skenario untuk Konferensi Rapat Grup Video
ST Tujuan User 1 User 2 User 3 User 4 User 5 ST 1 Meminta peserta untuk menggunakan fitur mute , unmute , on cam dan off cam 1,1,1,1 1,1,1,1 1,1,1,1 1,1,1,1  1,1,1,1 ST 2 Meminta peserta membuat breakout room 4 4 > 4 > 4 4 ST 3 Meminta peserta melakukan rename Participant 4 4 4 4 4 ST 4 Meminta peserta untuk menjadikan anggota lain sebagai host 4 4 4 4 4 ST 5 Meminta peserta untuk menjadikan anggota lain sebagai co-host 4 4 4 4 4 ST 6 Meminta peserta untuk mengganti background 5 5 5 5 5 ST 7 Meminta peserta untuk memberikan reaction 2 2 2 2 2
E- ISSN 2503-2933   811
Keterangan : ST = Skenario Tugas
Dengan  jumlah  waktu  penyelesaian  skenario  tugas  yang  ditunjukkan  pada  Tabel  8  di bawah ini.
Tabel 8. Waktu Penyelesaian Skenario Tugas untuk Konferensi Rapat Grup Video (Dalam Detik)
Adapun  hasil  dari  penelitian  ini  menunjukkan  hasil  seperti  berikut  ini  pada  setiap responden  ( User )  untuk  skenario  Uji Usability dalam screen  sharing dan chat ditunjukkan dalam Tabel 9.
Tabel 9. Screen Sharing dan Chat ST Tujuan User 1 User 2 User 3 User 4 User 5 ST 1 Meminta peserta untuk melakukan chatting dengan peserta lain secara pribadi 4 4 4 4 4 ST 2 Meminta peserta Melakukan share screen untuk file atau website 2 2 2 2 2
Dengan  jumlah  waktu  penyelesaian  skenario  tugas  yang  ditunjukkan  pada  Tabel  8  di bawah ini.
812 Jatisi ISSN 2407-4322 Vol. 8, No. 2, Juni 2021, Hal. 805-814 E-ISSN 2503-2933
Tabel 10. Waktu Penyelesaian Skenario Tugas untuk Screen Sharing dan Chat (Dalam Detik)
Adapun  hasil  dari  penelitian  ini  menunjukkan  hasil  seperti  berikut  ini  pada  setiap  responden ( User ) untuk skenario Uji Usability dalam  menu recording video call yang ditunjukkan dalam Tabel 11.
Tabel 11. Recording Video Call ST Tujuan User 1 User 2 User 3 User 4 User 5 ST 1  Meminta peserta untuk start recording 1 1 >1 1 1 ST 2  Meminta peserta untuk stop recording 1 1 1 1 1 ST 3  Meminta peserta untuk mengecek dimana recording tersebut tersimpan 1 1 1 1 1
Keterangan: ST = Skenario Tugas
Adapun  hasil  dari  penelitian  ini  menunjukkan  hasil  seperti  berikut  ini  pada  setiap responden ( User ) untuk skenario Uji Usability dalam fitur recording video call dalam Tabel 12.
ISSN 2407-4322
E- ISSN 2503-2933   813
Tabel 12. Waktu Penyelesaian Skenario Tugas untuk Fitur Recording Video Call (Dalam Detik)

## 4. KESIMPULAN
Hasil  pengujian Usability  Testing dengan  metode  Cognitive  Walkthrough menunjukkan bahwa  permasalahan  yang  dihadapi  pengguna  pada  waktu  menggunakan  aplikasi  Zoom  hanya terdapat dalam pengujian skenario fitur utama ke-2 (Konferensi grup rapat video) yaitu dalam membuat breakout room (2 user ) dan memberikan reaction (2 user ). Dalam interview di akhir sesi perekaman layar, serta adanya masukan untuk menambahkan fitur file sharing dari pengajar saat  menjelaskan  sesuatu  materi.  Zoom  telah  memiliki  fitur  untuk  berbagi  obrolan,  sehingga untuk keperluan pembelajaran dirasa akan semakin baik, jika dapat memberikan suatu layanan untuk file sharing, yang bisa terhubung ke cloud , sehingga peserta pembelajaran dapat berfokus pada  1  tampilan  dan  tidak  harus  membuka  beberapa  layar  saat  sedang  mengikuti  proses  tatap maya.

## 5. SARAN
Penelitian  selanjutnya  dapat  dilakukan  setelah  adanya  desain  ulang  dengan memperhatikan  dari  rekomendasi  yang  diberikan  pada  penelitian  ini.  Selain  itu,  dapat  juga dilakukan penelitian dalam metode Usability Testing yang lain dengan menggunakan kerangka lainnya seperti Heuristic Evaluation, dan lain sebagainya.
814 Jatisi ISSN 2407-4322 Vol. 8, No. 2, Juni 2021, Hal. 805-814 E-ISSN 2503-2933

## UCAPAN TERIMA KASIH
Terima  kasih  kepada  Universitas  Ciputra  atas  dukungan  dalam  skema  hibah  untuk penelitian ini.

## DAFTAR PUSTAKA
[1] Silvia  Ayu  Ardyani,  Erly  Krisnanik,  S.Kom.,  MM,  Ika  Nurlaili  I,  S.Kom.,  M.Sc,  2020, Analisis  User  Experience  dan  Redesain  Website  My  Permata  Wisata  Dengan Menggunakan  Metode  Cognitive  Walkthrough ,  Fakultas  Ilmu  Komputer  Universitas Pembangunan Nasional ―Veteran‖ Jakarta.
[2] Mohamad  Rahmatuloh,  2018, Pengukuran  Usability  Menggunakan  Cognitive Walkthrough pada Aplikasi Tugas Akhir , Mei 2018.
[3] Revianda  Amrullah  Akbar,  Hanifah  Muslimah  Az-Zahra,  Komang  Candra  Brata,  2019, Evaluasi User Experience pada Game PUBG MOBILE Menggunakan
Metode  Cognitive  Walkthrough,  Jurnal  Pengembangan  Teknologi  Informasi  dan  Ilmu Komputer , Vol. 3, No. 2, Februari 2019, hlm. 1660-1668.
[4] Blackmon, M. H. 2004, Cognitive Walkthrough . In W. S. Bainbridge (Ed.), Encyclopedia of Human Computer Interaction, Great Barrington, MA: Berkshire Publishing Group.
[5] Ira  Maryati,  Firman  Ardiansyah,  Wisnu  Ananta  Kusuma.  2014, Pengujian  Cognitive Walkthrough  Antarmuka  Perpustakaan  Digital  (E-LIBRARY)  Pusat  Dokumentasi  dan Informasi Ilmiah – LIPI (PDII-LIPI) , Pusat Dokumentasi dan Informasi Ilmiah-Lembaga Ilmu Pengetahuan Indonesia.