EVALUASI USABILITY GOOGLE MEET PADA PEMBELAJARAN DARING MENGGUNAKAN METODE COGNITIVE WALKTHROUGH (CW) DAN SYSTEM USABILITY SCALE (SUS)
Ronald Raihan Andalas, Muhamad Azrino Gustalika Program Studi Teknik Informatika S1, Fakultas Informatika Institut Teknologi Telkom Purwokerto, Jl. DI Panjaitan No.128, Karangreja, Purwokerto Kidul, Kec.
Purwokerto Selatan, Kab. Banyumas, Jawa Tengah, Indonesia ronaldok.84@gmail.com

## ABSTRAK
Pandemi covid-19 yang terjadi di berbagai belahan dunia termasuk Indonesia banyak merubah perilaku dan kebiasaan di berbagai  sektor khususnya di sektor pendidikan. Sistem pembelajaran  yang dahulu  dilakukan secara  tatap  muka  (luring)  sekarang  berubah  menjadi  secara  virtual  (daring),  sehingga  dibutuhkan  teknologi yang dapat mewadahi para dosen dan mahasiswa agar tetap bisa belajar dari rumah masing – masing. Teknologi tersebut  adalah  google  meet.  Dalam  penerapannya,  pembelajaran  daring  dengan  menggunakan  google  meet memiliki  berbagai kendala dan permasalahan yang muncul, sehingga perlu dilakukan pengujian usability untuk melihat  sejauh  mana  kepuasan  pengguna  dan  mencari  permasalahan  yang  ada  pada  produk  tersebut.  Metode yang  digunakan  pada  pengujian  ini  yaitu System  Usability  Scale  (SUS) dengan  responden  30  orang  dan Cognitive  Walkthrough  (CW) dengan  5  responden.  Hasil  pengujian  diperoleh,  berdasarkan  hasil  pengujian System  Usability  Scale  (SUS) yang  mengukur  kepuasan  atau satisfaction skor  yang  diperoleh  yaitu  sebesar 72,92,  Sedangkan,  berdasarkan  hasil  pengujian Cognitive  Walkthrough  (CW) diperoleh  penilaian learnability sebesar 98%, error atau kesalahan sebanyak 122 kali, dan efficiency yaitu 0,18 task/second , yang berarti rata - rata setiap detik responden dapat menyelesaikan sejumlah 18% dari setiap skenario tugas yang diberikan. Dari pengujian tersebut diperoleh rekomendasi perbaikan terhadap Google Meet.
Kata kunci : Evaluasi, Usability, Google Meet, System Usability Scale, Cognitive Walkthrough

## 1. PENDAHULUAN
Pada akhir tahun 2019 dunia dihadapkan dengan adanya virus baru yaitu virus corona  yang ditemukan di  kota  Wuhan,  China.  Virus  ini  mulai  menyebar diberbagai  belahan  dunia  dengan  sangat  cepat  dan telah  menyebar  ke  hampir  semua  negara  termasuk Indonesia.  Hal  tersebut  membuat  berbagai  sektor mengalami  perubahan  yang  signifikan,  salah  satunya adalah sektor pendidikan yang menerapkan kebijakan belajar dan  mengajar dari rumah  [1]. Dengan adanya kebijakan  ini  diperlukannya  adaptasi  bagi  pengajar dan  mahasiswa  terhadap  aktivitas  belajar  yang sebelumnya  dilakukan  tatap  muka  secara  langsung (luring)  menjadi  diharuskan  untuk tatap  muka  secara virtual  (daring).  Oleh  sebab  itu,  dibutuhkan  yaitu sebuah  website  atau  platform  yang  dapat  menjadi wadah bagi para pengajar dan siswa untuk melakukan proses belajar dan saling berinteraksi [2].
Platform  tersebut  adalah  google  meet.  Google meet  merupakan  layanan  google  yang  memiliki  fitur untuk melakukan presentasi tatap muka secara virtual yang  menyediakan  konferensi  audio  maupun  video yang  dapat  digunakan  bersamaan  secara  gratis  [3]. Dalam  penerapannya,  pembelajaran  daring  dengan menggunakan  google  meet  bukan  berarti  tidak terdapat  kendala.  Ditemukan  berbagai  kendala  dan permasalahan  yang  muncul  pada  google  meet  pada saat  kegiatan  berlangsung,  diantaranya  pengguna yang  belum  menguasai  aplikasi  tersebut  dan  tidak kesesuaian  antara  fitur  dengan  kebutuhan  pengguna
sehingga  secara User  Experience (UX)  website tersebut  bisa  dikatakan  kurang  baik  [4].  Berdasarkan hasil  survey  yang  dilakukan  terhadap  mahasiswa Institut  Teknologi  Telkom  Purwokerto  mengenai penggunaan Google Meet untuk mengetahui pendapat pengguna  terhadap  Google  Meet,  diperoleh  hasil bahwa  semua  responden  pernah  menggunakan Google  Meet  dan  tidak  semua  “sangat  paham” terhadap  fitur  –  fitur  yang  ada  pada  Google  Meet sehingga  perlu  dilakukan  evaluasi usability untuk menilai User Experience (UX). User Experience (UX) menjadi salah satu aspek penting  yang  berhubungan  dengan  interaksi  antara pengguna  dengan  komputer.  UX  sangat  berperan penting  untuk  memastikan  apakah  sebuah  produk atau  layanan  dapat  tersampaikan  secara  efektif  dan efisien  kepada  pengguna  [5].  Untuk  menyelesaikan persoalan  tersebut  maka  perlu  dilakukan  evaluasi usability untuk menilai UX karena usability termasuk bagian dari UX. Usability digunakan untuk mengukur kualitas pengalaman pengguna pada saat menggunakan suatu produk atau layanan [6].
Pada penelitian  ini digunakan  metode Cognitive Walkthrough (CW) dan System Usability Scale (SUS) untuk menguji website Google Meet untuk mengetahui  permasalahan  yang  ada  dan  mengukur bagaimana  kepuasaan  pengguna  terhadap  tingkat kecepatan,  tingkat  kemudahan  dan  tingkat  kesalahan dari suatu website [7].Metode Cognitive Walkthrough (CW) digunakan karena metode tersebut dinilai cocok
untuk  melakukan  evaluasi  pada  pengguna  yang  baru menggunakan  aplikasi  tersebut  [8].  Sedangkan, System Usability Scale (SUS) digunakan karena dapat mengukur  tingkat usability dengan  cepat  dan  mudah dengan  jumlah  responden  atau  sampel  yang  sedikit [9].  Hasil  dari  penelitian  ini  diharapkan  dapat memberikan  rekomendasi  perbaikan usability pada website Google Meet.

## 2. TINJAUAN PUSTAKA
Penelitian pertama [10] yang berjudul “Evaluasi Usability Website UNRIYO. Penelitian ini menggunakan  metode System  Usability  Scale (Studi Kasus: Website UNRIYO)”. Penelitian ini menggunakan  metode System  Usability  Scale yang tidak  diberi  tambahan  alasan  dari usability Nielsen pada  setiap  pertanyaan  yang  diambil  (Kelompok  A) dan  dengan  yang  diberi  tambahan  alasan  dari usability Nielsen pada setiap pertanyaan yang diambil (Kelompok  B)  untuk  mengetahui  hasil  yang didapatkan  apakah  sama  atau  berbeda.  Hasil  dari penelitian  ini  adalah  nilai  (skor)  rata  –  rata  yang diperoleh  kelompok  A  yaitu  51,25  dan  kelompok  B yaitu  58,375.  Hasil  tersebut  menunjukan  bahwa website UNRIYO masih harus ditingkatkan usability nya.
Penelitian  kedua  [11]  yang  berjudul  “Evaluasi Usability  Pada  Desain  E-Learning.  Penelitian  ini menggunakan  metode  Cognitive  Walkthrough”. Penelitian  ini  menggunakan  metode Cognitive Walkthrough dan System  Usability  Scale untuk mengidentifikasi  dan  menganalisis  permasalahan yang  dihadapi  pengguna.  Hasil  dari  penelitian  ini didapatkan  bahwa  semua  responden  memiliki kesalahan  dalam  pengujian  skenario  tugas  dengan rata-rata  waktu  tercepat  pada  skenario  tugas  4  yaitu 19.75 detik dan waktu terlama pada skenario tugas 2 yaitu  68.10.  Hasil  dari  perhitungan  SUS  yaitu  65,17 dengan adjective rating OK.

## 2.1. Google Meet
Google Meet merupakan salah satu layanan dari google  yang  menyediakan  layanan  aplikasi  video konferensi  secara  gratis  untuk  melakukan  interaksi secara  bersamaan.  Google  meet  saat  ini  dapat dimanfaatkan  sebagai  media  untuk  pembelajaran jarak  jauh  (daring)  untuk  meminimalisir  penyebaran virus Covid  19 .  Dengan  merebaknya  virus Covid-19 yang  begitu  pesat,  Google  Meet  kini  menjadi  salah satu layanan dari Google yang mengalami pertumbuhan  tercepat.  Angka  penggunaan  hariannya meningkat  25  kali  lipat  dalam  periode  antara  bulan Januari hingga bulan Maret tahun 2020 [12].

## 2.2. Usability
Usability  bersumber  dari  kata  usable  yang memiliki arti dapat dipergunakan dengan  baik. Suatu aplikasi atau website dapat dinilai baik jika kesalahan ketika  penggunaannya  dapat  dihilangkan  atau dikurangi dan memberikan kepuasan kepada
pengguna  [13]. Usability memiliki  peranan  yang sangat  penting  terhadap  sebuah  produk  agar  produk tersebut  tetap  bertahan  dan  tidak  ditinggalkan  oleh pengguna.  Dengan usability yang  baik  maka  sebuah produk  akan  semakin  banyak  dikunjungi  oleh pengguna [14].

## 2.3. Usability Testing
Usability  Testing atau  pengujian usability ialah teknik  yang  digunakan  dalam  mengevaluasi  sebuah sistem  atau  produk  dimana  pengguna  sebagai pengujinya. Usability  testing memiliki  tujuan  untuk mengetahui  permasalahan usability yang  terdapat pada  sistem  atau  produk,  mendapatkan  data  sebagai bahan  penelitian  serta  mengukur  kepuasan  pengguna terhadap  sistem  atau  produk  tersebut.  Pengujian usability akan  menghasilkan data kualitatif  mengenai kesulitan  yang  dialami  oleh  pengguna,  data  tersebut yang nantinya akan dijadikan rekomendasi perbaikan pada  sebuah  aplikasi  atau  website.  Sebelum melakukan  pengujian usability diperlukan  sebuah pertanyaan  dan  tugas  yang  akan  dikerjakan  oleh pengguna.  Tugas  tersebut  nantinya  yang  akan memberikan  jawaban  dari  tujuan  utama  yang  ingin dicapai dalam pengujian tersebut [15].

## 2.4. Cognitive Walkthrough (CW)
Cognitive  Walkthrough (CW)  adalah  metode evaluasi usability dimana  evaluator  bekerja  melalui serangkaian  tugas  dan  memberikan  serangkaian pertanyaan kepada pengguna [16]. Cognitive Walkthrough dapat  memprediksi  seberapa  mudah tugas yang diberikan evaluator untuk dimengerti oleh pengguna  menggunakan  sistem  berbasis  komputer [17].
Metode  ini  mengharuskan  evaluator  mengamati apa  yang  dilakukan  pengguna  berdasarkan  skenario tugas  yang  diberikan  sehingga  evaluator  dapat mengetahui  bahwa  sistem  atau  aplikasi  tersebut mudah atau sulit dimengerti [17].

## 2.5. System Usability Scale (SUS)
System  Usability  Scale (SUS)  merupakan pengukuran usability mengenai  tingkat  kepuasan ( satisfaction )  pengguna  secara  subjektif  dengan memberikan  kuisioner  kepada  pengguna  setelah menggunakan  aplikasi  atau  website  yang  akan  di  uji [18]. SUS digunakan karena salah satu metode dalam pengujian usability yang  paling  populer  [7].  Selain itu,  SUS  juga  salah  satu  metode  pengujian  untuk mengukur  tingkat usability secara  cepat  dan  mudah. SUS  mempunyai  10  pertanyaan  yang  harus  dijawab oleh  responden  setelah  menggunakan  aplikasi  atau sistem yang akan di uji [17].

## 3. METODE PENELITIAN
Pada  diagram  penelitian  ini  akan  menjelaskan proses  penelitian  untuk  mengevaluasi usability Google Meet pada pembelajaran daring menggunakan  metode Cognitive  Walkthrough (CW)
dan System  Usability  Scale (SUS).  Model  yang digunakan  selama  penelitian  ini  yaitu  menggunakan model waterfall.
Gambar 1. Diagram Alir Penelitian

## 3.1 Studi Literature
Pada  tahap  ini  mempelajari  mengenai  studi literatur  yang  berkaitan  dengan  pengujian Usability menggunakan  metode Cognitive  Walkthrough (CW) dan System  Usability  Scale (SUS).  Data  yang diperoleh  berasal  dari  buku  dan  jurnal  dibawah  lima tahun  berdasarkan  tahun  penelitian  sekarang.  Studi literatur  dilakukan  sebagai  acuan  dalam  melakukan penelitian.

## 3.2 User Persona
User  Persona  digunakan  sebagai  representasi fiktif  yang  mewakili  seluruh  pengguna  yang menggunakan  Google  Meet.  User  persona  digunkan dengan  tujuan  mempermudah  dalam  menemukan kebutuhan,  kebiasaan  dan  perilaku  pengguna  yang bermanfaat  untuk  penelitian  ini.  User  persona  pada penelitian  ini  digunakan  5  orang  yang  memiliki kriteria  pernah  menggunakan  Google  Meet  minimal satu  tahun  dengan  intensitas  penggunaan  perhari minimal dua jam.

## 3.3 Menentukan Responden
Responden dalam penelitian ini yaitu mahasiswa
Institut  Teknologi  Telkom  Purwokerto  yang  pernah menggunakan Google Meet sebagai media pembelajaran  daring  dengan  minimal  penggunaan  1 tahun  dan  intensitas  penggunaan  perhari  minimal  2 jam.  Untuk  metode Cognitive  Walkthrough (CW) dibutuhkan  5  orang  responden  sedangkan  metode System  Usability  Scale (SUS)  dibutuhkan  30  orang responden.
3.4 System Usability Scale (SUS)
Pada  pengujian  menggunakan  metode System Usability  Scale (SUS)  responden  akan  diberikan  10
pertanyaan untuk dijawab. Jawaban tersebut menggunakan  skala  likert  dengan  5  jawaban  dari sangat tidak setuju hingga sangat setuju. Setelah data diperoleh  dari  jawaban  responden,  selanjutnya  data akan dihitung menggunakan perhitungan SUS dimana pertanyaan bernomor ganjil skor akan dikurangi satu, sedangkan  untuk  pertanyaan  bernomor  genap  skor dari  nilai  lima  akan  dikurangi  dari  skor  yang didapatkan  pada  jawaban  responden.  Setelah  itu setiap  skor  dikalikan  dengan  2,5  untuk  memperoleh nilai secara keseluruhan. Dan untuk memperoleh nilai rata  –  rata,  jumlah  seluruh  skor  dan  dibagi  dengan banyaknya responden, yang nantinya dijadikan acuan sebagai  penilaian  terhadap  kepuasan  Google  Meet. Setelah  nilai  rata  –  rata  diperoleh  selanjutnya  nilai tersebut  akan  di  interpretasikan  ke  dalam  penilain skor  SUS  yaitu  Acceptability  Ranges,  Grade  Scale, dan Adjective Ratings.
Berikut adalah 10 pertanyaan yang akan dijawab oleh  tiap  responden  menggunakan  metode System Usability Scale (SUS) seperti pada Tabel 1.

## Tabel 1. Pertanyaan SUS
No Pertanyaan
1 Saya berpikir akan menggunakan google meet lagi
2 Saya merasa google meet rumit untuk digunakan
3 Saya merasa google meet mudah digunakan
4 Saya membutuhkan bantuan dari orang lain atau teknisi dalam menggunakan google meet
5 Saya merasa fitur – fitur google meet berjalan dengan semestinya
6 Saya merasa ada banyak hal yang tidak
No Pertanyaan konsisten (tidak serasi pada google meet) 7 Saya merasa orang lain akan memahami cara menggunakan google meet dengan cepat
8 Saya merasa google meet membingungkan
9 Saya merasa tidak ada hambatan dalam menggunakan google meet
10 Saya perlu membiasakan diri terlebih dahulu sebelum menggunakan google meet

## 3.5 Cognitive Walkthrough
Pada pengujian menggunakan metode Cognitive Walkthrough (CW)  tahapan  pertama  yang  dilakukan adalah  membuat  susunan  skenario  tugas  yang nantinya  akan  ditugaskan  kepada  para  responden. Tahapan  kedua  adalah  mengujikan  setiap  skenario tugas  yang  telah  dibuat  kepada  responden.  Dari  data yang  didapatkan  pada  saat  pengujian  tersebut  akan diolah dan dianalisis  untuk  memperoleh karakteristik penilaian learnability, error, dan efficiency . Dan pada kesimpulan diperoleh rekomendasi perbaikan terhadap  Google  Meet  berdasarkan  kritik  dan  saran dari  responden  pada  saat  pengujian  Skenario  Tugas. Adapaun skenario tugas yang akan dilakukan sebagai berikut.
Tabel 2. Skenario Tugas CW No Skenario Tugas Tahapan 1 Login dengan akun 2 2 Membuat ruang rapat baru Instan 2 3 Mengundang orang ke dalam ruang rapat 4 4 Masuk ke dalam ruang rapat berdasarkan undangan 3 5 Mengganti background 3 6 Melakukan share-screen 4 7 Mengirimkan pesan pada kolom chat 3 8 Mengubah tata letak menjadi sidebar 3 9 Mengatur perizinan agar tidak dapat membagikan layar, mengirim pesan, menyalakan mikrofon dan video 6 10 Keluar dari ruang rapat 1
4. HASIL DAN PEMBAHASAN

## 4.1 Analisis Hasil SUS
Setelah  mendapatkan  responden,  maka  akan dipilih  sebanyak  30  orang  sesuai  dengan  kriteria responden  pada  penelitian.  Hasil  dari  kuisioner tersebut  akan  dihitung  menggunakan  perhitungan System Usability Scale (SUS). Berikut ini adalah data lengkap hasil kuisioner dari 30 responden

## Tabel 3. Data Kuisioner SUS
Q1  Q2  Q3  Q4  Q5  Q6  Q7  Q8  Q9  Q10 R1 5 1 5 1 5 1 4 1 5 1 R2 5 3 4 2 3 3 4 3 4 2 R3 5 2 5 1 5 2 5 1 5 3 R4 5 1 5 4 5 2 5 1 4 4
Q1  Q2  Q3  Q4  Q5  Q6  Q7  Q8  Q9  Q10 R5 4 2 4 1 3 2 4 2 2 2 R6 4 3 3 3 3 2 2 3 2 4 R7 4 2 4 1 4 2 4 2 5 2 R8 5 2 4 2 4 3 4 2 4 2 R9 5 2 4 1 2 5 4 2 3 3 R10 4 2 5 2 5 2 4 2 4 2 R11 4 2 3 2 5 4 4 4 3 4 R12 4 2 4 2 4 3 4 2 4 2 R13 4 1 5 1 5 4 5 1 5 2 R14 2 4 4 3 4 3 4 2 2 3 R15 4 2 5 1 5 1 4 1 1 1 R16 3 1 5 1 3 2 4 1 3 1 R17 5 2 4 1 4 2 4 2 5 1 R18 5 2 5 1 5 3 4 2 5 3 R19 5 2 5 2 4 3 4 2 5 2 R20 3 2 4 1 3 3 4 2 3 3 R21 4 2 4 2 4 2 4 1 4 2 R22 4 2 3 3 4 3 3 2 3 4 R23 4 3 4 2 3 3 4 2 3 4 R24 4 1 5 1 4 2 4 2 4 1 R25 4 2 4 4 3 3 3 2 3 5 R26 5 2 4 4 4 3 4 2 4 2 R27 5 3 4 4 4 3 4 3 3 2 R28 4 2 4 2 4 2 3 2 3 3 R29 5 2 4 2 4 2 4 1 2 4 R30 5 1 5 4 5 2 5 1 4 4
Hasil  kuisioner  dari  total  30  responden  yang terpilih  sesuai  dengan  kriteria  akan  dilakukan perhitungan  skor System  Usability  Scale (SUS) dengan  menggunakan  aturan,  sebagai  berikut:  Skor untuk pertanyaan ganjil akan dikurangi 1, Skor untuk pertanyaan  genap  diperoleh  dari  nilai  5  dikurangi dengan  skor  jawaban  responden,  Hasil  skor  tiap responden  akan  dijumlahkan  dan  dikali  dengan  2,5, Hasil dari skor yang sudah dikalikan 2,5. Berikut data setelah dilakukan perhitungan dengan SUS.
Tabel 4. Data SUS Setelah Diolah
R Jumlah Skor SUS R1 39 97,5 R2 27 67,5 R3 36 90 R4 32 80 R5 28 70 R6 19 47,5 R7 32 80 R8 30 75 R9 25 62,5 R10 32 80 R11 23 57,5 R12 29 72,5 R13 35 87,5 R14 21 52,5 R15 33 82,5 R16 32 80 R17 34 85 R18 33 82,5 R19 32 80 R20 26 65
R Jumlah Skor SUS R21 31 77,5 R22 23 57,5 R23 24 60 R24 34 85 R25 21 52,5 R26 28 70 R27 25 62,5 R28 27 67,5 R29 28 70 R30 32 80
Tahap terakhir untuk mengetahui rata – rata skor SUS  (hasil  akhir)  yaitu  dengan  menjumlahkan  skor SUS dari tiap responden yang telah diperoleh dengan total  respoden  yang  digunakan  yaitu  30  seperi  pada perhitngan  1.  Dari  hasil  akhir  tersebut,  Skor  SUS dianalisis  dan  diinterpretasikan  sesuai  dengan penilaian kategori SUS score berdasarkan Acceptabiity  Ranges,  Grade  Scale,  dan  Adjective Ratings.
𝜒̃ = ∑𝜒 𝑛 …………………………………………...(1)
Hasil akhir
penilaian
Google
Meet menggunakan  metode System  Usability  Scale (SUS) dengan  total  responden  30  diperoleh  skor  SUS dengan skor 72,92. Skor tersebut menginterpretasikan bahwa  Google  Meet  dapat  diterima  oleh  pengguna dengan skala penilaian yaitu C dan Adjective Ratings “Good”.  Dan  dapat  disimpulkan  bahwa  pengguna puas terhadap Google Meet.

## 4.2 Uji Validitas
Pada  uji  validitas  Google  Meet  menggunakan total  responden  sebanyak  30  orang  dengan  tingkat signifikasi  sebesar  5%.  RTabel  yang  digunakan adalah  0,361.  Maka  untuk  mencapai  nilai  valid, RHitung harus lebih besar dari 0,361 jika dibawah itu maka  kuisioner  dinyatakan  tidak  valid.  Untuk memperoleh  RHitung  digunakan  software  SPSS, dan berikut  hasil  dari  uji  validitas  pada  kuisioner  SUS Google Meet.
Tabel 5. Uji Validitas
Pertanyaan RHitung RTabel Keterangan Q1 0,371 0,361 Valid Q2 0,675 0,361 Valid Q3 0,796 0,361 Valid Q4 0,491 0,361 Valid Q5 0,573 0,361 Valid Q6 0,453 0,361 Valid Q7 0,627 0,361 Valid Q8 0,622 0,361 Valid Q9 0,643 0,361 Valid Q10 0,628 0,361 Valid
Berdasarkan  hasil  uji  validitas  yang  diperoleh pada  tabel  5  menunjukan  bahwa  seluruh  instrument kuisioner  yang  digunakan  valid.  Karena,  dibuktikan
dengan seluruh nilai RHitung lebih besar dari RTabel. Dengan  hasil  tersebut  maka  dapat  dinyatakan  bahwa kuisioner yang digunakan pada penelitian ini valid.

## 4.3 Uji Reliabilitas
Uji  reliabilitas  digunakan  untuk  mengukur konsistensi  alat  ukur  (kuisioner)  yang  digunakan walaupun  penelitian  dilakukan  berulang  –  ulang dengan kuisioner yang sama. Pengujian ini menggunakan uji Cronbach Alpha dengan menggunakan  SPSS.  Hasil  dari  pengujian  dapat dilihat pada 6
Tabel 6. Uji Reliabilitas Cronbach Alpha Jumlah Item Keterangan 0,767 10 Reliabel
Hasil  uji  reliabilitas  pada  kuisioner System Usability  Scale (SUS)  Google  Meet  untuk  10 pertanyaan  menghasilkan  nilai  0,767.  Nilai  tersebut lebih  besar  dari  nilai  0.60,  sehingga  dapat  dikatakan reliabel. Dengan hasil tersebut maka dapat dinyatakan bahwa  kuisioner  yang  digunakan  pada  penelitian  ini reliabel.

## 4.4 Analisis Hasil Cognitive Walkthrough
Pada tahap ini, dilakukan analisis data dari data yang  sudah  didapatkan  ketika  pengujian  berdasarkan tingkat  keberhasilan  ( learnability )  yang  dilakukan responden  pada  saat  menyelesaikan  skenario  tugas, kesalahan  ( error )  yang  dilakukan  responden  ketika menyelesaikan  skenario  tugas,  dan  waktu  yang dibutuhkan  ( efficiency )  responden  menyelesaikan skenario tugas.

## 4.4.1 Tingkat Keberhasilan
Tingkat keberhasilan ( learnability ) merupakan aspek penilaian dimana responden dapat menyelesaikan  skenario  tugas  yang  diberikan  oleh peneliti,  walaupun  terdapat  kesalahan  langkah  atau alur  dalam  menyelesaikan  tugas  tersebut.  Skenario tugas  akan  dianggap  gagal  ketika  responden menginformasikan  kepada  peneliti  bahwa  tidak  bisa menyelesaikan tugas tersebut. Data tingkat keberhasilan  ( learnability )  pada  tiap  skenario  tugas dapat dilihat pada gambar 7.

## Tabel 7. Data Tingkat Keberhasilan
S1  S2  S3  S4  S5  S6  S7  S8  S9  S10
R1 1 1 1 1 1 1 1 1 0 1 R2 1 1 1 1 1 1 1 1 1 1 R3 1 1 1 1 1 1 1 1 1 1 R4 1 1 1 1 1 1 1 1 1 1 R5 1 1 1 1 1 1 1 1 1 1
Ƚ = ∑ 𝑅 𝑗=1 ∑ 𝑁 𝑖=1 𝑛𝑖𝑗 𝑅𝑁 x 100%...........................................(2)
Berdasarkan perhitungan menggunakan completion  rate,  tingkat  keberhasilan  penyelesaian
skenario  tugas  adalah  98%  yang  menunjukan  bahwa semua responden dapat menyelesaikan skenario tugas yang diberikan dengan baik.

## 4.4.2 Jumlah Kesalahan
Kesalahan  yang  dilakukan  ( error )  merupakan tindakan  responden  ketika  pengujian  skenario  tugas yang tidak sesuai dengan tahapan skenario tugas yang diberikan. Gambar 8 merupakan data yang menunjukan  kesalahan  dari  setiap  skenario  tugas yang diberikan.

## Tabel 8. Data Jumlah Kesalahan
S1  S2  S3  S4  S5  S6  S7  S8  S9  S10 R1 0 0 0 0 3 0 0 0 33 0 R2 0 0 0 0 1 0 0 0 22 0 R3 0 0 0 0 9 0 0 0 12 0 R4 0 0 0 0 0 0 0 0 14 0 R5 0 0 0 0 9 0 0 0 15 0
Total dari kesalahan yang dilakukan responden dari semua tugas yang diberikan yaitu 122 kesalahan  yang  menunjukan  bahwa  masih  terdapat fitur  pada  Google  Meet  yang  belum  dipahami  oleh responden.

## 4.4.3 Jumlah Waktu
Waktu penyelesaian skenario tugas merupakan waktu yang diperlukan respoden ketika menyelesaikan  tugas  yang  dihitung  dari  awal pengerjaan  hingga  responden  berhasil  mencapai tujuan. Waktu akan dicatat baik tugas yang dilakukan berhasil  maupun  pada  tugas  yang  gagal,  pada  saat terjadi  loading  waktu  akan  diberhentikan  dan dilakukan  pemotongan  agar  tidak  terjadi  bias. Gambar  9  merupakan  data  yang  menunjukan  waktu yang dibutuhkan untuk menyelesaikan setiap skenario tugas yang diberikan.

## Tabel 9. Data Jumlah Waktu
S1  S2  S3  S4  S5  S6  S7  S8 S9  S10 R1 4 6 9 6 19 7 4 9 49 4 R2 4 4 6 8 33 9 6 10 115 2
R3 8 6 8 9 22 8 5 10 106 2 R4 4 4 8 6 37 7 3 7 72 2 R5 3 3 6 7 30 5 4 6 38 2
Ᵽ = ∑ 𝑅 𝑗=1 ∑ 𝑁 𝑖=1 𝑛𝑖𝑗 𝑡𝑖𝑗 𝑁𝑅 ……………………………….........(3)
Berdasarkan perhitungan time based efficiency diperoleh hasil sebesar 0,18 task/second. Hal tersebut menunjukan bahwa rata – rata setiap detik responden dapat menyelesaikan sebanyak 18% dari setiap tugas yang  diberikan  atau  dalam  kata  lain  setiap  tugas membutuhkan  waktu  rata  –  rata  5,56  detik  untuk menyelesaikannya.

## 4.4.4 Permasalahan dan Perbaikan
Berdasarkan  hasil  pengujian  yang  telah dilakukan,  terdapat  masalah  yang  dihadapi  oleh responden  pada  saat  menyelesaikan  skenario  tugas tersebut. Perbaikan diperoleh dari masukan dan saran yang  diberikan  responden  dan  hasil  analisis berdasarkan  tingkat  keberhasilan,  kesalahan  dan waktu  yang  dibutuhkan.  Adanya  masalah  tersebut maka perlu dilakukan perbaikan pada aplikasi Google Meet, berikut ini adalah permasalahan dan rekomendasi perbaikan pada tabel 10.
Tabel 10. Rekomendasi dan Perbaikan No Permasalahan Rekomendasi Perbaikan 1 Perbedaan kata umum yang biasa pengguna kenal dengan kata background, di google meet menggunakan kata efek visual sehingga menyulitkan pengguna ketika ingin menggunakan fitur background Merubah penggunaan kata efek visual menjadi background 2 Tidak dapat mengirim pesan secara personal dikarenakan kurang nyaman jika dapat dilihat oleh semua peserta Menambahkan fitur agar dapat mengirimkan chat secara personal 3 Pada saat kamera mati dan ingin mengganti background, tidak dapat mempersiapkannya terlebih dahulu dikarenakan fitur kamera yang otomatis menyala pada saat meet berlangsung. Sebelum user mengaktifkan kamera seharunya kamera tersebut tidak secara otomatis menyala sehinga user dapat mempersiapkan diri dan kamera terlebih dahulu 4 Tidak dapat melihat riwayat pesan ketika baru masuk pertama kali ke dalam room sehingga tidak mendapatkan informasi yang sudah diinfokan sebelumnya Dapat melihat riwayat pada pesan dari awal room berlangsung hingga berakhir 5 Pengaturan kontrol penyelenggara tidak dapat diatur secara perorangan hanya dapat mengatur secara keseluruhan Dibuatkan agar dapat mengatur kontrol penyelenggara secara perorangan 6 Ketika sedang melakukan presentasi dan audiens ada yang ingin masuk ke dalam room, dibutuhkan persetujuan terlebih dahulu dan itu sedikit mengganggu proses jalannya belajar
Menambahkan fitur agar audiens dapat masuk ke dalam room tanpa perijinan 7 Fitur nonaktifkan video pada kontrol penyelenggara tidak Sebaiknya fitur  kontrol penyelenggara video tersebut diletakkan
No Permasalahan Rekomendasi Perbaikan terlihat pada saat awal membuka kontrol penyelenggara sehingga pengguna harus scroll terlebih dahulu dibawah fitur kontrol penyelenggara mikrofon dan penjelasan mengenai fitur tersebut dibuat satu saja dan diletakkan di paling bawah. 8 Ketika mengklik tombol “tutup panggilan” akan secara langsung meninggalkan room Dibuat  notifikasi atau peringatan setelah menekan tombol “tutup panggilan” agar tidak langsung keluar dari room. 9 Tidak terdapat card dan perbedaan warna pada pesan sehingga sulit membedakan pesan dari kita dan peserta lain Menambahkan card dengan perbedaan warna pada fitur pesan 10 Tidak terdapat emoticon pada fitur pesan sehingga pesan kurang interaktif Menambahkan emoticon pada fitur pesan 11 Responden mengeluhkan tombol tutup panggilan yang berada ditengah karena jika tidak sengaja mengklik akan secara langsung keluar Ditambahkan notifikasi atau peringatan agar tidak secara langsung keluar atau meletakkan tombol tersebut di bagian bawah sebelah kanan.

## 5. KESIMPULAN DAN SARAN
Hasil  pengujian  yang  dilakukan  menggunakan metode System  Usability  Scale (SUS)  diperoleh  skor sebesar  72,92  yang  menandakan  bahwa  pengguna puas  dengan  aplikasi  Google  Meet.  Nilai  tersebut juga menginterperetasikan bahwa Google Meet dapat diterima oleh pengguna dengan skala penilaian C dan Adjective  Ratings  “Good”.  Hasil  pengujian  yang dilakukan menggunakan metode Cognitive Walkthrough diperoleh penilaian berdasarkan karakteristik learnability atau  tingkat  keberhasilan sebesar  98%  yang  menunjukan  semua  responden dapat  menyelesaikan  skenario  tugas  yang  diberikan dengan baik. Pada penilaian berdasarkan karakteristik error diperoleh  total  kesalahan  yang  dilakukan responden  yaitu  122  kesalahan,  dengan  kesalahan terbanyak  yaitu  pada  skenario  tugas  9  (kontrol penyelenggara)  dengan  96  kesalahan,  dan  skenario tugas  5  (menggunakan  background)  dengan  22 kesalahan.  Pada  penilaian  berdasarkan  karakteristik efficiency yang diperoleh dari waktu yang dibutuhkan responden  untuk  menyelesaikan  skenario  tugas tersebut  yaitu  0,18  task/second,  yang  berarti  rata  - rata  setiap  detik  responden  dapat  menyelesaikan sejumlah  18%  dari  setiap  skenario  tugas  yang diberikan  atau  dalam  kata  lain  setiap  tugas membutuhkan  waktu  rata  –  rata  5,56  detik  untuk menyelesaikannya.  Rekomendasi  yang  diberikan terhadap  Google  Meet  berdasarkan  pengujian Cognitive Walkthrough yang dilakukan yaitu merubah  penggunaan  kata  efek  visual  menjadi background, menambahkan fitur agar dapat mengirimkan  chat  secara  personal,  sebelum  user
mengaktifkan  kamera  seharunya  kamera  tersebut tidak  secara  otomatis  menyala  sehinga  user  dapat mempersiapkan  diri  dan  kamera  terlebih  dahulu, dapat  melihat  riwayat  pada  pesan  dari  awal  room berlangsung  hingga  berakhir,  dibuatkan  agar  dapat mengatur  kontrol  penyelenggara  secara  perorangan, menambahkan  fitur  agar  audiens  dapat  masuk  ke dalam  room  tanpa  perijinan,  sebaiknya  fitur    kontrol penyelenggara  video  tersebut  diletakkan  dibawah fitur  kontrol  penyelenggara  mikrofon  dan  penjelasan mengenai  fitur  tersebut  dibuat  satu  saja  dan diletakkan  di  paling  bawah,  dibuat    notifikasi  atau peringatan setelah menekan tombol “tutup panggilan” agar tidak  langsung  keluar  dari  room,  menambahkan card  dengan  perbedaan  warna  pada  fitur  pesan, menambahkan emoticon pada fitur pesan, ditambahkan  notifikasi  atau  peringatan  agar  tidak secara  langsung  keluar  atau  meletakkan  tombol tersebut  di  bagian bawah sebelah kanan. Saran untuk penelitian  selanjutnya  yaitu  pengujian  dengan menggunakan  metode  lain  selain System  Usability Scale (SUS) dan Cognitive Walkthrough (CW) untuk mengetahui  hasil  yang  diperoleh  dari  metode  lain sehingga  dapat  dijadikan  perbandingan  untuk meningkatkan usability .  Penggunaan  karakteristik penilaian usability selain  yang  digunakan  pada penelitian  ini  yaitu satisfaction,  learnability,  error dan efficiency .

## DAFTAR PUSTAKA
[1]  S.  Aisyah  and  D.  I.  Sari,  “Efektivitas Penggunaan  Platform  Google  Meet  Terhadap Hasil  Belajar  Siswa,” J.  MathEdu  (Mathematic Educ. Journal) , vol. 4, no. 1, pp. 45–49, 2021.
[2]  K.  G.  Tileng,  “Usability  Testing  pada  aplikasi Zoom  dengan  menggunakan  metode  Cognitive Walkthrough,” JATISI (Jurnal  Tek. Inform. dan Sist.  Informasi) ,  vol.  8,  no.  2,  pp.  805–814, 2021, doi: 10.35957/jatisi.v8i2.835.
[3]  S.  Rahayu  and  T.  Pahlevi,  “Pengaruh  Media Pembelajaran  E-learning  dengan  Google  Meet Terhadap  Hasil  Belajar  Siswa,” J.  Penelit.  dan Pengemb.  Pendidik. ,  vol.  5,  no.  1,  pp.  91–99, 2021, [Online]. Available: https://ejournal.undiksha.ac.id/index.php/JJL/in dex.
[4]  A.  Widyastuti,  Isharijadi,  and  J.  Murwani, “EFEKTIVITAS  GOOGLE  MEET  SEBAGAI MEDIA  PEMBELAJARAN  MAHASISWA PENDIDIKAN AKUNTANSI UNIPMA SELAMA  PANDEMI  COVID-19,” FORUM Ilm.  Pendidik.  Akunt. ,  vol.  9,  no.  2,  2021, [Online]. Available: http://prosiding.unipma.ac.id/index.php/FIPA/ar ticle/view/2134.
[5]  A.  Virdauzy,  R.  Akbar,  T.  Lathif,  M.  Suryanto, E. M. Safitri, and A. M. P. Data, “Analisis User Experience  Pengguna  Aplikasi  KAI  ACCESS Menggunakan  Metode  IPA  (  Studi  Kasus : Masyarakat  Surabaya  ),”  vol.  1,  pp.  181–187, 2020.
[6]  N.  Luh  Putri  Ari  Wedayanti,  N.  Kadek  Ayu
Wirdiani, and I. Ketut Adi Purnawan, “Evaluasi Aspek Usability pada Aplikasi Simalu Menggunakan  Metode  Usability  Testing,” J. Ilm.  Merpati  (Menara  Penelit.  Akad.  Teknol. Informasi) ,  vol.  7,  no.  2,  p.  113,  2019,  doi: 10.24843/jim.2019.v07.i02.p03.
[7]  A.  Saputra,  “Penerapan  Usability  pada  Aplikasi PENTAS Dengan Menggunakan Metode System  Usability  Scale  (SUS),” JTIM    J. Teknol.  Inf.  dan  Multimed. ,  vol.  1,  no.  3,  pp. 206–212, 2019, doi: 10.35746/jtim.v1i3.50.
[8]  R. A. Akbar, H. M. Az-Zahra, and K. C. Brata, “Evaluasi  User  Experience  Pada  Game  PUBG MOBILE  Menggunakan  Metode  Cognitive Walkthrough,” J.  Pengemb.  Teknol.  Inf.  dan Ilmu  Komput. ,  vol.  3,  no.  2,  pp.  1660–1668, 2019.
[9]  F.  Purwaningtias  and  U.  Ependi,  “Pengujian Usability Website Pondok Pesantren
Qodratullah  Menggunakan  System  Usability Scale,” J.  Sains  dan  Inform. ,  vol.  6,  no.  1,  pp. 34–43, 2020, doi: 10.34128/jsi.v6i1.220.
[10]  A.  W.  Soejono,  A.  Setyanto,  and  A.  F.  Sofyan, “Evaluasi Usability Website UNRIYO Menggunakan  System  Usability  Scale  (Studi Kasus: Website UNRIYO),” J. Teknol. Inf. , vol. 13, no. 1, pp. 29–37, 2018, doi: https://doi.org/10.35842/jtir.v13i1.213.
[11]  F.  Alexander  and  M.  Bellaniar,  “Evaluasi Usability Pada Desain E - Learning Menggunakan Metode Cognitive Walkthrough,” J.  Sist.  Teknol.  Inf.  Komun. ,  vol.  3,  no.  1,  pp. 31–36, 2021.
[12]  S.  H.  Muniroh,  S.  Rojanah,  and  S.  Raharjo, “Efektivitas  Pembelajaran  Matematika  Melalui Media Google Meet Ditinjau Dari Hasil Belajar
Siswa  Di  Masa  Pandemi  Covid-19,” J.  edukasi dan sains , vol. 2, no. 2, pp. 410–419, 2020.
[13]  B.  Beny,  H.  Yani,  and  G.  M.  Ningrum, “Evaluasi  Usability  Situs  Web  Kemenkumham Kantor Wilayah Jambi dengan Metode Usability Test dan System Usability Scale,” Res.  Comput. Inf. Syst. Technol. Manag. , vol. 2, no. 1, pp. 30– 34, 2019, doi: 10.25273/research.v2i1.4282.
[14]  I.  Salamah,  “Evaluasi  Usability  Website  Polri Dengan Menggunakan System Usability Scale,” J. Nas. Pendidik. Tek. Inform.  JANAPATI , vol. 8,  no.  3,  pp.  176–183,  2019,  [Online]. Available: www.polsri.ac.id.
[15]  L.  Rahmi,  “Evaluasi  Usability  Fitur  Webshare Pada  Aplikasi  Share  It  Menggunakan  Metode Thinking-Aloud,” Ultim.  InfoSys    J.  Ilmu  Sist. Inf. ,  vol.  10,  no.  2,  pp.  111–118,  2020,  doi: 10.31937/si.v10i2.1199.
[16]  A. Subiyakto, N. Shifa, A. Sulhi, R. Kamal, and M.  Q.  Huda,  “Evaluasi  Usabilitas  Sebuah  Situs Web Menggunakan Metode Cognitive Walkthrough,” J. Ilmu-ilmu Inform. dan Manaj. STMIK , vol. 15, no. 1, pp. 99–106, 2021.
[17]  M. A. Arga Kusumah, R. I. Rokhmawati, and F. Amalia,  “Evaluasi  Usability  Pada  Website  E- commerce  XYZ  Dengan  Menggunakan  Metode Cognitive  Walkthrough  dan  System  Usability Scale  (SUS),” Pengemb.  Teknol.  Inf.  dan  Ilmu Komput. , vol. 3, no. 5, pp. 4340–4348, 2019.
[18]  F.  G.  Sembodo,  G.  F.  Fitriana,  and  N.  A. Prasetyo,  “Evaluasi  Usability  Website  Shopee Menggunakan  System  Usability  Scale  (SUS),” J.  Appl.  Informatics  Comput. ,  vol.  5,  no.  2,  pp. 146–150, 2021, [Online]. Available: https://jurnal.polibatam.ac.id/index.php/JAIC/art icle/view/3293.