JUTIM (Jurnal Teknik Informatika Musirawas)
Jane Petra Sirken,  Aditya Galih Sulaksono
Vol. 9, No. 1, Juni 2024

## EVALUASI DAN REKOMENDASI USABILITY APLIKASI CHATTING TELEGRAM MENGGUNAKAN METODE USABILITY TESTING DAN USE QUESTIONNAIRE
Jane Petra Sirken 1 , Aditya Galih Sulaksono 2
1,2 Program Studi Sistem Informasi, Universitas Merdeka Malang
e-mail: 1 20083000089@gmail.com , 2 adit@unmer.ac.id

## Abstrak
Komunikasi  tidak  lagi  hanya  terbatas  pada  pertemuan  fisik,  tetapi  seiring  berkembangnya teknologi  komunikasi  dapat  dilakukan  secara  virtual.  Melalui  aplikasi  chatting  masyarakat  dapat saling  berkirim  pesan  teks,  suara,  gambar  serta  dapat  melakukan  panggilan  telepon  suara  ataupun video.  Telegram  merupakan  aplikasi instant messeger yang  berbasis cloud .  Berdasarkan  hasil identifikasi  permasalan  pada  ulasan  pengguna  aplikasi  chatting  Telegram  memiliki  permasalahan usability .  Sistem  dengan usability yang  rendah  cenderung  mendorong  pengguna  meninggalkan aplikasi.  Tujuan  penelitian  ini  untuk  melakukan  evaluasi  dan  juga  rekomendasi  kepada  aplikasi chatting  Telegram menggunakan metode Usability Testing dan USE Questionnaire sehingga aplikasi dapat mengetahui fitur mana yang memperlukan peningkatan dan membutuhkan perbaikan. Usability testing ialah metode untuk mengukur tingkat keberhasilan dan kemudahan aplikasi serta memberikan solusi  atau  rekomendasi  dalam  bentuk  rancangan prototype ,  dalam  pengumpulan  datanya  perlu melakukan  wawancara  dan  pembagian  kuesioner  kepada  pengguna.  Hasil  dari  penelitian  ini  pada pengujian  awal  mendapatkan  nilai  usability  sebesar  71%  namun  pada  pengujian  akhir  setelah diberikan rekomendasi perbaikan nilai usability mengalami penginkatan sebanyak 21% menjadi 92% dalam parameter penilaian termasuk dalam kategori sangat baik.
Kata kunci —Telegram, Usability , Pengujian Usability

## Abstract
Communication  is  no  longer  limited  to  physical  meetings;  with  the  advancement  of technology, it can now be  conducted virtually. Through the chat application, people can send text, voice and image messages to each other and make voice or video calls. Telegram is a cloud-based instant  messenger  application.  Based  on  the  results  of  problem  identification  in  user  reviews,  the Telegram  chat  application  has  usability  problems.  Systems  with  low  usability  tend  to  encourage users  to  abandon  the application. The  aim  of  this  research  is  to  evaluate  and also  recommend  the Telegram chat application using the Usability Testing and USE Questionnaire methods so that the application can find out which features need improvement and need improvement. Usability testing is a method for measuring the level of success and ease of application as well as providing solutions or recommendations in the form of a prototype design. In collecting data, it is necessary to conduct interviews  and  distribute  questionnaires  to  users.  The  results  of  this  research  in  the  initial  test obtained a usability value of 71%, but in the final test after recommendations for improvement were given  the  usability  value  increased  by  21%  to  92%  in  the  assessment  parameters,  including  in  the very good category.
Keywords —Telegram, Usability, Usability Testing
JUTIM (Jurnal Teknik Informatika Musirawas)
Jane Petra Sirken,  Aditya Galih Sulaksono
Vol. 9, No. 1, Juni 2024

## I. PENDAHULUAN
Perkembangan dalam teknologi informasi dan telekomunikasi telah membawa  pengaruh  terhadap  pola  perilaku di  masyarakat  serta  perubahan  dalam interaksi  sosial[1].  Komunikasi  tidak  lagi hanya  terbatas  pada  pertemuan  fisik,  tetapi seiring berkembangnya teknologi komunikasi dapat dilakukan secara
virtual[2]. Melalui aplikasi chatting masyarakat dapat saling berkirim pesan teks, suara,  gambar  serta  dapat  melakukan panggilan  telepon  suara  ataupun  video[3]. Berdasarkan  penelitian  tentang  penentuan aplikasi chatting terbaik,  Whatsapp  unggul pada  peringkat  pertama,  posisi  kedua  ada Instagram,  setelahnya  disusul  Messeger, berikutnya  Line,  dan  yang  berada  di peringkat  terakhir  adalah  Telegram[3].
Telegram merupakan aplikasi instant messeger yang  berbasis cloud berasal  dari Rusia.
Permasalahan  pada  aplikasi  chatting Telegram  yang  ditemukan  selaras  dengan penelitian  sebelumnya  yang  diteliti  oleh Arisandy  (2022)  tentang  perbandingan WhatsApp dan Telegram terdapat perbedaan user  experiece yang  signifikan  terutama pada  faktor intuitive  use,  dependability ,  dan efficiency [4].  Serta  berdasarkan  hasil identifikasi  pada  ulasan  pengguna  dengan bintang  1  dan  2  ditemukan  beberapa permasalahan  seperti  mengenai  tampilan login  dimana  pengguna  kesulitan  untuk melakukan login, kesulitan dalam membedakan  pesan  yang  sudah  dibaca  dan sudah  terkirim  karena  memiliki  ikon  yang sama, dan penempatan kumpulan story serta postingan  pengguna  yang  tidak  efisien. Berdasarkan  pemasalahan  diatas  aplikasi chatting Telegram  yang  memiliki  kaitan dengan  permasalahan usability .  Sistem dengan usability yang  rendah  cenderung mendorong pengguna meninggalkan aplikasi[5]. Dengan  demikian, usability tentu
menjadi  aspek  penting  pada  suatu  aplikasi. Riyadi  (2019)  mendefinisikan  usability merupakan  hasil  analisis  kualitatif  yang ditentukan  dengan  kemudahan  pangguna dalam menggunakan aplikasi, sebuah aplikasi  untuk  dapat  dianggap usable apabila dapat berjalan secara efisien, efektif, dan  memuaskan  penggunanya[6].  .  Oleh karenanya  penting  untuk  sebuah  aplikasi fokus  pada  salah  satu  aspek  penting  yaitu usability .  Tingkat  atau  nilai usability pada aplikasi  memungkinkan  untuk  dijadikan patokan seberapa berfungsi dan bermanfaatnya suatu aplikasi saat digunakan.  Semakin  baik  nilai  usability yang  didapatkan  maka  akan  bertambah banyak pengguna yang memilih bertahan[7].
Adapun  penelitian  sebelumnya  yang mengevaluasi  dan  memberi  rekomendasi perbaikan  pada  aplikasi  Maxim  dengan adanya  perbaikan  nilai  akhir  usability aplikasi  mengalami  peningkatan  yang signifikan  dan  masuk  dalam  kategori predikat penilaian sangat baik [7].
Penelitian  lainnya  dilakukan  pada  aplikasi Ojesy  dengan  tujuan  melakukan  evaluasi dengan mengidentifikasi permasalahan
usability setelah  diberikan  perbaikan  nilai usability aplikasi juga mengalami peningkatan  yang  cukup  signifikan  [5].
Dengan  berarti,  penting  untuk  melakukan pengujian usability dan memberika rekomendasi berdasarkan dari saran partisipan. Penelitian  ini  memiliki  tujuan  utama untuk melakukan evaluasi dan juga rekomendasi kepada aplikasi chatting
Telegram  menggunakan  metode Usability Testing dan USE  Questionnaire sehingga aplikasi  dapat  mengetahui  fitur  mana  yang memperlukan peningkatan dan membutuhkan perbaikan agar aplikasi mampu bersaing dengan aplikasi kompetitor chatting yang  sejenis  dan  semakin  baik  lagi dalam memenuhi kebutuhan pengguna.
JUTIM (Jurnal Teknik Informatika Musirawas)
Vol. 9, No. 1, Juni 2024

## II. TINJAUAN PUSTAKA
2.1 Telegram
Telegram  ialah  perangkat  lunak  yang digunakan  untuk  saling  bertukar  pesan dengan basis cloud yang menjamin keamanan  dan  kecepatan[8].  Pada  aplikasi ini  semua  konten  yang  dikirim  akan terenkripsi  mengikuti  standar  internasional, sehingga semua pesan dan konten yang telah dibagikan terjamin aman dari pihak Telegram  sekalipun.  Tidak  sekadar  dapat berikirim  video  dan  foto  juga  dapat digunakan  untuk  saling  berkirim  file,  folder zip, musik, kontak dan lokasi[9].
2.2 Usability Sesuai  dengan  isi International Standar Organization (ISO) 9241-210, usability merupakan standar untuk mengukur sejauh  mana  suatu  produk  dalam  konteks tertentu  telah  mencapai  aspek  efektivitas, efisiensi, dan kepuasan menurut
penggunanya[5].  Berdasarkan  ISO  9421-11 hanya tiga komponen dalam standar usability yang  baik.  Jadi,  dalam  penelitian  ini  akan menggunakan  standar usability dengan  3
(tiga) komponen, yaitu Efektivitas
( Effectiveness )  adalah  tingkat  akurasi  sistem dalam  mencapai  suatu  tujuan  yang  diukur dengan  menghitung  jumlah  kesalahan  yang dilakukan  pengguna.  Efisiensi  ( Efficiency ) diukur  dengan  menghitung  lama  atau  cepat, waktu  yang  dibutuhkan  pengguna  saat menggunakan aplikasi untuk dapat mencapai tujuannya.  Terakhir,  Kepuasan  ( Satisfaction ) adalah  tingat  ukuran  kenyamanan  yang dirasakan  pengguna  saat  memanfaatkan sebuah sistem.
2.3 Usability Testing
Gambar 1. Tahapan Usability Testing
Pengujian usability adalah  metode evaluasi  untuk  sebuah  sistem,  metodenya
diujikan langsung oleh perwakilan pengguna[5]. Dibutuhkannya usability testing  dengan  tujuan  untuk  melakukan identifikasi  masalah  usability  dengan  cara melakukan pengumpulan data dengan tujuan mengukur tingkat kepuasan selama pengguna  menggunakan  aplikasi.  Usability testing ialah metode untuk mengukur tingkat keberhasilan  dan  kemudahan  aplikasi  serta memberikan  solusi  atau  rekomendasi  dalam bentuk rancangan prototype , dalam pengumpulan  datanya  perlu  melakukan wawancara dan pembagian kuesioner kepada  pengguna.  Adapun  tahapan  pada Gambar  2.1  diawali  dengan  menentukan tujuan, memilih metode yang ingin
digunakan, penyusunan tugas serta pertanyaan,  penentuan  partisipan,  persiapan alat  pengukuran,  merencanakan  jalannya pengujian  dan  terakhir  setelah  selesai dilakukan  analisis  dan  perbaikan  jika dibutuhkan[10].

## 2.4 USE Questionnaire
Parameter USE Questionnaire adalah parameter pertanyaan dalam
kuesioner  yang  disusun  dan  dikembangkan oleh  Arnold  Lund  sebagai  metode  dalam pengukuran usability suatu  produk,  sistem atau  layanan.  Jumlah  pertanyaan  pada kuesioner USE  Questionnaire ialah  30 pernyataan  dan  dikategorikan  dalam  4 dimensi,  terdapat  8  pernyataan  untuk dimensi usefulness (Kegunaan),
11
pernyataan  pada  dimensi ease  of  use (Kemudahan  penggunaan),  4  pernyataan untuk dimensi ease of learning (kemudahan dipelajari)  dan  terakhir  7  pernyataan  pada dimensi satisfaction (kepuasan) [5].
JUTIM (Jurnal Teknik Informatika Musirawas)
Jane Petra Sirken,  Aditya Galih Sulaksono
Vol. 9, No. 1, Juni 2024

## III. METODOLOGI PENELITIAN
Gambar 2. Alur Penelitian
Pendekatan  yang  digunakan  pada penelitian  ini  adalah  metode  kombinasi (mixed  methods) dengan  menyatukan  dua metode  kuantitatif  dan  kualitatif  untuk mendapatkan  data  yang  lebih  valid,  reliabel dan komprehensif. Penelitian diawali dengan melakukan  studi  literatur  yang  berkaitan dengan  penelitian  ini,  tahap  selanjutnya melakukan  pengujian  awal  setelah  itu menganalisis  hasil  yang  didapatkan  yang akan  digunakan  sebagai  acuan  perbaikan dalam  bentuk  rancangan prototype  high- fidelity ,  sesudah  perbaikan  dibuat  akan dilakukan  pengujian  kembali  dengan  tujuan membandingkan  hasil  pengujian  sebelum dan  sesudah  perbaikan,  tahap  terakhir dilakukan penarikan kesimpulan dan
pemberian saran.

## 3.1 Subjek Penelitian
Dalam  menentukan  jumlah  sampel berdasarkan  penelitian  ― How  to  Specify  the Participant Group Size for Usability Studies: A  Practitioner’s  Guide ‖  dapat  terlihat  pada Gambar 3.2 dibawah.
Gambar 3. Kurva Jumlah Partisipan
Berdasarkan  Gambar  3.2  di  atas, dalam  pengujian usability dengan  tujuan untuk  mengetahui  permasalahan usability yang  bersifat  subjektif  diperlukan  3-20 partisipan  dengan  jumlah  optimal  5-10. Melainkan  untuk  tujuan  komparasi  yang bersifat objektif membutuhkan 8-25 partisipan dengan jumlah optimal 10-12[11]. Pemilihan  sampel  memakai  teknik sampling puposive sample dengan menargetkan  partisipan  dengan  karaterisitik tertentu. Dalam penelitian mengenai
evaluasi usability pengguna  dikelompokan ke  dalam  3  kelompok  usia,  dengan  masing- masing  3  orang  jadi  jumlah  subjek  9 partisipan[5].
Tabel 1. Kelompok Usia Sampel
Kelompok Usia Jumlah Partisipan Teens (12-17 tahun) 3 College Students (18-22 tahun) 3 Adults (23-26 tahun) 3
Selain  dibagi  dalam  kelompok  usia, agar  kriteria  partisipan  lebih  spesifik,  maka dalam  pemilihan  partisipan  akan  diambil berdasarkan  3  kelompok  pengguna,  yaitu pengguna  aktif,  pengguna  terampil,  dan pengguna awam[10].

## 3.2 Pengumpulan Data
Pengumpulan  data  merupakan  tahap penelitian  dimana  peneliti  menerapkan beberapa  teknik  untuk  mendapatkan  data yang  diperlukan[12].  Untuk  penelitian usability,  peneliti  menggunakan  teknik observasi  dengan  melakukan  pengamatan disertai  pencatatan  perilaku  dari  objek sasaran, selama peneliti mengamati
JUTIM (Jurnal Teknik Informatika Musirawas)
Vol. 9, No. 1, Juni 2024
partisipan  akan  mengerjakan  tugas  yang diberikan  berupa task  scenario untuk mengukur  tingkat  keberhasilan  dan  tingkat kecepatan  partisipan  dalam  menyelesaikan tugas.
Tabel 1. Task Scenario No Tugas 1. Masuk pada aplikasi chatting Telegram, lalu logout dan
melakukan login kembali.
2. Menambahkan story dan
postingan pada profil
3. Melakukan pengiriman pesan teks dari kontak
4. Melakukan pencarian grup belajar bahasa Jepang Selanjutnya  ada  teknik  pengupulan data dengan penyebaran kuesioner pernyataan  menggunakan  parameter  dari USE Questionnaire. Setelah semua rangkaian usability testing, terakhir partisipan akan diwawancarai untuk
mendapatkan  masalah  yang  lebih  mendetail sebagai  bahan  pertimbangan  bagi  peneliti dalam  memberikan  rekomendasi  perbaikan kepada aplikasi chatting Telegram[7].

## 3.3 Analisis Data
Analisis  data  bagian  dari  rangkaian metode penataan serta penyusunan data yang didapatkan dengan sistematis[12]. Penyajian data  pada  penelitian  ini dibuat  dalam bentuk tampilan grafik dan tabel. Dalam usability testing waktu merupakan
elemen penting dalam pengukuran
tingkat efisiensi suatu sistem.
∑ ∑
Selain  waktu,  tingkat  keberhasilan merupakan  parameter  bahwa  memiliki sistem yang efektif.
Untuk  perhitungan  hasil  kuesioner perparamater  dari USE  Questionnaire dan mendapatkan nilai usability.
Parameter  untuk  mengetahui  suatu sistem  memiliki  nilai usability yang  baik atau  buruk  dapat  menggunakan  predikat penilaian[7]. Tabel 3. Predikat Penilaian Nilai Keterangan 0% - 20% Sangat Buruk 21% - 40% Buruk 41% - 60% Cukup 61% - 80% Baik 81% - 100% Sangat Baik IV. HASIL DAN PEMBAHASAN
4.1. Pengujian Awal

## 4.1.1. Time Based Efficiency
Perhitungan  waktu  dibutuhkan  dalam pengukuran  tingkat  kecepatan  partisipan selama mengerjakan tugas.
Tabel 4. Hasil Waktu Pengujian Awal Kode T1 T2 T3 T4 P1 73 81 9 12 P2 92 75 10 11 P3 84 117 10 14 P4 50 69 13 9 P5 116 78 9 11 P6 74 92 14 14 P7 32 108 12 19 P8 103 84 14 15 P9 120 109 22 30 Hasil efficiency pada  pengujian  awal
sebesar 0,039 goals/sec.

## 4.1.2. Success Rate
Berdasarkan  hasil  pengujian  peneliti menetukan success , partial  success,  failed saat  partisipan  mengerjakan task  scenario yang  diberikan,  ditentukan  dengan  melihat alur  proses  pengerjaan  tugas  dari  partisipan telah sesuai dengan tahapan  alur yang benar atau tidak.
JUTIM (Jurnal Teknik Informatika Musirawas)
Jane Petra Sirken,  Aditya Galih Sulaksono
Vol. 9, No. 1, Juni 2024
Tabel 5. Hasil Success Rate Pengujian Awal Kode T1 T2 T3 T4 P1 P P S S P2 P P S S P3 P P S S P4 S S S S P5 P S S S P6 P P P S P7 S P S S P8 P S S S P9 P P P S Dapat  dilihat  pada  Tabel  4.10  diatas, hasil dari masing-masing tugas bisa dikatakan  cukup  baik  dengan  nilai  pada pengujian awal sebanyak 79%, namun masih didapati  beberapa  partisipan  merasa  sedikit kebingungan  sehingga  mendapatkan  hasil
partial success , sehingga masih
membutuhkan peningkatan dan perbaikan.

## 4.1.3. Kuesioner USE
Pada  instrumen  kuesioner  terdapat  4 parameter  yaitu Usefulness,  Ease  of  Use, Ease of Learning, dan Satisfaction .
Gambar 3. Rata-Rata Hasil Perparameter
Untuk  mendapatkan  nilai usability diperlukan  perhitungan  terhadap  seluruh hasil parameter. Berikut perhitungannya.
Hasil  = (Parameter kuesioner USE) / 4
= (67 + 73 + 77 +  70) / 4
= 71%
Berdasarkan  predikat  penilaian,  hasil usability  pengujian  awal  termasuk  dalam kategori  baik  dengan  nilai  71%.  Namun,
tentunya  masih  membutuhkan  peningkatan dan membutuhkan perbaikan.
a. Parameter Usefulness
Pada  parameter  ini  terdiri  dari  8 (delapan) pernyataan yang berhubungan  dengan  kebergunaan atau  manfaat  dari  aplikasi  chatting
Telegram.  Terdapat  3  kelompok  usia yang  terdiri  dari  3  orang  pada masing-masing kelompok. Perhitungan dilakukan dengan menghitung  nilai  rata  rata  dari  setiap kelompok pengguna. Gambar 4. Hasil Usefulness Hasil perhitungan rata-rata dari parameter  Kegunaan  (Usefulness) adalah  4,6  termasuk  dalam  kategori cukup.  Ditemukan  nilai  pernyataan terendah  dari  3  tingkatan  ialah  U6
―Aplikasi Telegram menghemat waktu  saya  dalam  berkomunikasi‖, yang  berarti  beberapa  fitur  dari Telegram masih belum efisien sehingga  membutuhkan  waktu  yang cukup  lama.  Dan  ditemukan  bahwa nilai  pernyataan  tertinggi  adalah nomor  U5  ―Aplikasi  Telegram membuat  saya  lebih  mudah  dalam menyelesaikan  hal-hal  yang  ingin saya  lakukan‖  yang  berarti  Telegram sudah bisa dikatakan cukup bermanfaat  bagi  pengguna  tetapi masih  belum  efisien  sehingga  nilai usability Usefulness (Kegunaan)
mendapatkan nilai cukup dan
membutuhkan peningkatan.
b. Parameter Ease of Use
Pada  parameter  ini  terdiri  dari  4
(empat) pernyataan yang berhubungan
67 73 77 70 0 20 40 60 80 100 Nilai Usability Pengujian Awal Ease of Use  Ease of Learning Usefulness Satisfaction 1 3 5 7 U1 U2 U3 U4 U5 U6 U7 U8 Sk al a Li ker t Pernyataan Rata-Rata Usefulness Teens College Adults
JUTIM (Jurnal Teknik Informatika Musirawas)
Vol. 9, No. 1, Juni 2024
dengan kemudahan untuk mempelajari aplikasi chatting Telegram.
Gambar 5. Hasil Ease of Use
Hasil  perhitungan  rata  rata  untuk parameter  Kemudahan  Penggunaan
(Ease  of  Use)  adalah  5,1  dapat dikatakan  termasuk  dalam  kategori cukup baik. Berdasarkan hasil perhitungan  ditemukan  bahwa  hasil pernyataan terbawah ialah nomor EU8 ―Aplikasi  Telegram  selalu  konsisten‖ yang berarti dari segi tampilan aplikasi belum  konsisten  sehingga  cukup membingungkan pengguna. Selanjutnya, ditemukan nilai
pernyataan  tertinggi  ada  pada  nomor EU7 ―Saya bisa menggunakan aplikasi Telegram tanpa instruksi tertulis‖ yang berarti  aplikasi  sudah  cukup  mudah untuk  digunakan  pengguna  tetapi dikarenakan  tampilannya  yg  belum cukup konsisten sehingga tetap membutuhkan perbaikan lagi.
c. Parameter Ease of Learning
Pada  parameter  ini  terdiri  dari  4 (empat)  pernyataan  yang  berhubungan dengan kemudahan untuk mempelajari aplikasi chatting Telegram.
Gambar 6. Hasil Ease of Learning
Hasil  dari  perhitungan  rata  rata parameter Ease of Learning mendapatkan  nilai  sebesar  5,3  masuk dalam kategori cukup baik.
Ditemukan  bahwa  nilai  pernyataan terendah  adalah  nomor  EL4  ―Saya cepat  mahir  menggunakan  aplikasi Telegram‖  yang  berarti  pengguna masih  belum  cepat  pandai  dalam menggunakan  aplikasi.  Ditemukan juga  nilai  pernyataan  tertinggi  ialah nomor  EL2  ―Saya  dapat  mengingat cara  menggunakan  aplikasi  Telegram dengan  mudah‖  yang  berarti  aplikasi mudah  untuk  diingat  oleh  pengguna tetapi  pengguna  masih  belum  cepat untuk mahir menggunakan aplikasi.

## d. Parameter Satisfaction
Dalam  parameter  ini  terdiri  dari  7 (tujuh)  pernyataan  yang  berhubungan dengan  kepuasan  yang  dirasakan pengguna dari aplikasi chatting Telegram.
Gambar 7. Hasil Satisfaction
Hasil  perhitungan  rata-rata  untuk parameter  Satisfaction  adalah  4,9 dapat  dikatakan  masuk  ke  dalam kategori  cukup.  Berdasarkan  hasil perhitungan  ditemukan  bahwa  nilai pernyataan  terendah  ialah  nomor  S1 ―Saya puas dengan aplikasi Telegram‖  yang  berarti  pengguna belum  merasa  puas  dengan  aplikasi,
ditemukan  nilai  pernyataan  tertinggi ada pada nomor S7 ―Aplikasi
Telegram  nyaman  untuk  digunakan‖
yang berarti pengguna merasa nyaman dengan menggunakan aplikasi  tetapi  masih  belum  merasa puas.
4.2. Masalah yang ditemukan
Pada  pengujian  usability  peneliti mewawancarai partisipan dengan
1 3 5 7 EU1 EU2 EU3 EU4 EU5 EU6 EU7 EU8 EU9 EU10 EU11 Sk al a Li ker t Pernyataan Rata-Rata Ease of Use Teens College Adults 1 3 5 7 EL1 EL2 EL3 EL4 SK al a Li ker t Pernyataan Rata-Rata Ease of Learning Teens College Adults 1 3 5 7 S1 S2 S3 S4 S5 S6 S7 Sk al a Li ker t Pernyataan Rata-Rata Satisfaction Teens College Adults
JUTIM (Jurnal Teknik Informatika Musirawas)
Vol. 9, No. 1, Juni 2024
mengajukan  sejumlah  pertanyaan  kepada partisipan yang berhubungan dengan usability  dan  tampilan  aplikasi  chatting Telegram. Tujuan dibutuhkannya wawancara adalah  untuk  menemukan  permasalahan lebih  detail  dan  tidak  rancu  serta  saran  apa yang diharapkan dari partisipan.
Tabel 6. Temuan Masalah
Kode Masalah M1 Navigasi antar halaman kurang efisien M2 Sering  tiba  tiba  tergabung dalam grup yang tidak diinginkan M3 Kendala saat login untuk masuk aplikasi M4 Tata  letak  tombol  logout  yang membingungkan M5 Ikon  pesan  terbaca  dan  pesan terkirim sama sehingga membingunkan M6 Tata  letak story yang  tidak
efisien M7 Saat mengklik kontak langsung masuk ke chat room 4.3. Perbaikan Rancangan hasil rekomendasi perbaikan  pada  aplikasi  chatting  Telegram disesuaikan  dengan  temuan  masalah  dari pengujian awal. Setelah itu, akan dilakukan perbaikan  dalam  bentuk prototype sesuai dengan  saran  dan  harapan  dari  partisipan. Prototype akan  mengikuti  pedoman  dari google material design 3.
Gambar 8. Rekomendasi perbaikan untuk masalah M1
Gambar 9. Rekomendasi perbaikan untuk masalah M2
Gambar 10. Rekomendasi perbaikan untuk
masalah M3
JUTIM (Jurnal Teknik Informatika Musirawas)
Vol. 9, No. 1, Juni 2024
Gambar 11. Rekomendasi perbaikan untuk
masalah M4
Gambar 12. Rekomendasi perbaikan untuk masalah M5
Gambar 13. Rekomendasi perbaikan untuk
masalah M6
Gambar 14. Rekomendasi perbaikan untuk
masalah M7 4.4. Pengujian Akhir Setelah  hasil  rekomendasi  perbaikan dilakukan, tahap selanjutnya ialah melakukan  pengujian  ulang  terhadap  hasil perbaikan  untuk  mengukur  apakah  telah sesuai  dengan  kebutuhan  pengguna  dan pengguna merasa dimudahkan. Hasil pengujian  dapat  dilihat  dari  ada  atau tidaknya  peningkatan  pada  nilai usability awal  dan  akhir.  Berikut  hasil  pengujian akhir Time Based Efficiency .
Tabel 7. Hasil Waktu Pengujian Akhir Kode T1 T2 T3 T4 P1 56 65 10 10 P2 73 59 9 11 P3 65 67 10 15 P4 40 52 11 9 P5 62 58 11 9 P6 72 70 12 11 P7 29 66 9 12 P8 58 59 12 13 P9 78 77 16 21 Hasil time  based  efficiency pada pengujian  akhir  ini  mengalami  peningkatan sebanyak 0,053 goals/sec.
Berikut  Tabel  8  hasil  dari  pengujian akhir Success Rate .
JUTIM (Jurnal Teknik Informatika Musirawas)
Jane Petra Sirken,  Aditya Galih Sulaksono
Vol. 9, No. 1, Juni 2024
Tabel 8. Hasil Success Rate Pengujian Akhir Success Rate T1 T2 T3 T4 Total 22% 25%  25%  25% 97%
Hasil  dari  tingkat  keberhasilan  pada pengujian  akhir  mengalami  peningkatan yang sangat baik dengan hasil 97%.
Setelah melakukan pengujian efektivitas dan efisiensi, berikutnya pengujian kepuasan dilakukan dengan pembagian kembali kuesioner untuk
partisipan  mengisi  kembali  berdasarkan dengan hasil perbaikan yang telah dirancang.
Gambar 15. Hasil Usability Pengujian Akhir
Untuk  mendapatkan  nilai usability diperlukan  perhitungan  terhadap  seluruh hasil parameter. Berikut perhitungannya.
Hasil   = (Parameter kuesioner USE) / 4
= (92 + 92 + 94 +  93) / 4 = 92% Berdasarkan hasil
perhitungan pengujian  akhir  yang  telah  menggunakan rekomendasi  perbaikan  yang  dirancang  oleh peneliti  menggunakan  pedoman  yang  ada mendapatkan  hasil  nilai  rata  rata  usability yaitu  92%  berdasarkan  predikat  penilaian termasuk dalam kategori sangat baik.
4.5. Analisa Hasil Perbandingan
Adapun  perbedaan  hasil  pengujian usability dengan menggunakan USE
Questionnaire  yang  telah  dilakukan,  pada Gambar  4.14  dapat  terlihat  jelas  grafik perbandingan  yang  diperoleh  dari  hasil usability pada  pengujian  awal  dan  pengujian akhir yang mengalami peningkatan.
Gambar 4.1 Hasil Perbandingan Usability
Tabel 9. Hasil Perbandingan Perparameter Parameter Rata-Rata Usability Awal Akhir  Kenaikan Usefulness 67% 92% 25% Ease of Use 73% 92% 19% Ease of Learning 77% 94% 17% Satisfaction 70% 93% 23%
Pada  Tabel  4.6  terlihat  bahwa  nilai rata-rata mengalami peningkatan dari setiap parameter USE Questionnaire setelah
adanya rekomendasi perbaikan. Pada
parameter usefulness meningkat  sebanyak 25%  dari  pengujian  awal  67%  menjadi 92%.  Selanjutnya,  parameter ease  of  use mengalami  peningkatan  sebesar  19%  dari pengujian  awal  hanya  73%  menjadi  92%. Berikutnya  parameter ease  of  learning mendapat  peningkatan  sebesar  17%  dengan nilai  pengujian  awal  77%  menjadi  94%. Terakhir pada parameter satisfaction mendapatkan peningkatan sebesar 23% dari nilai pengujian awal 70% menjadi 93%.
Tabel 10. Hasil Usability
Parameter Rata-Rata Usability Awal Akhir  Kenaikan Efisiensi 0,039 goals/ sec 0,053 goals/s ec 0,014 goals/sec Efektivitas 79% 97% 18% Usability 71% 92% 21% 92 92 94 93 0 20 40 60 80 100 Nilai Usability Pengujian Akhir Ease of Use  Ease of Learning Usefulness Satisfaction 67 73 77 70 92 92 94 93 Usefulness Ease of use Ease of learning
Satisfaction Grafik Perbedaan Hasil Usability Pengujian Awal Pengujian Akhir
JUTIM (Jurnal Teknik Informatika Musirawas)
Vol. 9, No. 1, Juni 2024
Berdasarkan Tabel 4.7 diatas, terdapat  peningkatan  pada  nilai usability yang diperoleh setelah dilakukan perancangan rekomendasi perbaikan,
sehingga  partisipan  merasakan  kemudahan setelah  menggunakan  aplikasi  kembali untuk tujuan pengujian.

## V. KESIMPULAN
1. Hasil  pengujian  awal  menunjukan bahwa  aplikasi  chatting  Telegram memiliki tingkat success rate sebanyak 79% dengan rata rata waktu pengerjaan yang dibutuhkan partisipan untuk menyelesaikan semua tugas adalah 0,039 goals/sec.
2. Pada  pengujian  awal  nilai  usability aplikasi  chatting  Telegram  sebesar 71% yang masuk dalam kategori baik, dengan  nilai  parameter Usefulness mendapatkan  hasil  67%,  parameter
Ease of  Use mendapatkan hasil 73%, parameter Ease of Learning mendapatkan hasil 77%, dan parameter Satisfaction mendapatkan hasil 70%.
3. Ditemukan ada 7 permasalahan utama
yang dirasakan langsung oleh partisipan yaitu navigasi antar halaman yang kurang efisien, seringnya  tiba  tiba  tergabung  ke dalam  grup  yang  tidak  diinginkan, mengalami  kendala  saat  login,  tata letak
tombol logout
yang
membingungkan,  ikon  pesan  terbaca dan  pesan  terkirim  yang  sama sehingga  membingungkan,  tata  letak story  yang  tidak  efisien,  dan  saat partisipan  ingin  melihat  profil  dari kontak malah langsung masuk ke chat room. Permasalahan-permasalahan
yang ditemukan akan dilakukan perbaikan dengan mengikuti pedoman dari material design 3. 4. Setelah diberikan rekomendasi perbaikan  tingkat success  rate pada
aplikasi
chatting
Telegram
mengalami  peningkatan  sebesar  18% menjadi  97%  dengan  rata  rata  waktu pengerjaan  yang  dibutuhkan  menjadi lebih  cepat  0,053  goals/sec.  Hasil  ini menunjukan bahwa adanya peningkatan  efektifitas  dan  efisiensi dari aplikasi chatting Telegram setelah diberikan rekomendasi perbaikan. 5. Nilai  akhir usability aplikasi chatting Telegram setelah dilakukan perbaikan mengalami  kenaikan  sebesar  21% meningkat  menjadi  92%  yang  masuk dalam  kategori  sangat  baik.  Nilai perparameter mengalami peningkatan dari  parameter Usefulness sebesar 92%  dengan  peningkatan  sebanyak 25%,  parameter Ease  of  Use sebesar 92%  dengan  peningkatan  sebanyak 19%, Ease  of  Learning sebesar  94% dengan  peningkatan  sebanyak  17% dan Satisfaction sebesar  93%  dengan peningkatan sebanyak 23%.

## VI. SARAN
Diperlukan penambahan jumlah partisipan  yang  terlibat  pada  setiap kelompok pengguna. Perlu adanya penelitian  dengan  menggunakan  metode heuristic evaluation yang melibatkan pihak expert dalam  perancangan  perbaikan.
Dapat  melakukan  penelitian usability dengan  menggunakan  metode  kuesioner selain USE Questionnaire
untuk membandingkan  hasil  jika  menggunakan metode yang berbeda.

## VII. DAFTAR PUSTAKA
[1] R.  Santoso,  H.  A.  Munawi,  and  D. Sukmawati,  ―Perkembangan  teknologi informasi  dan  telekomunikasi  terhadap perubahan  perilaku  masyarakat,‖  in Prosiding 1st Corcys 2019, Conference on  Research  &  Community  Services , P3M STKIP PGRI Jombang, 2019, pp. 586–592.
JUTIM (Jurnal Teknik Informatika Musirawas)
Vol. 9, No. 1, Juni 2024
[2] N.  S.  Lubis  and  M.  I.  P. Nasution, ―Perkembangan Teknologi Informasi Dan Dampaknya  Pada  Masyarakat,‖ Kohesi: Jurnal Sains dan Teknologi ,  vol.  1,  no.  12,  pp. 41–50, 2023. [3] I.  R.  Rahadjeng,  M.  N.  H. Siregar,  and  A.  P.  Windarto, ―Pemanfaatan  Sistem  Keputusan Dalam  Mengevaluasi  Penentuan Aplikasi Chatting Terbaik Dengan  Multi  Factor  Evaluation Process,‖ Jurnal Media Informatika  Budidarma ,  vol.  6, no. 2, pp. 1258–1262, 2022. [4] D. Arisandy, J. E. Shinta,  and C. Kalyana, ―Pengukuran dan Evaluasi  Pengalaman  Pengguna Aplikasi WhatsApp dan Telegram  dengan  Metode  UEQ+ pada Mahasiswa Universitas Mikroskil,‖ Jurnal SIFO Mikroskil ,  vol.  23,  no.  2,  pp. 135–146, 2022.
[5] S.  W.  Ningrum,  I.  Akrunanda, and A. R. Perdanakusuma, ―Evaluasi dan Perbaikan Usability  Aplikasi  Mobile  Ojesy Menggunakan  Metode  Usability Testing dan Use Questionnaire.… Teknologi Informasi  dan  Ilmu  Komputer,  3 (5), 4825–4834.‖ 2019. [6] N. R. Riyadi, ―Pengujian Usability  Untuk  Meningkatkan Antarmuka Aplikasi Mobile myUMM  Students,‖ Sist.  J.  Sist.
Inf ,  vol.  8,  no.  1,  pp.  226–232,
2019.
[7] M. R. Ginanjar, A. Prehanto, and
...,  ―Evaluasi  dan  Rekomendasi Usability  Pada  Fitur  Pemesanan Bike  di  Aplikasi  Mobile  Maxim Dengan Metode Usability Testing  dan  Use  Questionnaire,‖ Madani: Jurnal … , 2023, [Online].
Available:
https://jurnal.penerbitdaarulhuda. my.id/index.php/MAJIM/article/ view/635 [8] J.  Fahana,  R.  Umar,  and  F. Ridho,  ―Pemanfaatan  Telegram Sebagai Notifikasi Serangan untuk Keperluan Forensik Jaringan,‖ Query:  Journal  of Information  Systems ,  vol.  1,  no. 2, 2017. [9] F.  Fitriansyah,  ―Penggunaan Telegram Sebagai Media Komunikasi Dalam Pembelajaran Online,‖ Cakrawala-Jurnal  Humaniora , vol.  20,  no.  2,  pp.  111–117, 2020. [10] N. Huda, ―Implementasi Metode Usability Testing Dengan System  Usability  Scale  Dalam Penilaian  Website  Rs  Siloam Palembang,‖ Implementasi metode  usability  testing  dengan system  usability  scale  dalam penilaian  website  rs  siloam palembang , 2022. [11] M.  D.  Fahmi,  H.  M.  Az-Zahra, and  R.  K.  Dewi,  ―Perbaikan Usability  Aplikasi  Pemesanan Tiket  Bioskop  Menggunakan Metode  Usability  Testing  dan USE  Questionnaire,‖ Jurnal Pengembangan Teknologi Informasi  dan  Ilmu  Komputer , vol.  2,  no.  12,  pp.  6653–6660, 2018. [12] Sugiyono,  ―Metode  Penelitian Kuantitatif Kualitatif dan R&D,‖ Bandung: Alfabeta , 2019.