JURNAL ILMU KOMPUTER (JUIK) - V OL . 3 N O . 2 (2023) O KTOBER 2023

## ANALISIS USABILITY MODEL ISO 9241-11 PADA SISTEM INFORMASI KULIAH KERJA DAKWAH
Abdul Rahman Deluma a , Rubiyanto Maku b , Syahrial Syahrial c
ab Sistem Informasi, Universitas Muhammadiyah Gorontalo, Jl. Prof. Dr. Mansoer Pateda, Kab. Gorontalo, Indonesia
c Ilmu Komputer, Universitas Muhammadiyah Gorontalo, Jl. Prof. Dr. Mansoer Pateda, Kab. Gorontalo, Indonesia

## ABSTRAK
Penelitian  ini dilakukan untuk  mengevaluasi  website SIKKD UMGO dengan  menyoroti tiga konsep usability model  ISO 9241-11 yaitu  efektivitas,  efisiensi,  dan  kepuasan  pengguna  dalam  menggunakan  website  SIKKD  diukur  menggunakan metode Usability  Testing:  Performance  Measurement,  Retrospective  Think  Aloud  (RTA),  dan  System  Usability  Scale (SUS). Tujuannya  ialah  untuk  mengetahui  hasil  usability  testing  dan  rekomendasi  perbaikan  pada  website  SIKKD berdasarkan hasil usability testing. Hasil penelitian  ini  berdasarkan analisis dari perhitungan usability  metrics, dan rumus SUS menunjukkan bahwa pada aspek effectiveness dan efficiency sudah dinyatakan baik yaitu dengan presentase 98% dan 95%. Selain itu pada aspek satisfaction berdasarkan kuesioner SUS masih berada di bawah standar dengan nilai presentase 59%. Hasil SUS ini didukung oleh hasil kuesioner RTA, dimana masih terdapat beberapa keluhan dan saran dari responden pada  website  SIKKD.  Berdasarkan  hasil  kuesioner  SUS  dan  RTA  maka  dibuat  rekomendasi  perbaikan  berupa  prototype pada halaman login, resume, formulir, upload berkas dan pengaturan akun dengan mengikuti aturan The 4 Golden Rules of User Interface Design.
Keywords:  usability  testing,  ISO  9241-11,  performance  measurement,  retrospective  think  aloud,  system  usability  scale, SIKKD UMGO

## ABSTRACT
This research was conducted to evaluate the SIKKD UMGO website by highlighting the three usability concepts of the ISO 9241-11  model,  namely  effectiveness,  efficiency,  and  user  satisfaction  in  using  the  SIKKD  website,  measured  using  the Usability  Testing  methods:  Performance  Measurement,  Retrospective  Think  Aloud  (RTA),  and  System  Usability  Scale techniques.  The  aim  is  to  find  out the  results  of  usability  testing  and  recommendations  for  improvements  to the  SIKKD website  based  on  the  results  of  usability  testing.  The  results  of  this  study  are  based  on  an  analysis  of  the  calculation  of usability  metrics,  and  the  SUS  formula  shows  that the  effectiveness  and  efficiency  aspects  have  been  stated to  be  good, namely the percentages of 98% and 95%. In addition, the satisfaction aspect based on the SUS questionnaire  is still below standard with a percentage  value of 59%. The SUS  results are supported by the results of the  RTA questionnaire, where there are still several complaints and suggestions from respondents on the SIKKD website. Based on the results of the SUS and  RTA  questionnaires,  recommendations  for  improvements  were  made  in  the  form  of  prototypes  on  login  pages, resumes, forms, file uploads, and account settings by following the 4 golden rules of user interface design.
Keywords:  usability  testing,  ISO  9241-11,  performance  measurement,  retrospective  think  aloud,  system  usability  scale, SIKKD UMGO

## 1. PENDAHULUAN
Penerapan  sistem  informasi  kuliah  kerja  dakwah  oleh  LPPM sebagai  penunjang  pelaksanaan  kegiatan  Kuliah  Kerja  Dakwah (KKD)  terhadap  mahasiswa  UMGO,  yaitu  untuk  pendaftaran, pengelompokan,  dan  penilaian.  Sistem  informasi  KKD  juga sangat  diperlukan  karena  dapat  menampung  dan  mempercepat kinerja  layanan  LPPM.  Sistem  informasi  ini  memungkinkan kampus  memperoleh  informasi  yang  cepat  dan  akurat,  karena jika  informasi  yang  diterima  tidak  tepat  dan  akurat  akan mempengaruhi kebijakan yang ada.
Berdasarkan  hasil  wawancara  yang  dilakukan  kepada  staf Pengabdian  Masyarakat,  sistem  informasi  KKD  sudah  dua  kali
dilakukan pembaharuan termasuk  yang sekarang, pada  awalnya masih menggunakan versi beta kini sementara pengembangan ke versi  dua.  Pada  penerapannya,  sistem  informasi  KKD  masih tidak  berjalan  lancar.  Sistem  masih  terdapat  kendala  pada  saat mengakses sistem seperti crash dan error , yang  mengakibatkan prosesnya  menjadi  lambat  dan  mempengaruhi  pengalaman pengguna.  Pada  sistem  informasi  KKD  juga  terdapat  masalah proses upload yang  cukup  lama  pada  saat  mahasiswa mengunggah file berkas  persyaratan  KKD,  masalah  ini  dapat mempengaruhi  user  experience  pada  sistem.  Hal  lain  yang menjadi  kekurangan  pada  sistem  informasi  KKD  yakni  tidak tersedia  fitur monitoring dari  dosen  pembimbing  lapangan (DPL)  kepada  kelompok  bimbingannya  untuk  mengevaluasi laporan  individu  dan  kelompok  yang  mengakibatkan  DPL  sulit untuk  mengevaluasi  kelompok  yang  dibimbingnya.  Pengujian
tingkat  keterterimaan  sistem  dapat  dievaluasi  menggunakan model  UTAUT  [1],  namun  hanya  mengevaluasi  pada  sisi keterterimaan  saja.  Oleh  kerena  itu  perlu  untuk  menggunakan teknik  yang  lain  untuk  mendapatkan  sudut  pandang  yang berbeda yang komprehensif.
Berdasarkan  latar  belakang  di  atas,  maka  peneliti  melakukan penelitian  menggunakan  metode usability  testing pada  SIKKD UMGO untuk mengukur usability dari sistem. Teknik pengujian yang  digunakan  dalam  pengukuran  sistem  SIKKD  yaitu Performance  Measurement  (PM) karena  dapat  mengukur  dua aspek usability sekaligus,  yaitu  aspek  efektivitas  dan  efisiensi [2].  Sedangkan  teknik  yang  akan  digunakan  untuk  pengukuran kepuasan  pengguna  yaitu Retrospective  Think  Aloud  (RTA) [3] dan  akan  dikombinasikan  dengan  teknik  kuesioner System Usability Scale (SUS) [4].

## 2. METODOLOGI
Penelitian  ini  untuk  mengevaluasi usability dilakukan  dengan menggunakan  model  ISO  9241-11  [5]  sebagai  model usability testing dan  menggunakan  metode user-based  evaluation yang nantinya melibatkan user secara langsung sebagai partisipan [6]. Adapun  tahapan-tahapan  yang  dilakukan  pada  diperlihatkan pada gambar 1.
Gambar 1. Tahapan Penelitian
a. Merancang  sesi usability  testing ,  menentukan  jenis pengguna  yang  akan  diuji,  dan  pertanyaan  yang  akan ditanyakan  pada  pengguna  tentang web SIKKD.  Selain menentukan sifat studi, juga perlu mendetailkan keperluan logistik  sesi  usability  testing  seperti  lokasi,  jadwal  sesi pengujian,  moderator  dan  persiapan  alat  perekam  untuk pengujian  nanti.  Metode  pengumpulan  data  yang  dipakai
dalam  penelitian  ini  terdiri  dari  observasi,  studi  literatur, dan wawancara.
b. Perekrutan  responden,  perekrutan  partisipan  untuk  tujuan dan  sumber  daya  pengujian  dengan  mempertimbangkan berapa banyak informasi yang diinginkan dan berapa lama sesi  yang  diperlukan.  Perekrutan  responden  diawali dengan  menentukan  populasi  dan  sampel  pengguna  yang akan dijadikan partisipan dalam pengujian sistem SIKKD. Setelah mengetahui jumlah sampel selanjutnya mendeskripsikan  cara  perekrutan  responden  dari  masing- masing  teknik  pengujian.  Populasi  dalam  penelitian  ini adalah  307  orang,  yang  terdiri  dari  301  orang  mahasiswa dan 6 orang panitia KKD.
(1)
Keterangan: n= ukuran sampel N= ukuran populasi e= taraf kesalahan/error dalam pengambilan sampel
c. Membuat Task Kuisioner, task yang  dibuat  berdasarkan indikator-indikator  pada  model  ISO  9241-11.  Sehingga indikator  yang  digunakan  dalam  penelitian  ini  mencakup tugas-tugas  dan  kuesioner  yang  diberikan  pada  saat pengujian  website.  Selain  itu,  indikator  tambahan  yang akan digunakan adalah screen recorder untuk memperoleh data yang valid.
1) Task Scenario untuk Performance Measurement.
Tabel 1. Jumlah task scenario performance measurement kedua Aspek Task Scenario Aspek Effectiveness Efficiency TS 1 √ √ TS 2 √ √ TS 3 √ √ TS 4 √ √ TS 5 √ √ TS 6 √ √ TS 7 √ √ TS 8 √ √ TS 9 √ √ TS 10 √ √
Berdasarkan  Tabel  1  di  atas  terdapat  10  jumlah  task  scenario yang digunakan  untuk  memperoleh  data dari  kedua aspek  yaitu effectiveness,  dan  efficiency.  Adapun  penjabaran  dan  langkah- langkah dari jumlah task scenario performance  measurement  di atas dapat di liat pada tabel 2.
Tabel 2. Task scenario performance measurement
TASK SKENARIO
T1 “Sebelumnya,  terlebih  dahulu  anda login dengan  memasukkan Username dan Password untuk masuk ke halaman Dashboard website SIKKD.”
T2 “Sekarang anda ingin melihat resume KKD pada halaman Resume.”
TASK SKENARIO
T3 “Sekarang  anda  akan  melengkapi  data  formulir  KKD  XX,  anda melakukan  pengisian  data  diri,  data  keluarga  dan  mengupload  Pas
Foto”
T4 “Sekarang  anda  akan  melengkapi  berkas  KKD,  anda  mengupload semua file persyaratan KKD dan file slip Pembayaran KKD.”
T5 “Sekarang anda ingin mengganti salah satu file persyaratan  yang telah di upload pada halaman Upload Berkas”
T6 “Sekarang  anda  ingin  melihat  seluruh  isi  file  persyaratan  yang  telah anda upload pada halaman Upload Berkas”
T7 “Sekarang anda ingin melihat lokasi Kuliah Kerja Dakwah anda.”
T8 “Sekarang  anda  akan  melihat  notifikasi  pemberitahuan  pada website SIKKD.”
T9 “Sekarang  anda  ke  halaman  pengaturan  akun  untuk  mengganti
password baru.”
T10 “Setelah anda selesai menggunkan website KKD,  sekarang  anda  ingin keluar/ logout dari website SIKKD.”

## 2) Kuesioner SUS dan RTA
Pada  penelitian  ini  menggunakan  kuesioner System  Usability
Scale (SUS),  dan Retrospective  Think  Aloud (RTA).  Kuesioner SUS  akan  digunakan  untuk  mendapatkan  skor  pada  aspek satisfaction terkait  dengan  kepuasaan  pengguna  dalam menggunakan  sistem  SIKKD  Kemudian  kuesioner  RTA  akan digunakan  untuk  memperoleh  catatan-catatan  berupa  saran maupun  keluhan  dari  pengguna  yang  dirasakan  selama melakukan  pengujian.  Penggunaan  kuesioner  RTA  didasarkan oleh  fungsinya  yang  dapat  menangkap  permasalahan  atau keluhan  dalam  proses  pengujian  serta  saran  perbaikan  aplikasi dari pengguna [7].
d. Menjalankan sesi pengujian dan pembagian kuisioner,
tahapan pengujian ini adalah kegiatan untuk pengujian usability terhadap  website  SIKKD.  Dalam  penelitian  ini  menggunakan tiga  teknik  pengujian  yaitu,  teknik Performance  Measurement , Kuesioner System  Usability  Scale (SUS),  dan  Kuesioner Retrospective  Think  Aloud (RTA).  Dalam  suatu  pengujian  agar memperoleh  data  yang  sesuai  dengan  sasaran  maka  pengujian dapat  dilakukan  di  beberapa  tempat,  seperti  tempat  umum (tempat  perbelanjaan,  kafe,  kampus),  ruang  atau  laboratorium yang sudah  diatur kondisinya,  dan secara  online (zoom, google meeting, dan skype) (Arifin, 2018). Sehingga pada penelitian ini akan  dilakukan  pengujian  di  tempat  umum  seperti  kampus  dan kafe yang sudah ditentukan sebelumnya.
e. Analisis hasil pengujian.
tahapan  penelitian  ini,  perhitungan  dan  analisis  data  dilakukan untuk  memperoleh  penilaian  dari  setiap  aspek  pada  model  ISO 9241-11  dengan  masing-masing  rumusnya  yang  datanya didapatkan  dari task  scenario performance  measurement dan kuesioner SUS seperti pada tabel 3.
Tabel 3. Perhitungan dan Analisis Data
Faktor Usability Aspek Usability Model ISO 9241-11 Indikator Penelitian Teknik Perhitungan dan Analisis Data Metode User Effectiveness Performance Measurement Completion Rate Kuantitatif Efficiency Performance Measuremen Overall Relative Efficiency Kuantitatif Task Satisfaction Kuesioner SUS Rumus Perhitungan SUS Kuantitatif Kuesioner RTA Kualitatif Deskriptif Kualitatif Pada  setiap  aspek usability model  ISO  9241-11  sudah ditentukan  berdasarkan  indikator  penelitian,  teknik  perhitungan dan analisis data.
1) Aspek  effectiveness  terkait  dengan  pencapaian  dalam tujuan tertentu dengan kesesuaian kondisi  yang dilakukan berdasarkan  kemampuan  pengguna.  Dalam  perhitungan dan  analisis  data  pada  aspek  ini  dilakukan  dengan  cara menggunakan  rumus Completion  rate yang  merupakan usability  metrik  yang  dapat  dihitung  berdasarkan  tingkat penyelesaian tugas dengan menetapkan nilai biner „1‟ jika partisipan tes berhasil dan nilai biner „0‟ jika gagal. Hal ini bertujuan  untuk  mengetahui  seberapa  besar  presentase keberhasilan responden dalam menyelesaikan tugasnya.
(2)
Dimana:
Number  of  task  completed  successfully  =  Jumlah  tugas  yang berhasil  diselesaikan  oleh  pengguna.  Total  number  of  task undertaken = Total jumlah tugas yang diberikan
2) Aspek  efisiensi  terkait  dengan  pencapaian  dalam  tujuan tertentu  berdasarkan  dengan  kecepatan  dan  akurasi pengguna.  Dalam  perhitungan  dan  analisis  data  pada aspek  ini  dilakukan  dengan  cara  menggunakan  rumus overall  relative  efficiency yang  merupakan  perhitungan total  waktu  untuk  tugas  yang  berhasil  diselesaikan  oleh masing-masing pengguna  yang dibagi  dengan total  waktu keseluruhan pengerjaan tugas dari setiap pengguna.
(3)
Dimana:
N  =  Jumlah total tugas R  =  Jumlah pengguna Nij  =  Hasil  tugas  i  oleh  pengguna  j,  jika  pengguna  berhasil menyelesaikan tugas maka nilai tersebut 1 dan jika tidak berarti 0.
1) Aspek  satisfaction  terkait  dengan  tingkat  kepuasan  dan kesenangan  pengguna  ketika  menggunakan  website SIKKD.  Dalam  perhitungan  dan  analisis  data  pada  aspek ini  dilakukan  dengan  dua  cara  yaitu  kuesioner  SUS  dan RTA. Teknik System Usability Scale
Kuesioner  ini  digunakan  untuk  memperoleh  data  dari  aspek tingkat  kepuasan  dari  pengguna  ketika  menggunakan website tersebut.  Adapun  rumus  perhitungan  kuesioner  SUS  adalah sebagai berikut.
a) Untuk setiap pertanyaan dengan nomor ganjil (1,3,5,7,9) skor yang diberikan oleh responden dikurangi 1.
b) Untuk  setiap  pertanyaan dengan nomor genap
(2,4,6,8,10)  skor  yang  diberikan  oleh  responden digunakan untuk mengurangi 5.
c) Selanjutnya  dijumlahkan  hasil  dari  setiap  pertanyaan masing-masing responden kemudian dikali 2,5
( ∑skor ganjil + ∑skor genap ) x 2,5
d) Terakhir dilakukan hasil rata-rata dari semua responden.
Jumlahkan  semua  hasil  skor  kemudian  bagi  dengan jumlah responden.
̅ (4)
Kesimpulan  dari  cara System  Usability  Scale (SUS)  adalah setelah selesai perhitungan maka didapat skor rata-rata SUS dari semua responden. Skor tersebut kemudian  dilakukan penafsiran berdasarkan  G rade , Adjective  Ratings,  Acceptable, dan Net
Promotore Score (NPS) C:\Users\syahr\Documents\My
Lectures\Teknologi  Informasi  dan  Komunikasi  dari  [8]  yang dijabarkan sebagai berikut :
1. Grade Scale , dibagi kedalam 5 grade yaitu A (78-100), B (71-78), C (62-72), D (51-62), dan F (skor <51).
2. Adjective  Rating ,  menggambarkankan  nilai  SUS  yang awalnya  angka  menjadi  kata  sifat.  Skala  peringkat Adjective :Worst imaginable , Poor , Ok , Good , Excellent , dan Best Imaginable .
3. Acceptible ,  menginterpretasikan  nilai  skor  SUS  ini adalah  dengan  melihat  tingkat  penerimaan  nilai  mentah skor SUS. Tingkat penerimaan “Dapat Diterima”  untuk nilai skor di atas 70 dan untuk “Tidak Dapat Diterima” mulai dari nilai skor 50 ke bawah. Nilai skor antara 50 - 70  dianggap  "Dapat  Diterima  Secara Marginal ",  yang mencakup  rentang  dari  C  hingga  D  dalam  skala peringkat.
4. Net  Promotore  Score (NPS),  merupakan  survei  tingkat kepuasan  dan  keloyalan  pengguna  terhadap  sebuah produk yang berkaitan dengan seberapa besar kemungkinan  pengguna  merekomendasikan  produk tersebut  kepada  orang  lain.  NPS  menetapkan  tiga  kelas pemberi  rekomendasi  berdasarkan  tanggapan  mereka terhadap  kemungkinan  11  poin  (0  sampai  10)  untuk merekomendasikan  pertanyaan.  Kelas promoter untuk skor  9  dan  10,  kelas passive untuk  skor  7  dan  8,  dan kelas detractors untuk skor 6 ke bawah.

## Tabel 4. Interpretasi Skor SUS
SUS Skor Grade Adjective Ratings Acceptible NPS 84.1 - 100 A+ Best Imaginable Acceptable Promoter 80.8 - 84.0 A Excellent Acceptable Promoter 78.9 - 80.7 A- Good Acceptable Promoter 77.2 - 78.8 B+ Good Acceptable Passive 74.1 - 77.1 B Good Acceptable Passive 72.6 - 74.0 B- Good Acceptable Passive 71.1 - 72.5 C+ Good Acceptable Passive 65.0 - 71.0 C OK Marginal Passive 62.7 - 64.9 C- OK Marginal Passive 51.7 - 62.6 D OK Marginal Detractor 25.1 - 51.6 F Poor Not Acceptable Detractor 0 - 25 F Worst Imaginable Not Acceptable Detractor 2) Teknik Restropective Think Aloud
3) Teknik  RTA  ini  merupakan  data  kualitatif  deskriptif    yang bertujuan  untuk  menafsirkan  fenomena  atau  perihal  apa yang terjadi terhadap responden penelitian seperti perasaan, persepsi,  dan  melalui  penjelasan  berupa  kalimat  atau  kata- kata  serta  bahasa.  Sehingga  untuk  memperoleh  data kualitatif dilakukan dengan cara  mengumpulkan data secara spesifik  dari  lembar  kuesioner  mengenai  saran,  masukan, perasaan  serta  kendala  apa  saja  yang  dihadapi  oleh responden  ketika  menggunakan  sistem  SIKKD  selama proses  pengujian  berlangsung. Retrospective  Think  Aloud (RTA)  juga  dapat  mengukur  tingkat  kepuasan  dan digunakan untuk penentuan rekomendasi perbaikan. Teknik ini dilakukan setelah proses pengambilan data menggunakan Performance Measurement telah dilalui.
4) Rekomendasi  perbaikan  digunakan  untuk  memberikan rekomendasi  perbaikan  sistem  SIKKD  yaitu  berdasarkan pengujian  dengan  teknik  Retrospective  Think  Aloud.  Hasil verbalisasi responden berupa kritik dan saran yang diberikan untuk  dijadikan  bahan  rekomendasi  perbaikan.  Setelah diketahui hasil perbaikan sistem SIKKD, maka diimplementasikan  kedalam  bentuk  rancangan/  wireframe dengan  menggunakan  software  Mock  Up.  Adapun  terdapat konsep  dasar  pengembangan  rekomendasi  dari  literatur untuk  meningkatkan  lagi  usability  pada  sebuah  aplikasi. Salah  satunya  adalah  dengan  mengimplementasikan  The  4 Golden Rules of User Interface Design dari Nick Babich [9] yang  terbagi  menjadi  empat  prinsip  yaitu,  Tempatkan pengguna untuk mengontrol antarmuka, membuat pengguna agar nyaman berinteraksi dengan suatu sistem atau aplikasi, mengurangi  beban  kognitif,  dan  buat  pengguna  user interface dengan konsisten.
5) Pada  tahapan  terakhir  adalah  penarikan  kesimpulan  yang akan  menjadi  kesimpulan  jawaban  dari  masalah  dan penyelesaian  yang  telah  dijelaskan  dalam  penelitian. Selanjutnya  juga  akan  diberikan  beberapa  saran  maupun rekomendasi  yang  baik  guna  dapat  digunakan  untuk referensi penelitian selanjutnya.

## 3. HASIL DAN PEMBAHASAN

## 3.1. Hasil Pengumpulan Data
Populasi  dan  sampel  pada  penelitian  ini  dilakukan  dengan  dua tahap,  tahap  pertama  pengambilan  sampel  untuk  pengujian
teknik performance  measurement dan RTA  yang  diperoleh dari mahasiswa  Fakultas  Sains  dan  Ilmu  Komputer  yang  akan mengikuti  KKD  XX  2022.  Perekrutan  partisipan  ini  melalui wawancara  secara  langsung  terhadap  mahasiswa.  Sehingga jumlah  mahasiswa  yang  siap  menjadi  partisipan  adalah  20 orang.
Tahap  kedua,  jumlah  sampel  yang  diperoleh  dan  digunakan dalam  kuesioner  SUS  ini  sebanyak  75  responden  dari  jumlah populasi  307  orang  yang  terdiri  dari  mahasiswa  dan  panitia. Jumlah sampel 75 responden SUS tersebut didapat berdasarkan dari  rumus  Slovin,  berikut  pehitungan  untuk  mendapatkan jumlah  sampel  yang  akan  digunakan  pada  kuesioner  SUS dengan rumus Slovin.
Pengumpulan data yang diambil oleh peneliti di tahap ini adalah penyeberan  kuesioner,  wawancara,  dan  usability  testing terhadap  website  SIKKD  versi  yang  sekarang.  Hasil  dari pengumpulan  data  ini  akan  digunakan  sebagai  landasan  atau dasar untuk peneliti dalam melakukan perancangan rekomendasi perbaikan pada sistem  menggunakan  metode model ISO 9241- 11.  Hasil  data  yang  telah  dikumpulkan  adalah  berdasarkan teknik pengujian dan penyebaran kuesioner.
Tabel  5  Jumlah  Durasi  Waktu  Per  Task  yang  Dilakukan  Oleh Responden  Dalam  Menyelesaikan  Tugasnya  (Performance Measurement)
Kode Responden T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 R1 26 17 197 158 29 74 7 8 134 6
R2 16 20 169 136 24 84 14 9 34 9
R3 29 5 177 144 22 70 7 24 30 14 R4 24 20 223 181 32 103 12 19 47 10 R5 16 10 411 115 25 82 8 9 93 7
R6 21 21 186 145 29 81 15 11 52 9
… … … … … … … … … … … R19 22 12 128 93 16 32 6 9 20 6 R20 24 19 163 158 17 90 7 11 53 7
Pada  tabel  5  di  atas  merupakan  data  dari  hasil  pengujian performance  measurement yang  akan  digunakan  untuk mengukur  aspek effectiveness dan efficiency dari  model  ISO 9241-11. Untuk lebih detail datanya dapat dilihat pada (lampiran 6).  Pada  tabel  di  atas  terdapat  4  responden  gagal  dalam menyelesaikan  tugasnya,  masing-masing  gagal  satu task . Responden  3  dan  4  gagal  pada task 8,  responden  9  gagal  pada task 9, dan responden 16 gagal pada task 6.

## Tabel 6. Rekapitulasi Data Dari Kuesioner SUS
Responden P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 R1
4 4 4 4 3 3 4 3 4 4 R2
4 3 4 4 4 3 4 3 4 2 R3 2 3 2 3 4 2 4 2 4 4 R4 5 2 5 2 3 1 3 2 5 1 R5 4 4 4 4 4 4 5 4 4 3 R6 2 4 3 4 5 4 4 4 4 4 R7 2 2 2 2 4 2 4 3 1 2 R8 3 2 5 2 4 4 1 3 5 4 R9 4 3 4 3 4 3 4 3 3 3 … … … … … … … … … … … R72 5 3 4 2 4 2 4 3 4 2 R73 4 2 4 2 4 2 4 2 4 1 R74
4 2 4 2 4 2 4 2 4 1 R75 4 4 4 4 3 4 5 3 3 4
Pada  tabel  6  merupakan  data  dari  hasil  penyebaran  kuesioner system  usability  scale (SUS)  yang  akan  digunakan  untuk mengukur aspek satisfaction dari model ISO 9241-11.

## 3.2. Hasil Usability Testing
3.2.1    Pengujian PM dan SUS a) Berdasarkan perhitungan menggunakan rumus Completion  Rate  diperoleh  presentase  keberhasilan responden  atau  pengguna  pada  tingkat  efektivitas sebesar 98%.
Gambar 3 Diagram Hasil Presentase Keberhasilan ( Completion Rateperhiut )
b) Rumus Overall  Relative  Efficiency digunakan  untuk mengukur  nilai  efisiensi  dari website SIKKD  dengan menghitung  total  durasi  waktu  untuk  tugas  yang  berhasil dikerjakan  oleh setiap responden dan  dibagi  dengan jumlah total  durasi  waktu  keseluruhan  pengerjaan  tugas  yang dilakukan  oleh  setiap  responden.  Aspek  efficiency  diukur menggunakan  data  yang  diperoleh  dari  teknik  performance measurement  berdasarkan  durasi  jumlah  waktu  pengerjaan tugas oleh responden atau pengguna.  Tingkat  efisiensi  rata- rata yang dihasilkan sebesar 94,89%.
Tabel 7. Hasil Perhitungan Tingkat Efisiensi
Kode Tugas Rata-rata Efisiensi Tugas Kategori T1 1.00 100% T2 1.00 100% T3 1.00 100% T4 1.00 100% T5 1.00 100% T6 0.97 97% T7 1.00 100% T8 0.86 86% T9 0.66 66% T10 1.00 100% Rata-rata 94.89%
c) Aspek  satisfaction  dapat  diukur  menggunakan  data  yang diperoleh  dari  nilai  skor  rata-  rata  dari  kuesioner  System Usability  Scale  (SUS)  yang  dilakukan  oleh  responden  atau pengguna.  Aspek  satisfaction  juga  dipeoleh  dari  data Kuesioner  RTA  berupa  data  deskriptif  yang  akan  dijadikan
98% 0% 20% 40% 60% 80% 100% Presentase Keberhasilan (%)
rekomendasi  dalam  perbaikan  sistem.  perhitungan  System Usability  Scale  (SUS)  adalah  setelah  selesai  perhitungan dengan didapatkan skor rata-rata SUS dari semua responden yaitu  59%.  Skor  tersebut  kemudian  dilakukan  penafsiran berdasarkan Grade, Adjective Ratings, Acceptable dan NPS [8] sebagai berikut.
Gambar 4 Skor SUS Dalam Skala Grade, Adjective, Acceptable, dan Net Promotore Score (NPS) [8]
Skor SUS  yang diperoleh pada penelitian ini 59% yang didapat dari  seluruh  responden,  jika  dikorelasikan  dengan  skala grade pada gambar di atas, dapat diketahui berada pada grade D yang menunjukkan  skor  tersebut  masih  dibawah  grade  C  atau  masih tergolong  dibawah  rata-rata.  Pada  skala adjectives tergolong “Ok”. Dapat dikelompokkan bahwa penggunaan sistem SIKKD menurut  responden  tergolong  bersifat  biasa  saja  dalam  artian sistem  masih  mempunyai  kekurangan.  Representasi acceptable tergolong  pada  “ marginal ”  yang  berarti  layanan  pada  pada website SIKKD  masih  berada  pada  batas  diterima  dan  tidak diterima  karena  sistem  ini  tidak  terlalu  menguntungkan  bagi pengguna. Pada NPS maka hasilnya termasuk pada “ Detractor” , dalam artian pengguna SIKKD masih tergolong pada user yang memberikan  penilaian  negatif.  Hal  ini  menyimpulkan  bahwa SIKKD  masih  banyak  kekurangannya  dan  perlu  diperbaiki  lagi sampai  ke  tingkat promoter atau  para  pengguna  akan mempromosikan website SIKKD pada orang lain.
Pengujian Load Networking dan Performance
Pengujian load  networking  dan  performance untuk  setiap halaman pada  web SIKKD  menggunakan  Developer Tools dari browser  chrome.  Hasil  pengujian  ini  menggunakan  laptop dengan spesifikasi processor Core i5 generasi 10, ram 8 gb, dan menggunakan bandwith 30 MB.
Tabel 8 Hasil Pengujian Load Networking Pada Setiap Fitur.
Fitur Protocol Resource (kB) Requests Time(ms) Login HTTP 533 13 1210 Dashboard HTTP 923 19 2480 Resume HTTP 1100 20 2790 Formulir HTTP 927 19 1770 Upload Berkas HTTP 935 19 2330 Lokasi HTtP 918 19 1390 Pengaturan akun HTTP 918 19 1750
Berdasarkan pengujian  di atas, load  network pada tiap halaman SIKKD  yang  menggunakan  fitur  developer  tools  dari  browser chrome mendapatkan total rata-rata waktu 1402 ms atau kurang dari 3 detik.

## Pengujian Performance
Hasil uji ini untuk menganalisis performa website yang meliputi waktu  loading  halaman,  penggunaan  CPU  dan  memori,  detail pemanggilan  JavaScript  dan  renderering,  identifikasi  sumber penghambat  performa,  dan  visualisasi  bagaimana  halaman memuat dan berinteraksi dengan pengguna.
Tabel 9 Hasil Pengujian Performance Pada Setiap Fitur.
Fitur Load (ms) Script (ms) Render (ms) Painting (ms) System (ms) Login 6 121 36 6 98 Dashboard 20 49 80 10 114 Resume 24 46 71 5 115 Formulir 24 68 81 5 176 Upload Berkas 29 64 69 14 218 Lokasi 25 53 40 3 129 Pengaturan akun 27 99 87 12 193

## Rekomendasi Perbaikan Sistem Berdasarkan RTA
1. Rekomendasi Perbaikan pada Halaman Login
Pada  bagian  halaman login masih  terdapat  suatu  permasalahan yaitu dari beberapa pengguna gagal dalam melakukan login jika salah  menginputkan password .  Solusi  yang  dapat  diterapkan pada  permasalahan  di  atas  yaitu  tempatkan  pengguna  untuk mengontrol  antarmuka  pada  bagian  berikan  umpan  balik  yang informatif  dengan  menambahkan  opsi visibile atau icon mata pada  halaman login tersebut.  Sehingga  pengguna  ketika login tidak melakukan kesalahan lagi dalam menginputkan password . Solusi pada masalah kedua adalah  dengan  menambahkan pesan kesalahan “ Username yang Anda masukkan tidak terdaftar” jika salah dalam memasukkan username , dan pesan kesalahan “Kata sandi  yang  Anda  masukkan  salah”  jika  salah  dalam memasukkan password .
Gambar 5. Rekomendasi Perbaikan Halaman Login ( Show Password ), (a) sebelum dan (b) sesudah perbaikan
Grade Scale :
SUS Score : 50 0 10 20 30 40 60 70 80 90 100 F D C B A Adjective : SUS Score : 100 50 60 70 80 90 0 10 20 30 40 Worst Imaginable Poor Ok Good Best Imaginable Excellent Acceptable : SUS Score : 100 50 60 70 80 90 0 10 20 30 40 Not Acceptable Marginal Acceptable NPS : SUS Score : 100 50 60 70 80 90 0 10 20 30 40 Detractor Passive Promoter

## 2. Halaman Resume
Berdasarkan  kuesioner  RTA  pada  halaman  resume  terdapat saran  dari  responden  untuk  menambahkan  tombol  untuk mengedit  data  disamping  menu  formulir.  Tombol  tesebut  dapat memudahkan  pengguna  untuk  langung  mengedit  data  tanpa harus  mengklik  halaman  formulir.  Solusi  untuk  mengatasi permasalahan  tersebut  didasari  sesuai  saran  dari  pengguna melalui  lembar  kuesioner  RTA  dan  tempatkan  pengguna  untuk mengontrol  antarmuka  pada  bagian  berikan  umpan  balik  yang informatif  dengan  menambahkan  tombol  edit  data  sebagai bantuan pengguna untuk mengedit data dirinya.
Gambar 61. Rekomendasi Perbaikan Halaman Resume ( Button
Edit Data), (a) sebelum dan (b) sesudah perbaikan

## 3. Halaman Formulir
Pada  bagian  halaman  formulir  berdasarkan  lembar  kuesioner RTA  terdapat  keluhan  dari  pengguna  pada  tombol  “Simpan”, pengguna sewaktu waktu lupa untuk menekan tombol tersebut. Solusi  untuk  mengatasi  permasalahan  tersebut  didasari  sesuai saran  dari  pengguna  yaitu  tempatkan  pengguna  untuk mengontrol antarmuka pada halaman formulir yang akan dibuat form wizard dan  dibagi  menjadi  4 tab serta  menambahkan tombol  “Simpan”  dibagian  atas  halaman  menambahkan Popup Alert sebagai pemberitahuan sebelum dan setelah upload file .
Gambar 7. Rekomendasi Perbaikan Halaman Formulir ( Form Wizard Tab , Popup konfirmasi, dan Popup Pesan 1), (a) sebelum dan (b) sesudah perbaikan

## 4. Halaman Upload Berkas
Berdasarkan  hasil  kuesioner  RTA  pada  halaman upload berkas sebaiknya  tampilan upload  file dapat  diperbaiki  untuk memudahkan pengguna dalam mengupload file .
Solusi  untuk  mengatasi  permasalahan  tersebut  yaitu  tempatkan pengguna untuk mengontrol antar muka, membuat nyaman bagi pengguna  untuk  berinteraksi  dengan  suatu  produk  bagian rancang antarmuka yang dapat diakses, terapkan hukum fitts ke elemen  interaktif  dengan  menambahkan  fitur drag and  drop . Icon file yang  ditampilkan  akan  mengikuti  jenis file yang  telah diupload pada Progress Bar . Hal  ini akan  membantu pengguna dalam  mengetahui file berhasil  diupload  atau  tidak.  Kurangi beban  kognitif  bagian  lihat file dengan  menampilkan file di halaman yang sama.
Gambar 8. Rekomendasi Perbaikan Halaman Upload Berkas ( Upload File ), (a) sebelum dan (b) sesudah perbaikan 5. Menu Pemberitahuan
Pengguna  kesulitan  dalam  menemukan  menu  pemberitahuan, karena icon pemberitahuan  yang  terlalu  kecil  dan  tidak mempunyai label atau nama pada icon membuat pengguna sulit dalam  menemukannya.  Solusi  untuk  mengatasi  permasalahan tersebut  yaitu,  tempatkan  pengguna  untuk  mengontrol antarmuka  pada  bagian  antarmuka  yang  mudah  dinavigasi, dengan  memperbesar icon pemberitahuan  dan  menambah  label nama dibawah icon .
Gambar 92. Rekomendasi Perbaikan Fitur Pemberitahuan, (a) sebelum dan (b) sesudah perbaikan

## 6. Halaman Pengaturan Akun
Gambar10.  Rekomendasi  Perbaikan  Halaman  Pengaturan  Akun ( Show Password ), (a) sebelum dan (b) sesudah perbaikan
Pada  bagian  halaman  pengaturan  akun  berdasarkan  kuesioner RTA  pengguna  merasa  kesulitan  dalam  mengganti password baru, karena sering terjadi salah input password . Hal ini terjadi karena isi password tidak dapat dilihat. Terdapat juga saran dari pengguna  dalam  melakukan  perubahan  password,  seharusnya password  lama  tidak  bisa  digunakan  kembali  dikemudian  hari demi keamanan data akun. Selain itu terjadi typo atau kesalahan kalimat pada notifikasi setelah berhasil dan gagal memperbaharui passoword .
Solusi untuk  mengatasi permasalahan tersebut  yaitu, tempatkan pengguna  untuk  mengontrol  antarmuka  pada  bagian  berikan umpan balik yang informatif dengan menambahkan opsi visibile atau icon mata  pada  halaman  pengaturan  akun  tersebut. Sehingga pengguna ketika login tidak melakukan kesalahan lagi dalam input password .  Juga,  dalam  melakukan  perubahan password agar user tidak dapat menggunakan kembali password yang pernah digunakan sebelumnya untuk keamanan  data user, maka  perlu  fitur  validasi password baru  dengan  menambahkan notifikasi  “ Password yang  anda  masukkan  sudah  pernah digunakan”  jika user memasukkan password yang  pernah digunakannya.  Jadikan  antarmuka  pengguna  konsisten  bagian konsistensi  visual  dengan  mengubah  kata  yang typo pada navigasi yang semula “slaah” menjadi “salah”, dan memperbaiki kalimat  yang  salah  ketika password berhasil  di  ganti  pada navigasi yang semula “Berhasil memperbaharui akun, password yang anda masukkan slaah.” menjadi “Berhasil memperbaharui akun”.

## KESIMPULAN
Hasil  penelitian  usability  testing  pada  aplikasi  SIKKD  UMGO menggunakan metode PM, SUS, dan RTA mununjukkan sangat baik  pada  penggunaan  dan  masih  kurang  pada  kinerja  fitur aplikasinya.  Hasil  perhitungan  dan  analisis  data  untuk  setiap aspek pada model ISO 9241-11 ditunjukkan pada tabel berikut.
Tabel 10 Rekapitulasi Hasil Perhitungan dan Analisis Data Kuantitatif untuk Setiap Aspek pada Model ISO 9241-11
Faktor Usability Aspek Usability Model ISO 9241-11 Rumus Perhitungan Hasil Analisis Data User Effectiveness Completion Rate (Presentase Keberhasilan) 98% (Efektif) Efficiency Overall Relative Efficiency 94,89% (Efisien) Task Satisfaction Kuesioner SUS 59% (dibawah standar)
Berdasarkan  rekapitulasi  hasil  perhitungan  dan  analisis  data  di atas  dapat  ditarik  kesimpulan  bahwa  untuk  aspek Effectiveness dan Efficiency dari 20 responden pengguna dan 10 task skenario pada  tahap  pengujian  mengindikasikan  bahwa  sistem  SIKKD sudah baik. Hal ini dikarenakan terlihat dari aspek effectiveness dan satisfaction yang  memiliki  tingkatan  nilai  di  atas  standar yang  nilainya  adalah  98%  dan  95%.  Selain  itu  pada  aspek Satisfaction berdasarkan  hasil  kuisioer  SUS  dan  RTA mengindikasikan  bahwa  perlu  adanya  dilakukan  rekomendasi perbaikan  pada  sistem  SIKKD  ini.  Karena  dari  hasil  kuesioner SUS masih memperoleh nilai skor di bawah standar yaitu 59%. Pemetaan  masalah  yang  akan  dijadikan  dasar  perancangan rekomendasi  perbaikan.  Hal  ini  dilakukan  untuk  menarik kesimpulan  atau  menyaring  permasalahan  yang  ada  menjadi masalah-masalah  yang  bersifat  spesifik  dan  tidak  merupakan masalah pada server ataupun masalah dari jaringan internet.
Rekomendasi  pebaikan  diberikan  berupa  perancangan  desain untuk  pemecahan  masalah  yang  sebelumnya  sudah  dipetakan. Perancangan  ini  mengacu  pada  aturan The 4 Golden  Rules  Of User  Interface  Design dengan  rekomendasi  perbaikan  berupa rancangan/ wireframe .

## UCAPAN TERIMA KASIH
Kami  mengucapkan  banyak  terima  kasih  kepada  LPPM  Univ. Muhammadiyah  Gorontalo  yang  telah  memberikan  kesempatan seluas-luasnya untuk melaksanakan penelitian ini.

## DAFTAR PUSTAKA
[1] S.  Yusuf,  M.  I.  Abas,  S.  Syahrial  dan  R.  Lamusu, “PENERAPAN  MODEL UNIFIED  THEORY  OF ACCEPTANCE  AND  USE  OF  TECHNOLOGY  (UTAUT) TERHADAP  PENGGUNAAN  SISTEM  INFORMASI AKADEMIK UNIVERSITAS MUHAMMADIYAH
GORONTALO,” Jurnal  Ilmu  Komputer  (JUIK), vol.  2,  no.
2, pp. 31-36, 2022.
[2]   T.  Yuliana,  I.  Arthana  dan  K.  Agustini,  “Usability  Testing pada Aplikasi POTWIS,” JST (Jurnal Sains dan Teknologi), vol. 8, no. 1, p. 12, 2019.
[3]   N.  L.  P.  A.  Wedayanti,  N.  K.  A.  Wirdiani  dan  I.  K.  A. Purnawan, “Evaluasi Aspek  Usability pada  Aplikasi Simalu Menggunakan Metode Usability Testing,” MERPATI, vol. 7, no. 2, pp. 113-124, 2019.
[4]   N. L. S. Wardani, I. G. M. Darmawiguna dan N. Sugihartini, “Usability Testing Sesuai dengan  ISO 9241-11 pada Sistem Informasi  Program  Pengalaman  Lapangan  Universitas Pendidikan  Ganesha  Ditinjau  dari  Pengguna  Mahasiswa,” Kumpulan Artikel Mahasiswa Pendidikan Teknik Informatika (KARMAPATI), vol. 8, no. 2, pp. 356-368, 2019.
[5]   ISO:9241-11,  “Part  11  Gudance  of  Usability,”  dalam Engonomic  Requirements  for  Office  Work  with  Visual Display Terminals (VDTs) , Geneva, Switzerland,
International  Organization  for  Standardization,  1998,  pp.  1-
11.
[6]   J.  M.  C.  Bastien,  “Usability  testing:  a  review  of  some methodological  and  technical  aspects  of  the  method.,” International
Journal of
Medical
Informatics,
https://doi.org/10.1016/j.ijmedinf.2008.12.004, vol. 79, no. 4, pp. e18-e23, 2010.
[7]   H.  Khatimi  dan  S.  A.  Suriazdin,  “Penerapan  Model  People At  the  Center  of  Mobile  Application  Development (PACMAD)  Pada  Evaluasi  Usability  Aplikasi  Portal Mahasiswa  ULM Berbasis Android,” Jurnal  CoreIT, vol.  6, no. 2, p. 103–110, 2020.
[8]   J. Sauro, “5 Ways to Interpret a SUS Score,” Measuringu, 19 September
2018. [Online]. Available: https://measuringu.com/interpret-sus-score/. [Diakses 20 Desember 2022].
[9]   N.  Babich,  “xd.adobe.com,”  Adobe.inc,  7  Oktober  2019. [Online].  Available:  https://xd.adobe.com/ideas/process/ui- design/4-golden-rules-ui- design/#:~:text=The%20UI%20design%20principals%20are, Make%20user%20interfaces%20consistent. [Diakses 20
Desembvr 2022].
[10]   H.  Khatimi  dan  S.  A.  Suriazdin,  “Penerapan  Model  People At  the  Center  of  Mobile  Application  Development (PACMAD)  Pada  Evaluasi  Usability  Aplikasi  Portal Mahasiswa  ULM  Berbasis  Android,” Jurnal  CoreIT, pp. 103-110, 2020.

## BIODATA PENULIS
Abdul Rahman Deluma Mahasiswa  semester  akhir  S1  Program  Studi Sistem  Informasi,  Fak.  Sains  dan  Ilmu Komputer, Univ. Muhammadiyah Gorontalo. .
Rubiyanto Maku Pengajar  tetap  di  Program  Studi  S1  Sistem Informasi, Fak. Sains dan Ilmu Komputer, Univ. Muhammadiyah  Gorontalo.  Bidang  keahlian Software Engineering dan Software Testing.
Syahrial Syahrial Pengajar  tetap  di  Program  Studi  S1  Ilmu Komputer, Fak. Sains dan Ilmu Komputer, Univ. Muhammadiyah  Gorontalo.  Bidang  keahlian Machine Learning dan Computer Vision.