## JAMBURA JOURNAL OF INFORMATICS
Vol. 4, No. 1, April 2022
http://ejurnal.ung.ac.id/index.php/jji
Pengukuran Tingkat Usability Sistem Aplikasi e-Rapor Menggunakan Metode Usability Testing dan SUS

## Mohamad Syafri Tuloli, Reonaldi Patalangi*, Rahman Takdir
Program Studi Sistem Informasi, Universitas Negeri Gorontalo, Indonesia
*Penulis korespondensi, email: aldypatalangi99@gmail.com
DOI: 10.37905/jji.v4i1.13411

## Abstract
e-Rapor is an application developed by the Directorate of Vocational High School to be used in the planning, assessment, and reporting of student learning evaluations. It has been found an issue regarding the process of inputting  knowledge  planning,  skills  planning,  knowledge  assessment,  and  student  skills  assessment  that caused delays in making the final report on learning outcomes. This study aims to measure and determine the effectiveness and efficiency of implementing the e-Rapor application at SMKN 1 Suwawa and to determine the level  of  user  satisfaction  with  this  application.  This  research  uses  a  survey  method  with  a quantitative  and qualitative  descriptive  approach.  Quantitative  data  was  obtained  through  testing  with  Performance Measurement  techniques  and  System  Usability  Scale  (SUS)  questionnaires.  Qualitative  data  were  obtained from the Retrospective Think Aloud techniques and interviews. The results show that the effectiveness is 96% of the user's success rate in working on the scenario task and the efficiency aspect gets an average time of 0.037 seconds for the user to complete the given scenario task. This study shows that the e-Rapor application is  effective  and  efficient  in  its  use, users  are  also  satisfied with  the  use of  the  application  in  the  process  of managing the final report on student learning outcomes at SMKN 1 Suwawa, Gorontalo Province.
Keywords: e-Rapor; performance measurement; retrospective think aload; SUS; usability

## Abstrak
e-Rapor adalah aplikasi yang dikembangkan oleh Direktorat Pembinaan SMK untuk dipergunakan pada proses perencanaan, penilaian, dan pelaporan hasil evaluasi belajar peserta didik pada satuan pendidikan. Terdapat kesulitan pada penggunaan aplikasi ini, yaitu pada proses penginputan perencanaan pengetahuan, perencanaan keterampilan, penilaian pengetahuan dan penilaian keterampilan peserta didik sehingga ini akan berpengaruh terhadap lamanya waktu pembuatan laporan akhir hasil belajar. Penelitian ini bertujuan untuk mengukur dan mengetahui efektifitas dan efisiensi pengimplementasian aplikasi e-Rapor di SMKN 1 Suwawa, Gorontalo dan untuk mengetahui tingkat kepuasan pengguna terhadap aplikasi ini. Penelitian ini menggunakan metode survei dengan pendekatan deskriptif kuantitatif dan kualitatif. Data kuantitatif didapatkan melalui pengujian dengan teknik Performance  Measurement dan  penyebaran  kuisioner System  Usability  Scale ( SUS ).  Data  kualitatif diperoleh  dari  hasil  pengujian  dengan  teknik Retrospective  Think  Aloud dan  wawancara.  Hasil  pengukuran yang  dilakukan  menunjukkan  bahwa  aspek  efektifitas  mempeoleh  nilai  96%  dari  tingkat  keberhasilan pengguna  dalam  mengerjakan task skenario  dan  aspek  efisiensi  memperoleh  rata-rata  waktu  sebesar  0,037 detik  yang  dibutuhkan  pengguna  dalam  menyelesaikan task skenario  yang  diberikan.  Penelitian  ini menunjukkan bahwa aplikasi e-Rapor sudah efektif serta efisien dalam penggunaannya, pengguna juga sudah merasa  puas  terhadap penggunaan  aplikasi  dalam  membantu  proses  pengelolaan  laporan akhir  hasil  belajar peserta didik di SMKN 1 Suwawa di Provinsi Gorontalo.
Kata kunci :  e-Rapor; ketergunaan; pengukuran kinerja; retrospective think aload ; SUS

## Pengukuran Tingkat Usability Sistem Aplikasi e-Rapor Menggunakan Metode Usability Testing dan SUS

## P ENDAHULUAN
Salah satu dari standar Nasional Pendidikan yang tertuang dalam Permendikbud Nomor 34 Tahun  2018  adalah  standar  penilaian.  Penilaian  hasil  belajar  oleh  pendidik  adalah  proses pengumpulan  informasi/data  tentang  capaian  pembelajaran  peserta  didik  dalam  aspek pengetahuan dan aspek keterampilan yang dilakukan secara terencana dan sistematis yang dilakukan pada akhir Satuan Pendidikan dan Ujian Sekolah.
Untuk  mempermudah  dalam  melakukan  penilaian  dan  mengenal  isi  hasil  penilaian  serta dalam rangka pengendalian mutu penilaian, Direktorat Pembinaan SMK mengembangkan aplikasi  e-Rapor  SMK  yang  mengimplementasikan  Panduan  Penilaian  secara  utuh  pada seluruh  kurikulum  SMK  yang  berlaku  (Direktorat  Pembinaan  SMK,  2013).  e-Rapor merupakan  bagian  dari  hasil  representasi  evaluasi  terhadap  proses  pendidikan  yang diterapkan  melalui  proses  perencanaan,  penilaian,  dan  pelaporan  hasil  evaluasi  belajar peserta didik pada satuan pendidikan oleh guru mata pelajaran sebagaimana ketentuan yang telah  ditetapkan  dalam  pedoman  penilaian  dan  standar  penilaian.  Meskipun  pada penerapannya  e-Rapor  sudah  mempermudah  tenaga  pengajar  dalam  pengolahan  laporan nilai peserta didik, akan tetapi masih terdapat masalah daya guna ( usability ) aplikasi yang menjadi kendala bagi tenaga pengajar dalam mengoperasikannya.
SMKN  1  Suwawa  merupakan  salah  satu  sekolah  kejuruan  di  Provinsi  Gorontalo  telah menerapkan  aplikasi  e-Rapor  terhitung  sejak  tahun  2016.  Dari  hasil  observasi  terhadap pengguna aplikasi e-Rapor di SMKN 1 Suwawa, ditemukan bahwa masih terdapat beberapa pengguna yang mengalami kendala di bagian menu penginputan perencanaan pengetahuan, perencanaan keterampilan, penilaian pengetahuan dan penilaian keterampilan peserta didik. Tenaga  pengajar  juga  masih  sering  membutuhkan  bantuan  operator  untuk  mendampingi dalam  melakukan  proses  penginputan  perencanaan  dan  penilaian  sehingga    akan berpengaruh  terhadap  lamanya  waktu  pembuatan  laporan  akhir  hasil  belajar  untuk disampaikan kepada peserta didik.
Menurut ISO 9241-11 (ISO, 2018), ada tiga aspek yang dijadikan acuan untuk mengukur seberapa  bergunanya  aplikasi  dalam  membantu  mencapai  tujuan  tertentu  oleh  pengguna aplikasi. Ketiga aspek usability tersebut, yaitu: Effectiveness (kemampuan pengguna untuk mencapai  tujuan  mereka  dalam  konteks  yang  spesifik), Efficiency (sumber  daya  yang digunakan  terkait  dengan  akurasi  dan  kesempurnaan  yang  dicapai  pengguna  dalam menjalankan  tugas),  dan Satisfaction (tingkat  kepuasan  pengguna  saat  menggunakan aplikasi). Usability Testing adalah pengujian penggunaan terhadap sistem atau produk untuk menemukan  permasalah  daya  guna  atau usability (Beny  dkk,  2019).  Dalam  pengujian usability terdapat dua teknik yang bisa digunakan dalam mengukur tingkat efektifitas dan efisiensi  suatu  produk,  yaitu:  teknik performance  measurement dan Retrospective  Think Aloud . Teknik tersebut dapat memberikan hasil pengukuran yang lebih akurat dikarenakan sistem pengujiannya langsung berdasarkan pengalaman penggunanya.
Di sisi lain, System Usability Scale (SUS) dapat memberikan pandangan subjektif tentang usability dari suatu sistem (Brooke, 2013). Nilai yang didapatkan dari metode SUS dapat dijadikan pertimbangan tingkat kelayakan suatu aplikasi untuk diterapkan (Pudjoatmodjo & Wijaya,  2016).  Oleh  karena  itu,  kuesioner  SUS  dapat  digunakan  untuk  mengukur  tingkat kepuasan pengguna terhadap suatu produk karena sifat penilaiannya yang subjektif.
Berdasarkan  uraian  di  atas,  metode Usability  Testing dan SUS dapat digunakan  untuk mengukur  aspek Effectiveness,  Efficiency dan Satisfaction sesuai  dengan  standar  ISO
( International Standart Organization ) 9241-11. Untuk itu, tujuan dari penelitian ini adalah:
(1) untuk mengukur usability aplikasi e-Rapor menggunakan metode Usability Testing dan System  Usability  Scale (SUS),  (2)  untuk  mengetahui  tingkat  efektifitas  dan  efisiensi pengimplementasian  aplikasi  e-Rapor  di  SMKN  1  Suwawa,  dan  (3)  untuk  mengetahui tingkat kepuasan pengguna dalam menggunakan aplikasi e-Rapor.

## M ETODE
Penelitian  ini  dilakukan  di  SMK  Negeri  1  Suwawa,  Provinsi  Gorontalo.  Penelitian  ini menggunakan  metode  survei dengan  pendekatan  deskriptif  kuantitatif  dan  kualitatif. Penelitian  survei  merupakan  suatu  penyelidikan  yang  sistematis  dalam  mengumpulkan informasi yang berhubungan dengan suatu objek studi, dengan menggunakan kuesioner atau daftar pernyataan yang telah terstruktur (Yusuf, 2017). Tahapan penelitian ditunjukkan pada Gambar 1.
Gambar 1. Alur Tahapan Penelitian
Penelitian  ini  menghasilkan  data  kuantitatif  dan  kualitatif.  Data  kuantitatif  menghasilkan data  berupa  jumlah  tingkat  kesuksesan  yang  dikumpulkan  dari  setiap  responden  terhadap penyelesaian skenario tugas ( task scenario ) dan data waktu pengerjaan setiap task scenario oleh responden melalui pengujian dengan teknik performance measurement serta pengisian kuesioner  SUS.  Data  tingkat  kesuksesan  yang  dikumpulkan  dianalisis  menggunakan persamaan completion rate untuk mengetahui tingkat efektifitas dari penggunaan aplikasi. Data  waktu  pengerjaan task scenario responden  akan  dianalisis  menggunakan  persamaan timebased  efficiency guna  mengetahui  hasil  efisiensi  penggunaan  aplikasi.  Sementara  itu,

## Pengukuran Tingkat Usability Sistem Aplikasi e-Rapor Menggunakan Metode Usability Testing dan SUS
16
data hasil pengisian kuesioner SUS dianalisis untuk mengetahui tingkat kepuasan pengguna terhadap aplikasi.
Data kualitatif menghasilkan data berupa kalimat atau pernyataan mengenai usability dari aplikasi  e-Rapor  yang  didapatkan  melalui  pengujian  dengan  teknik Retrospective  Think Aloud (RTA) serta wawancara untuk mengetahui detail permasalahan usability yang dialami oleh pengguna pada saat pengujian dengan teknik performance measurement . Data kualitatif akan dianalisis dengan mengumpulkan berbagai permasalahan/kesulitan yang diungkapkan oleh responden pada saat pengujian, kemudian akan dikelompokan kedalam permasalahan khusus (berimplikasi langsung pada permasalahan usability ) dan permasalahan (tidak terlalu berimplikasi dengan permasalahan usability ).
Responden dalam penelitian ini terdiri dari guru mata pelajaran, wali kelas, kepala program Keahlian,  dan  Admin  yang  total  keseluruhan  sebanyak  55  pengguna  aplikasi  e-Rapor. Adapun  pengambilan  sampel  pada  penelitian  ini  disesuaikan  berdasarkan  dari  kebutuhan metode yang digunakan seperti berikut:

## a. Sampel responden untuk pengujian tugas dengan Usability Testing
Untuk  jumlah  responden  yang  dijadikan  sampel  pada  kegiatan  pengujian  dengan usability testing , ditetapkan sejumlah 14 (empat belas) orang, yaitu: lima responden pada jenis pengguna Guru Mata Pelajaran, lima responden pada jenis pengguna Wali Kelas, tiga responden pada jenis pengguna Kepala Program Keahlian dan satu responden pada jenis pengguna Admin yang dipilih menggunakan teknik random sampling .
b. Sampel responden untuk penyebaran kuesioner SUS Untuk  jumlah  responden  yang  dijadikan  sampel  dalam  penyebaran  kuesioner  SUS, digunakan teknik Slovin . Kuesioner dibagikan kepada setiap pengguna aplikasi e-Rapor dengan jumlah keseluruhan populasi sebanyak 55 orang. Untuk presentase kelonggaran yang  digunakan  dalam  penentuan  sampel  yaitu  10%  atau  0,1.  Dari  perhitungan menggunakan  rumus slovin maka  didapatkan  jumlah  responden  dalam  penelitian  ini adalah 35 orang sebagai sampel dari jumlah populasi sebanyak 55 orang.
Instrumen penelitian yang digunakan dalam penelitian ini adalah pengujian Task scenario dan kuesioner System Usability Scale (SUS).
a. Pengujian Task scenario
Pengujian  ini  dilakukan  kepada  responden  terpilih  untuk  dikerjakan  guna  mengukur tingkat usability dari  alikasi  e-Rapor  di  SMKN  1  Suwawa  berdasarkan  2  (dua)  aspek usability, yaitu:  efektifitas  dan  efisiensi.  Daftar  skenario  tugas  yang  akan  diberikan kepada responden dapat dilihat pada Tabel 1, Tabel 2, Tabel 3, dan Tabel 4.
Tabel 1. Daftar tugas guru mata pelajaran
Kode Tugas Guru Mata Pelajaran TG1 Tambahkan satu Kompetensi Dasar melalui aplikasi TG2 Lakukan proses penambahan perencanaan penilaian pengetahuan melalui aplikasi TG3 Lakukan proses penambahan perencanaan penilaian keterampilan melalui aplikasi TG4 Lakukan proses edit data penilaian sikap terhadap salah satu siswa melalui aplikasi TG5 Lakukan proses penambahan penilaian pengetahuan terhadap 10 siswa melalui aplikasi TG6 Lakukan proses edit data penilaian pengetahuan terhadap lima orang siswa melalui aplikasi

## Tabel 2. Daftar tugas wali kelas
Kode Tugas Wali kelas TW1 Ubahlah catatan akademik untuk lima orang siswa yang sudah ada sebelumnya melaui aplikasi. TW2 Lakukan proses tambah penilaian karakter untuk lima orang siswa melalui aplikasi TW3 Lakukan proses edit data presensi kehadiran untuk lima orang siswa melalui aplikasi TW4 Lakukan  proses  tambah  data  prestasi  yang  dicapai  terhadap  tiga  orang  siswa  melalui aplikasi TW5 Lakukan proses cetak rapor salah satu siswa dalam format .pdf melalui aplikasi TW6 Lakukan proses cetak legger KD dalam format excel melalui aplikasi

## Tabel 3. Daftar tugas kepala program keahlian
Kode Tugas Kepala Program Keahlian KP1 Tambahkan  satu  data  paket  referensi  uji  kompetensi  keahlian  dan  satu  data  unit kompetensi keahlian melalui aplikasi. KP2 Lakukan  proses  tambah  data  perencanaan  penilaian  UKK  terhadap  lima  orang  siswa melalui aplikasi. KP3 Tampilkan detail perencanaan penilaian UKK yang telah dibuat melalui aplikasi Tabel 4. Daftar tugas admin Kode Tugas Admin TA1 Lakukan proses mapping pada mata pelajaran melalui aplikasi. TA2 Lakukan proses tambah data assesor baru melalui aplikasi TA3 Lakukan proses tambah data instruktur baru melalui aplikasi TA4 Ubah atau reset password dari salah satu pengguna ( user ) yang ada melalui aplikasi
b. Kuesioner SUS
Penyebaran kuesioner dilakukan untuk mengukur komponen tingkat kepuasan pengguna terhadap aplikasi e-Rapor di SMKN 1 Suwawa. Bentuk kuesioner yang digunakan dalam penelitian ini dalam bentuk skala Likert (Tabel 5).
Tabel 5. Kuesioner SUS
No Pernyataan Skala 1 2 3 4 5
1 Saya berpikir akan menggunakan aplikasi e-Rapor ini lagi.
2 Saya merasa aplikasi e-Rapor ini terlalu rumit atau kompleks untuk digunakan.
3 Saya merasa aplikasi e-Rapor ini mudah digunakan.
4 Saya membutuhkan bantuan dari orang lain atau teknisi dalam menggunakan aplikasi e-Rapor ini.
5 Saya menilai fungsi/fitur yang disediakan pada aplikasi e-Rapor ini dirancang dan disiapkan dengan baik.
6 Saya merasa terlalu banyak hal yang tidak konsisten dalam aplikasi e-Rapor ini.
7 Saya merasa kebenyakan orang akan mudah memahami cara menggunakan aplikasi e-Rapor ini dengan cepat.
8 Saya merasa aplikasi e-Rapor ini sangat rumit dan membingungkan untuk digunakan.
9 Saya merasa sangat percaya diri untuk menggunakan aplikasi e- Rapor ini.
10 Saya perlu membiasakan diri terlebih dahulu sebelum menggunakan aplikasi e-Rapor ini.

## H ASIL DAN D ISKUSI

## Hasil dan Pembahasan Usability Testing
Hasil usability  testing didapatkan  berdasarkan  pengolahan  data  yang  diperoleh  dari  hasil pengujian dengan teknik performance measurement dan Retrospective Think Aloud (RTA). Hasil  pengolahan  data  dari  pengujian  dengan  teknik performance  measurement menghasilkan  tingkat  efektivitas  dan  efisiensi  dari  penggunaan  aplikasi.  Sedangkan  data yang dihasilkan dari pengujian dengan teknik Retrospective Think Aloud (RTA) yaitu data tertulis  berupa  komentar/tanggapan  dari  hasil  verbalisasi  pikiran  yang  diungkapkan  oleh responden setelah pengujian dengan teknik performance measurement .

## Performance Measurement
Pengujian dengan teknik performance measurement menghasilkan data tingkat kesuksesan responden  dalam  mengerjakan task  scenario serta  data  kecepatan  waktu  yang  digunakan ketika  mengerjakan task  scenario tersebut.  Berikut  ini  merupakan  hasil  pengolahan  data pengujian dengan teknik performance measurement terhadap 14 responden pengujian pada aplikasi e-Rapor di SMK Negeri 1 Suwawa.

## Pengolahan dan Analisis Efektifitas
Efektivitas  diukur  berdasarkan  nilai  rata-rata  presentase  keberhasilan  seluruh  responden pengujian  pada  semua  jenis  pengguna  aplikasi  yang  telah  ditentukan  yakni  sebanyak  14 orang  responden.  Sebelumnya  data  tingkat  kesuksesan  responden  berdasarkan  masing- masing jenis pengguna yakni Guru Mata Pelajaran, Wali Kelas, Kepala Program Keahlian dan  Admin  yang  dikumpulkan  dengan  teknik performance  measurement dihitung menggunakan persamaan completion rate (1).
Presentase Keberhasilan = jumlah task yang berhasil diselesaikan
jumlah task keseluruhan × 100% (1)
Kemudian  hasil  rata-rata  presentase  keberhasilan  respoden  dalam  menyelesaikan task scenario tersebut diinterpretasikan berdasarkan Standar Acuan Litbang Depdagri tahun 1991 (Ayu, 2017) seperti ditunjukan pada Tabel 6.
Tabel 6. Standar ukuran efektivitas
No Rasio Efektivitas Tingkat Pencapaian 1 < 40% Sangat Tidak Efektif 2 40% - 59,99% Tidak Efektif 3 60% - 79,99% Cukup Efektif 4 ≥ 80% Sangat efektif
Setelah  hasil  rata-rata  presentase  keberhasilan  responden  pada  masing-masing  jenis pengguna  didapatkan,  maka  untuk  mengetahui  tingkat  efektivitas  penggunaan  aplikasi  e- Rapor  dilihat  berdasarkan  rata-rata  presentase  keberhasilan  responden  secara  keseluruhan dari semua jenis pengguna.
Hasil pengolahan data dan analisis tingkat efektivitas dari penggunaan aplikasi e-Rapor jenis pengguna Guru Mata Pelajaran disajikan dalam Tabel 7.
Tabel 7. Hasil perhitungan Completion Rate Kode Responden Jumlah task yang berhasil diselesaikan Jumlah task keseluruan Presentase keberhasilan GMP1 6 6 100% GMP2 6 6 100% GMP3 6 6 100% GMP4 6 6 100% GMP5 6 6 100% Rata-rata 100%
Berdasarkan  Tabel  7,  nilai  rata-rata  presentase  keberhasilan  responden  yang  didapatkan yakni  100%  dan memperoleh hasil tingkat  pencapaian sangat  efektif  berdasarkan  Standar Acuan Litbang Depdagri tahun 1991.
Tabel 8. Hasil Perhitungan Completion Rate Kode Responden Jumlah task yang berhasil diselesaikan Jumlah task keseluruan Presentase keberhasilan WK1 6 6 100% WK2 6 6 100% WK3 6 6 100% WK4 6 6 100% WK5 5 6 83% Rata-rata 97%
Berdasarkan  Tabel  8,  dapat  dilihat  bahwa  nilai  rata-rata  presentase  tingkat keberhasilan  responden  untuk  jenis  pengguna  Wali  Kelas  dalam  menyelesaikan task memperoleh  hasil  97%.  Hal  tersebut  terjadi  akibat  salah  satu  responden  dari  kelima responden yang diuji yakni responden WK5 gagal menyelesaikan salah satu task scenario yang  telah  diberikan.  Selanjutnya  nilai  rata-rata  presentase  keberhasilan  responden  yang didapatkan memperoleh hasil tingkat pencapaian sangat efektif berdasarkan Standar Acuan Litbang Depdagri tahun 1991.
Tabel 9. Hasil Perhitungan Completion Rate Kode Responden Jumlah task yang berhasil diselesaikan Jumlah task keseluruan Presentase keberhasilan KPK1 3 3 100% KPK2 3 3 100% KPK3 2 3 67% Rata-rata 89%
Berdasarkan  Tabel  9,  dapat  dilihat  bahwa  nilai  rata-rata  presentase  tingkat keberhasilan  responden  untuk  jenis  pengguna  Kepala  Program  Keahlian  dalam menyelesaikan task memproleh hasil 89%. Hal tersebut terjadi akibat salah satu responden dari ketiga responden yang diuji yakni responden KPK3 gagal menyelesaikan salah satu task scenario yang telah diberikan. Selanjutnya nilai rata-rata presentase keberhasilan responden yang didapatkan memperoleh hasil tingkat  pencapaian sangat  efektif berdasarkan  Standar Acuan Litbang Depdagri tahun 1991.
Tabel 10. Hasil perhitungan Completion Rate jenis pengguna admin Kode Responden Jumlah task yang berhasil diselesaikan Jumlah task keseluruan Presentase keberhasilan Admin 4 4 100% Rata-rata 100%
Berdasarkan  tabel  10,  dapat  dilihat  bahwa  nilai  rata-rata  presentase  tingkat  keberhasilan responden untuk jenis pengguna Admin dalam menyelesaikan task mendapatkan hasil 100% dan memperoleh tingkat pencapaian yang sangat efektif berdasarkan Standar Acuan Litbang Depdagri tahun 1991.
Berdasarkan  pengukuran  hasil  tingkat  keberhasilan  responden  yang  telah  dilakukan  pada masing-masing  jenis  pengguna  aplikasi,  maka  diperoleh  nilai  rata-rata  keseluruhan  yang hasil perhitungannya telah diinterpretasikan sesuai Standar Acuan Litbang Depdagri tahun 1991 seperti pada Tabel 11.
Tabel 11. Tingkat keberhasilan semua jenis pengguna
Jenis Pengguna Presentase Keberhasilan Tingkat Pencapaian Guru Mata Pelajaran 100% Sangat Efektif Wali Kelas 97% Sangat Efektif Kepala Program Keahlaian 87% Sangat efektif Admin 100% Sangat efektif Rata-Rata 96% Sangat Efektif
Berdasarkan hasil pengukuran terhadap tingkat keberhasilan 14 responden pengujian baik pada jenis pengguna Guru Mata Pelajaran, Wali Kelas, Kepala Program Keahlian dan Admin pada aplikasi e-Rapor diperoleh nilai rata-rata presentase keberhasilan sebesar 96% dengan tingkat pencapaian yang sangat efektif sehingga dapat disimpulkan bahwa aplikasi e-Rapor sudah efektif dari segi penggunaanya dan memiliki tingkat usability yang baik.

## Pengolahan dan Analisis Efisiensi
Efisiensi diukur berdasarkan nilai rata-rata kecepatan waktu yang dibutuhkan oleh seluruh responden pengujian dari semua jenis pengguna pada aplikasi yang telah ditentukan yakni sebanyak  14  orang  responden.  Sebelumnya  data  pengerjaan task  scenario oleh  masing- masing  responden  dan  data  waktu  pengerjaan  setiap task  scenario pada  saat  pengujian dihitung menggunakan persamaan time based efficiency (2).
𝑇𝑖𝑚𝑒 𝐵𝑎𝑠𝑒𝑑 𝐸𝑓𝑓𝑖𝑐𝑖𝑒𝑛𝑐𝑦 = ∑ ∑ 𝑛𝑖𝑗 𝑡𝑖𝑗 𝑁 𝑖=1 𝑅 𝑗=1 𝑁𝑅 (2)
dimana :   R    = Jumlah Responden N   = Total Tugas/ Task n ij = Hasil tugas ke-i oleh partisipan ke-j. Jika selesai maka nilainya 1 dan jika tidak selesai maka bernilai 0. t ij = Waktu yang dibutuhkan oleh partisipan ke-j untuk menyelesaikan tugas ke-i dalam satuan detik.
Selanjutnya hasil rata-rata waktu yang dibutuhkan untuk mengerjakan task scenario tersebut diinterpretasikan  menggunakan range waktu  pada  indikator time  behavior seperti  yang terdapat  pada  Tabel 12 untuk  menentukan durasi waktu  yang digunakan  pengguna dalam penyelesaiaan task sehingga dapat diketahui hasil pengukuran tingkat efisiensi dari aplikasi (Rahadi, 2014).
Tabel 12. Interval waktu pada indikator Time Behavior (Ayu, 2017) No Lamanya Waktu Kualifikasi 1 60 -300 Second Sangat Cepat 2 360 - 600 Second Cepat 3 660 - 900 Second Lambat
Untuk hasil pengolahan data dan analisis tingkat efisiensi dari penggunaan aplikasi e-Rapor disajikan dalam Tabel 13.
Tabel 13. Hasil Time Bassed Efficiency jenis pengguna guru mata pelajaran
Time Based Efficiency Guru Mata Pelajaran
Persamaan Kode Task Total TG1 TG2 TG3 TG4 TG5
TG6 ∑ nij tij 𝑁
𝑖=1
0,1249 0,1317 0,1370 0,1378 0,1887 0,1747 0,8948 Time Based Efficiency 0,0298 goal/sec
Berdasarkan Tabel 13, dapat dilihat bahwa rata-rata waktu yang dibutuhkan oleh responden jenis pengguna Guru Mata Pelajaran dalam mengerjakan setiap task scenario memperoleh hasil 0,0298 detik dari ke enam task yang diberikan. Selanjutnya hasil rata-rata waktu yang digunakan oleh responden dalam menyelesaikan ke enam task tersebut memperoleh tingkat pencapaian  yang  sangat  cepat  berdasarkan  interpretasi range waktu  pada  indikator time behavior .
Tabel 14. Hasil Time Bassed Efficiency jenis pengguna wali kela s
Time Based Efficiency Wali Kelas
Persamaan Kode Task Total TW1 TW2 TW3 TW4 TW5 TW6 ∑ nij tij 𝑁
𝑖=1
0,0872 0,0571
0,0833 0,0989 0,0996 0,0967 0,5228 Time Based Efficiency 0,0174 goal/sec
Dalam  Tabel  14,  dapat  dilihat  bahwa  rata-rata  waktu  yang  dibutuhkan  oleh  responden  jenis pengguna Wali Kelas dalam mengerjakan setiap task scenario memperoleh hasil 0,0174 detik dari ke enam task yang diberikan. Hasil rata-rata waktu yang digunakan oleh responden dalam menyelesaikan  ke  enam task tersebut  memperoleh  tingkat  pencapaian  yang  sangat  cepat berdasarkan interpretasi range waktu pada indikator time behavior .

## 22
Tabel 15. Hasil Time Bassed Efficiency jenis pengguna kepala program keahlian Time Based Efficiency Kepala Program Keahlian Persamaan Kode Task Total TW1 TW2 TW3
∑ nij tij 𝑁
𝑖=1
0,0477
0,0463 0,0467 0,1408 Time Based Efficiency 0,0156 goal/sec
Berdasarkan Tabel 15, dapat dilihat bahwa rata-rata waktu yang dibutuhkan oleh responden jenis pengguna Kepala Program Keahlian dalam mengerjakan setiap task scenario memperoleh hasil 0,0174  detik  dari  ketiga task yang  diberikan.  Hasil  rata-rata  waktu  yang  digunakan  oleh responden dalam menyelesaikan ketiga task tersebut memperoleh tingkat pencapaian yang sangat cepat berdasarkan interpretasi range waktu pada indikator time behavior .
Tabel 16. Time Bassed Efficiency jenis pengguna admin
Time Based Efficiency Admin Persamaan Kode Task Total TA1 TA2 TA3 TA4
∑ nij tij 𝑁
𝑖=1 0,0111 0,0294
0,0270 0,0182 0,0857 Time Based Efficiency 0,0857 goal/sec
Berdasarkan Tabel 16, dapat dilihat bahwa rata-rata waktu yang dibutuhkan oleh responden jenis  pengguna  Admin  dalam  mengerjakan  setiap task  scenario memproleh  hasil  0,0174 detik  dari  ke  empat task yang  diberikan.  Hasil  rata-rata  waktu  yang  digunakan  oleh responden  dalam  menyelesaikan  ke  empat task tersebut  memperoleh  tingkat  pencapaian yang sangat cepat berdasarkan interpretasi range waktu pada indikator time behavior .
Berdasarkan  pengukuran  hasil  tingkat  kecepatan  waktu  yang  dibutuhkan  oleh  responden dalam  menyelesaikan task  scenario pada  masing-masing  jenis  pengguna  aplikasi,  maka diperoleh rata-rata waktu yang digunakan oleh keseluruhan pada semua jenis pengguna yang hasil perhitungannya telah diinterpretasikan menggunakan range waktu pada indikator time behavior seperti pada Tabel 17.

## Tabel 17. Hasil rata-rata waktu keseluruhan responden semua jenis pengguna
Jenis Pengguna Rata-Rata Time Based Efficiency Tingkat Pencapaian Guru Mata Pelajaran 0,0298 goals/sec Sangat Cepat Wali Kelas 0,0174 goals/sec Sangat Cepat Kepala Program Keahlaian 0,0156 goals/sec Sangat Cepat Admin 0,0857 goals/sec Sangat Cepat Rata-rata 0,0371 goals/sec Sangat Cepat
Berdasarkan hasil pengukuran terhadap tingkat kecepatan waktu yang dibutuhkan oleh 14 responden dalam mengerjakan task scenario pengujian baik pada jenis pengguna Guru Mata Pelajaran, Wali Kelas, Kepala Program Keahlian dan Admin pada aplikasi e-Rapor diperoleh nilai rata-rata kecepatan waktu sebesar 0,0371 detik dengan tingkat pencapaian yang sangat cepat. Hal tersebut menunjukan bahwa aplikasi e-Rapor sudah efisien dari segi waktu yang dibutuhkan oleh responden dalam menyelesaikan setiap task scenario .

## Retrospective Think Aloud
Dari hasil pengolahan data yang dikumpulkan pada pengujian dengan teknik Retrospective Think Aloud terhadap 14 responden pengujian pada masing-masing jenis pengguna, maka diperoleh  16  permasalahan/kesulitan  yang  dialami  responden  pada  saat  pengujian  dengan teknik performance measurement . Permasalahan tersebut terdiri dari 12 permasalahan yang secara khusus  dialami  oleh responden dan 4 permasalahan umum yang  dialami pada saat pengujian yang hasilnya disajikan pada Tabel 18.
Tabel 18. Hasil RTA responden pada semua jenis pengguna
Kode Reponden Kode Masalah Masalah/Kesulitan yang dialami Jenis GMP3, GMP1 MGP1 Sering lupa password saat akan login ke aplikasi dan biasanya akan menghubungi admin untuk melakukan reset password kembali. Khusus GMP3 MGP2 Kesulitan dalam menemukan fitur untuk melakukan proses edit penilaian sikap karena tata letak fitur terlalu kecil dan kurang nampak. Khusus GMP1, GMP2, GMP3, GMP4, GMP5 MGP3 Aplikasi tidak dapat diakses selain menggunakan jaringan dari sekolah dan sering overload ketika banyak pengguna yang mengakses dalam satu waktu seacara bersamaan. Umum WK2, WK4 MWK1 Sering lupa password saat akan login ke aplikasi dan biasanya akan menghubungi admin untuk melakukan reset password kembali. Khusus WK5 MWK2 Dropdown menu pada salah satu slide menu di aplikasi terlalu banyak. Khusus WK3, WK4, WK5 MWK3 Sering lupa terutama membedakan penilaian karakter dan catatan akademik pada aplikasi, karena keduanya memiliki tampilan yang hampir sama. Selain itu, posisi dropdown menu kedua proses terlalu berdekatan sehingga data yang diinputkan pengguna sering tertukar. Khusus WK2, WK3, WK4, WK5 MWK4 Tidak dapat melakukan pencarian secara cepat ketika ingin mengubah catatan akademik untuk siswa tertentu. Khusus WK1, WK2, WK3, WK4, WK5 MWK5 Aplikasi tidak dapat diakses selain menggunakan jaringan dari sekolah dan sering overload ketika banyak pengguna yang mengakses dalam satu waktu secara bersamaan. Umum KPK3 MKP1 Sering lupa password saat akan login ke aplikasi dan biasanya akan menghubungi admin untuk melakukan reset password kembali. Khusus KPK3 MKP2 Warna tampilan aplikasi terlalu kontras dan tajam Khusus KPK1, KPK3 MKP3 Sering lupa letak menu atau fitur yang akan diakses untuk mengerjakan suatu proses tertentu karena kurang terbiasa menggunakan aplikasi. Umum KPK3 MKP4 Kesulitan dalam mencari fitur untuk menambahkan unit kompetensi keahlian karena fitur tersebut terlalu kecil dan kurang nampak. Khusus

## Pengukuran Tingkat Usability Sistem Aplikasi e-Rapor Menggunakan Metode Usability Testing dan SUS

## Hasil dan Pembahasan System Usability Scale (SUS)
SUS merupakan penilaian global aspek usability yaitu: efektivitas, efisiensi, dan kepuasan secara subjektif yang dirasakan oleh pengguna. Dalam halini skor SUS menunjukkan tingkat penerimaan  pengguna.  Hasil  pengukuran  dengan System  Usability  Scale didapatkan berdasarkan  pengolahan  data  yang  diperoleh  dari  hasil  pengisian  kuesioner  SUS  yang disebarkan secara online menggunakan Google formulir terhadap 35 responden yang telah ditargetkan dari semua jenis pengguna aplikasi yang terdiri dari Guru Mata Pelajaran, Wali Kelas, Kepala Program Keahlian dan Admin. Dari hasil pengumpulan kuesioner yang telah disebarkan kepada semua jenis pengguna aplikasi e-Rapor, diperoleh data jumlah responden yang memberikan penilaian sesuai jenis pengguna masing-masing pada aplikasi (Tabel 19).

## Tabel 19. Hasil penilaian kuesioner SUS
Jensis Pengguna Total responden memberikan penilaian Guru Mata Pelajaran 17 Wali Kelas 12 Kepala Program Keahlian 5 Admin 1 Total Keseluruhan 35
Selanjutnya,  data  hasil  keseluruhan  penilaian  yang  telah  dikumpulkan  dari  35  responden pada semua jenis pengguna diolah dengan cara menghitung skor SUS menggunakan tahapan yang telah ditetapkan seperti berikut:
1) Pernyataan ganjil, yaitu: 1,3,5,7, dan 9 dari skor yang diberikan oleh responden dikurangi dengan 1.
2) Pernyataan  genap,  yaitu:  2,4,6,8,  dan  10  dari  skor  yang  diberikan  oleh  responden digunakan untuk mengurangi dengan 5.
3) Hasil dari konversi tersebut selanjutnya dijumlahkan untuk setiap responden kemudian dikalikan dengan 2,5 agar mendapatkan rentang nilai antara 0-100.
4) Setelah skor dari masing-masing responden telah diketahui, langkah selanjutnya adalah mencari skor rata-rata dengan cara menjumlahkan semua hasil skor dan dibagi dengan jumlah responden yang ada.
Kode Reponden Kode Masalah Masalah/Kesulitan yang dialami Jenis KPK1, KPK2, KPK3 MKP5 Aplikasi tidak dapat diakses selain menggunakan jaringan dari sekolah dan sering overload ketika banyak pengguna yang mengakses dalam satu waktu seacara bersamaan. Umum MA1 Admin Kewalahan saat banyak pengguna yang lupa password dan harus reset kembali password pengguna yang dilupa. Khusus MA2 Admin Tidak bisa menambahkan data asesor dan instruktur secara langsung melalui aplikasi. Khusus MA3 Admin Proses mapping mata pelajaran harus dilakukan satu persatu dan disesuaikan dengan guru pengajar pada masing-masing kelas rombongan belajar Khusus
Setelah  skor  SUS  diperoleh  berdasarkan  hasil  dari  perhitungan  sebelumnya,  maka  skor tersebut diinterpretasikan ke dalam kategori penilaian skor SUS yaitu: acceptability , grade scale , dan adjective rating (Bangor dkk, 2009)
Berdasarkan hasil penilaian 35 responden yang terdiri dari 17 Guru Mata Pelajaran, 12 Wali Kelas, 5 Kepala Program Keahlian dan 1 Admin yang terlibat dalam penelitian, didapatkan total  skor penilaian sebesar 2430. Selanjutnya untuk  menentukan nilai  rata-rata skor SUS yaitu total skor penilaian 2430 dibagi dengan 35 sesuai jumlah responden, maka didapatkan nilai rata-rata skor SUS sebesar 69. Untuk menentukan acceptability, grade scale, adjective ratings dilakukan  perbandingan  hasil  penilaian  rata-rata  responden  tersebut  berdasarkan penilaian seperti pada Gambar 2.
Gambar 2.  Skor SUS (Broke, 2013)
Dapat  disimpulkan  bahwa  hasil  penilaian  responden  terhadap  e-Rapor  adalah  sebagai berikut:  a). acceptability  ranges (tingkat  penerimaan)  pengguna  dalam  kategori marginal high , b) grade scale berada pada kategori D, dan c) adjective ratings berada pada kategori Good.  Sesuai  dengan  hasil  penilaian  tersebut  maka  aplikasi  e-Rapor  dapat  diterima  oleh pengguna akhir dan dapat juga dijadikan sebagai alat bantu dalam pengolahan nilai peserta didik, dan informasi hasil representasi evaluasi proses pendidikan di satuan pendidikan.

## K ESIMPULAN
Pengukuran usability aplikasi e-Rapor di SMKN 1 Suwawa menggunakan metode Usability Testing menunjukkan  hasil  sebesar  96%  untuk  tingkat  efektifitas.  Sedangkan  dari  tingkat efisiensi diperoleh hasil pengukuran rata-rata kecepatan waktu sebesar 0,037 detik dengan tingkat  pencapaian  yang sangat  cepat dalam  pengerjaannya.  Pengujian  dengan  teknik Retrospective  Think  Aloud (RTA)  menghasilkan  rekomendasi  perbaikan  yang  difokuskan untuk memperbaiki tata letak fitur yang terdapat pada aplikasi sehingga fitur-fitur tersebut dapat lebih jelas lagi digunakan oleh pengguna. Adapun untuk tingkat kepuasan pengguna yang diperoleh dari perhitungan skor kuesioner System Usability Scale (SUS) mendapatkan nilai sebesar 69 yang berarti bahwa aplikasi e-Rapor dapat diterima oleh pengguna akhir dan dapat  dijadikan  sebagai  alat  bantu  dalam  manajemen  data  evaluasi  proses  pendidikan  di satuan pendidikan.

## R EFERENSI
Ayu,  P.  D.  W.  (2017).  Analisis  pengukuran  tingkat  efektivitas  dan  efisiensi  sistem  informasi manajemen surat STIKOM Bali. Jurnal Sistem dan Informatika (JSI) , 11 (2), 99-109.
Bangor, A., Kortum, P., & Miller, J. (2009). Determining what individual SUS scores mean: Adding an adjective rating scale. Journal of Usability Studies , 4 (3), 114–123.
Beny, B., Yani, H., & Ningrum, G. M. (2019). Evaluasi usability situs web kemenkumham kantor wilayah Jambi dengan metode usability test dan system usability scale. Research: Journal of Computer, Information System & Technology Management , 2 (1), 30-34. Brooke, J. (2013). SUS: a retrospective. Journal of Usability Studies, 8 (2), 29-40.

## Pengukuran Tingkat Usability Sistem Aplikasi e-Rapor Menggunakan Metode Usability Testing dan SUS
26
Direktorat Pembinaan SMK. (2019). Panduan penggunaan e-Rapor SMK 5.0.0. Jakarta: Direktorat Jenderal Pendidikan Dasar dan Menengah Kementrian Pendidikan dan Kebudayaan.
ISO.  (2018).  International  Organization  for  Standardization  (ISO)  9241-11:2018.  Diakses  dari https://www.iso.org/obp/ui/#iso:std:iso:9241: -11:ed-2:v1:en
Pudjoatmodjo, B., & Wijaya, R. (2016). Tes kegunaan (usabilty testing) pada aplikasi kepegawaian dengan  menggunakan  system  usabilty  scale.  Studi  kasus:  Dinas  Pertanian  Kabupaten Bandung). 4 (1), 37-42.
Rahadi,  D.  R.  (2014).  Pengukuran  usability  sistem  menggunakan  use  questionnaire  pada  aplikasi android. Jurnal Sistem Informasi (JSI) , 6 (1), 661-671.
Raharjo,  P.,  Kusuma,  W.  A.,  &  Sukoco,  H.  (2016).  Uji  usability  dengan  metode  cognitive walkthrough  pada  situs  web  perpustakaan  Universitas  Mercu  Buana  Jakarta.  Jurnal Pustakawan Indonesia, 15 (1-2), 19-27.
Ulfa,  R.  (2021).  Mengukur  kepuasan  pengguna  sistem  informasi  bimbingan  konseling  (E-BK) menggunakan system usability scale (SUS) di SMK Negeri 1 Banda Aceh. Skripsi. UIN Ar- raniry.
Yusuf,  A.  M.  (2017).  Metode  penelitian  kuantitatif,  kualitatif  &  penelitian  gabungan.  Jakarta:
Kencana.