## Journal of Applied Informatics and Computing (JAIC)
Vol.5, No.2, Desember 2021, pp. 146~150 e-ISSN: 2548-6861

## Evaluasi Usability Website Shopee Menggunakan System Usability Scale (SUS)
Firman Galuh Sembodo 1 *, Gita Fadila Fitriana 2 *, Novian Adi Prasetyo 3 ** * Program Studi S1 Rekayasa Perangkat Lunak, Institut Teknologi Telkom Purwokerto ** Program Studi S1 Informatika, Institut Teknologi Telkom Purwokerto 17104007@ittelkom-pwt.ac.id 1 , gita@ittelkom-pwt.ac.id 2 , novian@ittelkom-pwt.ac.id 3 Article Info

## ABSTRACT
Article history: Received 2021-08-23 Revised 2021-10-26 Accepted 2021-11-1 The progress of information technology is currently growing rapidly. Technology related to the internet is often a solution to most of the problems in existing needs, especially  those  related  to  the  effectiveness  and  efficiency  of  activities  and procedures. In this final project, the author discusses websites in the business field, namely  e-commerce  websites.  In  this  study,  the  authors  chose  one  of  the  most popular e-commerce websites in Indonesia this year, namely the shopee website, a website that  not only  offers products but  also puts  forward the appearance of the Shopee website which must always be considered because it is the main factor to increase  customer  purchases.  In  this  study,  the  quality  of  the  web  that  will  be measured by users, especially for consumers, is based on measuring the quality of the  website  using  the  System  Usability  Scale  (SUS).  Evaluation  of  the  shopee website is the first step to measure the level of usability on the website. Usability evaluation on the website is carried out to collect opinions from various respondents regarding the functionality of the website. In this study, the results obtained from the calculation of the average usability of the shopee website of 67.08 so that it can be said that the usability of the shopee website on product purchases has entered the OK category. Keyword: User, Shopee, Usability, Quality, Website This is an open access article under the CC–BY-SA license.

## I. P ENDAHULUAN
Kemajuan teknologi informasi saat ini berkembang pesat. Teknologi yang berkaitan dengan internet seringkali menjadi sebuah  solusi  bagi  sebagian  besar  permasalahan  pada kebutuhan  yang  ada  terutama  yang  berkaitan  dengan efektivitas dan efisiensi dari kegiatan maupun prosedur [1].
Indonesia  mengalami  perkembangan  pesat  di  bidang e- commerce saat  ini  dibandingkan  dengan  beberapa  tahun sebelumnya.  Di  Indonesia,  berbelanja  secara  online  telah menjadi  pilihan  banyak  pihak  untuk  memperoleh  barang. Penerapan  teknologi  komunikasi  informasi  yang  bisa digunakan  untuk  menunjang  sistem  perdagangan  online adalah E-commerce.  E-commerce adalah  penjualan  yang dilakukan  melalui  media  elektronik.  Pertumbuhan E- commerce yang  terus  meningkat  di  Indonseia  membuat Shopee ikut meramaikan industri ini. Banyaknya marketplace yang saat ini  menguasai pasar Indonesia seperti Tokopedia, Bukalapak,  Shopee,  Lazada,  Blibli,  JD.Id  dan  lainnya.
Dibanding  dengan E-commerce yang  lain  shopee  memiliki pangsa pasar yang luas. Pada tahun 2017 Shopee menduduki peringkat pertama di Indonesia sebagai situs toko online yang paling banyak dikunjungi. Data iPrice menunjukkan jumlah pengunjung  shopee  selama  tiga  tahun  terakhir  terus mengalami peningkatan sejak Quartal pertama 2019. Shopee menduduki  peringkat  pertama  sebagai top  of  mind  brand . Terpilihnya Shopee sebagai  marketplace terpopuler di  mata masyarakat  menunjukkan  bahwa  Shopee  memiliki  citra perusahaan  yang  baik. Platform marketplace Shopee memiliki dua bentuk aplikasi yang di gunakan yaitu aplikasi berbasis mobile dan website . Fleksibilitas Smartphone yang dapat menunjang kebutuhan manusia saat ini mengakibatkan masyarakat yang telah memiliki perilaku belanja online mulai beralih dari website ke mobile. Website adalah kerangka kerja yang  dapat  digunakan  untuk  menyebarkan  data,  sehingga website di  era  inovatif  saat  ini  banyak  digunakan  untuk kehidupan  sehari-hari.  Pada  penelitian  ini  penulis  memilih salah satu website e-commerce terpopuler di Indonesia tahun
e-ISSN: 2548-6861
Evaluasi Usability Website Shopee Menggunakan System Usability Scale (SUS) (Firman Galuh Sembodo, Gita Fadila Fitriana, Novian Adi Prasetyo)
147 ini yaitu website Shopee, sebuah website yang bukan hanya menawarkan  produk  tetapi  juga  mengedepankan  tampilan dari website Shopee  yang  harus  selalu  diperhatikan  karena menjadi  faktor  utama  untuk  meningkatkan  pembelian pelanggan. Pengguna  atau  pelanggan website Shopee  di Indonesia  sangatlah  banyak  sehingga  memunculkan  banyak persepsi  tentang website Shopee  baik  dari  kualitas  website atau usabilitas [2].
Kualitas  dari  suatu website  e-commerce dapat mempengaruhi  jumlah  pengguna  yang  memilih  untuk berbelanja  online  pada website  e-commerce ,  untuk mengetahui  kualitas  situs  yang  tinggi  dan  rendah  yang ditentukan  oleh  standar  pengguna[3].  Pengukuran  kualitas pada website khususnya e-commerce dapat  dilakukan menggunakan  pengukuran  nilai usability pada website tersebut [2].
Usability merupakan suatu pengalaman pengguna dalam berinteraksi dengan aplikasi atau situs web sampai pengguna dapat mengoperasikannya dengan efektif dan cepat menurut Nielsen [4]. SUS merupakan salah satu metode uji pengguna yang  menyediakan  alat  ukur  yang  “ quick and dirty ”  yang dapat diandalkan. Metode ini diperkenalkan oleh John Brooke pada  tahun  1986  yang  dapat  digunakan  untuk  melakukan evaluasi  berbagai  jenis  produk  ataupun  layanan[5].  Dalam penelitian ini, kualitas web yang akan diukur oleh pengguna khususnya untuk konsumen dengan didasari oleh pengukuran kualitas website menggunakan System Usability Scale (SUS) [5].  Evaluasi usability pada  website  dilakukan  untuk mengumpulkan  anggapan  dari  responden  yang  berbeda mengenai kegunaan website[4]. Sesuai dengan permasalahan tersebut  diperlukan  adanya  evaluasi usability pada  website Shopee  agar  dapat  mengetahui  kelayakan  sistem  apakah website  Shopee  mudah  digunakan  oleh  pengguna,  seberapa cepat  pengguna  dapat  dengan  mudah  memahami  dan menggunakan  website,  apakah  pengguna  masih  banyak mengalami  kendala  atau  kesusahan  dalam  menggunakan website tersebut [5]. Pengujian usability dapat dilakukan pada perangkat lunak yang kecil maupun besar dan multiplatform seperti  berbasis  web,  dekstop,  maupun  mobile.  Fokus  dari pengujian usability adalah  pengguna  mendapatkan kemudahan dalam menggunakan perangkat lunak [6].
Untuk  menilai  apakah  aplikasi  yang  disediakan  telah memiliki  nilai  kebergunaan  bagi  pengguna  maka  perlu dilakukan  evaluasi  pandangan  pengguna  untuk  mengukur tingkat  kebergunaan.  Teknik  pengujian usability dapat digunakan dalam melakukan evaluasi berdasarkan pandangan pengguna, karena usability merupakan teknik pengujian yang dilakukan  sesuai  dengan  pengalaman  pengguna  terhadap sebuah  sistem.  Pengujian  dengan  teknik usability berfokus pada  penilaian  tingkat  kebergunaan  sistem  yang  disediakan [7].  Metode  pengujian usability yang  digunakan  dalam penelitian  ini  yaitu  metode System  Usability  Scale (SUS). System usability scale sendiri memiliki kelebihan yaitu: “(1) proses evaluasi lebih mudah dimengerti oleh responden, (2) menggambarkan  hasil  yang  maksimal  dengan  melibatkan sample yang sedikit, dan (3) dapat dilihat dengan jelas antara
aplikasi yang dapat dan tidak dapat digunakan” [7]. Menurut Sauro  SUS  juga  memiliki  instrumen  yang  jelas  pada  cara perhitungan  untuk  melakukan  evaluasi  sebuah  aplikasi. Dengan  demikian  nilai  evaluasi  yang  dihasilkan  memiliki nilai kebenaran dan dapat dipertanggungjawabkan [8].

## II. M ETODE

## A. Identifikasi Masalah
Identifikasi  masalah  adalah  fase  permulaan  dari penguasaan  masalah  dimana  suatu  objek  tertentu  dalam situasi tertentu  yang  dapat dianggap sebagai  suatu  masalah. Pada  tahap  ini  penulis  mengenali  masalah  dalam  kerangka yang sedang berjalan untuk menemukan kebutuhan yang akan dipenuhi.  Dengan  memperhatikan,  menelusuri  dan menilai.tentang website shopee.co.id.
B. Studi Literatur
Studi  Literatur  merupakan  pendekatan  untuk  mengatasi masalah  dengan  mengikuti  sumber-sumber  komposisi  yang telah  dibuat  sebelumnya.  Pada  tahap  ini  penulis  melakukan pencarian,  khususnya  pencarian  data  dengan  membaca  dan kemudian  mengambil  informasi  dari  berbagai  buku,  buku harian, atau tujuan di web yang sesuai dengan masalah yang akan  digunakan  sebagai  eksplorasi  sebagai  alasan  untuk mengarahkan penelitian.
C. Pengukuran Instrumen (Kuesioner)
Pada tahap ini penulis melakukan Pengukuran Instrumen atau  biasa  disebut  Kuesioner  dengan  cara  melakukan penyusunan  kuesioner System  Usability  Scale (SUS)  yang memuat  aspek learnability,  efficiency,  memorability, errorsdan satisfaction dengan cara pengukuran berupa angka dengan  skala  1-5.  Kemudian  setelah  itu  penulis  melakukan penyebaran  kuesioner  secara  langsung  terhadap  responden pengguna  website  shopee.co.id.  Dalam  penelitian  ini diperlukan  30  orang  responden  kisaran  umur  17-30  tahun untuk  pengumpulan  data  menggunakan  Google  Form  [15]. Pengujian  data  ini  dilakukan  dengan  cara  mengolah  hasil kuesioner yang telah diisi oleh responden dengan bantuan 10 pertanyaan  dari  kuesioner System  Usability  Scale dibantu dengan One  Sample  T  –  Test untuk  melakukan  pengujian hipotesis.
D. Analisis Data
Pada tahap ini yaitu menganalisis data yang telah diolah dengan  menunjukan  hasil  hipotesis  dari  aspek  variabel dengan menggunakan System Usability Scale (SUS). Analisis data  tersebut  menunjukan  pengaruh  positif  antar  variabel yang  lain  sehingga  dapat  ditarik  kesimpulan  terhadap  hasil analisis dari penelitian ini.
Penelitian ini  melakukan  evaluasi  usability  website shopee  menggunakan  metode  system  usability  scale  (SUS) yaitu  pengukuran  dari  segi  efesiensi.  Pengumpulan  data dilakukan  oleh  pengguna  website  shopee  yang  melakukan
148
pembelian  produk  berjumlah  30  responden  dengan menggunakan  google  form. System  Usability  Scale (SUS) merupakan  metode  evaluasi  kegunaan  yang  dapat memberikan hasil yang memadai berdasarkan pertimbangan jumlah sampel yang kecil, waktu dan biaya [11]. Perhitungan tersebut  menghasilkan  strategi  SUS  yang  akan  diubah menjadi  suatu  nilai  yang  dapat  digunakan  sebagai  bahan pertimbangan untuk memutuskan apakah suatu aplikasi dapat diterapkan  atau  tidak.  SUS  juga  telah  digunakan  untuk menentukan  sejauh  mana  faktor  pengalaman  menggunakan suatu item akan benar-benar ingin memengaruhi klien dalam memberikan penghargaan SUS yang tinggi. Oleh karena itu, hasil penelitian ini menunjukkan bahwa nilai SUS yang lebih tinggi  dan  lebih  produktif  daripada  klien  situs  yang  tidak berpengalaman.
System Usability Scale (SUS) merupakan kuesioner yang dapat digunakan untuk mengukur usability sistem komputer menurut sudut pandang subyektif pengguna yang terdiri dari 10  item  pertanyaan  (Brooke,  1996).  Dalam  melakukan perhitungan SUS menggunakan lima skala Likert . Responden diminta untuk memberikan 10 pernyataan SUS sesuai dengan penilaian  subjektifnya.  Menurut  Brooke  (2013),  kuesioner SUS  dapat  digunakan  untuk  mengukur  tingkat  kepuasan pengguna untuk mengukur tingkat kepuasan pengguna pada suatu  produk[12].  Setiap  item  pernyataan  memiliki  skor kontribusi setiap skor akan berkisar antara 0 hingga 4. Untuk item  1,3,5,7  dan  9  skor  kontribusinya  adalah  posisi  skala dikurangi  1.  Untuk  item  2,4,6,8  dan  10,  skor  kontribusinya adalah  5  dikurangi  posisi  skala.  Kemudian  kalikan  jumlah skor SUS berkisar dari 0 hingga 100[13].
Komponen  pertanyaan  dari  SUS  yang  akan  digunakan mengacu  pada  instrument  [7].  Komponen  pertanyaan  SUS dapat dilihat pada Tabel I.

## TABEL I HASIL PERHITUNGAN KUESIONER SUS
No Komponen 1
Saya berpikir akan menggunakan sistem ini lagi.
2 Saya merasa sistem ini rumit untuk digunakan.
3 Saya merasa sistem ini mudah digunakan.
4 Saya membutuhkan bantuan dari orang lain atau teknisi dalam menggunakan sistem ini.
5 Saya  merasa  fitur-fitur  sistem  ini  berjalan dengan semestinya.
6 Saya merasa ada banyak hal yang tidak konsisten (tidak serasi pada sistem ini).
7 Saya  merasa  orang  lain  akan  memahami  cara menggunakan sistem ini dengan cepat.
8 Saya merasa sistem ini membingungkan.
9 Saya merasa tidak ada hambatan dalam menggunakan sistem ini.
10 Saya perlu membiasakan diri terlebih dahulu sebelum menggunakan sistem ini.
Pada Tabel II, merupakan Skor SUS, hasil dari pengolahan komponen pertanyaan SUS dari responden dapat dihitung untuk nilai rata-rata dari skor SUS berikut

## TABEL III
SKOR SUS >81 A Excellent 68-81 B Good 68 C OK/Fair 51-67 D Poor <51 F Worst
Metode Usability  System  Usability  Scale (SUS)  karena dalam  pemrosesan  kuesioner  SUS  melakukan  pengukuran usability yang  “ quick  and  right ”  (cepat  dan  tepat),  yang dimana output yang  dihasilkan  oleh  SUS  berupa  skor  yang tampak  mudah  dipahami,  dengan range dari  0  hingga  100, dengan semakin besar skor SUS maka semakin baik kualitas usability [13] .
Kemudian  setelah  itu  penulis  melakukan  penyebaran kuesioner  secara  langsung  terhadap  responden  pengguna website  shopee.co.id.  Dalam  penelitian  ini  diperlukan  30 orang  responden  kisaran  umur  17-30  tahun  untuk pengumpulan  data  menggunakan Google  Form .  Pengujian data ini dilakukan dengan cara mengolah hasil kuesioner yang telah diisi oleh responden.
E. Interpretasi Data dan Penarikan Kesimpulan Pada  tahap  ini  yaitu  memberikan  interpretasi  artinya memberikan  arti  yang  lebih  luas  dari  penemuan  penelitian mencakup dua aspek  yaitu  menghubungkan  hasil penelitian dengan  penemuan  penelitian  yang  lain  dan  menghasilkan suatu konsep yang bersifat menjelaskan. Kemudian dilakukan penarikan  kesimpulan  dengan  pernyataan  tentang  hasil pengujian  hipotesis  untuk  mengetahui  hasil  akhir  yang diperoleh dari penelitian yang sedang dilakukan.

## Hipotesis Penelitian
Pada tahap hipotesis yang dapat dijadikan sebagai acuan pada penelitian ini sebagai berikut:
H0: Rata – rata nilai usability website sama dengan 68 H1: Rata – rata nilai usability website tidak sama dengan 68
Berdasarkan  rata  –  rata  nilai usability  website yang didapat dari hipotesa. Apabila nilai signifikansi kurang dari 0,05  maka  H0  ditolak,  sedangkan  apabila  nilai  signifikansi lebih dari 0,05 maka H0 diterima. Hasil tersebut didapatkan dari perhitungan statistik dengan menggunakan One Sample T–Test yang dibantu menggunakan  SPSS [15].
e-ISSN: 2548-6861
Evaluasi Usability Website Shopee Menggunakan System Usability Scale (SUS) (Firman Galuh Sembodo, Gita Fadila Fitriana, Novian Adi Prasetyo)

## III. HASIL DAN PEMBAHASAN
Pengujian dilakukan setelah responden selesai melakukan task  yang  sudah  diberikan.  Peneliti  membagikan  kuesioner SUS  yang  harus  diisi  responden,  kemudian  data  tersebut diolah  sehingga  menghasilkan  output  yaitu  pengujian usability dengan  menggunakan  metode  System Usability Scale .

## A. Hasil Perhitungan Kuesioner SUS
Pada  analisis usability data  yang  diperoleh  kemudian dikelompokkan dan dilakukan perhitungan untuk menentukan score  usability  website shopee  yang  diuji  berkaitan  dengan task pembelian produk berdasarkan kuesioner SUS. Peneliti menggunakan  aturan  perhitungan  yaitu  Setiap  pernyataan memiliki score kontribusi.  Setiap score kontribusi  akan berkisar  antara  0  sampai  4.  Untuk  item  1,3,5,7,9 score kontribusinya  adalah  posisi  skala  dikurangi  1.  Untuk  item 2,4,6,8,10 score kontribusinya  adalah  5  dikurangi  posisi skala.  Kemudian  kalikan  jumlah score dengan  2.5  untuk mendapatkan nilai system usability , selanjutnya dijumlahkan dan  dibagi  dengan  jumlah  responden  yaitu  30  responden. Berikut hasil score yang dapat dilihat pada Tabel III.
TABEL IIIII HASIL PERHITUNGAN KUESIONER SUS Responden Skor Responden Skor R1 67,5 R16 75 R2 90 R17 52,5 R3 77,5 R18 77,5 R4 55 R19 70 R5 75 R20 57,5 R6 87,5 R21 60 R7 85 R22 70 R8 80 R23 60 R9 50 R24 75 R10 67,5 R25 100 R11 57,5 R26 52,5 R12 67,5 R27 50 R13 75 R28 50 R14 70 R29 50 R15 57,5 R30 50 Skor rata-rata 67,08
Hasil perhitungan dari kuesioner diatas ini diperkuat dengan analisis  uji one  sample  t-test .  Sebelum  analisis paired  one sample  t-test data  dipastikan  berdistribusi  normal  dengan dilakukan  uji  normalitas.  Uji  normalitas  kepuasan  pada kuesioner SUS website Shopee menggunakan uji normalitas Kolmogrov- Smirnov dan Shapiro-Walk [16].

## B. Uji Normalitas

## TABEL IV UJI NORMALITAS SCORE SUS
Kolmogorov-Smirnov a Shapiro-Wilk Statistic df Sig. Statistic df Sig. Score 0,131 30 0,198 0,936 30 0,071
Berdasarkan Tabel IV nilai signifikansi kepuasan website Shopee  pada  uji  normalitas Shapiro-Walk hasilnya  sebesar 0,071  dimana  hasil  tersebut  lebih  besar  dari  0,05  sehingga dapat  disimpulkan  bahwa  data  kepuasan  berdistribusi normal[17].
Setelah  dilakukan  uji  normalitas,  selanjutnya  dilakukan uji one  sample  statistics .  Berikut  merupakan  hasil  uji one sample satatistics usability website Shopee yang dapat dilihat pada Tabel V.

## C. Uji One sample test
Berdasarkan  pada  Tabel  III  menunjukan  nilai  statistik deskriptif, yaitu N=30 artinya jumlah sample yang digunakan adalah  30  orang[18]. Mean sebesar  67,08  lalu  ada Std. Deviation atau  simpangan  baku  sebesar  13,66286 lalu  Std Error  Mean sebesar  2,49449.  Kemudian  setelah uji  one sample  statistics ,  selanjutnya  adalah  melakukan uji  one sample  t-test yang  digunakan  untuk  mendapatkan  hasil hipotesis penelitian, dimana hasil uji one sample t-test dapat dilihat pada Tabel VI.

## TABEL V ONE SAMPLE STATISTICS
N Mean Std. Deviation Std. Error Mean Score 30 67,0833 13,66286 2,49449

## TABEL IVI ONE SAMPLE T-TEST
Test Value = 68 Score t df -.367 29 Test Value = 68 Sig. (2- tailed) Mean Difference 95% Confidence Interval of the Difference Lower Upper Score .716 -.91667 -6.0185 4.1851
Berdasarkan  Tabel  V  dapat  dilihat  nilai  signifikan  yang diperoleh  0,716  dengan  menggunakan value 68  dimana menunjukkan angka signifikan ini lebih besar dari 0,05 maka hipotesis penelitian diperoleh adalah H0 diterima oleh karena itu H1 ditolak dimana dapat di deskripsikan Rata – rata nilai usability  website Shopee  tidak  sama  dengan  68  atau  lebih kecil dari 68[19]. Hasil ini sesuai dengan nilai rata – rata yang
150
sudah diperoleh dari perhitungan kuesioner SUS dimana skor kepuasan pengguna 67,0833.

## IV. K ESIMPULAN
Berdasarkan  penelitian  yang  telah  dilakukan  dapat diambil  kesimpulan  mengenai  Evaluasi Usability  Website Shopee  Menggunakan System  Usability  Scale (SUS) didapatkan  hasil  berdasarkan  pengujian  data  yang  sudah diolah  didapatkan  nilai  rata-rata usability website shopee memperoleh  skor  67,0833  mengunjukan  bahwa  website shopee  memiliki  tingkat usability pada  fitur  pembelian produk  sudah  dalam  kategori  OK.  Pada  uji  normalitas  data yang didapat telah berdistribusi normal, sedangkan pada uji One sample T-Test menunjukan bahwa angka signifikan lebih besar dari 0,05 maka hipotesis penelitian diperoleh adalah H0 diterima  oleh  karena  itu  H1  ditolak  dimana  dapat dideskripsikan bahwa rata–rata nilai usability website Shopee tidak sama dengan 68 atau lebih kecil dari 68.

## D AFTAR P USTAKA
[1] M. A. Arga Kusumah, R. I. Rokhmawati, and F. Amalia, “Evaluasi Usability Pada  Website  E-commerce  XYZ Dengan Menggunakan Metode Cognitive Walkthrough dan System Usability Scale (SUS),” Pengemb. Teknol. Inf. dan Ilmu Komput. , vol. 3, no. 5, pp. 4340–4348, 2019.
[2] A. P. Ayudhitama and U. Pujianto, “Analisa Kualitas Dan Usability Berdasarkan Persepsi Pada Website Shopee,” J. Inform.  Polinema ,  vol.  6,  no.  1,  pp.  61–70,  2020,  doi: 10.33795/jip.v6i1.275.
[3] D.  Irmawati,  “Pemanfaatan  E-Commerce  Dalam  Dunia Bisnis,” Orasi Bisnis , vol. VI, no. November, pp. 95–112, 2011.
[4] Amin  Dwi  Purwati,  “Evaluasi Usability Website Menggunakan System Usability Scale,” Bina Darma Conf. Comput.  Sci. ,  vol.  2,  no.  1,  pp.  29–37,  2019,  [Online]. Available: http://jti.respati.ac.id/index.php/jurnaljti/article/view/213.
[5] A. W. Soejono, A. Setyanto, and A. F. Sofyan, “Evaluasi Usability Website  UNRIYO  Menggunakan System Usability  Scale (Studi  Kasus:  Website  UNRIYO),” J. Teknol.  Inf. ,  vol.  XIII,  no.  1,  pp.  29–37,  2018,  [Online]. Available: http://jti.respati.ac.id/index.php/jurnaljti/article/view/213.
[6] B. Pudjoatmodjo and R. Wijaya, “Tes Kegunaan ( Usability Testing) Pada Aplikasi Kepegawaian Dengan Menggunakan  System Usability Scale,” Semin.  Nas. Teknol. Inf. dan Multimed. 2016 , pp. 37–42, 2016.
[7] S.  Suyanto  and  U.  Ependi,  “Pengujian Usability dengan
Teknik System Usability Scale pada Test Engine Try Out Sertifikasi,” MATRIK    J.  Manajemen,  Tek.  Inform.  dan Rekayasa  Komput. ,  vol.  19,  no.  1,  pp.  62–69,  2019,  doi:
10.30812/matrik.v19i1.503.
[8] U.  Ependi,  A.  Putra,  and  F.  Panjaitan,  “Evaluasi  tingkat kebergunaan aplikasi administrasi penduduk menggunakan teknik system usability scale,” Regist. J. Ilm. Teknol. Sist. Inf. ,  vol.  5,  no.  1,  pp.  63–76,  2019,  doi: 10.26594/register.v5i1.1412.
[9] M.  A.  Zulhijdi,  R.  I.  Rokhmawati,  and  N.  Y.  Setiawan, “Evaluasi Usability Situs  Web  Snapixa  dengan menggunakan  Metode Usability Testing  dan  System Usability Scale,” J.  Pengemb.  Teknol.  Inf.  dan  Ilmu Komput. , vol. 3, no. 10, pp. 9348–9356, 2019.
[10] A. Nioga, K. C. Brata, and L. Fanani, “Evaluasi Usability Aplikasi Mobile KAI Access Menggunakan Metode System Usability  Scale (SUS)  Dan  Discovery  Prototyping  (Studi Kasus  PT  KAI),” J-PTIIK  J.  Pengemb.  Teknol.  Inf.  dan Ilmu Komput. , vol. 3, no. 2, pp. 1396–1402, 2019, [Online]. Available: http://j-ptiik.ub.ac.id/index.php/j- ptiik/article/view/4384.
[11] Kharis,  P.  I.  Santosa,  and  W.  W.  Winarno,  “Evaluasi Usability Pada Sistem Informasi Pasar Kerja Menggunakan System  Usablity  Scale  (SUS),” Pros.  Semin.  Nas.  Sains Dan Teknol. 10 2019 , vol. X, pp. 240–245, 2019.
[12] Ika  Aprilia,  P.  I.  Nugroho,  and  R.  Ferdiana,  “Pengujian Usability Website Menggunakan System Usability Scale,” J. IPTEKKOM  J. Ilmu Pengetah. Teknol. Inf. , vol. 17, no. 1, p. 31, 2015, doi: 10.33164/iptekkom.17.1.2015.31-38.
[13] A.  L.  Yuliati  and  C.  I.  Setiawati,  “Quality  Analysis  of Shopee  Website  by  Using  Importance  Performance Analysis Approach,” vol. Vol.65, pp. 585–587, 2019, doi: 10.2991/icebef-18.2019.125.
[14] J. R. Lewis, “The System Usability Scale: Past, Present, and Future,” Int. J. Hum. Comput. Interact. , vol. 34, no. 7, pp. 577–590, 2018, doi: 10.1080/10447318.2018.1455307.
[15] A.  A. Jiwa Permana, “ Usability Testing Pada Website E- Commerce  Menggunakan  Metode System  Usability  Scale (Sus)  (Studi  Kasus :  Umkmbuleleng.Com),” JST  (Jurnal Sains  dan  Teknol. ,  vol.  8,  no.  2,  p.  149,  2019,  doi: 10.23887/jst-undiksha.v8i2.22858.
[16] S.  Suardi,  “Pengaruh  Kepuasan  Kerja  Terhadap  Pegawai PT  Bank  Mandiri,  Tbk  Kantor  Cabang  Pontianak,” Business, Econ. Entrep. , vol. 1, no. 2, pp. 9–19, 2019, doi: 10.46229/b.e.e..v1i2.124.
[17] R. Kariadinata, Dasar-Dasar Statistik Penelitian . 2015.
[18] R. Alroobaea and P. J. Mayhew, “How many participants are  really  enough  for usability studies?,” Proc.  2014  Sci. Inf.  Conf.  SAI  2014 ,  pp.  48–56,  2014,  doi: 10.1109/SAI.2014.6918171.
[19] P.  Jeff  Sauro,  “5  Ways  To  Interpret  a  Sus,” Measuringu , 2018. https://measuringu.com/interpret-sus-score/.