Pengujian Validitas dan Reliabilitas System Usability Scale (SUS)

## Untuk Perangkat Smartphone
Muhammad Lulu Latif Usman¹, Muhamad Azrino Gustalika² ¹ Program Studi Teknik Informatika, Institut Teknologi Telkom Purwokerto ² Program Studi Teknik Informatika, Institut Teknologi Telkom Purwokerto *lulu@ittelkom-pwt.ac.id¹, azrino@ittelkom-pwt.ac.id²

## INTISARI
Untuk mengukur suatu perangkat lunak lebih spesifik berbasis telepon seluler smartphone dapat diterima oleh pengguna maka dilakukan pengujian Usability .  Untuk membuat quisioner yang dapat digunakan untuk melakukan pengujian System Usability Scale (SUS) yang dinyatakan valid dan reliabel. Quisioner diuji menggunakan Expert Review dan Product - Moment Coefficient untuk uji validitas, serta Cronbach Alfa untuk uji reliabilitas. Berdasarkan hasil uji yang dilakukan didapatkan 10 butir quisioner untuk uji SUS dengan seluruh butir dinyatakan valid secara Expert Review dan Product - Moment Coefficient , serta reliabel dengan skor Cronbach Alfa 0,778086452. Terdapat beberapa penelitian terkait pembuatan quisioner untuk uji SUS dimana bahasa yang digunakan bahasa indonesia dan bahasa inggris dengan jumlah pertanyaan sebanyak 10 butir. Penelitian ini sendiri memberikan opsi lain quisioner dengan mengadopsi penelitian yang sudah dilakukan dengan melakukan pengujian validitas dan realibilitas untuk menguji suatu perangkat lunak menggunakan uji SUS.
Kata kunci: Usability , SUS, Kuisioner

## ABSTRACT
To  measure  a  more  specific  software  based  on  smartphone  cellular  phones  can  be  accepted  by  users,  usability  testing  is carried out. To make a questionnaire that can be used to test the System Usability Scale (SUS) which is declared valid and reliable. The questionnaire was tested using an Expert Review and the Product-Moment Coefficient for validity testing, and Cronbach's Alpha for reliability testing. Based on the results of the tests carried out; there were 15 questionnaire items for the SUS test with all items declared valid by an Expert Review and Product-Moment Coefficient, and reliable with a Cronbach Alpha score of 0.835095216. Several studies related to making questionnaires for the SUS test where the language used is Indonesian and English with a total of 10 questions. This study itself provides another option for a questionnaire by adopting research that has been done by testing the validity and reliability to test software using the SUS test.
Keywords : Usability, SUS, Questionnaire

## I. PENDAHULUAN
Perkembangan  dinamis  pada  pasar  bidang perangkat  lunak  membuat  perusahaan  saat  ini  harus bisa  menyesuaikan  produknya  terhadap  keinginan pengguna  di  pasar  [1].  Perkembangan  yang  terjadi membuat perusahaan harus mampu membaca tren yang berkembang  terutama  dalam  bidang  perangkat  lunak. Dalam  perkembangannya  sendiri  tampilan  atau User Interface dari  suatu  perangkat  lunak  saat  ini  menjadi sangat  penting  [2].  Penggunaan  berbagai  fitur  dan fungsi dari suatu aplikasi saat ini juga menjadi semakin kompleks [3], Hal ini tentu harus menjadi suatu atensi
tersendiri  dalam  pengembangan  perangkat  lunak. Memberikan  suatu User  Interface yang  mampu mempermudah  pengguna  akhir  dalam  menggunakan perangkat lunak menjadi sangat penting.
Perkembangan  pembuatan perangkat  lunak dengan basis smartphone sangat tinggi. Hal ini terjadi salah satunya karena peningkatan penggunaan telepon seluler  terutama  di  Indonesia.  Menurut  data penggunaan  telepon  seluler  non- smartphone di Indonesia  2013  sebanyak  83,7%[4],  2014  sebanyak 83,2%[5],  2015  sebanyak  84,3%[6],  2016  sebanyak 84,4%[7], 2017 sebanyak 53,85%[8]. Pada tahun 2017
terjadi  penurunan  penggunaan  telepon  seluler  non- smartphone dimana  hal  ini  terjadi  karena  pada  tahun 2017  sendiri  terdapat  peralihan  penggunaan  dari telepon  seluler  non smartphone ke  telepon  seluler smartphone dengan  angka  penggunaan  66,31%. Intensitas  waktu  yang  dibutuhkan  untuk  masyarakat Indonesia dalam mengoperasikan smartphone dikategorikan tinggi[9].
.Untuk  mengukur  suatu  perangkat  lunak  dapat diterima  oleh  pengguna  maka  dilakukan  pengujian Usability . Usability merupakan  teknik  analisa  untuk mengukur  kemudahan  perangkat  lunak  dimana pengujiannya  melibatkan  pengguna  akhir  [10] – [12]. Proses  pengujian Usability aspek  yang  menentukan ketercapaian suatu perangkat lunak adalah penerimaan pengguna  akhir  [13],  [14].  Pengujian Usability biasanya digunakan System Usability Scale (SUS) yang merupakan  suatu  kuesioner  yang  digunakan  untuk penilaian  kegunaan  pengguna  [15].    SUS  sendiri merupakan  penilaian  yang  paling  populer  dalam melakukan pengujian Usability [16] – [18].
SUS  sebagai  kuisioner  pengujian Usability membutuhkan instrument kuisioner yang harus mampu memberikan  penilaian  yang  valid  dan  reliabel.  Untuk mencapai  tersebut  tentu  instrumen  yang  ada  dalam SUS juga perlu dilakukan uji terlebih dahulu sebelum digunakan dalam pengujian Usability . Hal ini bertujuan agar  instrumen  yang  digunakan  benar-benar  mampu mengukur  tingkat Usability dari  perangkat  lunak. Benar tidaknya data dalam suatu penelitian ditentukan oleh instrument yang digunakan untuk mengukur objek suatu  penelitian  [19].  Terdapat  beberapa  penelitian terkait  pembuatan  quisioner  untuk  uji  SUS  dimana bahasa  yang  digunakan  bahasa  indonesia  dan  bahasa inggris  dengan  jumlah  pertanyaan  sebanyak  10  butir [20],  [21].  Penelitian  ini  dilakukan  untuk  mengukur validitas  dan  reliabilitas  penggunaan  pengujian  SUS untuk perangkat lunak berbasis smartphone .

## II. LANDASAN TEORI
System  Usability  Scale atau  biasa  disebut  SUS sendiri  merupakan  pengujian  yang  dikembangakan oleh  Brooke  (1996)  sebagai  pengujian  “ Quick  and Dirty ”  dimana  participant  dapat  secara  cepat  dan mudah mengakses pengujian usabilitas untuk menilai suatu  produk  atau  layanan[22].  SUS  sendiri  menjadi salah satu pilihan pengujian Usabilitas[23].  utir soal
yang dibuat terdapat butir soal [22] untuk Uji SUS dimana butir soal yang dapat dilihat pada Tabel 1.
Tabel 1 . Butir Kuisioner SUS
No Butir Soal 1
I  think  that  I  would  like  to  use  this  product frequently
2 I found the product unnecessarily complex
3 I thought the product was easy to use
4 I  think  that  I  would  need  the  support  of  a technical person to be able to use this product
5 I  found  the  various  functions  in  the  product were well integrated
6 I thought there was too much inconsistency in this product
7 I imagine that most people would learn to use this product very quickly
8 I found the product very awkward to use
9 I felt very confident using the product
10 I needed to learn a lot of things before I could get going with this product

## III. METODE PENELITIAN
Pada penelitian pengujian kuisioner uji usabilitas menggunakan metode validitas dan realibilitas. Metode ini merupakan standar yang biasanya digunakan untuk menentukan  suatu  kuisioner  layak  digunakan  sebagai instrument penelitian atau tidak.

## A. Validitas
Hasil  penelitian  dikatakan  valid  apabila  terdapat kesamaan  antara  data  yang  terkumpul  dengan  data yang  sesungguhnya  terjadi  pada  obyek  diteliti  [24]. artinya  data  yang  terkumpul  dalam  penelitian  harus sama  dari  data  yang  ada  dilapangan.  Bila  terdapat perbedaan  antara  data  yang  terkumpul  dengan  data yang dilapangan maka penelitian yang dilakukan tidak valid.Instrumen  yang  valid  berarti  alat  ukur  yang digunakan  untuk  mendapatkan  data  (mengukur)  itu valid    [24].  Valid  berarti  insturmen  dapat  digunakan untuk  mengukur  apa  yang  seharusnya  diukur.  Uji validitas  isi  pada  instrumen  menggunakan Expert Review (pendapat  ahli)  dimana  instrumen  dapat dikatakan layak atau tidak. Hasil penelitian yang valid adalah kondisi dimana data yang dikumpulkan dengan data yang ada dilapangan sama  [24].  Instrumen yang valid berarti alat ukur digunakan untuk mengambil data itu valid  [24]. Valid berarti instrumen yang digunakan
dapat dijadikan sebagai instrumen atau alat ukur dalam penelitian.
Pengujian  validitas  menggunakan  uji Expert Review dan  uji Product-Moment  Coefficient . Expert Review merupakan pengujian yang dilakukan oleh ahli dalam  bidangnya  dimana  para  ahli  diminta  pendapat untuk menentukan instrumen yang telah dibuat  sudah valid  atau  belum.  Uji Product-Moment  Coefficient dilakukan dengan menggunakan persamaan [25]:
= (∑ ) (∑ )(∑ ) ( (∑ ) ( ) )( (∑ ) ( ) ) (1)
r = koefisien korelasi n = jumlah responden x i = skor setiap item pada instrumen y i = skor setiap item pada kriteria
Setelah mendapatkan koefisien korelasi kemudian untuk mencari validitas dengan membandingkan t hitung dengan  t table dimana  t table didapatkan  sesuai  dengan signifikansi penelitian. Nilai signifikasi yang digunakan dalam pennelitian ini sendiri adalah 5% atau 0.05.  Butir  dikatakan  valid  apabila  t hitung >t table . Sedangkan nilai t hitung didapatkan dengan menggunakan rumus [25]:
= √ √ (2)
r = koefisien korelasi
n = jumlah responden t = nilai t hitung

## B. Reliabilitas
Penelitan  yang  reliabel  merupakan  penelitian yang  terdapat  persamaan  data  dalam  waktu  yang berbeda  [24]  artinya  data  hasil  penelitian  diperoleh tidak  berubah  ketika  terdapat  perubahan  waktu. Reliabilitas  terkait  dengan  masalah  kepercayaan dimana  penelitian  dikatakan  reliabel  apabila  data memiliki  tingkat  kepercayaan  tinggi.  Pengujian reliabilitas  menggunakan  uji Cronbach  Alfa dimana dengan  uji  tersebut  sangat  dapat  digunakan  dalam menguji  instrumen  penelitian  dalam  bentuk  angket [26].  Batas  nilai  dalam  uji Cronbach  Alfa memiliki nilai antara lebih dari 0,7 [27] dan  kurang dari 0,9 [28]. Pengujian reliabilitas mengguanakan rumus Cronbach Alfa dengan rumus [25], [29]:
= ( ) 1 − ∑ (3)
r i = koefisien reliabilitas Cronbach Alfa k = jumlah item soal = varians tiap item = varians total
Sedangkan  nilai  varians  items  dan  varians  total sendiri didapatkan dari rumus [25]:
= − (4) = ∑( ) − (∑ ) (5)
= varians tiap item = varians total JKi = jumlah kuadrat seluruh skor item JKs = jumlah kuadrat subjek n = jumlah responden Xt = skor total

## IV. HASIL PENELITIAN DAN PEMBAHASAN

## A. Uji Validitas
Hasil validasi yang dilakukan pada butir soal yang sudah  dibuat  sebelumnya  dibagi  menjadi  dua  dimana satu  menggunakan Expert  Review dan  uji Product- Moment Coefficient . Untuk Expert Review , terdapat 5 orang  ahli  yang  dilakukan  wawancara  terkait  dengan butir  soal  untuk  melakukan  validasi  butir  soal  yang sudah dibuat. 5 orang ahli itu sendiri terdiri dari 2 pakar dalam  bidang  informatika  dan  3  akademisi.  Hasil wawancara Expert  Review sendiri  butir  soal  sudah dinyatakan  valid  tanpa  ada  perbaikan.  Pengujian dilakukan dengan menggunakan pengolah angka yang dapat dilihat pada Gambar 1.
Untuk uji Product-Moment Coefficient dilakukan uji  pada  97  peserta  dan  nilai  t table 1,6611.  Nilai  t table - didapatkan  berdasarkan  jumlah  n  adalah  95  (jumlah peserta dikurangi 2) dan taraf signifikasi 5% atau 0,05. Hasil penghitungan Product-Moment Coefficient akan menghasilkan  nilai  t hitung dimana  nilai  t hitung apabila lebih besar dari t table maka butir soal dinyatakan valid. Untuk  hasil  uji  validitas  masing-masing  butir  soal dapat dilihat pada Tabel 2.
Gambar  1 . Aplikasi Pengolah Angka Untuk Uji Validitas
Tabel 2 . Hasil Uji Validitas
No Skor t hitung Validitas 1 7,094336536 Valid 2 6,286759533 Valid 3 6,280472409 Valid 4 9,496277024 Valid 5 6,728314514 Valid 6 7,49895049 Valid 7 3,836244254 Valid 8 6,496697349 Valid 9 6,704772922 Valid 10 9,236423396 Valid
Hasil  Tabel  2  menunjukkan  pada  10  butir  soal yang  dibuat,  seluruh  butir  soal  dinyatakan  valid berdasarkan  perbandingan  t hitung dan  t table .  Hal  ini menunjukan  dari  10  butir  soal  yang  dibuat  tidak diperlukan  perubahan  karena  seluruh  butir  soal mendapatkan  validitas  baik  secara Expert  Review ataupun hasil uji Product-Moment Coefficient .

## B. Uji Reliabilitas
Hasil reliabilitas menggunakan  rumus Cronbach Alfa dimana apabila nilai Cronbach Alfa lebih dari 0,7 dan kurang dari 0,9 maka butir soal dinyatakan reliabel. Pengujian  dilakukan  dengan  menggunakan  pengolah angka yang dapat dilihat pada Gambar 2.
Gambar  2 . Aplikasi Pengolah Angka Untuk Uji Reliabilitas
Untuk hasil uji reliabilitas  butir soal dapat dilihat pada Tabel 3.
Tabel 3 . Hasil Uji Reliabilitas Indikator Nilai k 10 10,43707 3,12822 r i 0,778086452
Hasil  Tabel  3  menunjukan  butir  soal  yang dihasilkan  nilai Cronbach Alfa sebesar 0,778086452. Hasil tersebut menunjukan bahwa nilai Cronbach Alfa lebih dari 0,7 dan kurang dari 0,9 serta dinyatakan butir soal reliabel.

## V. KESIMPULAN
Penelitian ini didapatkan 15 butir soal yang dapat dijadikan  instrumen  penelitian  dengan  menggunakan uji SUS. Validitas dari 15 butir soal adalah 100% valid baik  secara Expert  Review ataupun hasil  uji Product- Moment  Coefficient tanpa  ada  perbaikan.  Reliabilitas soal  didapatkan  skor Cronbach  Alfa sebesar 0,778086452  dan  dapat  dikatakan  reliabel.  Butir  soal yang  didapatkan  kemudian  dapat  dijadikan instrumen penelitian pada penelitian-penelitian selanjutnya tanpa harus  melakukan  uji  validitas  dan  reliabilitas,  namun uji  reliabilitas  dan  validitas  juga  dapat  dilakukan kembali pada butir soal ini sebagai bahan evaluasi butir soal dari penelitian ini.
Penelitian ini  validitas dan reliabilitas pada butir soal untuk uji SUS masih dibahas secara umum belum dispesifikasikan  berdasarkan  jenis  perangkat  lunak seperti  untuk website ,  perangkat  seluler,  maupun dekstop.  Penelitian  terkait  validitas  dan  reliabilitas terutama  untuk  pengujian  berdasarkan  jenis  tertentu masih  dibutuhkan  untuk  meningkatkan  tingkatan keabsahan butir soal dalam melakukan pengukuran uji SUS.

## REFERENSI
[1] L. Fabisiak, “Web service usability analysis based on  user  preferences,” J.  Organ.  End  User
Comput. , vol. 30, no. 4, pp. 1 – 13, 2018.
[2]  J.  Nielsen, Usability  engineering .  Morgan Kaufmann, 1994.
[3]  P.  W.  Jordan, An  introduction  to  usability .  CRC Press, 2020.
[4] B.  S.  D.  M.  Kominfo,  “Survey  Indikator  Akses dan  Pengguna  TIK  pada  Rumah  Tangga  Tahun 2013.” Jakarta, 2014.
[5]  B.  S.  D.  M.  Komin fo,  “Survey  Indikator  Akses dan  Pengguna  TIK  pada  Rumah  Tangga  Tahun 2014.” Jakarta, 2015.
[6] B.  S.  D.  M.  Kominfo,  “Survey  Indikator  Akses dan  Pengguna  TIK  pada  Rumah  Tangga  Tahun 2015.” Jakarta, 2016.
[7] B.  S.  D.  M.  Kominfo,  “Survey  Indikator  Akse s dan  Pengguna  TIK  pada  Rumah  Tangga  Tahun 2016.” Jakarta, 2017.
[8] B.  S.  D.  M.  Kominfo,  “Survey  Indikator  Akses dan  Pengguna  TIK  pada  Rumah  Tangga  Tahun 2017.” Jakarta, 2018.
[9] Sharen  Gifary  dan  Iis  Kurnia  N.,  “Intensitas Penggunaan  Smartphone  Terhadap  Perilaku Komunikasi,” Fak.  Komun.  dan  Bisnis,  Univ. Telkom,  Indones. ,  2014,  doi:  10.1007/s13398- 014-0173-7.2.
[10] J. Nielsen and others, “Usability 101: Introduction to usability,” 2012.
[11] E. Susilo, B. S. WA, and H. Al Fatta, “Evaluasi
Aplikasi Mobile SSP (Secure System Of Payment) menggunakan Prinsip Usability,” SEMNASTEKNOMEDIA  ONLINE ,  vol.  5,  no.  1, pp. 2 – 6, 2017.
[12] B. Pudjoatmodjo and R. Wijaya, “Tes Kegunaan (Usabilty  Testing)  Pada  Aplikasi  Kepegawaian Dengan  Menggunakan  System  Usabilty  Scale (Studi  Kasus:  Dinas  Pertanian  Kabupaten Bandung),” SEMNASTEKNOMEDIA  ONLINE , vol. 4, no. 1, pp. 2 – 9, 2016.
[13] Y. Nurhadryani, S. K. Sianturi, I. Hermadi, and H.
Khotimah, “Pengujian usability u ntuk meningkatkan antarmuka aplikasi mobile,” J. Ilmu Komput.  dan  Agri-Informatika , vol.  2,  no.  2,  pp. 83 – 93, 2013.
[14] U.  Ependi,  T.  B.  Kurniawan,  and  F.  Panjaitan, “System usability scale vs heuristic evaluation: a review,” Simetris J. Tek. Mesin, Elektro dan Ilmu Komput. , vol. 10, no. 1, pp. 65 – 74, 2019.
[15] J.  R.  Lewis,  “The  system  usability  scale:  past, present,  and  future,” Int.  J.  Human--Computer Interact. , vol. 34, no. 7, pp. 577 – 590, 2018.
[16] J.  R.  Lewis,  B.  S.  Utesch,  and  D.  E.  Maher, “UMUX - LITE:  when  there’s  no  time  for  the SUS,” in Proceedings of the SIGCHI Conference on Human Factors in Computing  Systems , 2013, pp. 2099 – 2102.
[17] R.  A.  Grier,  A.  Bangor,  P.  Kortum,  and  S.  C. Peres,  “The  sys tem  usability  scale:  Beyond standard usability testing,” in Proceedings of the
Human  Factors  and  Ergonomics  Society  Annual Meeting , 2013, vol. 57, no. 1, pp. 187 – 191.
[18] J. R. Lewis, “Measuring perceived usability: The
CSUQ,  SUS,  and  UMUX,” Int.  J.  Human--
Computer  Interact. ,  vol.  34,  no.  12,  pp.  1148 – 1156, 2018.
[19] S.  Arinkunto,  “Prosedur  penelitian  suatu pendekatan  praktek,” Jakarta  PT  Rineka  Cipta , 2010.
[20] J.  R.  Lewis,  “Usability  testing,” Handb.  Hum. factors Ergon. , vol. 12, p. e30, 2006.
[21] Z. Sharfina  and  H.  B.  Santoso,  “An  Indonesian adaptation of the system usability scale (SUS),” in
2016  International  Conference  on  Advanced Computer  Science  and  Information  Systems (ICACSIS) , 2016, pp. 145 – 148.
[22] J.  Brooke  and  others,  “SUS -A  quick  and  dirty usability scale,” Usability Eval. Ind. , vol. 189, no. 194, pp. 4 – 7, 1996.
[23] A. Bangor,  P. T. Kortum, and J.  T. Miller, “An empirical  evaluation  of  the  system  usability scale,” Intl.  J.  Human--Computer  Interact. ,  vol.
24, no. 6, pp. 574 – 594, 2008.
[24] D. Sugiyono, “Metode

## Penelitian
Pendidikan:Pendekatan Kuantitaif, Kualitatif, dan
R&D,” Bandung Alf. , 2014.
[25] F. Yusup, “Uji validitas dan reliabilitas instrumen penelitian kuantitatif,” Tarb. J. Ilm. Kependidikan , vol. 7, no. 1, 2018.
[26] K.  A.  Adams on  and  S.  Prion,  “Reliability: measuring internal consistency using Cronbach’s $α$,” Clin. Simul. Nurs. , vol. 9, no. 5, pp. e179-- e180, 2013.
[27] J.  C.  Nunnally,  “Psychometric  Theory  3nd  ed.” Mcgraw hill book company, 1994.
[28] D.  L.  Streiner,  “Starting at  the  beginning:  an introduction  to  coefficient  alpha  and  internal consistency,” J.  Pers. Assess. , vol. 80, no. 1, pp.
99 – 103, 2003.
[29] D.  Sugiyono,  “Statistika  untuk  penelitian,”
Bandung Alf. , 2014.