Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer Vol. 1, No. 2, Desember 2020, hlm. 57-62

## EVALUASI PENGALAMAN PENGGUNA PADA E-COMMERCE
SOCIOLLA.COM MENGGUNAKAN USABILITY TESTING DAN USER EXPERIENCE QUESTIONNAIRE (UEQ)
Shandranuur Fauziah Novitasari* 1 , Yusi Tyroni Mursityo 2 , Alfi Nur Rusydi 3
1,2,3 Program Studi Sistem Informasi, Fakultas Ilmu Komputer, Universitas Brawijaya Email: 1 shandranuurfn16@gmail.com, 2 yusi_tyro@ub.ac.id, 3 alfi.nurrusydi@ub.ac.id *Penulis Korespondensi

## Abstrak
Sociolla  merupakan e-commerce terlengkap  dan  terpercaya  di  Indonesia  yang  menjual  produk kecantikan  dan  perawatan  kulit  dan  tubuh.  Demi  mempermudah  akses  untuk  mendapatkan  kosmetik yang  diinginkan, website Sociolla  dibuat  pada  tahun  2015. Website sociolla  bertujuan  memudahkan konsumen untuk mendapatkan informasi mengenai kandungan dan harga kosmetik. Permasalahan yang terjadi pada website Sociolla  adalah setiap pengguna yang melakukan interaksi pada website merasa bahwa website Sociolla memerlukan waktu yang cukup lama untuk setiap tugas. Dampak dari kesalahan sistem yang berulang tersebut, membuat banyaknya pengguna enggan melakukan aktivitas pada website . Dari  permasalahan  tersebut,  maka  dilakukanlah  evaluasi usablity untuk  mengetahui  pengalaman pengguna menggunakan pengujian skenario Usability Testing , kuesioner SUS dan metode UEQ. Hasil pengujian  skenario  parameter Task  Completed memiliki  nilai  keberhasilan  sebesar  0.91,  parameter Error Rate memiliki rata-rata jumlah kesalahan sebesar 0.05467, parameter Time per Completed Task memiliki  rata-rata  waktu  sebesar  45.313  detik  dan  parameter Number  of  Clicks memiliki  rata-rata sebesar 5 klik. Hasil kuesioner SUS mendapatkan skor 75.75 yang termasuk dalam kategori Acceptable . Hasil pengalaman pengguna menunjukkan  yaitu pada metode UEQ,  aspek pragmatic quality dengan nilai  sebesar  3.05,  dan  aspek hedonic  quality dengan  nilai  sebesar  2.23.  Dalam  penelitian  ini  dapat disimpulkan bahwa website Sociolla dapat diterima dengan baik oleh pengguna.
Kata kunci : U sability , System Usability Scale (SUS), User Experience Questionaire (UEQ)

## USER EXPERIENCE EVALUATION ON SOCIOLLA.COM E-COMMERCE USING USABILITY TESTING AND USER EXPERIENCE QUESTIONNAIRE (UEQ)

## Abstract
Sociolla  is  the  most  complete  and  trusted  e-commerce  in  Indonesia  that  sells  beauty  and  skin  care products. In order to facilitate access to the desired cosmetics, the Sociolla website was created in 2015. Sociolla  Website  aims  to  facilitate  consumers  to  get  information  about  the  content  and  price  of cosmetics. The problem that occurs in Sociolla website is that every user who has interaction on the website feel that the Sociolla website takes a long time for each task. The impact of repeated system errors, making many users reluctant to do activities on the website. From the problem, the evaluation of Usablity is performed to know the user experience using the testing of Usability Testing scenarios, SUS Questionnaire and UEQ method. The test result scenario of the Task Completed parameter has a success value of 0.98, the Error Rate parameter has an average error amount of 0.0867, the Time per Completed Task parameter has an average time of 45,313 seconds and the Number of Clicks parameter has an average of 5 clicks. SUS Questionnaire results get a score of 75.75 which belongs to the category Acceptable. Results of the user  experience  indicates that the method UEQ, pragmatic aspect quality with a value of 3.05, and the aspect hedonic quality with a value of 2.23. In this study can be concluded that Sociolla website can be well received by users.
Keywords : U sability , System Usability Scale (SUS), User Experience Questionaire (UEQ)
58 Jurnal Sistem Informasi, Teknologi Informasi, dan Edukasi Sistem Informasi(JUST-SI) ,Vol.1, No.2,Desember 2020, hlm. 57-62

## 1. PENDAHULUAN
Pada tahun 2018, e-commerce di Indonesia mengalami pertumbuhan sangat pesat, dan akan terus meningkat seiring berkembangnya jumlah pengusaha di Indonesia. Potensi besar industri e-commerce di  Indonesia  juga  dipengaruhi  oleh  gaya  belanja online ,  terutama  oleh  generasi  milenial.  Menurut Indonesia  Millennial  Report  2019,  milenial  sangat  suka  mencari  perbandingan  harga,  fitur,  program promo dan kualitas produk di beberapa e-commerce sebelum memutuskan untuk membeli. Para milenial juga tidak segan untuk merekomendasikan e-commerce atau toko online favorit mereka kepada orang lain (Rahayu, 2019).
Sociolla  merupakan e-commerce terlengkap  dan  terpercaya  di  Indonesia  yang  menjual  produk kecantikan dan perawatan kulit dan tubuh. Sociolla mempunyai banyak penawaran untuk semua produk setiap  harinya  (sociolla.com). Website  e-commerce Sociolla  tersebut  bergerak  dibidang  pemenuhan kebutuhan konsumen terutama wanita.
Keunggulan  yang  wajib  dimiliki  suatu  perusahaan e-commerce salah  satunya  adalah  harus mementingkan  tampilan  dari  media website itu  sendiri  terhadap  pelanggan. Website sejatinya merupakan penghubung untuk dapat berinteraksi dengan konsumen. Untuk menciptakan produk atau layanan  yang  baik,  sangatlah  penting  untuk  memastikan  bahwa  produk  dan  layanan  tersebut menciptakan pengalaman pengguna yang baik (Schrepp, Hinderks, & Thomaschewski, 2014). Website harus  memiliki user  interface yang  memanjakan  mata  pengguna  dan  dapat  memenuhi  keinginan pengguna.  Pengalaman  pengguna  mewakili  interaksi  yang  terjadi  antar  pengguna  dengan  produk, layanan dan perusahaan yang menyediakan produk tersebut (Norman, 2016).
Permasalahan yang terjadi pada website Sociolla adalah setiap pengguna  yang melakukan interaksi pada website Sociolla merasa bahwa website Sociolla memerlukan waktu yang cukup lama untuk setiap tugas yang dilakukan oleh pengguna dan sering terjadinya crash yang disebabkan oleh website Sociolla. Dampak  dari  kesalahan  sistem  pada website Sociolla  yang  berulang  tersebut,  membuat  banyaknya pengguna enggan melakukan  aktivitas pada website . Setelah dilihat dari permasalahan yang terdapat pada website Sociolla, yaitu banyaknya penilaian negatif terhadap website Sociolla dan kurangnya minat pengguna  untuk  mengunjungi  kembali website Sociolla.  Menggunakan  metode Usability  Testing , kuesioner System Usability Scale (SUS) dan metode User Experience Questionnaire (UEQ) merupakan metode yang tepat untuk mengevaluasi kasus tersebut. Karena kedua metode ini menghasilkan bahwa user experience sangat berpengaruh terhadap kepuasan konsumen dan dapat digunakan untuk pengujian pada sebuah website , aplikasi mobile , intranet, dan aplikasi untuk computer personal (Nielsen, 2012). (Nielsen, 2012) mengungkapkan usability sebagai atribut kualitas yang dapat menilai kemudahan antarmuka pengguna digunakan. System Usability Scale (SUS) adalah bagian dari pengujian usability yang menilai interaksi antarmuka perangkat lunak dan berfokus pada pengujian  yang dilakukan oleh pengguna  akhir  ( end  user )  (Martoyo  &  Falahah,  2015).  Penggunaan  metode System  Usability  Scale (SUS) karena dalam melakukan pengujian lebih menekankan prespektif pengguna akhir sehingga hasil evaluasi akan lebih sesuai dengan keadaan nyata. Karena itu pada penelitian ini menggunakan metode SUS untuk melakukan uji skenario pada website Sociolla dalam instrumen penelitian. Menurut  (Laugwitz,  Held,  &  Schrepp,  2008), User  Experience  Questionnaire (UEQ)  adalah instrumen  penelitian  yang  digunakan  untuk  melakukan  pengolahan  data  survei  terkait  pengalaman pengguna untuk melakukan uji penilaian kualitas subjektif. UEQ merupakan bagian dari usability testing klasik  untuk  memperoleh  kesan  ekstensif  pengalaman  pengguna  dari  aspek usability dan  aspek experience (Santoso,  Schrepp,  Isal,  Utomo,  &  Priyogi,  2016).  UEQ  tidak  hanya  gambaran  dari penggunaan suatu produk tetapi juga tanggapan pengguna terhadap produk tersebut sehingga dihasilkan pengukuran pragmatis dan impresi  (Rauschenberger, Schrepp, Olshchner, & Thomaschewski, 2013). Dengan kata lain, UEQ memberikan pengukuran aspek teknis dan aspek non teknis terkait emosi atau persepsi  kesenangan  pengguna.  Kerangka  UEQ  sebagai  pengukuran user  experience dibangun berdasarkan pada persepsi ergonomic quality atau pragmatic quality , hedonic quality , dan attrativeness (Laugwitz, Held, & Schrepp, 2008).

## 2. METODOLOGI
Metode pengumpulan data yang digunakan pada penelitian ini adalah menyebar  kuesioner dalam bentuk offline . Kuesioner offline dibuat untuk memfasilitasi responden yang berdomisili di kota Malang
yang  diisi  secara  manual,  sekaligus  untuk  dapat  menggali  masalah  lebih  dalam  dari  sisi  responden dengan  melakukan  pengujian  skenario.  Kuesioner  disebar  selama  2  minggu,  dimulai  dari  tanggal  10 November  2019  sampai  dengan  24  November  2019.  Instrumen  penelitian  yang  digunakan  pada penelitian ini adalah kuesioner dan dimaksudkan untuk menghasilkan data yang akurat, yaitu dengan menggunakan skala Likert .
Responden  akan  menjalan  pengujian usability dan  pengujian  kuesioner  dalam  penelitian. Responden yang dipilih dalam pengujian ini adalah wanita yang belum pernah dan pernah menggunakan website Sociolla. Responden yang dipilih berjumlah 25 orang responden untuk melakukan  kuesioner UEQ yang merupakan jumlah minimum untuk partisipan UEQ (UEQ Handbook, 2015). Terpilihnya 25 orang  responden  pada  penelitian  ini,  dikarenakan  jumlah  tersebut  merupakan  jumlah  minimal  untuk melakukan uji kuesioner User Experience Questionnaire (UEQ). (Nielsen, 2012) menyatakan bahwa untuk melakukan usability testing , jumlah pengguna yang akan diuji  dalam  penelitian  ini  cukup  dengan  10  orang  pengguna  saja.  Hal  ini  berlaku  dalam  melakukan pengujian pada sebuah website , aplikasi mobile , intranet, dan aplikasi untuk computer personal . Dengan menggunakan 10 pengguna, penguji sudah dapat menemukan masalah usability sebanyak 98%. Usability  testing berdasar  pada  evaluasi  suatu  produk  atau  layanan  dengan  mengujinya  pada pengguna representatif (Usability.gov, 2008). Menurut (Zezelenchuk, 2008), untuk melakukan evaluasi secara objektif, terdapat empat jenis parameter yang dapat diambil untuk pengujian skenario, yaitu: (a) Task completed : jumlah tugas yang berhasil diselesaikan biasa disebut sebagai task completion rate . (b) Error rate during task performance : jumlah error disaat pengguna menjalankan tugas yang diberikan. (c) Time per completed task : waktu yang dibutuhkan pengguna dalam menyelesaikan tugas. (d) Number of clicks during task completion : jumlah klik selama pengguna menyelesaikan tugas. System  Usability  Scale merupakan  kuesioner  pengukuran  kegunaan  sistem  komputer  menurut pandangan subjektif pengguna (Brooke, 2013). Kuesioner SUS terdiri dari 10 pertanyaan yang masing- masing pertanyaan dengan nomor ganjil merupakan pertanyaan bernilai negatif dan pertanyaan dengan nomor genap merupakan pertanyaan bernilai positif, dan 5 pilihan jawaban dengan pilihan sangat tidak setuju, tidak setuju, netral, setuju, dan sangat setuju.
User  Experience  Questionnaire merupakan  kuesioner  yang  digunakan  untuk  melakukan pengukuran  subjektif  pengalaman  pengguna  terhadap  suatu  produk  (Schrepp,  Hinderks,  & Thomaschewski,  2017).  Tujuan  utama  dari  kuesioner  UEQ  adalah  untuk  mengukur  pengalaman pengguna  secara  cepat  terhadap  suatu  produk.  UEQ  memiliki  26  item  yang  dikelompokkan  menjadi enam skala : (1) Attractiveness (daya tarik) : kesan menyeluruh pada produk. (2) Perspicuity (kejelasan) :  tentang  kemudahan  saat  menggunakan  produk  dan  kemudahan  saat  mengenali  produk  tersebut.  (3) Efficiency (efisiensi) : tentang seberapa efisien dan cepatnya reaksi produk terhadap input dari pengguna. (4) Dependability (ketepatan)  :  perasaan  pengguna  saat  bekerja  dengan  produk  dan  pengguna  dapat mengendalikan  interaksi.  (5) Stimulation (stimulasi)  :  kesenangan  saat  melakukan  interaksi  dengan produk. (6) Novelty (kebaruan) i : seberapa inovatif dan kreatifnya suatu produk sehingga dapat menarik perhatian pengguna.

## 3. PEMBAHASAN
Pengujian skenario dilakukan oleh 10 orang responden yang belum pernah menggunakan website Sociolla.  Data  yang  telah  didapatkan  akan  diolah  untuk  mengetahui  hasil  perhitungan  dari  masing- masing parameter. (1) Parameter Task Completed memiliki angka keberhasilan sebesar 0.91 dari nilai keberhasilan 1. (2) Parameter Error Rate during Task Performance menunjukkan perhitungan akhir dari seluruh rata-rata error sebesar 0.05467. Setiap skenario yang sukses akan mendapatkan nilai 0, dan jika melakukan kesalahan maka tabel diisi dengan jumlah kesalahan yang dilakukan. (3) Parameter Time per Completed  Task memiliki  rata-rata  waktu  yang  dibutuhkan  untuk  menyelesaikan  skenario  sebesar 45.313 detik. (4) Parameter Number of Clicks memiliki rata-rata klik sebesar 5 klik untuk setiap skenario yang diselesaikan.
Hasil akhir dari kuesioner SUS akan dikelompokkan menjadi 3 kelompok, yaitu: (1) Not Acceptable : dengan total nilai akhir 0-50.9. (2) Marginal : dengan total nilai akhir 51-70.9. (3) Acceptable : dengan total  nilai  akhir  71-100.  Skor  kuesioner  SUS  dapat  menunjukkan  tingkat  penerimaan  dari  pengguna sistem.
60 Jurnal Sistem Informasi, Teknologi Informasi, dan Edukasi Sistem Informasi(JUST-SI) ,Vol.1, No.2,Desember 2020, hlm. 57-62

## Tabel 1. Hasil Kuesioner SUS
Skor kuesioner SUS harus lebih dari 70 agar termasuk dalam kategori acceptable (Brooke, 2013). Hasil kuesioner yang didapatkan dari website Sociolla sebesar 75.75 yang termasuk ke dalam kategori acceptable (Gambar 1).
Gambar 1. Acceptability Range Kuesioner SUS menurut (Brooke, 2013)
Menurut Bangor et al. (2009), skor kuesioner SUS dianggap baik apabila bernilai lebih dari 70.4 dan  masuk  ke  dalam  kategori Good .  Hasil  kuesioner  SUS  yang  diujikan  pada website Sociolla mendapatkan nilai 75.75 dan masuk ke dalam kategori Good (Gambar 2).
Gambar 2. Adjective Rating Kuesioner SUS menurut (Bangor, Aaron, Kortum, & Miller, 2009)
Skor  kuesioner  SUS  mendapat  predikat  A  apabila  skor  SUS  bernilai  90  (Sauro,  2011).  Hasil kuesioner SUS pada website Sociolla medapat nilai sebesar 75.75 dan termasuk ke dalam kategori C.
Gambar 3. Grade Scale Kuesioner SUS menurut (Sauro, 2011)
Responden yang telah memberikan skor saat melakukan pengisian kuesioner SUS mewakili aspek kepuasaan pengguna terhadap website Sociolla. Rata-rata nilai konversi dari hasil kuesioner SUS yang telah didapatkan dari 10 responden yang baru pertama kali mengakses website Sociolla sebesar 75.75 dan termasuk ke dalam kategori Acceptable .
Kuesioner UEQ terdiri dari 26 pernyataan yang mewakili 6 aspek yang terdiri dari attractiveness (daya  tarik), efficiency (efisiensi), perspicuity (kejelasan), dependability (ketepatan), stimulation (stimulasi), dan novelty (kebaruan).
Hasil  kuesioner  UEQ  yag  memiliki  nilai  rata-rata  >0.8  merepresentasikan  skala  positif  yang ditandai dengan tanda panah berwarna hijau, nilai rata-rata -0.8 dan 0.8 merepresentasikan skala normal yang  ditandai  dengan  tanda  panah  bewarna  kuning,  dan  nilai  rata-rata  <0.8  merepresentasikan  skala negatif dengan tanda panah berwarna merah.
Tabel 2. Hasil Kuesioner UEQ
Tabel 3. Hasil Skala Kuesioner UEQ
UEQ Scale Attractiveness 1,16 Efficiency 1,2 Perspicuity 1,01 Dependability 0,84 Stimulation 1,15 Novelty 1,08
Gambar 4. Skala Kuesioner UEQ
Hasil  rata-rata skala kuesioner UEQ pada website Sociolla (Tabel 3), menunjukkan bahwa skala attractiveness (daya tarik) memiliki nilai rata-rata sebesar 1.16, skala efficiency (efisiensi) memiliki nilai rata-rata  sebesar  1.2,  skala perspicuity (kejelasan)  memiliki  nilai  rata-rata  sebesar  1.01,  skala dependability (ketepatan) memiliki nilai rata-rata sebesar 0.84, skala stimulation (stimulasi) memiliki nilai rata-rata sebesar 1.15, dan skala novelty (kebaruan) memiliki nilai rata-rata sebesar 1.08. Website Sociolla memiliki nilai rata-rata tertinggi pada aspek pragmatic quality yang meliputi skala efficiency , perspicuity , dan dependability dengan total nilai sebesar 3.05, dan merupakan goal-directed . Nilai rata-rata pada aspek hedonic pragmatic yang meliputi skala stimulation dan novelty , dengan total nilai sebesar 2.23, dan merupakan not goal-directed .

## 4. KESIMPULAN DAN SARAN
Hasil pengujian  skenario dengan 3 aspek,  yaitu : aspek effectiveness yang diukur menggunakan parameter task completed dan parameter error rate during task performance , aspek efficiency diukur menggunakan parameter time per completed task dan parameter number of clicks , dan aspek satisfaction diukur  menggunakan  kuesioner  SUS  ( System  Usability  Scale ).  Aspek effectiveness parameter task completed dengan nilai keberhasilan sebesar 0.91, dan parameter error rate during task performance yang  memiliki  rata-rata error sebesar  0.05467.  Aspek efficiency parameter time  per  completed  task
62 Jurnal Sistem Informasi, Teknologi Informasi, dan Edukasi Sistem Informasi(JUST-SI) ,Vol.1, No.2,Desember 2020, hlm. 57-62
memiliki rata-rata waktu yang dibutuhkan dalam setiap menjalankan skenario sebesar 45.313 detik, dan paramer number  of  clicks memiliki  rata-rata  klik  sebanyak  5  klik  untuk  setiap  skenario  yang  telah dilakukan.  Aspek satisfaction dengan  kuesioner  SUS  memiliki  nilai  konversi  sebesar  75.75  yang termasuk dalam kategori ‘ Acceptable’ dengan adjective rating ‘ Good’ dan grade scale ‘C’. Hasil kuesioner UEQ menunjukkan bahwa website Sociolla unggul pada aspek pragmatic quality dengan nilai sebesar 3.05 yang merupakan goal-directed pada pengukuran user experience . Sedangkan untuk aspek hedonic quality , website Sociolla mendapatkan nilai sebesar 2.23 yang merupakan not goal- directed .
Saran untuk penelitian selanjutnya diharapkan untuk melakukan evaluasi dan analisis terhadap user experience dari website Sociolla dengan menggunakan teori user experience dan teori usability testing lainnya.  Sehingga  dapat  mengetahui  pengalaman  pengguna website Sociolla  jika  menggunakan  teori yang berbeda.

## 5. DAFTAR PUSTAKA
Bangor,  Aaron,  Kortum,  P.,  &  Miller,  J.  (2009).  Determining  What  Individual  SUS  Scores  Mean: Adding an Adjective Rating Scale. Journal of Usability Studies 4, No. 3 , 114-123. Brooke, J. (1996). SUS-A Quick and Dirty Usability Scale. Usability Evaluation in Industry 189, No. 194 , 4-7.
Brooke, J. (2013). SUS : A Retrospective. Journal of Usability Studies 8, No. 2 , 29-40.
iPrice group . (2018). Dipetik September 2019,
dari iPrice insight:
https://iprice.co.id/insights/mapofecommerce/
Laugwitz,  B.,  Held,  T.,  &  Schrepp,  M.  (2008).  Construction  and  Evaluation  of  a  User  Experience Questionnaire. Lecture  Notes  in  Computer  Science  (including  subseries  Lecture  Notes  in Artifical Intellegence and Lecture Notes in Bioinformatics), vol. 5298 LNCS , 63-76. Martoyo, W. U., & Falahah. (2015). Kajian Evaluasi Usability dan Utility pada Situs Web. Seminar Nasional  Sistem  Informasi  Indonesia (hal.  537-543).  Surabaya:  Institut  Teknologi  Sepuluh November.
Nielsen,  J.  (2012). Usability  101:  Introduction  to  Usability. Dipetik  Oktober  27,  2019,  dari https://www.nngroup.com/articles/usability-101-introduction-to-usability/
Ning, R. (2019, February 19). Pertumbuhan E-Commerce Pesat di Indonesia . Dipetik Agustus 27, 2019, dari https://www.wartaekonomi.co.id/read216302/pertumbuhan-e-commerce-pesat-di- indonesia.html/
Norman,  D.  (2016). The  Definition  of  User  Experience  (UX) .  Dipetik  Agustus  30,  2019,  dari http://www.nngroup.com/articles/definition-user-experience/
Rauschenberger, M., Schrepp, M., Olshchner, S., & Thomaschewski, J. (2013). Efficient Measurement of the User Experience of Interactive Products. How to use the User Experience Questionnaire (UEQ). Example: Spanish Language Version. International Journal of Artifical Intelligence and Interactive Multimedia, Volume 2.
Santoso, H. B., Schrepp, M., Isal, R. Y., Utomo, A. Y., & Priyogi, B. (2016). Measuring User Experience of  the  Student-Centered  E-Learning  Environtment. The  Journal  of  Educators  Online-JEO, Volume 13, No. 1 , 58-79.
Sauro, J. (2011, February 2). Measuring Usability with The System Usability Scale (SUS): MeasuringU . Dipetik December 2019
Schrepp, M., Hinderks, A., & Thomaschewski, J. (2014). Applying the User Experience Questionnaire (UEQ) in Different Evaluation Scenarios. Lecture Notes in Computer Science, Volume 8517. , 383-392.
Schrepp, M., Hinderks, A., & Thomaschewski, J. (2017). Construction of a Benchmark for the User Experience Questionnaire (UEQ) in Different Evaluation  Scenarios. International Journal of Interactive Multimedia and Artifical Intelligence, Volume 4. , 40-44.
Usability.gov. (2008). Usability Testing . Dipetik September 6, 2019, dari https://www.usability.gov/how-to-and-tools/methods/usability-testing.html Zezelenchuk,  T.  (2008). Data  Collection  for  Usability  Research .  Diambil  kembali  dari https://www.userfocus.co.uk/dataloggingtools.html