Redesain Tampilan Website repository Kampus Institut Teknologi Telkom Purwokerto dan Pengujian Menggunakan Usability testing
Vincent Nathaniel 1 , Faisal Dharma Adhinata 2
1,2 Rekayasa Perangkat Lunak, Fakultas Informatika, Institut Teknologi Telkom Puwokerto email: faisal@ittelkom-pwt.ac.id
Abstract : Based on the results of the initial survey conducted by the researchers on May 18, 2022,  using  the  random  sampling  method  as  the  initial  research  data,  11  people  (78.6%) strongly agreed to change the appearance of the ITTP campus repository website and 3 people (21.4%)  agreed  to  make  changes  to  the  ITTP  campus  repository  website.  Based  on  these problems,  a  study  was  conducted  to  assess  the  website  user  experience  (UX)  for  the  ITTP campus repository. This study aims to evaluate system performance based on user feedback on the overhaul of the website for the ITTP campus repository. The user experience evaluation process uses the usability testing method with moderated remote usability testing and the user experience  questionnaire  (UEQ).  The  results  of  the  moderated  usability  testing  show (completion  rate)  are  96%  which  means  that  almost  all  the  tasks  tested  were  successfully carried out by the respondents with a high level of success. While Time-based Efficiency shows a  value  of  4.6  goals/sec.  While  the  results  of  testing  with  UEQ  show  that  the  website  has positive evaluation results. The results of the UEQ benchmark show the value of 5 "Excellent" categories  and  1  category  gets  a  "Good"  score.  The  results  of  Likert  Scale  get  result  of  90% which is in the "Very Eligible" category in the range of (81% - 100%). The overhaul of the ITTP campus repository website is already at a very good level of user experience, according to the overall user experience rating.
Keywords : repository, website, usability testing, user interface, ueq, user exprerince questionnaire
Abstrak: Berdasarkan hasil dari survey awal yang telah dibuat oleh peneliti pada tanggal 18 mei  2022  dengan  metode  random  sampling  sebagai  data  penelitian  awal,  11  orang  (78,6%) sangat setuju diadakannya perubahan tampilan website repository kampus ITTP dan 3 orang (21,4%)  setuju  diadakannya  perubahan website  repository kampus  ITTP.  Atas  dasar permasalahan tersebut, penelitian dilakukan untuk menilai pengalaman pengguna (UX) situs web  untuk  repositori  kampus  ITTP.  Tujuan  studi  ini  adalah  untuk  mengevaluasi  kinerja sistem  berdasarkan  umpan  balik  pengguna  pada  perombakan  situs  web  untuk  repositori kampus ITTP. Proses evaluasi user experience menggunakan metode usability testing dengan moderated remote usability testing dan user experience questionnaire (UEQ). Hasil penelitian moderated usability  testing menunjukkan  (completion  rate)  yaitu  96%  yang  berarti  hampir dari  semua task yang  diujikan  berhasil  dikerjakan  oleh  para  responden  dengan  tingkat kesuksesan  yang  tinggi.  Sedangkan  Time-based Efficiency menunjukkan  dengan  nilai  4,6 goal/sec.  Sedangkan  hasil  pengujian  dengan  UEQ  menunjukkan  bahwa  website  memiliki hasil  evaluasi  yang  positif.  Hasil  dari benchmark UEQ  menunjukkan  nilai  5  kategori “ Excellent ”  dan 1  kategori  mendapatkan nilai “ Good ”. Hasil Skala  Likert mendapatkan hasil 90%  yang  masuk  dalam  kateg ori  “  Sangat  Layak  ”  dalam  range    (81% -  100%).  Perombakan situs  web  repositori  kampus  ittp  sudah  berada  pada  tingkat  pengalaman  pengguna  yang sangat baik, menurut peringkat pengalaman pengguna secara keseluruhan.
Kata kunci : repository, redesign, usability testing, tampilan user, user experience questionnaire
Pendahuluan
Arti  repository  kampus  itu  sendiri adalah  perpustakaan  secara  digital milik kampus. Pada dasarnya pengumpulan data kedalam repository kampus  ini  cukup  mudah  dengan adanya website  repository kampus yang nantinya akan ke dalam database.  Manfaat  dari  penggunaan repository  kampus  ini  sangat  luar biasa  besar,  terutama  bagi  mahasiswa tingkat  akhir  untuk  mencari  contoh
Vol. 6, No. 2, February 2023, Pages 91-99              http://e-journal.unipma.ac.id/index.php/doubleclick
skripsi,  repository  kampus  ini  selain digunakan  oleh  pihak  perpustakaan untuk  dikelola,  namun  juga  dapat dikunjungi  oleh  siapapun  untuk melihat  beberapa  skripsi  alumni. Namun  tidak  hanya  sampai  disitu kegunaan  yang  lain  tentu  skripsi  para alumni baik dari angkatan 1 sampai ke atas  akan  dapat  kita  lihat.  Dan biasanya  untuk website  repository kampus  juga  memiliki  wajah  yang berbeda disetiap kampus. Untuk dapat terhubung kedalam repository kampus perlu  adanya  website  khusus  agar dapat  diakses  oleh  banyak  pengguna dan  dapat  dilihat  kapan  saja(Nur Pramudyo et al., 2018).
Berdasarkan penjabaran diatas mengenai  pentingnya  dari  sebuah website repository kampus yang menjadi  wajah  bagi  sebuah  kampus dikarenakan  tidak  hanya  mahasiswa kampus  saja  yang  dapat  melihat website  repository kampus  namun masyarakat  umum  dapat  masuk  dan melihat repository tesebut.
Dikarenakan    alasan  tersebut  tentu menjadi  sebuah  permasalahan  jika website  repository kampus  belum diubah dari bentuk template dan tetap memiliki tampilan yang simple, menjadi  salah  satu  alasan  kenapa ingin mendesain ulang website repository kampus ITTP karena berdasarkan  survey  awal  yang  telah dibuat  oleh  peneliti  pada  tanggal  18 mei  2022  secara online melalui  media social whatsapp dengan menggunakan google  form  yang  diberikan  kepada seluruh mahasiswa fakultas informatika  dengan metode  random sampling dan pengisian secara sukarela  sebagai  tolak  ukur  seberapa besar  keinginan  mahasiswa  untuk diadakannya redesain
website repository kampus  ITTP.  Kemudian dari  survey  awal  tersebut  didapatkan 14  orang  yang  mengisi  secara  suka rela dan menyatakan 11 orang (78,6%) sangat  setuju  diadakannya  perubahan website  repository kampus  ITTP  dan 3 orang  (21,4%)  setuju  diadakannya
perubahan website  repository kampus ITTP. Website  repository kampus  ITTP sudah  jauh  tertinggal  jaman  dan seperti sedang menggunakan template,  yang  kurang  menarik  untuk tahun  ini.  Sehingga  dengan  harapan penelitian ini akan berguna kedepannya  bagi  Kampus  ITTP  untuk mendesain  ulang  tampilan website repository kampus  ITTP  menjadi  lebih baik dari tampilan sekarang.
Berdasarkan penjabaran diatas mengenai  permasalahan  yang  muncul maka  ditentukannya  metode  metode yang  dapat  mengukur  pengalaman pengguna dengan menggunakan metode usability  testing dan  user experience questionnaire (UEQ). Usability testing yang sebenarnya lebih kepada  metode  yang  dipergunakan untuk menilai user experience  tentang produk  yang  sudah  ada  (Setiawan  &
Widyanto,  2018). Usability  testing sering dipergunakan perusahaan startup  untuk  mengetahui  apakah produk  mereka  telah  berjalan  baik dimata pengguna atau masih memiliki beberapa celah yang dapat di improve melalui pandangan dari user experience (Korableva et al., 2019),(Febrianti  et  al.,  2019). Usability testing tidak  hanya  berfokus  pada fungsionalitas  dari  produk  dan  juga dapat  ke  segi  desain  produk  apakah sudah sesuai dengan harapan pengguna  terhadap  produk  (Huda, 2019). Usability  testing ini  telah banyak dipergunakan masyarakat luas dan  tentu  sangat  bermanfaat  tinggi bila  ingin  melakukan  improvement kedalam suatu produk (Pramono et al., 2019),(Alqahtani,  2019).  Tentu  dengan menggunakan usability  testing besar kemungkinan pengguna akan memberikan masukan selama ini yang dirasakan  oleh  pengguna  melalui produk  tersebut  (Sabandar  &  Santoso, 2018).
Penelitian  ini  juga  menggunakan metode  user  experience  questionnaire (UEQ) karena metode UEQ ini
merupakan  sebuah  kuesioner  yang dipergunakan untuk melakukan tingkat  pengukuran  apakah  pengguna tertarik dengan produk dengan penerapan pertanyaan dibeberapa aspek  dan  nantinya  akan  adanya penghitungan dari pertanyaan pertanyaan kuisioner tersebut (Hinderks  et  al.,  2019).  Pertanyaan Pertanyaan ini akan bersifat mandatory  mengisi  jawaban  namun jawaban telah dibuat tipe skala linear. Fungsi dari UEQ untuk melihat apakah user  memiliki  ketertarikan  dibeberapa aspek  tersebut  dan  menjadi  improve bagi  produk  (Tansa  Trisna  Astono Putri,  Mhd.  Dominique  Mendoza, 2019).  Tujuan  penggunaan  UEQ  tentu melakukan pengukuran melalui kuisioner kuisioner tersebut. Diharapkan mampu mengetahui
tingkat  analisis  melalui  Data  Analysis Tool    yang  menjadi  tolak  ukur penghitungan baik UEQ benchmark ing untuk  mendapatkan  gambaran  dari analisis website  repository kampus ITTP(Schrepp, 2019).

## Metode
Dalam riset ini dilakukan perubahan Dalam  riset  ini  dilakukan  perubahan design  tampilan  website  repositori kampus  ITTP  dengan  menggunakan method pengujian usability  testing . Subjek  penelitian  dipilih  dengan metode random sampling , yang memperkenankan  pemilihan  peserta uji secara acak yang mana anggotanya masing  masing  berpeluang  sama  dan dapat dijadikan sampel. Subjek penelitian dalam tugas akhir ini adalah Mahasiswa  ITTP  Fakultas  IF  dari  S1 prodi  rekayasa  perangkat  lunak  50%, S1  prodi  informatika  30%,  S1  sistem informasi  10%,  dan  S1  data  sains  10% dengan  total  responden  30  orang mengacu pada handbook questionnaire (Dr.Martin  Schrepp)  yang  mengatakan 20-30  orang  sudah  memberikan  hasil yang  stabil(Schrepp,  2019).  Orang- orang  ini  termasuk  orang-orang  yang pernah menggunakan situs web
repositori  kampus  ITTP  di  masa  lalu atau  tidak.  website  repositori  kampus ITTP  menjadi  bahan  kajian  untuk tugas akhir ini (http://repository.ittelkom-pwt.ac.id). Ada  banyak  prosedur  yang  digunakan dalam  riset  kali  ini.  Melakukan  kajian literatur  pada  website  repositori kampus ITTP merupakan langkah awal dalam proses penelitian., UEQ, Usability  testing ,  dan  Pengalaman Pengguna. Kemudian melakukan proses pengumpulan survey mengenai pemahaman tentang website repository kampus ITTP guna mengetahui apakah berdampaknya  desain  ulang  tampilan dari website  repository kampus  ITTP pada  penelitian  kali  ini  dari  sisi pengguna  website,  lalu  dari  data tersebut dapat dilakukannya 2 metode pengumpulan data selanjutnya dengan  menggunakan usability  testing untuk data kualitatif, kemudian untuk metode kedua melakukan pengumpulan  data  secara  kuantitatif menggunakan kuesioner UEQ. Responden dari penelitian ini yaitu 30 orang responden yang telah dijelaskan dari  kalangan  mahasiswa.  Setelah proses  pengumpulan  dari  data  data diatas maka akan dilakukannya pemrosesan  dan  analisis.  Untuk mengukur tingkat pengalaman pengguna  saat  menggunakan  alat analisis  data  dan  standar  UEQ, digunakan data kuantitatif dari pertanyaan  UEQ..  Selain  itu,  data kualitatif akan dianalisis dan dibandingkan  dengan  komponen  UEQ saat  ini..  Setelah  mendapatkan  hasil dari  analisis  tersebut    kemudian  akan didapatkan kesimpulan dari penelitian ini  dan  memberikan  rekomendasi rancangan untuk desain tampilan dari website repository kampus ITTP sesuai dengan  data  data  kuesioner  dari pengalaman  pengguna  sebelumnya. Alur  penelitian  ini  dapat  dilihat  pada Gambar 1.
Vol. 6, No. 2, February 2023, Pages 91-99              http://e-journal.unipma.ac.id/index.php/doubleclick

## Gambar 1. Alur penelitian
Hasil Pengumpulan  data  dilakukan dengan  melakukan usability  testing menggunakan metode moderated remote usability testing dengan menggunakan meet untuk dilakukannya pengujian serta direkam guna  dianalisis  data  dan  hasil pengamatan  performasi  pengalaman pengguna dalam menggunakan website  dan  pengisian  kuesioner menggunakan google  form untuk menguji  analisis  UEQ.  Pada  analisis
usability dilakukan  pengamatan task success dapat dilihat pada Gambar 2.
Gambar 2. Grafik Jumlah Task yang Success
Pada  Gambar  2.  menunjukkan  bahwa sebagian  besar  responden  dapat menyelesaikan  seluruh task .  Dua puluh  satu  dari  tiga  puluh  responden berhasil  100%  menyelesaikan task sesuai dengan tujuan task , dan ada 11 responden yang tidak bisa menyelesaikan  beberapa task dari tujuan task .
Gambar 3. Grafik Jumlah Waktu
Pengerjaan responden
Berdasarkan  Gambar  3,  pada responden  total  menyelesaikan task
dengan  total  waktu  terbanyak  yang diperlukan responden untuk menyelesaikan  seluruh  tugas  hanya 182,46 detik. Gambar 4. Grafik Completion Rate Selanjutnya  peneliti  melakukan perhitungan efektivitas dengan mengukur  tingkat  keberhasilan  dari task-  task yang  telah  dikerjakan  oleh responden ( task success) pada Gambar 4 . Dan  nilai completion  rate untuk responden adalah 96%.
Gambar 5. Grafik Time-based

## Efficiency
Selanjutnya  peneliti  melakukan perhitungan  efisiensi  waktu  dengan penghitungan nilai dihitung berdasarkan time  on  task dalam satuan  detik  dan task  success serta jumlah dari task yang  telah  diberikan.
Perhitungan  efisiensi  menggunakan rumus  perhitungan  efisiensi  sehingga menghasilkan  efisiensi  waktu  4,6 goal/sec.
Setelah  analisis  pada usability testing selesai dilanjutkan pada analisis  kuesioner  UEQ  dari  ke  30 responden  yang  telah  mengisikan kuesioner mendapatkan hasil kuesioner UEQ pada Tabel 1. Tabel 1. Hasil Kuesioner UEQ Aspek. Mean Variance Attractiveness 1,944 0,30 Perspicuity 2,042 0,47 Efficiency 2,175 0,38 Dependability Stimulation Novelty 2,025 1,875 1,208 0,40 0,34 0,66 Gambar 6. UEQ Benchmark
Berdasarkan  Tabel  1  dapat dilihat seluruh nilai UEQ mendapatkan hasil evaluasi positif (yang berkisar 0,8 sampai  skor  maksimal  3  berdasarkan analysis  tools) .  Pada  gambar  5  adalah hasil  dari  UEQ Benchmark dari redesign website  repository kampus ITTP pada grafik tersebut dapat dilihat ke 5 aspek dari 6 aspek memiliki nilai benchmark “ Excellent ”  dan  1  aspek yakni  aspek  “ Novelty ”  memiliki  nila i benchmark “ Good ”.
Pengujian  selanjutnya  dengan menggunakan  UEQ  adalah skala  likert dengan meilhat Gambar 7
Vol. 6, No. 2, February 2023, Pages 91-99              http://e-journal.unipma.ac.id/index.php/doubleclick
menunjukkan  hasil  score  dari  skala likert  dari  redesign website  repository kampus ITTP.
Gambar 7. Grafik total score skala likert
Pada  Gambar  7  dapat  dilihat bahwa  grafik  tersebut  menunjukkan hasil  dari  total  score  setiap  aspek pengujian  pada  setiap task ,  lalu menggunakan  rumus  hitung  untuk mengetahui  masuk  kedalam  kategori kelayakan  yang  mana  sesuai  dengan Tabel  2.  Perhitungan  aspek  dapat dilihat dibawah ini:
Hasil  perhitungan  dari  skala likert  menghasilkan  nilai  90%  yang dapat  dikategorikan  kedalam  kategori “Sangat  Layak” (81%-100%)  dari  ke  5 kategori kelayakan pada Tabel 2.
Tabel 2. Kategori Kelayakan Skala
Likert
Angka (%) Kategori <21 Sangat Tidak Layak 21-40 Tidak Layak 41-60 Cukup 61-80 Layak 81-100 Sangat Layak Berdasarkan beberapa hasil tersebut  terkait  kuesioner  UEQ  maka dilakukannya Uji validitas dari kuesioner  yang  digunakan  dengan menggunakan  uji  validitas  pearson, pengujian  ini  menghubungkan  setiap skor  item  pada  kuesioner  dari  total skor  yang  diperoleh.  Lalu  diujikan dengan  menggunakan  tools  software SPSS(Raharjo,  2014).Hasil  pengujian dapat  dilihat  pada  tabel  hasil  uji validitas pearson Tabel 3.
Tabel 3. Hasil Uji Validitas Pearson Item pertany aan r hitung r tabel Keterang an K1 0,645 0,361 Sesuai K2 0,698 0,361 Sesuai K3 0,471 0,361 Sesuai K4 0.554 0,361 Sesuai K5 0.530 0,361 Sesuai K6 0.653 0,361 Sesuai K7 0.584 0,361 Sesuai K8 0.466 0,361 Sesuai K9 0.535 0,361 Sesuai K10 0.467 0,361 Sesuai K11 0.655 0,361 Sesuai K12 0.619 0,361 Sesuai K13 0.654 0,361 Sesuai K14 0.636 0,361 Sesuai K15 0.380 0,361 Sesuai K16 0.763 0,361 Sesuai K17 0.739 0,361 Sesuai K18 0.699 0,361 Sesuai K19 0.755 0,361 Sesuai K20 0.762 0,361 Sesuai K21 0.626 0,361 Sesuai K22 0.685 0,361 Sesuai K23 0.614 0,361 Sesuai K24 0.747 0,361 Sesuai K25 0.557 0,361 Sesuai K26 0.552 0,361 Sesuai
Pengambilan keputusan kuesioner  valid  atau  tidak  ditentukan berdasarkan  nilai r hitung dan nilai r tabel (Raharjo, 2014) . 1. Jika nilai rhitung > rtabel, maka item kuesioner dinyatakan valid, 2. Jika nilai rhitung < rtabel, maka item kuesioner dinyatakan tidak valid. Serta  untuk  nilai  signifikasi  5%  untuk rtabel didapatkan sebesar 0,361(Alfiatunnisa et al., 2022)( Distribusi  Nilai  r  Tabel  Product Moment Sig. 5% Dan 1% [Www.Spssindonesia.Com]  BARU.Doc  - Google Drive , n.d.). Selanjutnya adalah dengan menggunakan  uji  reliabilitas  untuk melihat apakah kuesioner benar dapat dipercaya  sebagai  alat  ukur  ataukah tidak.  Dasar  pengambilan  keputusan untuk  pengujian  reliabilitas(Dwi  Wira Gardha Yuniahans et al., 2022)(Wahyuningrum, 2021): 1. Jika  nilai  Cronbach  Alpha  >  0,60, maka kuesioner dinyatakan reliabel, 2. Jika  nilai  Cronbach  Alpha  <  0,60, maka  kuesioner  dinyatakan  tidak reliabel.
Hasil  pengujian  reliabilitas  dengan nilai Cronbach  Alpha sebesar  0,924, hal  ini  berarti  kuesioner  dinyatakan reliabel  karena  nilai  >  0,60  hasil pengujian dapat dilihat pada Tabel 4.
Tabel 4. Hasil Uji Reliabilitas
Nilai acuan Nilai Cronbach Alpha N of items Kesimpulan 0,6 0,924 26 Reliabel

## Pembahasan
Hasil  dari  riset  menggunakan metode Moderated  Remote  Usability testing , memiliki kesimpulan mengenai indikator performance metrics yaitu pengukuran dari
efektivitas  (completion  rate)  memakai perhitungan  dari task success  pada setiap task yang diujikan menghasilkan  bahwa  completion  rate yaitu  96%  yang  berarti  hampir  dari semua task yang  diujikan  berhasil dikerjakan  oleh  para  responden dengan  tingkat  kesuksesan  yang tinggi. Sedangkan Time-based Efficiency menunjukkan  dengan  nilai
4,6  goal/sec.  Serta  hasil  dari  saran responden terhadap pengujian kali ini menghasilkan beberapa perbaikan dari tampilan  ( user  interface )  yang  perlu dilakukan. Pengukuran UEQ menunjukkan  bahwa  pada  aspek “Attractiveness”  memili ki  nilai  1,944. Aspek  “Perspicuity”  mendapatkan nilai 2,042 . Aspek “Efficiency”
mendapatkan  nilai  2,175.  Aspek selanjutnya  “Dependability”  memiliki nilai  2,025.  Aspek  selanjutnya  adalah “Stimulation”  menerima  nila i  sebesar 1,8 75. Aspek “Novelty” mendapat n ilai 1,208.  Dari  6  aspek  tersebut  masuk 0,8  hingga score maksimum  3, sehingga  menempati  hasil  tinjauan positif. Hasil
benchmark
UEQ ditampilkan di kategori attractiveness, efficiency,  dependability,    stimulation, dan perspicuity mendapatkan  nilai “ Excellent ” dan novelty mendapatkan nilai “ Good ”. Selanjutnya pada perhitungan kategori kelayakan menggunakan skala Likert mendapatkan  hasil  90%  yang  masuk dalam kategori “ Sangat Layak ” dalam range  (81% - 100%). Simpulan Berdasarkan analisis data penelitian  yang  telah  dilakukan, peneliti  memiliki  rekomendasi  yang dapat  mempertinggi  segi  kualitas penelitian  pada  tahap  berikutnya  dan pengembangan  pada  website  redesign repository  kampus  ITTP.  Tentang usulan  yang  perlu  dipertimbangkan kembali  untuk  penelitian  selanjutnya dengan melakukan pendekatan kepada responden untuk menyesuaikan jadwal sehingga dalam proses
Vol. 6, No. 2, February 2023, Pages 91-99              http://e-journal.unipma.ac.id/index.php/doubleclick
pengambilan data tidak adanya permasalahan dan keterlambatan serta penjelasan  terkait  studi  kasus  yang ingin  diujikan  lebih  ditekankan  ketika sebelum  dilaksanakan  pengambilan data kepada masing masing responden, untuk pengambilan subjek dapat juga diterapkan secara kuantitatif  dengan  pengambilan  suatu populasi dan dihitung dengan menggunakan persamaan Slovin menggunakan kombinasi metode lainnya  seperti  System  Usability  Scale (SUS), Think Aloud, Heuristic Evaluation, ataupun dapat menggunakan  metode  lainnya  agar dapat  menghasilkan  informasi  lebih terkait  tentang  keinginan  dan  kinerja sistem dari sudut pandang user. Saran untuk  tahap  pengembangan  redesign dapat  dilakukannya  saran  dari  survey awal  responden  terkait  bagian  mana yang perlu diredesign sebelum dibuatkannya  alternatif  seperti  pada penelitian  ini,  Sedangkan  saran  untuk tahap pengembangan redesign website repository  kampus  ITTP,  perbaikan antarmuka pengguna dapat dikerjakan sesuai  dengan  saran  rekomendasi yang  dilakukan  berdasarkan  hasil penelitian kali ini.

## Referensi
Alfiatunnisa,  E.,  Khairunnisa,  H.  Z.,
Hayati, S., & Maulida, V. L. (2022). Uji  Validitas  Dan  Reliabilitas Terhadap Kemandirian Siswa Sekolah  Dasar  Kelas  1. Jurnal Hurriah: Jurnal Evaluasi Pendidikan  Dan  Penelitian , 3 (2),
29 – 36. https://academicareview.com/ind ex.php/jh/article/view/81 Alqahtani,  A.  (2019).  Journal  of Technology and Science Education. Journal  of  Technology and  Science  Education , 9 (3),  326 – 339. Distribusi Nilai r tabel Product Moment Sig. 5% dan 1% [www.spssindonesia.com]
BARU.doc  -  Google  Drive .  (n.d.).
Retrieved  January  3,  2023,  from https://drive.google.com/file/d/1 sbixiO1zYYO9FtH9TXqbBuWgXZY 52W7E/view Dwi  Wira  Gardha  Yuniahans,  P., Parlika,  R.,  Saneval  Arhinza,  R., Fausta Majid, V., & Ghifari Alifian, M. (2022). Uji Validitas Aplikasi Si- Book  Menggunakan  Spss  Dengan Kombinasi  Metode  R-Tabel  Dan Cohen ’ S  Kappa. Jurnal  Teknologi Informasi:  Jurnal  Keilmuan  Dan Aplikasi Bidang Teknik Informatika , 16 (2), 121 – 133. https://doi.org/10.47111/jti.v16i2 .5001 Febrianti,  D.  A.,  Wijoyo,  S.  H.,  &  Az- zahra,  H.  M.  (2019).  Evaluasi Usability  Web  UniPin  dengan Menggunakan  Metode  Usability
Testing. Jurnal  Pengembangan Teknologi  Informasi  Dan  Ilmu Komputer , 3 (11), 10547 – 10555. Hinderks, A., Meiners, A. L., Mayo, F. J.
D.,  &  Thomaschewski,  J.  (2019). Interpreting  the  results  from  the user  experience  questionnaire (UEQ) using importance- performance analysis (IPA). WEBIST  2019  -  Proceedings  of  the 15th  International  Conference  on Web  Information  Systems  and Technologies , 388 – 395. https://doi.org/10.5220/0008366 503880395 Huda, N. (2019). Implementasi Metode
Usability  Testing  Dengan  System Usability  Scale  Dalam  Penilaian Website Rs Siloam Palembang. Klik - Kumpulan Jurnal Ilmu Komputer , 6 (1), 36. https://doi.org/10.20527/klik.v6i 1.177 Korableva, O., Durand, T., Kalimullina, O.,  &  Stepanova,  I.  (2019). Usability testing of MOOC: Identifying user interface problems. ICEIS 2019 - Proceedings of the 21st International Conference on Enterprise  Information  Systems ,
2 (Iceis), 468 – 475. https://doi.org/10.5220/0007800 004680475 Nur Pramudyo, G., Sintia Putri, Z., Alim Prayogi, I., Mukti Sari, A., Widianah,  S.,  &  Trisnawati,  Y. (2018).  Penerapan  EPrint  sebagai Repositori Institusi pada Perpustakaan Universitas Muhammadiyah Malang. Khizanah Al-Hikmah : Jurnal Ilmu Perpustakaan, Informasi, Dan Kearsipan , 6 (1), 12 – 19. https://doi.org/10.24252/kah.v6i 1a2 Pramono,  W.  A.,  Az-Zahra,  H.  M.,  & Rokhmawati,  R.  I.  (2019). Evaluasi Usability Pada Aplikasi MyTelkomsel Dengan Menggunakan  Metode  Usability Testing. Jurnal  Pengembangan Teknologi  Informasi  Dan  Ilmu Komputer , 3 (3), 2235 – 2242.
Raharjo, S. (2014). Cara melakukan Uji Validitas  Product  Moment  dengan SPSS - SPSS Indonesia . Www.Spssindonesia.Com. http://www.spssindonesia.com/2 014/01/uji-validitas-product- momen-spss.html
Sabandar, V. P., & Santoso, H. B. (2018).
Evaluasi Aplikasi Media Pembelajaran  Statistika Dasar Menggunakan  Metode  Usability Testing. Teknika , 7 (1),  50 – 59. https://doi.org/10.34148/teknika.
v7i1.81 Schrepp,  M.  (2019).  User  Experience Questionnaire  Handbook  Version 8. URL: Https://Www. Researchgate. Net/Publication/303880829_User_ Experience_Questionnaire_Handbo ok_Version_2.(Accessed: 02.02. 2017) , September  2015 ,  1 – 15.
www.ueq-online.org Setiawan, A., & Widyanto, R. A. (2018). Evaluasi Website Perguruan Tinggi menggunakan  Metode  Usability Testing. Jurnal Informatika: Jurnal  Pengembangan  IT , 3 (3),
295 – 299.
https://doi.org/10.30591/jpit.v3i 3.912
Tansa  Trisna  Astono  Putri,  Mhd. Dominique  Mendoza,  M.  F.  A.
(2019).  Jurnal  Mantik. Jurnal Mantik , 3 (January), 31 – 38. Wahyuningrum, T. (2021). Buku Referensi Mengukur Usability Perangkat Lunak . Deepublish.