## EVALUASI USER EXPERIENCE SSO UNDIP MENU SIAP BERDASARKAN PERSEPSI MAHASISWA TEKNIK INDUSTRI MENGGUNAKAN USER EXPERIENCE QUESTIONNAIRE (UEQ)

## Novie Susanto*, Susatyo Widya Pramono, Della Refina Adelia
Departemen Teknik Industri, Fakultas Teknik, Universitas Diponegoro, Jl. Prof. Soedarto, SH, Kampus Undip Tembalang, Semarang, Indonesia 50275
(Received: January 5, 2022/ Accepted: February 22, 2022)

## Abstrak
Penggunaan  media  online  terus  berkembang  pesat  seiring  berjalannya  waktu.  Salah  satu penggunaannya  adalah penggunaan SSO pada berbagai lembaga, termasuk Universitas Diponegoro. Web SSO ini digunakan untuk aktivitas mengakses email, e–journal, dan kegiatan administrasi seperti pengisian  KRS  dan  her–registrasi.  Berdasarkan  studi  pendahuluan  yang  telah  dilakukan  diketahui bahwa  mahasiswa  memiliki  keluhan  mengenai  fitur  website  dan  tampilannya  terutama  pada  menu SIAP.  Beberapa  diantaranya  mengenai  website  yang  kurang  rapi,  fitur-fitur  yang  tidak  terintegrasi langsung dengan aplikasi, sistem input nilai yang tidak teratur dan tidak transparan. Oleh karena itu dibutuhkan  perbaikan  terhadap  website  SSO  pada  menu  SIAP  agar  dapat  meningkatkan  kepuasan pengguna.  Penelitian  ini  dilakukan  dengan  mengidenifikasi  kekurangan  menu  SIAP  dengan menggunakan  kuisioner  User  Experience  Questionnaire  (UEQ).  Setelah  itu  dilakukan  perancangan perbaikan dengan menggunakan aplikasi Axure. Pengujian dilakukan kembali pada desain rancangan perbaikan dengan menggunakan meiode yang sama untuk mengetahui apakah rancangan perbaikan lebih baik daripada SIAP versi aktual.
Kata kunci: user experience; mahasiswa; SIAP UNDIP; UEQ

## Abstract
[Title:  EVALUATION OF USER EXPERIENCE SSO UNDIP READY  MENU  BASED ON THE PERCEPTIONS  OF  INDUSTRIAL  ENGINEERING  STUDENTS  USING  USER  EXPERIENCE QUESTIONNAIRE (UEQ)] The use of online media continues to grow rapidly over time. One of them is the use of SSO in various institutions, including Diponegoro University. This SSO web is useful for activities such as accessing email, e-journals, and administrative activities such as filling out KRS and her-registration. Based on the preliminary study, it is known that students  have complaints about the website  features  and  appearance,  especially  on  the  SIAP  menu.  Some  of  them  are  about  an  untidy website,  unintegrated features, an irregular value input system, a lack of transparency in  the grades and names of course takers (prone to cheating). Therefore, it is necessary to improve the SSO website on the SIAP menu in order to increase user satisfaction. This research was conducted by identifying the lack of  the menu using  the User Experience Questionnaire (UEQ). After that, the repair design  was carried out using the Axure application. A post test is using the same meiode to find out whether the repair design was better than the existing SIAP.
Keywords: user experience; student; SIAP UNDIP; UEQ
1. Pendahuluan Penggunaan  media online terus  berkembang pesat  seiring  berjalannya  waktu.  Berdasarkan  survei Asosiasi  Penyelenggara  Jasa  Internet    Indonesia (APJII,  2018),   penggunaan  internet  mencapai  170 juta  jiwa.  Pengguna  internet  dari  tahun  2017 menuju tahun 2018 juga mengalami kenaikan sebesar 10,12%. Pada  masa  ini,  masing–masing aplikasi  internet
memiliki  mekanisme  autentikasi  tersendiri, dimana pengguna  harus  melakukan  beberapa  langkah  atau tahapan untuk  masuk ke suatu  sistem  tertentu  berupa sistem  verifikasi  atau login .  Khalique  (2016) menyatakan bahwa informasi dan keamanan pengguna yang  tidak  saling  berhubungan  akan  menyebabkan user management menjadi rumit dan tidak aman untuk pengguna  itu  sendiri.  Untuk  meminimalisir  hal  ini dapat  dilakukan  dengan  penggunaan  sistem Single Sign On (SSO). SSO merupakan suatu sistem dimana pengguna  cukup login satu  kali  dan  kemudian  dapat mengakses berbagai jenis sistem perangkat. Beberapa
*Penulis Korespondensi.
E-mail: novie.susanto@ft.undip.ac.id
studi  terkait  SSO  dan  pengujiannya  telah  mulai dibahas  oleh  peneliti  (Niranjanamurthy  dkk,  2014; Schrep  dkk,  2014;  Efendi  dkk,  2016;  Topal,  2016; Zulfasari, 2016; Hinderks, A. dkk, 2017; Intany, dkk. 2018;  Kharis  dkk,  2018;  Nongbri  dkk,  2018;  Susilo dkk,  2018,  Hinderks,  dkk,  2019,  Khalique,  2019; Sinaga, 2019).
Universitas  Diponegoro  merupakan  salah  satu universitas  yang  berada  di  Indonesia,  tepatnya  kota Semarang,  Jawa  Tengah.  Seperti  universitas  lainnya, Universitas Diponegoro juga memiliki platform Single Sign  On yaitu  www.sso.undip.ac.id.  Salah  satu manfaat dari website SSO ini bagi institusi pendidikan di  masa  pandemi  covid–19  adalah  untuk  melakukan administrasi  perkuliahan  secara  daring  (dalam jaringan) atau biasa disebut online . Selain itu web SSO ini  juga  dapat  digunakan  untuk  mengakses  email,  e– journal,  dan  kegiatan  administrasi  seperti  pengisian KRS  dan her–registrasi. Studi pendahuluan dilakukan dengan melalui wawancara dengan 9 orang mahasiswa Teknik  Industri  yang  dipilih  secara  acak,  dengan sebaran  3  orang  angkatan  2017,  3  orang  angkatan 2018,  dan  3  orang    angkatan  2019.  Dari  hasil wawancara  terkait  SSO  Undip  ditemukan  bahwa mahasiswa memiliki keluhan seputar fitur website dan tampilannya. Beberapa diantaranya mengenai website yang  kurang  rapi, beberapa  fitur  tidak  terintegrasi langsung dengan aplikasi, sistem input nilai yang tidak teratur,  kurang  transparan  dalam  nilai  dan  nama pengambil mata kuliah (rawan kecurangan), dan paling banyak  mengeluhkan mengenai banyaknya iklan yang muncul sehingga mengganggu dan kurang efisien
Permasalahan ini menghasilkan dampak dimana mahasiswa merasa website SSO terutama  menu SIAP masih  belum  efisien  untuk  digunakan  dan  masih dibutuhkan  perbaikan.  Penelitian  ini  dilakukan  untuk mengidentifikasi  evaluasi  dan  memberikan  saran perbaikan  terhadap  menu  SIAP  dalam website SSO sehingga tingkat kenyamanan dan kepuasan pengguna terhadap website SSO  dapat  meningkat. Tools yang digunakan  adalah    kuisioner  UEQ  ( User  Experience Quisionnaire ).  Kuisioner  ini  dipilih  karena  paling relevan  dengan  kondisi  penelitian.  Beberapa  jenis kuisioner lain mengandung aspek ease of learn , dimana pada  penelitian  ini,  aspek  tersebut  tidak  menjadi masalah sama  sekali  sehingga  kuisioner  ini  kurang relevan. Selain itu beberapa kuisioner lain mengharuskan  responden  untuk  melakukan  beberapa tugas  kemudian  responden  memberikan  persepsinya. Pada penelitian ini, responden dianggap telah   terbiasa menggunakan web SSO sehingga tidak membutuhkan sebuah  pengujian  berupa task  assesment. Maka berdasarkan pertimbangan-pertimbangan tersebut, UEQ dipilih sebagai metode     penelitian ini.
Tinjauan Pustaka Single  Sign  On:  Single  Sign  On merupakan suatu  mekanisme  yang  memungkinkan  pengguna dalam  mengautentikasi suatu  sistem  aplikasi  dimana pengguna  melakukan  autentikasi  sebanyak  satu  kali kemudian  akan  mendapat  akses  ke  beberapa  aplikasi (Nongbri,  2018).  SSO  memiliki  kemampuan  untuk mempermudah pengguna dalam melakukan autentikasi
pada  saat  akan  mengakses  suatu  aplikasi.  Dengan adanya  SSO  pengguna  cukup  melakukan  sekali autentikasi akun seperti nama pengguna dan kata sandi, kemudian  mereka  akan  dapat  mengakses  beberapa situs atau aplikasi dengan data autentikasi yang sama. Dalam hal ini SSO bermanfaat sebagai alat autentikasi dan  otorisasi.  Autentikasi  merupakan  suatu  proses untuk  memverifikasi  siapa  penggunanya,  sedangkan otorisasi  merupakan  proses  untuk  mendapatkan  akses ke  suatu resource atau  aplikasi  tertentu.  Kelemahan dari  adanya  SSO  ini  adalah,  jika seorang  pengguna akunnya  diretas  maka  ia  akan  kehilangan  keamanan datanya  dalam  sistem  yang  luas  dan  dari  berbagai sistem.  Pengguna  harus  berhati–hati  dalam  menjaga password ataupun  data  autentikasi  lainnya.  Sistem keamanan  juga  harus  sangat  ketat  untuk memastikan bahwa tidak ada kebocoran data pengguna pada pihak yang akan menyalahgunakan.
Persepsi: Mulyana  dalam  Komariah  (2009) menjelaskan bahwa  persepsi  merupakan  suatu  proses seseorang dalam  memperhatikan, mengorganisir,  dan menafsirkan  pengalaman  yang  ia  rasakan.  Persepsi adalah suatu proses menafsirkan suatu stimulus dengan indera–indera yang mereka miliki dan mereka gunakan untuk kemudian timbul nilai yang menjadi makna bagi mereka.
User  Experience  dan  User  Experience Questionnaire: Kharis dkk (2019) menjelaskan bahwa user  experience merupakan suatu faktor yang menjadi penentu  diterima  atau  tidaknya  suatu  layanan  atau produk  oleh  pengguna. User  experience merupakan suatu  faktor  yang  melibatkan  persepsi,  perilaku pengguna,  juga  emosi  pengguna  pada  saat   merasakan suatu  pelayanan  atau  menggunakan  suatu  produk. Laugwitz,  Held,  dan  Schrepp  dalam  Kharis  (2019) menjelaskan  bahwa User  Experience  Questionnaire merupakan  suatu  instrumen  yang  dapat  digunakan untuk mengetahui pengalaman pengguna terkait suatu produk  atau  layanan  tertentu.  Kuisioner  UEQ  ini merupakan  kuisioner  yang  dapat  dipercaya,  mudah diaplikasikan,  dan  dapat  digunakan  untuk  menilai kualitas subjektif ( Croncbach’s Alpha Coefficient ). Bonett (2014) menjelaskan bahwa Croncbach’s Alpha  reliability adalah  salah  satu  ukuran  keandalan yang  paling  banyak  digunakan  secara  luas  pada  ilmu sosial  dan  organisasi.  Keandalan  dari Croncbach’s Alpha memberikan  gambaran  mengenai  keadaan jumlah  atau  rata–rata  dari  suatu  data  atau  suatu pengukuran  yang  dapat  mewakili  penilaian,  kejadian, bentuk alternatif,  atau kuisioner. Cronchbach’s Alpha merupakan  suatu  bentuk  uji  reliabilitas  yang  hanya membutuhkan  sebuah  pengujian  tunggal  untuk memberikan  hasil  terhadap  instrumen  penelitian. Aplikasi  paling  banyak  dari Croncbach’s  Alpha ini adalah  untuk  pengujian  kuisioner.  Pada  pengukuran kuisioner Croncbach’s  Alpha akan  berperan  sebagai pengukur  konsistensi  internal  dari   instrumen  jawaban responden.  Tidak  ada  aturan  yang  berlaku  umum seberapa besar nilai koefisien yang seharusnya. Banyak penulis  berasumsi  bahwa  skala  harus  menunjukkan nilai alfa  0,7 untuk dianggap cukup konsisten (Bonett dalam UEQ Handbook, 2020).

## 2. Metode Penelitian
Penyusunan  desain  penelitian  ini  dilakukan berdasarkan  Cooper    Schindler  (2014)  yaitu menggunakan  analisis  deskriptif  dengan  pendekatan kuantitatif  dan  kualitatif.  Pendekatan  kuantitatif digunakan berupa perhitungan dan penentuan evaluation  category dan  level user  experience . Pendekatan  kualitatif  ditentukan  berdasarkan  hasil perhitungan  kemudian  dicocokkan  dengan  interval yang sudah ditentukan berdasarkan metode terpilih dan berdasarkan  masukan dari mahasiswa Teknik  Industri yang ditulis di dalam isian kuisioner.
Pengambilan sampel pada penelitian menggunakan  metode Stratified  Random  Sampling . Stratified  random  sampling adalah  suatu  teknik sampling dimana  populasi  dibagi  ke  dalam  sub populasi  (strata),  dengan  tujuan  membentuk  sub- populasi  yang  di  dalamnya  terdapat  satuan-satuan sampling yang  memiliki  nilai  variabel  yang  relatif homogen.  Dalam  hal  ini  populasi  dibagi  menjadi beberapa  kelompok  populasi Angkatan  yakni angkatan  2017,  2018,  2019  dan  2020  dengan  sampel proporsional (Slovin, tingkat ketelitian 0,01) menggunakan pendekatan Welly (2015). Sampel untuk angkatan 2017 sebanyak 60 responden, angkatan 2018 sebanyak 62 orang, angkatan 2019 sebanyak 63 orang dan angkatan 2020 sebanyak 64 responden.
Pengumpulan data dilakukan melalui penyebaran  kuisoner  melalui platform googleform . Penyebaran  ini  dilakukan  karena  lebih  fleksibel  dan mudah menjangkau responden yang dibutuhkan.  Item kuisioner  yang  digunakan  adalah 26 item pertanyaan pada User  Experience  Questionnaire (UEQ)  terbagi dalam  6  aspek  yakni attractiveness,  perspicuity, efficiency, dependability, stimulasi dan novelty . Selain itu dalam kuisioner akan ditambahkan pertanyaan isian mengenai  persepsi  keluhan  mahasiswa  terkait  menu SIAP pada website SSO Undip saat ini untuk merinci saran  perbaikan  dari  responden.  Berikut  merupakan pertanyaan yang akan ditambahkan dalam kuisioner.
• Apa  saja  kekurangan  dari  menu  SIAP  dalam website SSO Undip yang anda rasakan saat ini?
• Apa  saran  perbaikan  yang  ingin  anda  berikan kepada  menu  SIAP  dalam website SSO  Undip saat ini?
Pengolahan  data  pada  penelitian  ini  dilakukan dengan menggunakan metode kuisioner user experience quesionnaire (UEQ). Adapun urutan dalam pengolahan data ini adalah:
• Menguji kecukupan dan reliabilitas data
• Menghitung nilai evaluasi UEQ
Nilai evaluasi UEQ didapatkan berdasarkan nilai mean dari  jawaban  responden  kemudian dimasukkan  ke  kategori  yang  telah  ditetapkan bedasarkan interval nilainya. Berikut merupakan kategori evaluasi UEQ ( Value - 0,8 = Evaluasi Negatif;  0,8 Value 0,8  =  Evaluasi  netral; Value 0,8 = Evaluasi Positif).
• Menghitung Nilai Benchmark
Nilai benchmark menggunakan benchmark dataset,  dimana  nilai  akan  dicocokkan  dengan data  yang  telah  disediakan.  Penggunaan  level yang  ditetapkan  menggunakan  nilai  interval benchmark dari website https://ueq-online.org/ yang selalu diperbarui setiap tahunnya.
• Merekapitulasi  persepsi  dan keluhan mahasiswa terkait website SSO Undip saat ini
Pada  kuisioner  akan  disertakan  pertanyaan mengenai  keluhan  mahasiswa  terhadap website SSO  saat  ini,  serta  dikelompokkan  berdasarkan kesamaan keluhan dari mahasiswa.
• Perancangan  SIAP  perbaikan  dan  pengujian kembali pada user
Perancangan didasarkan pada persepsi mahasiswa dan  saran  dari  pakar.  Kualifikasi pakar merupakan orang yang bekerja pada bidang ui/ ux developer selama 2–4 tahun sebanyak 3 orang dari perusahaan  yang  berbeda,  adapun  perusahaan tempat  pakar  bekerja  merupakan  perusahaan  di bidang website dan software developer . Kemudian  diujikan dengan metode  UEQ kepada user .
3. Hasil dan Pembahasan
Hasil  Evaluasi  UEQ  SIAP  Saat  Ini  dan Perbaikannya: Gambar 1 merupakan grafik benchmark UEQ SIAP Existing angkatan  2017,  2018,
dan  2019 . Gambar  2 menunjukkan hasil benchmark UEQ  SIAP Existing angkatan  2020.  Berdasarkan Gambar  1 diketahui  bahwa  untuk  lima  skala  yaitu attractiveness , perspicuity , dependability , efficiency , dan stimulation, penilaian berada pada kategori buruk ( bad ).  Hal  ini  diinterpretasikan  sebagai  hasil  bahwa 25%  penilaian  bernilai  sangat  buruk.  Adapun  untuk aspek novelty berada  pada  kategori good ,  dengan interpretasi  10%  data benchmark lebih  baik  daripada data UEQ SIAP dan 75% nya lebih buruk. Untuk lima skala  yaitu attractiveness , perspicuity , dependability , efficiency penilaian berada pada kategori buruk ( bad ). Hal  ini  diinterpretasikan sebagai  hasil  bahwa  25% penilaian  bernilai  sangat  buruk.  Aspek stimulation berada pada kategori  di  atas  rata–rata,  yang diinterpretasikan  bahwa  25%  hasil benchmark lebih baik  dari  pada  hasil  produk  yang  dievaluasi  dan  50% lebih buruk. Adapun untuk aspek novelty berada pada kategori good ,  dengan  interpretasi  10%  data benchmark lebih  baik  daripada  data  UEQ  SIAP  dan 75% nya lebih buruk.
Dari  keenam  skala  ini  diketahui  bahwa  lima skala  untuk  penilaian  SIAP  berada  di  dalam  rentang rata–rata  normal  sehingga  hasil  evaluasi  berupa evaluasi  netral,  yang  artinya  secara  keseluruhan responden beranggapan bahwa menu SIAP dalam SSO dilihat  dari  sisi attractiveness,  perspicuity,  efficiency, dependability,  stimulation sudah  cukup  baik,  namun belum  sempurna.  Adapun  dilihat  dari  skala novelty nya, menu SIAP pada SSO berada di atas rentang rata– rata  normal  sehingga  memiliki  evaluasi  yang  positif. Hal  ini  berarti  responden  menilai  bahwa  menu  SIAP pada  SSO  sudah  memiliki  nilai  kebaruan.  Namun, apabila  ditinjau  lebih  dalam  maka  dapat diketahui bahwa  nilai efficiency cenderung  mendekati  evaluasi negatif. Nilai efficiency ini juga menjadi nilai terkecil dalam skala untuk responden angkatan 2017, 2018 dan 2019.  Hal  ini  mengindikasikan  bahwa  sistem  SIAP existing belum efisien bagi user dalam menyelesaikan tugasnya. Berdasarkan hasil kuisioner diketahui bahwa hal ini terjadi salah satunya karena user interface yang terlalu  berantakan  sehingga pengguna  perlu  mencari dengan  lebih  teliti  menu  yang  dibutuhkan,  serta banyaknya  informasi  yang  tidak  dibutuhkan  justru ditampilkan  dan  mengganggu.  Mahasiswa  juga  harus melakukan scroll  screen untuk  mencari  menu  yang dibutuhkan  akibat  tertutupi  oleh  informasi–informasi
tersebut. Selain  itu  penataan website dimana  menu dibuat  menyamping  membuat  mahasiswa  sulit  untuk menemukan menu yang dicari.
Pada  angkatan  2020,  didapatkan  bahwa  nilai rata–rata attractiveness , perspicuity dan efficiency memiliki  rata–rata  yang  bernilai  negatif  walaupun hasilnya evaluasinya masih  ada  pada  kategori netral. Hal  ini  mengindikasikan  bahwa  secara keseluruhan SIAP existing belum  memberikan  hasil  yang memuaskan pada ketiga aspek tersebut. Perlu diketahui bahwa  untuk  skala attractiveness itu  bukan  hanya mengenai  tampilan, attractiveness merupakan  bagian paling  atas  dalam  hierarki  skala  UEQ, attractiveness dipengaruhi oleh lima faktor lainnya. Selain itu untuk nilai perspicuity memberikan  pengertian  bahwa mahasiswa angkatan  2020  sulit  dalam  membiasakan diri  dengan  sistem  yang  ada  di  awal  penggunannya. Skala efisiensi juga menjadi skala dengan nilai terkecil yaitu 0,746 dibandingkan dengan  lima skala lainnya. Artinya efisiensi merupakan salah satu hal yang paling dirasakan  oleh user saat  menggunakan  SIAP. Berdasarkan  hasil  kuisioner yang  disebarkan  pada angkatan  2017,  2018,  2019  dan  2020.  Hasil menyimpulkan  SIAP  saat  ini  belum  sesuai  dengan harapan user , terutama pada bagian efficiency. Hal ini terlihat  dari nilai efficiency yang  terendah  bagi responden  berdasarkan penilaian  UEQ.  Adapun  salah satu alasan tidak efisiennya website adalah karena user interface yang berantakan sehingga user perlu mencari dengan  teliti  menu  yang  dicari,  selain  itu  banyaknya informasi  atau  menu  yang  tidak  dibutuhkan  namun ditampilkan  juga  mengurangi  efisiensi.  Hal  ini dikarenakan user harus mencari menu yang dibutuhkan yang  mungkin  berada di  bawah  menu  atau  informasi yang  tidak  diperlukan.  Hal  ini  tentu  memperlambat jalannya  penyelesaian  tugas.  Selain  itu user juga kembali  mengeluhkan  terkait  dengan  tampilan  yang terlalu berantakan sehingga user membutuhkan  usaha lebih dalam menemukan menu yang dicari.
Berdasarkan  pengolahan  data  kuisioner  UEQ angkatan  2017,  2018  dan  2019  diketahui  bahwa jika dibandingkan  dengan  standar  penilaian  UEQ  saat  ini, nilai  UEQ  pada  menu  SIAP  untuk  lima skala yaitu attractiveness , perspicuity , dependability , efficiency , dan stimulation penilaian  berada  pada  kategori  buruk ( bad ).  Hal  ini  diinterpretasikan  sebagai  hasil  bahwa 25% penilaian  bernilai  sangat  buruk.    Adapun   untuk
Gambar 2 . Hasil Benchmark UEQ SIAP Existing Angkatan 2020
aspek novelty berada  pada  kategori good ,  dengan interpretasi  10%  data benchmark lebih  baik  daripada data UEQ SIAP dan 75% nya lebih buruk. Dalam  hal ini,  disimpulkan  bahwa  walaupun  berdasarkan responden yang mengisi  menilai bahwa  dari  5  skala menu  SIAP  ini  sudah  “layak” untuk  digunakan walaupun memang membutuhkan perbaikan. Perbandingan  menu  SIAP  dengan benchmark nya masih  masuk  kategori  buruk.  Oleh  karena  itu  perlu dilakukan beberapa  perbaikan  pada  SIAP,  terutama pada  skala attractiveness , perspicuity , dependability , efficiency , dan stimulation. Berdasarkan pengolahan data responden angkatan  2020  diketahui  bahwa  untuk  empat  skala yaitu attractiveness , perspicuity , dependability , efficiency, penilaian berada pada kategori buruk ( bad ). Hal  ini  diinterpretasikan  sebagai  hasil  bahwa  25% penilaian  bernilai  sangat  buruk.  Aspek stimulation berada  pada  kategori  di  atas  rata–rata,  yang diinterpretasikan  bahwa  25%  hasil benchmark lebih baik  dari  pada  hasil  produk  yang  dievaluasi  dan 50% lebih buruk. Adapun untuk aspek novelty berada pada kategori good , dengan interpretasi  10%  data benchmark lebih  baik  daripada  data  UEQ  SIAP  dan 75% nya lebih buruk.
Secara  keseluruhan  baik  responden  dari angkatan 2017, 2018 dan 2019, dengan responden dari angkatan  2020  memiliki  kesamaan  penilaian  pada  4 skala  yaitu attractiveness , perspicuity , dependability , dan efficiency. Hal  ini  karena  berdasarkan  hasil benchmark keempat skala ini berada pada kategori bad , untuk  kategori stimulation ,  responden  angkatan  2020 menilai  sedikit  lebih  baik  daripada  angkatan  2017, 2018  dan  2019.  Hal  ini  dapat  dilihat  dari  nilai benchmark untuk  angkatan  2020  bernilai  0,62  yang lebih tinggi daripada angkatan 2017, 2018, 2019 yang bernilai 0,47. Hal ini memberikan interpretasi kategori yang berbeda yakni berada pada kategori di bawah rata– rata untuk  responden  angkatan  2020,  dan  berada  pada kategori  buruk  untuk  responden  angkatan 2017, 2018 dan  2019.  Terlepas  dari  perbedaan  tersebut  penilaian ini  tetap  menghasilkan  kesimpulan  yang  sama  yakni menu  SIAP  harus  diperbaiki  dilihat  dari  lima  skala
yaitu attractiveness , perspicuity , dependability , efficiency , dan stimulation.
Berikut  merupakan  rekapitulasi  evaluasi  SIAP dari  seluruh  responden.  Adapun  saran  ini  merupakan saran yang diberikan responden dalam kuisioner yang berbentuk  esai/  isian,  sehingga pemilihan  diksi  dan susunan kata  bervariatif, namun sebagian besar saran memiliki inti yang sama sehingga dapat dikelompokkan dalam satu jenis saran perbaikan yang sama.  Rancangan  perbaikan  SIAP  dapat  dilihat  pada Gambar 3-8 .
- Info perubahan pertemuan tidak perlu ditampilkan (bentuk link saja)
- Pada  bagian  IRS  diberikan  daftar  nama mahasiswa pengambil mata kuliah tersebut
- Ada kalimat  yang  tidak  formal  pada  transkrip
- Default IRS jangan ke tab “Buat IRS”, sebaiknya ke  yang  lebih  sering  digunakan  saja  seperti tab “transkrip”
- Info IRS dan Jadwal terlalu ramai, dibuat muncul saat dibutuhkan saja.
- Fungsi  yang  kurang  bermanfaat  (fitur minimize , maximize , close pada bagian bawah bar )
- Bagian  tulisan  kuliah online tidak  usah  terlalu besar
- Absensi Scanner yang  tidak  dapat  diklik  di  web ditulis keterangannya
- Tampilannnya dirapikan, sebaiknya satu sisi saja
- Tampilan prestasi akademik kalau hanya sekedar informasi jangan diletakkan di tengah menghalangi tampilan yang lain
- Jadwal  kuliah dibuat lebih rapi  atau diberi  tanda yang mudah dimengerti
- Tahapan scroll (karena  info  yang  tidak dibutuhkan)  dan  mencari  fitur    (karena interface yang berantakan) dibuat lebih user friendly .
Tipografi  pada  halaman  depan  SSO  pada Gambar 3 menggunakan Levenim MT dengan font 24, Regular  untuk  judul  menu  dan  Levenim  MT font 10 bold ,  untuk  keterangan  pada  masing-masing  menu. Informasi Undip merupakan menu gabungan beberapa
platform yang  jarang  digunakan  mahasiswa  terkait informasi  di  Undip  seperti:  Undipnews,  radio  Pro Alma, Info Undip magang dan sebagainya
Tipografi  pada  halaman  depan  SIAP  pada Gambar  4 adalah  Levenim  MT, font 18, bold . Informasi  Perubahan  Mata  Kuliah  sebelumnya langsung  ditampilkan  di  SIAP,  dalam  rancangan  ini Perubahan  Mata  Kuliah  diletakkan  pada  menu tersendiri  dan  diberi  notifikasi  apabila  terdapat
penggantian  jadwal.  Pada  menu  informasi  perubahan mata  kuliah  hanya  dilakukan  penggantian interface background pada Gambar 5 .
Sebelumnya menu  informasi  status  akademik dan biaya kuliah pada Gambar 6 merupakan dua menu yang terpisah, yaitu menu Akademik dan Biaya kuliah. Berdasarkan evaluasi dari mahasiswa maka menu ini dijadikan satu halaman. Hal ini berfungsi untuk menyederhanakan alur serta meminimalisir menu yang
Gambar 4 . Halaman Depan SIAP
Gambar 5 . Informasi Perubahan Mata Kuliah
terlalu banyak.  Pada Gambar  7 , bagian default awal yang dimunculkan pertama adalah bagian transkrip, karena bagian ISI KRS hanya diakses pada awal semester, dan berdasarkan wawancara informal
Gambar 6 . Informasi Status Akademik dan Biaya Kuliah
transkrip merupakan menu yang cenderung lebih sering diakses oleh mahasiswa.
Pada SIAP  aktual,  Informasi IRS adalah daftar yang langsung dimunculkan oleh sistem, namun  pada praktiknya  informasi  ini  cenderung  tidak  dibutuhkan oleh mahasiswa secara terus-menerus, karena sebagian besar  sudah  memahami  alurnya.  Oleh  karena  itu informasi  ini  dibuat  satu  menu  yang  dapat  dibuka apabila  dibutuhkan.  Menu  perbaikan  di  sebelah  kiri menyesuaikan  SIAP Existing .  Pada  bagian  sebelah kanan  terdapat  tiga  submenu  yaitu  Informasi  IRS, Informasi  Jadwal  mata  kuliah,  dan  Informasi  daftar mahasiswa dalam mata kuliah pada Gambar 8 .
Hasil Evaluasi Rancangan SIAP Perbaikan: Tabel 1 merupakan  hasil  evaluasi  SIAP Perbaikan  angkatan 2017,  2018  dan  2019.  Berdasarkan Tabel  1 di  atas diketahui bahwa dari keenam skala UEQ yang menilai SIAP  rancangan  perbaikan  yang  diberikan  pada
angkatan  2017,  2018  dan  2019,  seluruhnya  bernilai positif. Hal itu dinilai dari rata–rata mean yang berada di  atas  standar  UEQ  yaitu  0,8.  Maka  dilihat  dari  sisi attractiveness,  perspicuity,  efficiency,  dependability, stimulation dan novelty sudah  lebih  baik.  Tingkat penilaian  juga  lebih  tinggi  dibandingkan  dengan penilaian pada SIAP Existing pada semua skala, hal itu dilihat  dari  perbandingan  nilai mean pada  SIAP Existing dengan  SIAP  rancangan  perbaikan. Tabel  2 merupakan  hasil  evaluasi  UEQ  SIAP  Perbaikan angkatan 2020.
Berdasarkan data di atas diketahui  bahwa dari keenam  skala  UEQ  yang  menilai  SIAP  rancangan perbaikan  yang  diberikan  pada  angkatan  2020, seluruhnya  bernilai  positif.  Hal  itu  dinilai  dari  rata– rata mean yang berada di atas standar UEQ yaitu 0,8. Maka  dilihat  dari  sisi attractiveness,  perspicuity, efficiency,  dependability,  stimulation dan novelty sudah lebih baik. Tingkat  penilaian juga  lebih  tinggi
Gambar 8. Mengisi IRS
Tabel 1 . Hasil Evaluasi UEQ SIAP Perbaikan Angkatan 2017, 2018 dan 2019 Scale Mean Result Attractiveness 1,608 Positive Evaluation Perspicuity 1,558 Positive Evaluation Efficiency 1,463 Positive Evaluation Dependability 1,575 Positive Evaluation Stimulation 1,643 Positive Evaluation Novelty 1,540 Positive Evaluation Tabel 2 . Hasil Evaluasi UEQ SIAP Perbaikan Angkatan 2020 Scale Mean Results Attractiveness 1,561 Positive Evaluation Perspicuity 1,652 Positive Evaluation Efficiency 1,756 Positive Evaluation Dependability 1,713 Positive Evaluation Stimulation 1,604 Positive Evaluation Novelty 1,274 Positive Evaluation
dibandingkan  dengan  penilaian  pada  SIAP Exsisting pada  semua  skala.  Hal  itu  dilihat  dari  perbandingan nilai mean pada  SIAP Existing dengan  SIAP rancangan  perbaikan.  Dari  hasil  penelitian  diketahui bahwa  untuk  dua  skala  yaitu attractiveness dan perspicuity berada  pada  kategori above  average .  Hal ini  diinterpretasikan  sebagai  hasil  bahwa  10%  hasil benchmark  lebih  baik  daripada  SIAP  perbaikan, sedangkan  75%  penilaian  SIAP  lebih  baik  daripada hasil benchmark .  Untuk  skala efficiency , stimulation dan novelty berada  pada  kategori good .  Yang diinterpretasikan  10%  hasil benchmark lebih  baik daripada  SIAP,  dan  75%  hasil  SIAP  lebih  baik daripada benchmark . Adapun untuk skala dependability berada pada kategori excellent . Nilai ini diinterpretasikan  berada  pada range 10%  terbaik dalam benchmark .
Berdasarkan  evaluasi  yang  diberikan  oleh mahasiswa angkatan 2017, 2018 dan 2019 seperti yang telah  dipaparkan  pada Tabel  1 .  Dapat  dilihat  bahwa jawaban  terbanyak  adalah  mengenai user  interface yang  berantakan  (27,07%),  kemudian  dilanjutkan dengan user  interface yang  kurang  sederhana (25,41%),  alur  tugas  yang  terlalu  panjang  seperti scrolling dan mencari menu  (17,68%), kemudian error dan server  down (13,26%),  layanan  yang  tidak  bisa diakses  di  HP  (6,63%),  iklan pop  up dan  informasi yang kurang dibutuhkan (4,42%), keamanan (2,21%), tampilan yang membosankan(1,1%), submit tugas via SIAP (0,55%).
Adapun  berdasarkan  hasil  evaluasi dari angkatan 2020 dapat dilihat bahwa jawaban terbanyak adalah  mengenai user  interface yang  berantakan (35%),  tampilan  terlalu  ramai  dan membingungkan (7,5%), error dan server down (27,5%), iklan pop up dan  informasi  yang  kurang  bermanfaat  (15%), login berulang kali (6,25%), alur yang rumit seperti scrolling dan mencari menu  (3,75%), dan tidak dapat diakses di ponsel (3,75%).
Berdasarkan  evaluasi  tersebut  beberapa  saran yang paling ditekankan adalah mengenai interface dan alur  sistem  yang  rumit.  Berdasarkan  keterangan responden, salah satu penyebab alur tugas yang rumit adalah  karena  banyaknya  menu  dan  informasi  yang tidak  dibutuhkan  menutupi  menu  yang  dicari.  Untuk beberapa  hal  yang  tidak  bisa  diperbaiki  secara langsung  namun  dapat  diberikan  penjelasan  saran perbaikannya.  Adapun  saran  perbaikan  ini  diberikan oleh  pakar diantaranya mengenai banyaknya error dan server down . Hal ini dapat diatasi dengan memperlebar bandwith dari website .  Mengenai pop  up iklan sebenarnya  sudah  diberikan  fitur  “jangan  tampilkan lagi”,  fitur  dapat  diperbaiki  dengan  mengaktifkan remember  choice yang  hanya  dapat  diaktifkan  oleh developer .  Untuk submit tugas  via  SIAP  sebenarnya sudah  ada  aplikasi Teams yang  digunakan  untuk melakukan tugas tersebut. Kemudian untuk login SSO dan  keamanan  SSO,  keduanya  saling  berkaitan. Berdasarkan keterangan pakar dijelaskan bahwa tidak adanya  fitur remember  password adalah  salah  satu upaya untuk menjaga keamanan.  Hal  ini  diantisipasi sedemikian rupa karena SSO merupakan website yang sangat  vital,  dimana  di  dalamnya  terintegrasi  dengan
banyak  sistem  lain  yang  bersifat  pribadi.  Tingkat kerugian yang dialami apabila data SSO dapat dibobol akan  sangat  besar,  sehingga tidak  menggunakan fitur remember  password merupakan  salah  satu  alternatif untuk menghindari kerugian tersebut.
Berdasarkan  data  hasil  penilaian  akhir  dari responden diketahui bahwa 86,52% responden merasa bahwa  saran  perbaikan  memberikan  hasil  yang  lebih baik  daripada SIAP  lama, sedangkan 13,48%  sisanya menyatakan  bahwa  saran  perbaikan  memberikan dampak  yang  sama  pada  SIAP  lama.  Dalam  hal  ini tidak ada penilaian bahwa rancangan SIAP lebih buruk daripada SIAP yang lama.

## 4. Kesimpulan
Kesimpulan yang dapat diambil dari penelitian ini  adalah  persepsi  mahasiswa  Teknik  Industri angkatan 2017, 2018 dan 2019 serta 2020 berada pada penilaian   netral  ( netral  evaluation )  yang  diartikan bahwa website sudah  cukup  baik,  namun  belum sempurna,  sudah  layak  untuk  dipergunakan  namun perlu diperbaiki untuk beberapa aspek. Adapun untuk aspek novelty ,  bagi  mahasiswa  angkatan  2017,  2018 dan 2019 mahasiswa menilai bahwa menu SIAP sudah memiliki nilai kebaruan. Hal tersebut terlihat dari hasil penilaian berupa penilaian positif ( positive evaluation ). Angkatan 2020 menilai SIAP cukup baik atau netral  evaluation .  Menurut  mahasiswa  Teknik Industri  angkatan  2017,  2018  dan  2019  terhadap benchmark UEQ  berada  pada  kualitas  yang  buruk ( bad ).  Adapun  untuk  aspek novelty berada  pada kategori  baik  ( good ).  Penilaian  mahasiswa  angkatan 2020  menunjukkan  hasil  penilaian  berada  pada kategori  buruk  ( bad ).  Secara  keseluruhan  responden menilai  bahwa pada skala attractiveness , perspicuity , dependability , efficiency, dan stimulation masih berkategori buruk sehingga perlu dilakukan perbaikan terhadap  kelima  aspek  tersebut.  Berdasarkan  daftar saran  perbaikan  yang  diberikan  oleh  mahasiswa kemudian dilakukan perbaikan, diketahui bahwa hasil dari  SIAP  perbaikan  secara  keseluruhan  lebih  baik daripada  SIAP Exisisting .  Hal  tersebut  terlihat dari masing–masing  skala  memiliki  nilai  rata–rata  yang lebih  tinggi  dan  kecenderungan  data  positif,  serta kecenderungan  data  negatif  yang  berkurang.  Dengan adanya  saran  langsung  dari user dan  pakar  mampu menentukan sistem yang baik bagi suatu website serta sesuai dengan kebutuhan user.

## 5. Daftar Pustaka
Bonett. (2014).  Cronbach's  Alpha Reliability: Interval Estimation,  Hypothesis  Testing,  and Sample Size  Planning. Journal  of  Organizational Behavior , 2.
Efendi,  Purwaningsih,  R.  and  Sriyanto,  S.  (2016). Media Perancangan Sistem Informasi Akademis Universitas  Diponegoro  Berbasis  Android Menggunakan      Metode      User      Centered Design. Industrial Engineering Online Journal , (5)2.
Hinderks,  A.  Schrepp,  M.  dan  Thomaschewski,  J. (2017).  Construction  of  A  Benchmark  for  the User      Experience      Questionnaire     (UEQ) .
International Journal of Interactive Multimedia and Artificial Intelligence , (4)4, 40-44.
Hinderks,  A.,  Schrepp,  M.,  Domínguez  Mayo,  F.J., Escalona,  M.J.,  Thomaschewski,  J.  (2019). Developing  a  UX  KPI  Based  on  The  User Experience Questionnaire. Computer Standards Interfaces, (65) 38–44.
Intanny,  V,  Widyastuti,  I.  dan  Perdani,  M.  (2018). Pengukuran  Kebergunaan  dan  Pengalaman Pengguna  Marketplace  Jogjaplaza.id  dengan Metode  UEQ  dan  USE  Questionnaire. Jurnal Pekommas , (3)2, Oktober 2018: 117 - 126.
Kharis,  Santosa,  P.,  Winarno,  W.W.  (2019)  Evaluasi User  Experience pada Sistem  Informasi  Pasar
Kerja Menggunakan User Experience Questionnare (UEQ). Prosiding  CITEE  2019 , Yogyakarta .
Khalique (2016), A Review on Single Sign on Enabling Technologies  and  Protocols. International Journal  of  Computer  Applications  (0975  – 8887), (151)11.
Komariah,  Sukaesih  dan  Sumiati  (2009).  Persepsi Pengguna Terhadap Layanan “Gelar Buku Baca Santai”. Penelitian  Fakultas  Ilmu  Komunikasi, Universitas Padjajaran.
Niranjanamurthy M, Nagaraj, A dan Shetty, P. (2014). Research  Study  on  Importance  of  Usability Testing/  User  Experience  (UX)  Testing. IJCSMC, (3)10, October 2014, 78–85 . Nongbri,  L., Hadem, P., Chettri, S. (2018).  A Survey on  Single  Sign  On. International  Journal  of Creative Research Thoughts (IJCRT (6)2 April 2018 | ISSN: 2320-2882. pp.595.
Schrepp,  M.,  Hinderks,  A.  dan  Thomaschewski,  J. (2014). Applying the User Experience
Questionnaire  (UEQ)  in  Different  Evaluation Scenarios. Lecture Notes in Computer Science, Volume 8517, 383-392, Springer International Publishing.
Sinaga, T. H. (2019). Implementation Of Single Sign- On  Method  in  E-Inventory  System  of Harapan
Medan University. Journal of Applied Communication and Information Technologies ( JAICT ), (4)1, 1 – 3.
Singh.   (2014). Sampling Techniques  Determination of Sample Size in Applied Statistics Research: An Overview. International  Journal of Economics,  Commerce  and  Management , (2),11.
Susilo,  E.,  Wijaya,  F.  D  dan  Hartanto,  D.  (2018). Perancangan  dan  Evaluasi User  Interface
Aplikasi Smart Grid Berbasis Mobile Application. JNTETI, (7)2, ISSN 2301– 4156. Topal,  B. (2016).  Comparison  Of  Methods  of  Single Sign-On:  Post  Authentication  Methods  in
Single Sign On. Degree Project in Communication Systems, Kth Royal  Institute of Technology,  Second  Level  Stockholm,  Sweden 2016 . Pp. 6.
Welly  (2015).  Analysing  Engagement  of  Outsource Employee  Study  Case:  Pt  Bravo  Humanika Persada. Journal of Business and Management (4)8, 901-912.
Zulfasari,  N.  (2016).  Analisis  Faktor-Faktor  Yang Mempengaruhi  Persepsi  Mahasiswa  Terhadap Digital  Library Its  Berdasarkan Model  Chang Et.  Al.  Tugas  Akhir. Sistem  Informasi  Institut Teknologi  Sepuluh November .