## PENILAIAN USER EXPERIENCE FIORI BUSSIM MENGGUNAKAN USER EXPERIENCE QUESTIONAIRE (UEQ) DAN PENGARUHNYA TERHADAP PEMAHAMAN PEMBELAJARAN MATAKULIAH SERTIFIKASI SAP
Fandi Halim 1) , Handoko 2) , dan Sophya Hadini Marpaung 3)
1,2,3 Program Studi Sistem Informasi, STMIK Mikroskil
1,2,3 Jl. Thamrin No 140, Medan, 20212 E-mail : fandi@mikroskil.ac.id 1) , handoko.wu@mikroskil.ac.id 2) , sophya.marpaung@mikroskil.ac.id 3)

## ABSTRAK
Penelitian  ini  menggunakan User  Experience  Questionaire  (UEQ) dalam  menilai  pengalaman  pengguna  dari  FIORI Bussim dan dilanjutkan dengan menilai pengaruh dari pengalaman penggunaan FIORI Bussim itu sendiri terhadap tingkat pemahaman  dari  mahasiswa/i  dalam  memahami  proses  bisnis  yang  terintegrasi  dengan  perangkat  lunak  SAP  ( System Application and Product in Data Processing ) pada mahasiswa. Secara rinci, kegiatan penelitian akan dilaksanakan dalam beberapa  tahapan  yaitu  mengevaluasi  kembali  dan  menetapkan  perumusan  masalah  yang  akan  diselesaikan,  melakukan studi  literatur,  pengumpulan  data,  penilaian  dan  konstruksi  kuesioner  untuk  menilai  pengalaman  penggunaan  FIORI Bussim  dan  pengaruhnya  terhadap  tingkat  pemahaman  penggunaan  oleh  pengguna  yang  dapat  disebut  sebagai  tahapan post-condition ,  melakukan  analisis  dan  pengujian  dan  mengambil  kesimpulan.  Hasil  pengujian  pada  penelitian  ini menggunakan User Experience Questionaire (UEQ) pada SAP-GUI ( Graphical User Interface ) dan FIORI Bussim dengan jumlah responden yang terlibat pada pengujian adalah sebanyak 132 orang mahasiswa yang menunjukkan hasil bahwa nilai pengalaman  penggunaan  FIORI  Bussim  lebih  baik  daripada  SAP-GUI.  Selanjutnya,  nilai  pengujian  pada  penelitian  ini terhadap  domain  pemahaman  yang  dilihat  dari  beberapa  domain  yaitu  domain  kognitif,  afektif  dan  psikomotorik menunjukkan  bahwa  lebih  banyak  responden  yang  mengalami  penurunan  dibandingkan  peningkatan  positif.  Dengan demikian  dapat  disimpulkan  bahwa  pengalaman  penggunaan  dari  FIORI  Bussim  ternyata  tidak  serta  merta  membuat tingkat pemahaman terhadap proses bisnis dalam SAP menjadi lebih baik.
Kata Kunci: Pengalaman Pengguna, Pemahaman Pengguna, Ueq, Pembelajaran, Sap.

## 1. PENDAHULUAN
Berikut  Sesuai  dengan  UU  Ketenagakerjaan  Nomor 13  Tahun  2003  dan  Peraturan  Presiden  Nomor  8  Tahun 2012  tentang  Kerangka  Kualifikasi  Nasional  Indonesia dan  Peraturan  Menteri  Tenaga  Kerja  Nomor  5  Tahun 2012  tentang  sistem  standarisasi  kompetensi  kerja nasional menunjukkan bahwa pentingnya mempersiapkan kompetensi untuk mahasiswa melalui uji kompetensi  yang  mengacu  pada  standar  tertentu. Mempersiapkan  hal  ini,  sebuah  lembaga  pendidikan dapat  secara  mandiri  memiliki  lembaga  sertifikasi  atau dapat  bekerja  sama  dengan  lembaga  kompetensi  yang sudah  ada  untuk  mendukung  kepastian  sumber  daya manusia  yang  handal  dan  dipercaya,  misalnya  melalui program  sertifikasi  internasional  penguasaan  perangkat lunak seperti Microsoft, DB2 SAP dan sebagainya.
Menyikapi  hal  di  atas,  Program  Studi  S-1  Sistem Informasi dari tahun 2012 telah  melakukan pembenahan kurikulum  sembari  menjalin  kerja  sama  dengan  mitra SAP di bidang edukasi yakni edugate untuk mengintegrasikan program sertifikasi SAP pada kurikulum. SAP (Systems, Applications, and Products in Data  Processing) adalah  perangkat  lunak Enterprise Resource Planning (ERP) yang mengintegrasikan proses
bisnis pada perusahaan. Setiap mahasiswa pada program studi  S-1  sistem  informasi  wajib  mengikuti  mata  kuliah pengantar ERP (SAP01 – SAP Overview ) pada semester ganjil  yang  bertujuan  memberikan  pengenalan  awal terhadap perangkat lunak SAP dan bagaimana perangkat lunak  SAP terintegrasi dalam setiap proses bisnis dalam perusahaan.  Dalam  pelaksanaan  matakuliah  ini,  selain daripada penggunaan perangkat lunak SAP, Edugate juga mempersiapkan  sebuah  sistem  berbasis  web  yang digunakan  sebagai  perangkat  lunak  simulasi  bisnis dengan konsep penggunaan yang mirip dengan perangkat lunak  SAP  yang  disebut  sebagai  FIORI  Bussim.  FIORI Bussim diklaim memiliki cara penggunaan dan tampilan antar  muka  yang  lebih  sederhana  dibandingkan  dengan perangkat lunak SAP yang lebih rumit dan lengkap. Hal ini  ditujukan  untuk  membantu  pemahaman  mahasiswa/i yang  mengikuti  matakuliah  pengantar  ERP  tentang proses bisnis yang terdapat dalam perangkat lunak SAP. Penelitian  ini  dilakukan  untuk  menilai  sejauh  mana tingkat  efektifitas  FIORI  Bussim  yang  diklaim  lebih sederhana  dalam  sisi  tampilan  antar  muka  pengguna dapat    membantu    meningkatkan    pemahaman    dari mahasiswa/i  dalam  memahami  proses  bisnis  yang terintegrasi dalam perangkat lunak SAP.
“ What  is  Usable  is  Beautiful ”,  sebuah  kalimat  yang dicetuskan dalam sebuah judul penelitian oleh Tractinsky et  al.  (2000)  mendeskripsikan  bahwa  terdapat  hubungan yang  erat  antara  persepsi  awal  dari  pengguna  sistem tentang estetika antara muka dan persepsi mereka tentang usabilitas  sistem.  Melalui  kalimat  tersebut,  tractinsky  et al.  (2000)  meyakini  bahwa  terdapat  peran  dari  estetika dalam  desain  antara  muka  pengguna  dan  dampaknya terhadap  pengalaman  pengguna  dalam  interaksinya dengan  sistem  terkomputerisasi.  Hal  ini  kemudian menjadi  salah  satu  ide  dasar  Rauschenberger  (2013) untuk melakukan konstruksi sebuah alat bantu pengukuran pengalaman pengguna yang dinamakan User Experience  Questionaire (UEQ).  UEQ  dapat  digunakan untuk  menilai  pengalaman  pengguna  untuk  setiap  jenis produk interaktif (Raunschenberger, 2013).
Penelitian  ini  menggunakan  UEQ  dalam  menilai pengalaman  pengguna  dari  FIORI  Bussim  dan dilanjutkan  dengan  menilai  pengaruh  dari  pengalaman penggunaan FIORI Bussim terhadap tingkat pemahaman dari  mahasiswa/i  dalam  memahami  proses  bisnis  yang terintegrasi dalam perangkat lunak SAP.

## 2. RUANG LINGKUP
Permasalahan yang diangkat dalam penelitian ini.
1. Apakah  terdapat  peningkatan  pemahaman  terhadap perangkat  lunak  SAP  setelah  penggunaan  FIORI Bussim
2. Apakah terdapat pengaruh dari pengalaman penggunaan  FIORI  Bussim  terhadap  tingkat pemahaman  mahasiswa/i  dalam  memahami  proses bisnis yang terintegrasi dalam perangkat lunak SAP Fokus daripada penelitian ini adalah pada pengalaman  pengguna  yang  dalam  hal  ini  adalah mahasiswa/i  dalam  menggunakan  FIORI  Bussim  dan pengaruhnya  terhadap  tingkat  pemahaman  mahasiswa/i terhadap proses bisnis yang terintegrasi dalam perangkat lunak SAP.

## 3. BAHAN DAN METODE
Disajikan  kajian  teori  dan  metode  dalam  penelitian ini.

## 3.1 User Experience Questionaire (UEQ)
Pengalaman  pengguna  merupakan  perasaan  subjektif yang  dirasakan  oleh  pengguna  terhadap  sebuah  produk yang  sedang  digunakan.  Pengguna  yang  berbeda  tentu akan  memiliki  pengalaman  yang  berbeda  walaupun  hal itu adalah untuk sebuah produk yang sama. Hal ini yang membuat  menilai  pengalaman  pengguna  membutuhkan penilaian  dari  sekolompok  besar  pengguna  karena dengan  semakin  besar  jumlah  pengguna  yang  menilai maka feedback (umpan balik) yang didapatkan juga akan semakin lengkap dan beragam. (Laugwitz et al, 2008).
Menilai  pengalaman  pengguna  dengan  target  penilai dalam  jumlah  yang  besar  tentu  akan  lebih  efisien  jika menggunakan kuesioner terutama berbasis online. Dalam melakukan  penilaian  terhadap  pengalaman  pengguna,
salah  atu  alat  bantu  yang  dapat  digunakan  adalah User Experience  Questionaire (UEQ)  oleh  Laugwitz  et  al,
(2008). Konstruksi User Experience Questionaire (UEQ) memiliki  6  (enam)  skala  pengukuran  dengan  26  item  di dalamnya. (Rauschenberger et al. ,2013)
1. Attractiveness –  berkaitan  dengan  kesan  pertama terhadap  sebuah  produk.  Terkait  tingkat  kesukaan pengguna terhadap produk. skala ini adalah dimensi yang meliputi beberapa item yakni: annoying/enjoyable,  good/bad,  unlikable  /  pleasing, unpleasant  /  pleasant,  attractive  /  unattractive, friendly / unfriendly .
2. Efficiency –  berkaitan  dengan  kemungkinan  untuk menggunakan  produk  dengan  cepat  dan  efisien  dan apakah  tampilan  antarmuka  kelihatan  terorganisir dengan baik dengan dimensi yang meliputi beberapa item  yakni: fast/slow;  inefficient,  impractical /practical, organized/cluttered .
3. Perspicuity –  berkaitan  dengan  kemudahan pemahaman  tentang  cara  menggunakan  produk  dan kemudahan  untuk  menjadi  akrab  dengan  produk dengan dimensi  yang  meliputi beberapa item  yakni: not  understandable/understandable,  easy  to  learn  / difficult to learn, complicated/easy, clear/confusing .
4. Dependability –  berkaitan  dengan  apakah  user memiliki  rasa  mengendalikan  interaksi  ketika menggunakan  dan  apakah  interaksi  dengan  produk aman  dan  dapat  diprediksi  dengan  dimensi  yang meliputi beberapa item yakni:
unpredictable/predictable, obstructive/supportive, secure/not secure, meets expectations/does not meet expectations.
5. Stimulation –  berkaitan  dengan  apakah  menarik untuk  menggunakan  produk  dan  apakah  pengguna merasa  termotivasi  untuk  menggunakan  produk lebih  jauh  dengan  dimensi  yang  meliputi  beberapa item  yakni: valuable/inferior,  boring/exciting,  not interesting/interesting, motivating/demotivating
6. Novelty –  berkaitan  dengan  apakah  rancangan produk  inovatif  dan  kreatif  dan  apakah  produk menarik  perhatian  pengguna  dengan  dimensi  yang meliputi beberapa item yakni: creative/dull, inventive/conventional, usual/leading edge,
conservative/innovative .
Dependensi  dari  skala  UEQ  memperhatikan  kualitas pragmatis  dan  kualitas  hedonic. Perspicuity,  effiiciency dan dependability adalah goal-oriented yang  dalam  hal ini  adalah  aspek  kualitas  pragmatis. Stimulation dan Novelty adalah non  goal-oriented yang  dalam  hal  ini merupakan aspek kualitas hedonik. Adapun  model dapat dilihat pada gambar 1 (Rauschenberger et al., 2013).

## Gambar 1. Struktur Skala dari Kuesioner UEQ
Secara  spesifik,  urutan  kuesioner  UEQ  untuk  urutan item  dan  orientasinya  (dimulai  dari  positif  atau pernyataan  antonim)  diacak.  Kuesioner  UEQ  telah dikonstruksi  dalam  berbagai  bahasa  yang  salah  satunya adalah  bahasa  Indonesia  oleh  Santoso  et  al.  (2016). Bentuk  dari  kuesioner  UEQ  dalam  bahasa  Indonesia dapat dilihat pada gambar 2 (Santoso et al., 2016)

## Gambar 2. Kuesioner UEQ dalam Bahasa Indonesia

## 3.2 Domain Pembelajaran
Pembelajaran  adalah  sebuah  proses  yang  secara umum  dapat  dikategorikan  ke  dalam  tiga  domain: cognitive , affective dan psychomotor . Pada setiap domain terdapat berbagai level pembelajaran yang  menunjukkan kemajuan  dari basic-level,  surface-level  learning hingga ke  level  yang  lebih  kompleks,  dan deeper  level .
Taksonomi kognitif telah mulai dikenal dari tahun 1956. Taksonomi  afektif  mulai  dikenal  dari  tahun  1964  dan terakhir  taksonomi  psikomotor  mulai  dideskripsikan tetapi belum sepenuhnya dari tahun 1970 (Hoque, 2016).
Penjelasan  yang  lebih  rinci  tentang  setiap  domain dapat dijabarkan.
1. Domain Kognitif Domain kognitif mencakup kemampuan pembelajaran  terutama  yang  berkaitan  dengan proses berpikir. Bloom’s taxonomy awalnya mengenalkan bahwa terdapat 6 (enam) level tingkat kompleksitas  kognitif  yang  meliputi: knowledge, comprehension,  application,  analysis,  synthesis dan evaluation (Hoque, 2016).
2. Domain Afektif
Domain  afektif  meliputi  perasaan,  emosi  dan  sikap. Domain  ini  meliputi  cara  menghadapi  sesuatu ditinjau  dari  aspek  emosional.  Domain  ini  dapat dikategorikan  menjadi  5  (lima)  sub  domain  yang meliputi:  (1) receiving ,  (2) responding ,  (3) valuing , (4), organization , dan  (5) characterization .  (Hoque, 2016)
3. Domain Psikomotor Domain  psikomotor  merepresentasikan  fungsi  fisik, aksi  reflek  dan  pergerakan  untuk  menjelaskan sesuatu ( interpretive ).

## 3.3 Penelitian Terdahulu
Beberapa  penelitian  terdahulu  telah  menggunakan UEQ untuk melakukan pengukuran pengalaman pengguna  dalam  penggunaan  sistem  atau  aplikasi  di berbagai bidang. Salah satunya Sularsa et al. (2015) yang menggunakan UEQ untuk  mengevaluasi produk aplikasi idigital  museum.  Idigital  museum  merupakan  prototipe sistem  penyajian  koleksi  museum  dalam  media  digital. Pengunjung museum dapat berinteraksi dengan penyajian  koleksi  yang  lebih  menarik  dan  komprehensif dengan  memanfaatkan  teknologi.  Pada  penelitiannya Sularsa  et  al  (2015),  dengan  menggunakan  UEQ  untuk mengevaluasi pengalaman penggunaan aplikasi interaktif danau bandung purba tersebut.
UEQ juga ikut digunakan dalam mengevaluasi sistem atau  aplikasi  dalam  bidang  pendidikan.  izabal  et  al. (2018)  juga  menggunakan  UEQ  dan Focus  Group Discussion (FGD)  untuk  melakukan  evaluasi  dan perbaikan terhadap situs web FILKOM Apps Mahasiswa pada  fakultas  ilmu  komputer  di  Universitas  Brawijaya. UEQ digunakan izabal et al. (2018) untuk mengevaluasi pengalaman  penggunaan  website  FILKOM  Apps mahasiswa.  Santoso  et  al.  (2016)  juga  menggunakan UEQ  untuk  mengukur  pengalaman  pengguna  situs e- learning pada student-centered learning dengan melibatkan  213  responden  yang  merupakan  mahasiswa dari jurusan ilmu komputer Universitas Indonesia.
UEQ juga digunakan untuk  mengevaluasi aplikasi di bidang  bisnis.  Lukita  et  al.  (2018)  menggunakan  UEQ untuk  menilai pengalaman pengguna  yang dalam hal ini adalah  pelanggan  yang  berbelanja  di  Nappa  Milano Online  Store .  Untuk  diketahui  Nappa  Milano online store adalah  situs  online  yang  menjual  sepatu  pria dengan  merk Nappa Milano yang sudah ada sejak tahun 2013.  Adinegoro  et  al.  (2018)  juga  menggunakan  UEQ
untuk  menilai  pengalaman  penggunaan website E- commerce dengan  menggunakan  UEQ  dan usability testing dengan studi kasus pada Lazada.co.id, Blibli.com, dan JD.id.
3.4 Metode Penelitian
Kegiatan penilaian secara keseluruhan dapat dimodelkan dengan gambar 3.

## Gambar 3. Tahapan Penelitian
Secara  rinci,  kegiatan  penelitian  akan  dilaksanakan dalam beberapa tahapan.
1. Tahapan  awal  dari  penelitian  adalah  mengevaluasi kembali  dan  menetapkan  perumusan  masalah  yang akan diselesaikan di dalam penelitian ini. Perumusan masalah  ini  akan  dirumuskan  berdasarkan  latar belakang,  permasalahan,  serta  ruang  lingkup  sejauh mana masalah ini akan diteliti.
2. Melakukan  studi  literatur  untuk  mengetahui  lebih lanjut  penelitian  sejenis  yang  telah  dilakukan terutama  yang  berkaitan  dengan  pengalaman pengguna  ( User  Experience )  dan  pemahaman penggunaan
3. Melakukan  pengumpulan  data  dengan  mulai merancang  kuesioner  untuk  menilai  pemahaman penggunaan  saat  sebelum  menggunakan  FIORI Bussim  untuk  tahapan pre-condition .  Kuesioner akan  disebarkan  kepada  seluruh  mahasiswa/i program  studi  S-1  Sistem  Informasi    yang mengikuti  perkuliahan  Pengantar  ERP  (SAP01- Fundamental )  untuk  semester  ganjil  tahun  ajaran 2019/2020.
4. Melakukan penilaian dan konstruksi kuesioner untuk menilai pengalaman penggunaan FIORI Bussim dan pengaruhnya terhadap
tingkat
pemahaman penggunaan  oleh  pengguna  yang  dapat  disebut sebagai  tahapan post-condition .  Kuesioner  akan disebarkan  kembali  kepada  seluruh  mahasiswa/i program studi S-1 Sistem Informasi yang mengikuti perkuliahan  Pengantar  ERP  (SAP01- Fundamental ) untuk semester ganjil tahun ajaran 2019/2020.
5. Melakukan  analisis  dan  pengujian  dan  mengambil kesimpulan.  Kemudian  berdasarkan  hasil  yang didapatkan  akan  disusun  laporan  akhir  penelitian sebagai  hasil  akhir  penelitian.  penelitian  terdahulu telah menggunakan UEQ untuk melakukan pengukuran pengalaman pengguna dalam
penggunaan sistem atau aplikasi di berbagai bidang. Salah  satunya  Sularsa  et  al.  (2015)  yang menggunakan UEQ.

## 4. PEMBAHASAN
Observasi terhadap SAP GUI dan FIORI Bussim dan dilanjutkan  dengan  analisis  pengalaman  penggunaan SAP GUI dan FIORI Bussim serta analisis uji komparatif untuk domain pemahaman.

## 4.1 Observasi SAP GUI
Observasi  terkait  SAP  GUI  berbasis desktop ini dimulai dari tampilan-tampilan antarmuka yang ada pada SAP GUI itu sendiri.
1. Tampilan Halaman Login – SAP GUI
Halaman login pada  Gambar  4  merupakan  halaman pertama  yang  akan  disuguhkan  kepada  pengguna  ketika hendak menggunakan aplikasi SAP ini. Pada halaman ini pengguna  diminta  untuk  mengisikan  nomor client,  user dan password yang  digunakan  untuk  masuk  ke  menu utama
Gambar 4. Tampilan Halaman Login SAP GUI
2. Tampilan Transaksi Create Purchase Order Tampilan  Transaksi Create  Purchase  Order pada gambar 5 adalah tampilan contoh/sample transaksi create
PO/ purchase order pada aktivitas
pengadaan/ procurement .

## Gambar 5. Tampilan Transaksi Create Purchase Order - SAP GUI
3. Tampilan Transaksi Display Billing Document Tampilan  Transaksi Display  Billing  Document pada gambar  6  adalah  tampilan  contoh/sample  transaksi  pada menu accounting yang  menampilkan billing document yang pernah digunakan pada satu atau  lebih  transaksi di SAP GUI.
Gambar 6. Tampilan Transaksi Display Billing Document - SAP GUI

## 4.2 Observasi FIORI Bussim
Observasi  terkait  FIORI  Bussim  yang  dijalankan dengan  sistem  berbasis  web  ini  juga  dimulai  dari penjelasan  antarmuka  pengguna  di  masing-masing halaman  transaksi  yang  ada  di  SAP  dan  FIORI  Bussim. adapun berikut uraiannya adalah sebagai berikut:
1. Tampilan Halaman Login – FIORI
Gambar 7. Tampilan Halaman Login FIORI Bussim
Gambar  7  merupakan  halaman login pada  FIORI Bussim memiliki field isian yang sama dengan field isian login  pada  SAP  GUI.  Pada  halaman  ini,  pengguna  juga diminta  untuk  mengisikan  nama user , password ,  dan client yang  digunakan  untuk  masuk  ke  menu  utama  di FIORI Bussim.
2. Tampilan  Transaksi Create  Purchase  Order –
FIORI
Gambar 8. Tampilan Transaksi Create Purchase Order – FIORI Bussim
FIORI  Bussim  memiliki  tampilan Purchase  Order yang  sangat  berbeda  dengan  versi desktop SAP  GUI dapat dilihat seperti pada gambar 8
3. Tampilan  Transaksi Display  Billing  Document –
FIORI
Gambar 9. Tampilan Transaksi Display Billing Document – FIORI Bussim
Gambar  9.  merupakan  contoh display  billing document pada menu accounting yang dapat diakses oleh pengguna  dengan  memeriksa billing per  periode  dan status billing yang perlu ditampilkan.

## 4.3 Hasil Analisis
Adapun hasil analisis dibagi menjadi beberapa bagian yang  meliputi: hasil analisis pengalaman pengguna pada aplikasi  SAP-GUI,  hasil  analisis  pengalaman  pengguna pada aplikasi FIORI Bussim,  Hasil analisis uji
komparatif  untuk  ketiga  domain  pemahaman  (kognitif, afektif dan psikomotorik).
4.3.1 Analisis pengalaman pengguna pada SAP-GUI
Kegiatan pengalaman pengguna untuk pre-test adalah kegiatan  analisis  pengalaman  pengguna  aplikasi  SAP- GUI dengan menilai sejauh mana pengalaman penggunaan  SAP-GUI  dengan  menggunakan  UEQ  yang sudah dilengkapi dengan alat bantu pengujian yakni Data Analysis  Tools. Setelah  data  kuesioner  dari  132 responden direkam, data rekaman kemudian ditempatkan ke dalam Data Analysis Tools .

## Gambar 10. Distribusi Jawaban kuesioner UEQ dari SAP-GUI
Gambar  10  menunjukkan  sebaran/distribusi  jawaban kuesioner  UEQ  dari  SAP-  GUI.  Warna  pada  grafik menggambarkan persentase jawaban kuesioner responden pada item pertanyaan tertentu.

## Gambar 11. Nilai Koefisien Alpha Cronbach UEQ dari SAP-GUI
Berdasarkan  hasil output pada  gambar  11  dapat dilihat bahwa nilai Cronbach’s Alpha untuk setiap skala yang diujikan pada pada penelitian ini jika dibandingkan dengan nilai r tabel dengan nilai N = 132 (pada distribusi nilai r tabel pada signifikansi 5%  maka diperoleh  nilai r tabel sebesar 0.1710) .

## Tabel 1. Nilai Koefisien Alpha Cronbach UEQ dari
SAP-GUI Skala Cronbach’s Alpha Kesimpulan Attractiveness (daya tarik) 0.83 Reliabel Perspicuity (kejelasan) 0.75 Reliabel Efficiency (efisiensi), 0.78 Reliabel Dependability (ketepatan) 0.78 Reliabel Stimulation (stimulasi) 0.71 Reliabel Novelty (kebaruan) 0.60 Reliabel
Berdasarkan  hasil  pada  Tabel  1,  dapat  disimpulkan bahwa keseluruhan item skala yang diuji pada penelitian ini  sudah  reliabel.  Karena  item  yang  akan  digunakan pada  penelitian  sudah  reliabel,  maka  hasil  dari pengukuran  pengalaman  pengguna  menggunakan  UEQ dapat dilihat pada Gambar 12.
Gambar 12. Skala Pengukuran User Experience dari SAP-GUI
Pada  gambar  12,  dapat  dilihat  bahwa  keeluruhan enam  skala  yang  diuji  bernilai  positif  karena  hasil pengujian  berada  di  atas  skala  0.  Hasil  ini  dapat dikatakan  bahwa  pengalaman  pengguna  SAP-GUI memiliki penilaian yang positif.
Tabel 2. Hasil rata-rata dan varians Skala UEQ pada
SAP-GUI UEQ Scales (Mean and Variances) Attractiveness 0.689 0.80 Perspicuity 0.117 1.07 Efficiency 0.979 0.99 Dependability 0.856 0.85 Stimulation 0.754 0.90 Novelty 0.521 0.66
Tabel  2  memiliki  interprestasi  bahwa  nilai  rata-  rata attractiveness (daya  tarik)  dan  nilai  rata-rata perspicuity (kejelasan)  jika  dibandingkan  dengan benchmark berada pada  skala  “ bad ”.  Nilai  rata-rata efficiency (efisiensi), Nilai  rata-rata dependability (ketepatan),  Nilai  rata-rata stimulation (stimulasi)  dan  Nilai  rata-rata novelty (kebaruan)  berada  pada  skala below average atau  di bawah rata-rata.
Tabel 3. Benchmark Interval untuk Skala UEQ untuk SAP-GUI Scale Mean Comparison to benchmark Attractiveness 0.69 Bad Perspicuity 0.12 Bad Efficiency 0.98 Below Average Dependability 0.86 Below Average Stimulation 0.75 Below Average Novelty 0.52 Below Average
Gambaran yang lebih jelas tentang hasil interprestasi pada tabel 3 dapat dilihat pada gambar 15 dalam bentuk grafis.
Gambar 13. Benchmark Hasil Pengukuran UEQ pada
SAP-GUI
Gambar  13  memiliki  interpretasi  bahwa  pada  skala attractiveness (daya tarik) SAP-GUI dianggap
menyusahkan,  tidak  nyaman,  tidak  atraktif  dan  tidak ramah  pengguna  sehingga  perlu  ada  perhatian  lebih lanjut.  Pada  skala efficiency (efisiensi)  bernilai  rendah pada  kecepatan  akses.  Pada  skala dependability (ketepatan)  dinilai  tidak  dapat  diprediksi  dan  tidak memenuhi  ekspektasi.  Dari  sisi stimulation (stimulasi)
SAP-GUI  dianggap  membosankan,  tidak  menarik  dan kurang  memotivasi  pengguna.  Dari  sisi novelty (kebaruan)  bernilai  rendah  dan  dianggap  monoton, konvensional  dan  tidak  lazim.  Sementara  dari  aspek perspicuity (kejelasan),  SAP-GUI  dinyatakan  sulit dimengerti, sulit dipelajari, rumit dan membingungkan.

## 4.3.2 Hasil  analisis  pengalaman  pengguna  FIORI Bussim
Kegiatan  pengalaman  pengguna  untuk post-test adalah  kegiatan  analisis  pengalaman  pengguna  aplikasi FIORI Bussim. Kegiatan analisis post - test adalah menilai sejauh  mana  pengalaman  penggunaan  FIORI  Bussim. Kegiatan  analisis  pengalaman  pengguna  pada  aplikasi FIORI  Bussim  juga  menggunakan  UEQ  dengan  alat bantu  pengujian  yakni Data  Analysis  Tools .  Seperti halnya  pada pre-test ,  data  kuesioner  dari  132  responden direkam dan ditempatkan  ke  dalam Data Analysis  Tools untuk  diproses.  Adapun  sebaran  jawaban  dari  132 responden dapat dilihat pada gambar 16.

## Gambar 14. Distribusi Jawaban kuesioner UEQ dari FIORI Bussim
Berdasarkan  grafik  pada  gambar  14,  dapat  dilihat sebaran/distribusi  jawaban  kuesioner  UEQ  dari  FIORI Bussim.  Warna  pada  grafik  menggambarkan  persentase jawaban  kuesioner  responden  pada  item  pertanyaan tertentu.

## Gambar 15. Nilai Koefisien Alpha Cronbach UEQ dari FIORI Bussim
Berdasarkan  hasil output pada  gambar  15  dapat dilihat bahwa nilai Cronbach’s Alpha untuk setiap skala yang  diujikan  pada  penelitian  ini  jika  dibandingkan dengan nilai r tabel dengan nilai N = 132 (pada distribusi nilai r tabel pada signifikansi 5%  maka diperoleh  nilai r tabel sebesar 0.1710).
Tabel 4. Skala Pengujian Bussim – Cronbach’s Alpha
Skala Cronbach’s Alpha Kesimpulan Attractiveness (daya tarik) 0.91 Reliabel Perspicuity (kejelasan) 0.81 Reliabel Efficiency (efisiensi), 0.79 Reliabel Dependability (ketepatan) 0.75 Reliabel Stimulation (stimulasi) 0.88 Reliabel Novelty (kebaruan) 0.62 Reliabel
Berdasarkan  hasil  pada  tabel  4,  dapat  disimpulkan bahwa keseluruhan item skala yang diuji pada penelitian ini  sudah  reliabel.  Karena  item  yang  akan  digunakan pada  penelitian  sudah  reliabel,  maka  hasil  dari pengukuran  pengalaman  pengguna  menggunakan  UEQ dapat dilihat pada gambar 16.

## Gambar 16. Skala Pengukuran User Experience pada FIORI Bussim
Pada  gambar  16,  dapat  dilihat  bahwa  keeluruhan enam  skala  yang  diuji  bernilai  positif  karena  hasil pengujian berada di atas skala 0, dan bahkan lebih tinggi dari nilai pada SAP-GUI sebagai pre-test.

## Tabel 5. Hasil rata-rata dan Varians Skala UEQ pada FIORI Bussim
UEQ Scales (Mean and Variances) Attractiveness 1.140 1.04 Perspicuity 0.987 0.97 Efficiency 1.078 1.09 Dependability 1.061 0.82 Stimulation 1.182 1.13 Novelty 0.742 0.80 Hasil benchmark pada  tabel  5  memiliki  interprestasi bahwa  nilai  rata-rata attractiveness (daya  tarik),  nilai rata-rata perspicuity (kejelasan),  nilai  rata-  rata dependability (ketepatan),  dan  nilai  rata-rata novelty (kebaruan)jika  dibandingkan  dengan benchmark berada pada  skala  “ below  average ”  yang  mana  hal  ini  masih lebih  baik  dari  hasil  pada  SAP-GUI.  nilai  rata-rata efficiency (efisiensi)  dan  nilai  rata-rata stimulation (stimulasi) telah berada pada skala “above average” atau di  atas  rata-rata.  Hal  ini  menunjukan  skala  yang  lebih tinggi dibandingkan dengan SAP-GUI sebelumnya.
Tabel 6. Benchmark Interval untuk Skala UEQ FIORI Bussim Scale Mean Comparison to benchmark Attractiveness 1.14 Below Average Perspicuity 0.99 Below Average Efficiency 1.08 Above Average Dependability 1.06 Below Average Stimulation 1.18 Above Average Novelty 0.74 Below Average
Gambaran yang lebih jelas tentang hasil interprestasi pada tabel 6 dapat dilihat pada gambar 17 dalam bentuk grafis.
Gambar 17. Benchmark Hasil Pengukuran UEQ pada
FIORI Bussim Skala stimulation (stimulasi) meliputi valuable/inferior, boring/exciting, not
interesting/interesting, dan motivating/demotivating telah memiliki  nilai  “ above  average ”  yang  berarti  sudah  di atas  rata-rata.  Hal  yang  sama  juga  terdapat  pada  skala efficiency (efisiensi)  yang  memiliki  poin  antara  lain: fast/slow,  inefficient/efficient,  impractical/practical, dan organized/cluttered yang  juga  telah  memiliki  nilai
“ above  average ”.  Walaupun  begitu,  hal  ini  masih membutuhkan  peningkatan  untuk  mencapai  skala “ Good ”. Skala yang lain berada pada nilai di bawah rata- rata,  jika  dilihat  lebih  lanjut  maka  skala attractiveness (daya tarik), perspicuity (kejelasan), efficiency (efisiensi), dependability (ketepatan),  dan novelty (kebaruan)  perlu  diperhatikan  dengan  detail.  Skala attractiveness (daya  tarik)  memiliki  poin  penting  antara lain: annoying/enjoyable, good/bad, unlikeable/pleasing, unpleasant/pleasant, attractive/unattractive , dan friendly/unfriendly .  Selanjutnya  adalah  skala  perspicuity (kejelasan).  Pada  skala  ini,  hal  yang  harus  diperhatikan adalah not  understandable/understandable,  easy  to learn/difficult to learn, complicated/easy, dan clear/confusing . Kemudian skala
dependability (ketepatan) yang memuat hal-hal antara lain: unpredictable/predictable, obstructive/supportive, secure/not  secure, dan meet  expectations/does  not  meet expectations .  Dan  yang  terakhir  adalah  skala novelty (kebaruan) yang memiliki poin antara lain: creative/dull, inventive/conventional, usual/leading
edge, conservative/innovative .  Keseluruhan  skala  ini  perlu mendapatkan  perhatian  lebih  karena  masih  berada  pada skala “ Below Average ”.
4.3.3 Hasil  Analisis  Uji  Komparatif  Untuk  Domain Pemahaman
Hasil  uji  komparatif  untuk  domain  pemahaman  juga turut dilakukan. Uji komparatif pada tabel 6 dilaksanakan  dengan  menggunakan  Uji  Wilcoxon. Pemahaman dinilai dengan jumlah responden yang sama yakni  sebanyak  132  orang  responden.  Dari  keseluruhan jumlah responden, 132 data yang ada baik untuk pre-test dan post-test dinyatakan  valid.  Valid  dalam  berarti bahwa  semua  kuesioner  yang  akan  diproses  telah  terisi dengan lengkap.
Tabel 6. Case Processing Summary untuk Pre-Test dan Post-Test
Dari  tabel  7,  dapat  diketahui  bahwa  item  pertanyaan untuk  kategori  pemahaman pre-test terdapat  18  item pertanyaan  dengan  nilai  Cronbach’s  Alpha  sebesar 0.952.  Seperti  yang  telah  diuraikan  sebelumnya  di  atas bahwa  Joko  Widyanto  (2010)  menjelaskan  bahwa  dasar pengambilan  keputusan  dalam  uji  reliabilitas  adalah reliabel jika lebih nilai Cronbach’s Alpha lebih besar dari r tabel. Hasil pengujian pre-test ini adalah reliabel karena nilai  0.952  lebih  besar  dari  0.468  (nilai  r  tabel signifikansi 5%).

## Tabel 7. Statistik Reliabilitas untuk Pre-Test
Jika  dibandingkan  dengan  setiap  item,  nilai Cronbach’s Alpha per item juga masih reliabel. Nilai ini dapat dilihat pada Tabel 8.
Tabel 8. Item Total Statistics untuk Pre-Test
Dari Tabel 9, dapat diketahui bahwa item pertanyaan untuk  kategori  pemahaman post-test terdapat  18  item pertanyaan  dengan  nilai  Cronbach’s  Alpha  sebesar 0.966.  Seperti  yang  telah  diuraikan  sebelumnya  di  atas bahwa  Joko  Widyanto  (2010)  menjelaskan  bahwa  dasar pengambilan  keputusan  dalam  uji  reliabilitas  adalah reliabel jika lebih nilai Cronbach’s Alpha lebih besar dari r  tabel.  Hasil  pengujian post-test ini  adalah  reliabel karena  nilai  0.966  lebih  besar  dari  0.468  (nilai  r  tabel signifikansi 5%).
Tabel 9. Statistik reliabilitas untuk post-test
Jika  dibandingkan  dengan  setiap  item,  nilai Cronbach’s Alpha per item juga masih reliabel. Nilai ini dapat dilihat pada Tabel 10.
Tabel 10. Item Total Statistics untuk Post-Test
Adapun  hasil  analisis  uji  komparatif  untuk  domain pemahaman secara rinci dapat dilihat pada Tabel 11.

## Tabel 11. Hasil Uji Wilcoxon
Tabel  12  menunjukkan  beberapa  kategori  yakni “ negative  rank” yang  berarti  nilai pre-test lebih  besar dari post-test, “ positive  rank ”  yang  berarti  nilai pre-test lebih kecil dari post-test dan “ ties ” yang berarti nilai pre- test sama  besarnya  dengan  nilai post-test .  Dari  hasil pengujian,  dapat  diketahui  bahwa  dari  domain  kognitif, terdapat  102  orang  responden  yang  nilai  rata-rata kognitif  dari pre-test lebih  besar  dibandingkan  dengan post-test . Hanya 18 orang yang nilai rata-rata kognitifnya meningkat ( positive rank ) pada post-test . Dan terdapat 12 orang  yang  sama  besar  kemampuan  kognitifnya  untuk pre-test dan post-test .  Untuk  domain  afektif,  fenomena yang  sama  juga  terjadi.  Terdapat  78  orang  responden yang  nilai  rata-rata  afektif  dari pre-test lebih  besar dibandingkan dengan post-test ( negative rank ). Hanya 32 orang responden yang nilai rata-rata afektif dari post-test lebih  besar  dari pre-test ( positive  rank ).  Terdapat  22 orang responden yang nilai rata-rata afektif dari post-test
dan pre-test sama  besarnya  ( ties ).  Untuk  domain psikomotorik,  hal  yang  sama  juga  terjadi.  Terdapat  96 orang  responden  dengan  kategori  “ negative  rank ”  yang mana  nilai  rata-rata  psikomotorik pre-test lebih  tinggi dibandingkan  dengan post-test ,  26  orang  dengan “ positive rank ” dimana nilai rata-rata psikomotorik post- test lebih  besar  dari pre-test dan  10  orang  dengan kategori  “ ties ”  dimana  nilai  rata-rata  psikomotorik pre- test sama  besarnya  dengan post-test .  Keseluruhan  hasil test menunjukkan  bahwa  terdapat  perbedaan  yang bermakna  antara pre-test dan post-test karena  nilai asymp sig 2 tailed lebih kecil dari batas kritis penelitian yakni 0,05.
Tabel 12. Hasil Uji Statistik untuk Pre-Test Dan Post- Test
Berdasarkan  hasil  yang  telah  didapatkan  di  atas  hal yang perlu diperhatikan.
1. Hasil pengujian  menggunakan UEQ pada SAP-GUI dan  FIORI  Bussim  menunjukkan  bahwa  nilai pengalaman  penggunaan  SAP-GUI  lebih  rendah dibandingkan  dengan  FIORI  Bussim.  Hal  ini  dapat diinterpretasikan  bahwa  FIORI  Bussim  memiliki pengalaman  penggunaan  yang  lebih  baik  terutama dari  aspek  efisiensi  dan  stimulasi.  SAP-GUI  masih perlu  meningkatkan  pengalaman  penggunaannya terutama  pada  aspek attractiveness (daya  tarik)  dan perspicuity (kejelasan)
2. Nilai  pengujian  terhadap  domain  pemahaman  yang dilihat dari domain kognitif, afektif dan psikomotorik  menunjukkan  bahwa  lebih  banyak responden yang mengalami penurunan dibandingkan peningkatan  positif.  Hal  ini  berarti  setelah penggunaan  FIORI  Bussim  tidak  menghasilkan adanya  peningkatan  pemahaman  malah  sebaliknya penurunan.
3. Pengalaman penggunaan yang lebih baik dari FIORI Bussim ternyata tidak  membuat tingkat pemahaman menjadi lebih baik.
Namun  demikian,  penelitian  ini  masih  memiliki keterbatasan.
1. Pembelajaran  FIORI  Bussim  dilakukan  selama beberapa  kali  pertemuan  perkuliahan.  kegiatan pengukuran  pengalaman  pengguna  dilakukan  pada saat  pembelajaran  FIORI  Bussim  telah  selesai dilakukan.  Akan  tetapi  saat  pembelajaran  tengah dilakukan,  terdapat  update  terhadap  aplikasi  FIORI Bussim.  Pengukuran  pengalaman  pengguna  yang dilakukan  dalam  penelitian  adalah  pengalaman pengguna  terhadap  FIORI  Bussim  setelah  update. Pengukuran  pengalaman  pengguna  aplikasi  FIORI Bussim  belum  melibatkan  pengalaman  pengguna sebelum update.
2. Penelitian  ini  juga  belum  meninjau  aspek  dari aplikasi FIORI Bussim yang menyebabkan penurunan  pemahaman  pengguna  tentang  proses bisnis yang terintegrasi dalam aplikasi SAP.

## 5. KESIMPULAN
Hasil  pengujian  menggunakan  UEQ  pada  SAP-GUI dan  FIORI  Bussim  dengan  jumlah  responden  sebanyak 132  orang  menunjukkan  bahwa  nilai  pengalaman penggunaan FIORI Bussim lebih baik dari SAP-GUI.
Nilai  pengujian  terhadap  domain  pemahaman  yang dilihat  dari  domain  kognitif,  afektif  dan  psikomotorik menunjukkan  bahwa  lebih  banyak  responden  yang mengalami penurunan dibandingkan peningkatan positif. Pengalaman  penggunaan  yang  lebih  baik  dari  FIORI Bussim  ternyata  tidak  membuat  tingkat  pemahaman terhadap proses bisnis dalam SAP menjadi lebih baik.

## 6. SARAN
Saran  yang  dapat  diberikan  untuk  penelitian selanjutnya adalah penelitian ini perlu dilakukan kembali dengan  metode  pengujian  yang  sama  dan  kondisi pembelajaran  FIORI  Bussim  pada  saat  aplikasi  dalam kondisi  yang  lebih  stabil.  untuk  penelitian  dengan  judul atau  topik  yang  mengacu  kepada  penelitian  ini kedepannya dapat lebih baik lagi.

## 7. DAFTAR PUSTAKA
Adinegoro,  A.L.T.,  Rokhmawati,  R.I.  and  Az-Zahra,
H.M.,  2018.  Analisis  Pengalaman  Pengguna  pada
Website E-commerce Dengan Menggunakan Usability Testing dan User Experience Questionnaire  (UEQ)(Studi  pada  Lazada.  co.  id, Blibli.  com  dan  JD.  id). Jurnal  Pengembangan Teknologi  Informasi  dan  Ilmu  Komputer  e-ISSN, 2548 , p.964X.
Hoque,  M.E.,  2016.  Three  Domains  of  Learning: Cognitive, Affective and Psychomotor. The Journal of EFL Education and Research, 2(2) , pp.45-52.
Izabal,  S.V.,  Aknuranda,  I.  and  Az-Zahra,  H.M.,  2018. Evaluasi dan Perbaikan User Experience Menggunakan  User  Experience  Questionnaire (UEQ)  dan  Focus  Group  Discussion  (FGD)  pada Situs  Web  FILKOM  Apps  Mahasiswa  Fakultas Ilmu  Komputer  Universitas  Brawijaya. Jurnal Pengembangan  Teknologi  Informasi  dan  Ilmu Komputer e-ISSN, 2548 , p.964X. Laugwitz,  B.,  Held,  T.  and  Schrepp,  M.,  2008, November.  Construction  and  evaluation  of  a  user experience  questionnaire .  In  Symposium  of  the Austrian  HCI  and  Usability  Engineering  Group (pp. 63-76). Springer, Berlin, Heidelberg.
Lukita,  K.A.,  Galinium,  M.  and  Purnama,  J.,  2018, March.  User  Experience  Analysis  of  an  E- Commerce    Website    Using    User    Experience Questionnaire  (UEQ)  Framework. In  Prosiding Seminar Nasional Pakar (pp. 347-355).
Rauschenberger, M., Schrepp, M., Cota, M.P., Olschner,
S.  and  Thomaschewski,  J.,  2013.  Efficient measurement  of  the  user  experience  of  interactive products.  How  to  use  the  user  experience questionnaire  (UEQ).  Example:  Spanish  language version. International Journal of Artificial Intelligence  and  Interactive  Multimedia.  2013;  2 (1) : PP.39-45.
Santoso,  H.B.,  Schrepp,  M.,  Isal,  R.,  Utomo,  A.Y.  and Priyogi, B., 2016. Measuring user experience of the student-centered e-learning environment . Journal of Educators Online, 13(1) , pp.58-79. Santoso,  H.B.,  Schrepp,  M.,  Isal,  R.Y.K.,  Utomo,  A.Y. and Priyogi, B., 2016. User experience
questionnaire:  development  of  an  Indonesian version  and  its  usage  for  product  evaluation. The Journal of Educators Online JEO, 13(1), pp.58-79. Sularsa,  A.,  Prihatmanto,  A.S.  and  Nugroho,  E.,  2015.
Evaluasi User Experiences Produk iDigital Museum  dengan  Menggunakan  UEQ. Jurnal Teknologi Informasi, 2(2), pp.56-62. Tractinsky,  N.,  Katz,  A.S.  and  Ikar,  D.,  2000.  What  is beautiful  is  usable.  Interacting  with  computers, 13(2), pp.127-145.