Ria Andriani: Evaluasi User Experience Dengan Pendekatan Usability Testing Pada Sistem Informasi Smart Academic

## EVALUASI USER EXPERIENCE DENGAN PENDEKATAN USABILITY
TESTING PADA SISTEM INFORMASI SMART ACADEMIC

## Ria Andriani
Teknik Informatika, Universitas Amikom Yogyakarta, Jl. Ring Road Utara, Condong Catur, Sleman, Yogyakarta Email: ria@amikom.ac.id
(Diterima: 4 November 2019 ,direvisi: 12 Desember 2019, disetujui: 5 Agustus 2020  )

## ABSTRACT
Smart  Academic  is  an  information  system  used  by  administrative  staff  to  manage  administrative activities  from  upstream  to  downstream  related  to  academia  starting  from  the  pre-lecture  process such as Her-Registration of new students, filling in Study Plan Cards, and class division during the lecture  process  such  as  semester  exams  as  well  as  the  assessment  process  of  each  course,  then proceed with administrative processing for the graduation until the graduation process, so that Smart Academic becomes a critical information system for the University if a failure occurs, it will hamper the lecture process which means the system cannot fulfill its objectives. This study evaluates the Smart Academic Information System through user experience with 8 respondents using the Usability Testing approach.  This  study  examines  user  experience  based  on  the  Nielsen  Heuristic  method,  namely Visibility  of  System,  Match  Between  System  and  The  Real  World,  User  Control  and  Freedom, Consistency and standards, Preventive error system, Recognition Rather Than Recall, Flexibility and Efficiency, Aesthetic and Minimalist Design, Help User Recognize dialogue, and recovers from error, and  Help  and  Documentation.  Studies  prove  that  of  the  10  Nielsen  Heuristic  variables,  4  variables have poor Usability values, namely the Consistency and standards variable, Preventive error system, Aesthetic and Minimalist Design, and Help and Documentation
Keywords: information system evaluation, nielsen heuristic, usability testing

## ABSTRAK
Smart Academic merupakan sistem informasi yang digunakan oleh staf administrasi untuk mengelola aktifitas  administratif  dari  hulu  ke  hilir  yang  berhubungan  dengan  akademik  mulai  dari  proses sebelum  perkuliahan  seperti  Her-Registrasi  mahasiswa  baru,  pengisian  Kartu  Rencana  Studi,  dan pembagian  kelas,  selanjutnya  saat  proses  perkuliahan  seperti  ujian  semester  serta  proses  penilaian masing-masing  mata  kuliah,  kemudian  dilanjutkan  dengan  pengolahan  administrasi  untuk  yudisium sampai dengan proses wisuda, sehingga Smart Academic ini menjadi sistem informasi yang kritis bagi pihak Universitas apabila terjadi kegagalan maka akan menghambat proses perkuliahan yang artinya sistem  ini  tidak  dapat  memenuhi  tujuannya.  Penelitian  ini  melakukan  evaluasi  terhadap  Sistem Informasi Smart Academic melalui pengalaman pengguna dengan jumlah responden sebanyak 8 orang dengan  menggunakan  pendekatan Usability  Testing. Penelitian  ini  mengkaji  pengalaman  pengguna berdasarkan  metode Nielsen  Heuristic yaitu Visibility  Of  System  ,  Match  Between  System  And  The Real  World,  User  Control  And  Freedom,  Consistency  and  standards,  Preventive  error  system, Recognition  Rather  Than  Recall,  Flexibility  and  Efficient,  Aesthetic  and  Minimalist  Design,  Help User Recognize dialogue, and recovers from error, dan Help and Documentation. Studi membuktikan bahwa  dari  10  variabel Nielsen  Heuristic terdapat  4  variabel  yang  memiliki  nilai Usability kurang baik  yaitu  pada  variabel Consistency  and  standards,  Preventive  error  system,  Aesthetic  and Minimalist Design, dan Help and Documentation.
Kata Kunci : evaluasi sistem informasi, nielsen heuristic, usability testing

## 1 PENDAHULUAN
Penerapan sistem informasi dalam bidang akademik berfungsi untuk memantau seluruh kegiatan akademik  yang  berlangsung  pada  sebuah  instansi  pendidikan  atau  perguruan  tinggi.  DAAK
Ria Andriani: Evaluasi User Experience Dengan Pendekatan Usability Testing Pada Sistem Informasi Smart Academic
(Direktorat  Administrasi  Akademik  dan  Kemahasiswaan)  dalam  proses  pengelolaan  Administrasi sudah  menerapkan  sistem  informasi.  Salah  satunya  adalah  sistem  informasi Smart  Academic yang merupakan sebuah sistem berbasis desktop yang dibuat oleh Direktorat IC ( Innovation Center ) untuk menangani  administrasi  akademik  yang  digunakan  oleh  staf  DAAK,  sistem  ini  mulai diimplementasikan sejak tahun 2004.
Smart  Academic merupakan  sistem  informasi  yang  digunakan  oleh  staf  administrasi  untuk mengelola  aktifitas  administratif  dari  hulu  ke  hilir  yang  berhubungan  dengan  akademik  mulai  dari proses  sebelum  perkuliahan  seperti  Her-Registrasi  mahasiswa  baru,  pengisian  Kartu  Rencana  Studi, dan pembagian kelas, selanjutnya saat proses perkuliahan seperti ujian semester serta proses penilaian masing-masing  mata  kuliah,  kemudian  dilanjutkan  dengan  pengolahan  administrasi  untuk  yudisium sampai dengan proses wisuda, sehingga Smart Academic ini menjadi sistem informasi yang kritis bagi pihak Universitas apabila terjadi kegagalan maka akan menghambat proses perkuliahan yang artinya sistem  ini  tidak  dapat  memenuhi  tujuannya.  Selain  itu  sudah  terdapat  keluhan  dalam  penggunaan sistem  informasi Smart  Academic yang  disampaikan  oleh  staf  DAAK,  dimulai  dari  beberapa  fungsi yang sulit untuk dipahami, perkembangan  masih berjalan lambat sehingga proses  evaluasi ini dirasa sangat  penting  untuk  dilakukan  guna  mengatahui  seberapa  baik  sistem  tersebut  dalam  memenuhi tujuannya untuk melakukan perbaikan kinerja dan pelayanan kedepannya.
Pengalaman pengguna merupakan salah satu indikator yang dapat digunakan untuk mengevaluasi sebuah sistem atau sering disebut User Experience. User Experience merangkum semua aspek emosi pengguna,  keyakinan,  keinginan,  persepsi,  respon  fisik,  psikologi,  perilaku,  dan  pencapaian  yang terjadi  sebelum,  saat  dan  setelah  digunakan  (ISO  9241-210:2010,2009).  Sebuah  sistem  informasi seharusnya  tidak  hanya  bisa  digunakan,  namun  juga    dapat  membuat  pengguna  nyaman  untuk menggunakan  sistem  tersebut.    [1].  Pada  penelitian  yang  dilakukan  oleh  [2],  dipaparkan  mengenai pengukuran  pengalaman  pengguna  dalam  menggunakan  informasi  akademik.  Hasil  penelitian menunjukkan  bahwa  efisiensi  dalam  penyelesaian  tugas  dan  perasaan  senang  yang  dirasakan  ketika menggunakan  Portal  Akademik  merupakan  faktor  yang  dapat  mempengaruhi  keinginan  pengguna untuk mennggunakan Portal Akademik. Hal ini dapat terjadi dikarenakan kemudahan yang dirasakan oleh pengguna tidak dapat dirasakan secara merata karena penggunaan Portal Akademik hanya pada waktu  tertentu  yaitu  pada  masa  pengelolaan  data  nilai,  hal  ini  dapat  mengakibatkan  ketersediaan Portal  Akademik  tidak  dapat  mempengaruhi  keinginan  pengguna  dalam  menggunakan  sistem tersebut.  [2]
Penelitian  selanjutnya  dilakukan  oleh  [3],  mengenai  Analisis  dan  Evaluasi  Aspek  Usability  Pada Web HRMIS Telkom University Menggunakan usability testing. Hasil dari penelitian ini menunjukan bahwa  aspek  usability  untuk  meningkatkan  kepuasan  pengguna  yang  berpengaruh  signifikan terhadapa kepuasana pengguna aplikasi HRMIS TelkomUniversity adalah Efficiency, dan Helpfulnss. [3],  berdasarkan  temuan-temuan  penelitian  tersebut  maka  penulis  akan  mencoba  untuk  melakukan penelitian tentang faktor-faktor apa saja yang mempengaruhi tingkat Usability sistem informasi Smart Academic, seberapa  baik  tingkat  penggunaan  sistem  tersebut  diukur  melalui User  Experience menggunakan pendekatan Usability Testing dengan metode Nielsen Heuristic.
Melalui  penelitian  ini  diharapakan  dapat  menjadi  rekomendasi  dan  berkontribusi  bagi  pengelola dalam  mengembangkan  layanan  untuk  dapat  memenuhi  kebutuhan  informasi  bagi  pengguna  sistem Smart Academic .

## 2 TINJAUAN PUSTAKA
Pada  penelitian  yang  dilakukan  oleh  [2],  mengenai  pengukuran  pengalaman  pengguna  dalam menggunakan  sistem  informasi  akademik,  adapun  tujuan  dari  penelitian  ini  adalah  untuk  melihat faktor-faktor  apa  saja  yang  dapat  mempengaruhi  keinginan  pengguna  untuk  menggunakan  Portal akademik.  Hasil  dari  analisis  yang  dilakukan  menyatakan  bahwa  faktor-faktor  yang  dapat mempengaruhi  keinginan  pengguna  untuk  menggunakan  portal  akademik  adalah  efisiensi  dalam penyelesaian  tugas  dan  perasaan  senang  yang  dirasakan  oleh  pengguna  ketika  menggunakan  portal akademik.  Kemudian  pengujian  hipotesis  didasari  oleh  data  yang  dikumpulkan  dengan  penyebaran kuisioner  ke  66  responden  yang  merupakan  dosen  dari  seluruh  fakultas  yang  ada  di  UNMUL  dan pengolahan data di lakukan dengan menggunakan SmartPLS 3.  [2]
Ria Andriani: Evaluasi User Experience Dengan Pendekatan Usability Testing Pada Sistem Informasi Smart Academic
Penelitian yang dilakukan oleh [3], mengenai Analisis dan Evaluasi Aspek Usability Pada Web HRMIS  Telkom  University  Menggunakan usability  testing adapun  tujuan  penelitian  ini  adalah menghasilkan  pengujian  regresi  linear  berganda,  seluruh  aspek usability berpengaruh  postif  atau searah  dengan  kepuasan  pengguna  dan  memberikan  rekomendasi  perbaikan  untuk  aplikasi  HRMIS Telkom University berdasarkan aspek usability untuk meningkatkan kepuasan pengguna, aspek yang berpengaruh  signifikan  terhadap  kepuasana  pengguna  aplikasi  HRMIS  Telkom  University  adalah Efficiency ,  dan Helpfulness .    [3].  Penelitian  yang  dilakukan  oleh  [4],  mengenai  user  experience produk iDigital museum dengan menggunakan User Experience Quitionnaire adapun hasil penelitian ini  dapat  disimpulkan  bahwa  fakta  geologis  Bandung  Purba  dapat  diimplementasikan  ke  dalam aplikasi  interaktif,  serta  aplikasi  interaktif  Bandung  Purba  cenderung  memiliki  impresi  positif kelompok attractiveness,  percpiculty,  dependability,  stimulation dan novelty dalam  pengujian  UEQ. Pengujian  UEQ  berupa  kuesioner  dengan  26  pertanyaan  impresi  atas  produk  yang  diberika  kepada pengunjung. Pengunjung diminta menjawab secara spontan, dalam waktu 25 hingga 30 menit. Jumlah pengunjung  yang  mengisi  kuesioner  adalah  10  orang.  Masing-masing  pertanyaan  memiliki  skala penilaian  1  sampai  dengan  7.    [4].  Pada  penelitian  yang  dilakukan  oleh  [5],  mengenai  pengukuran evaluasi usability sistem  informasi  prakerin  Pendidikan  Teknik  Informatika  bertujuan  untuk mengetahui evaluasi sistem informasi dari segi kegunaannya, keefektivan, keefisienan, dan kepuasan pengguna  dalam  menggunakan  sistem  informasi  Prakerin  PTI.  Hasil  penelitian  diperolah  1.  Sistem informasi  Prakerin  PTI  masih  belum  efektif,  karena  masih  ada  error  yang  dilakukan  responden mahasiswa  atau  dosen  dalam  melaksanakan  tugas  yang  diberikan.  Kemudian  dilihat  dari  hasil penghitungan  waktu  pelaksaan  tugas  antara  responden  pemula  atau  mahir  tidak  terdapat  perbedaan yang  signifikan.  Dari  hasil  rekapitulasi  kuesioner  SUS  yang  didapat  dihitung  dengan  menggunakan perbandingan  Mann  Whitney  U-Test  hasilnya  adalah  untuk  responden  mahasiswa  62,08  dan responden dosen 60,42.  [5]
Sedangkan  pada  penelitian  ini  akan  mengkaji  faktor-faktor  yang  mempengaruhi  tingkat kegunaan/ Usability, pengujian  hipotesis  didasari  oleh  data  yang  dikumpulkan  dengan  penyebaran kuesioner ke 8 responden yang merupakan pengelola bagian administrasi, , indikator kuesioner dibuat dengan  menggunakan  metode Nielsen  Heuristic, dan  pengolahan  data  dilakukan  dengan menggunakan SPSS serta teknik evaluasi menggunakan Retrospective Think Aloud.

## 3 METODE PENELITIAN
Adapun alur penelitian yang digunakan dapat dilihat pada Gambar 1 berikut.

## Gambar 1. Alur Penelitian

## 3.1. Pengumpulan Data
Pengumpulan  data  dengan  metode  wawancara,    dan  kuesioner  (angket)  berdasarkan  variabel- variabel  yang  telah  dirumuskan  untuk  penelitian  ini.  Dalam  penelitian  ini  beberapa  metode  yang digunakan dalam pengumpulan data, antara lain : Studi pustaka, observasi, wawancara, dan kuesioner.
1. Studi Pustaka
Merupakan  tahap  pengumpulan  sumber-sumber,  wawasan  dan  pengetahuan  mengenai permasalahan  yang  akan  dibahas  dan  menentukan  metode  yang  tepat  untuk  memecahkan  masalah tersebut. Studi pustaka dapat ditelusuri melalui literatur berupa buku panduan, jurnal, hasil penelitian
Ria Andriani: Evaluasi User Experience Dengan Pendekatan Usability Testing Pada Sistem Informasi Smart Academic
orang  lain,  serta  pencarian  informasi  dari  berbagai  situs  melalui  internet  maupun  sumber-sumber lainnya seperti diskusi dengan dosen dan penulis.
2. Wawancara
Pada  tahap  ini  penulis  melakukan  wawancara  terhadap  direktur  bagian  DAAK  Universitas Amikom  Yogyakarta  sekaligus  untuk  memeperoleh  keterangan  mengenai  objek  penelitian  dan berbagai kendala yang ada pada sistem yang sedang berjalan.
3. Kuesioner
Peneliti merancang kuesioner untuk mengetahui usability sistem informasi yang digunakan oleh DAAK Universitas Amikom Yogyakarta dengan melihat respon pengguna dalam menjalankan sistem informasi  tersebut.  Evaluasi  pada  penelitian  ini  menggunakan  metode Retrospective  Think  Aloud yang dapat diuraikan sebagai berikut : a. Memberikan tugas sesuai dengan 10 indikator Nielsen Heuristic untuk pengujian pada pengguna.
b. Evaluator diberikan tugas-tugas tertentu agar memudahkan dalam evaluasi.
c. Evaluasi  dimulai  ketika  pengguna  memasuki  sistem  dan  melakukan  evaluasi  pada Smart Academic sesuai dengan tugas yang telah diberikan
d. Apabila evaluator menemukan permasalahan pada usability pada sistem, maka evaluator diminta untuk mencatat permasalahan tersebut di kolom komentar yang tersedia.
e. Evaluasi selesai.
Indikator  kuesioner  akan  dibuat  sesuai  dengan  panduan  metode Nielsen  Heuristic dengan melibatkan stakeholder yang  ada.  Kuesioner  dalam  penelitian  ini  akan  berisi  pertanyaan  sesuai dengan  metode Nielsen  Heuristic yang  dipakai  dengan  menguraikan  masing-masing  kriteria  dengan poin pertanyaan. Adapun variable instrumen yang digunakan dalam penelitian ini dapat dilihat pada Tabel 1 berikut.
Tabel 1. Variabel Instrumen Penelitian Prinsip Heuristic Indikator Variabel Kode Visibility of System (X1) Pesan umpan balik dalam waktu yang tepat VOS 1 Match between system and the real world (X2) Menu Informatif MBS 1 Penyajian Konten MBS 2 User Control and Freedom (X3) Mekanisme jalan pintas/ Shortcut UCF 1 Kemudahan setiap menu UCF 2 Consistency and Standards (X4) Sistem memiliki konsistensi pada setiap menu CS 1 Prevention Error System (X5) Mekanisme pencegahan kesalahan PES 1 Informasi Pesan kesalahan PES 2 Recognition Rather Than Recall (X6) Notifikasi pengingat pada sistem RR1 Flexibility and Efficient (X7) Pengalaman pengguna dalam mengoperasikan sistem FEU 1 Penyesuain pengguna dengan sistem FEU 2 Aesthetic and Minimalist Design (X8) Relevansi psan dialog pada sistem AMD 1 Pesan dialog dengan sederhana dan simpel yang memungkinkan pengguna melakukan tindakan AMD 2 Help Users recognize, dialogue, and recovers from errors (X9) Pesan kesalahan dimunculkan dalam bahasa yang sederhana HER 1 Pesan kesalahan yang muncul konstruktif dan memberikan alternatif solusi HER 2 Help and Documentation (X10) Dokumentasi yang membantu dalam penggunaan sistem HED 1 Sistem informasi desertai dengan informasi yang mudah dicari oleh pengguna HED 2
Ria Andriani: Evaluasi User Experience Dengan Pendekatan Usability Testing Pada Sistem Informasi Smart Academic

## 4 HASIL DAN PEMBAHASAN
Pada hasil dan pembahasan, dipaparkan mengenai data dari hasil kuesioner yang telah diisi oleh responden,  adapun  responden  dalam  penelitian  ini  adalah  staff  DAAK  (Direktorat  Administrasi Akademik  dan  Kemahasiwaan)  Universitas  Amikom  Yogyakarta.  Responden  dalam  penelitian  ini sebanyak 8 orang dengan rincian 3 orang laki-laki dan 5 orang perempuan yang memberikan evaluasi pada  sistem  informasi Smart  Academic dengan  mengisi  kuesioner  yang  merujuk  pada  evaluasi usability dengan heuristic .  Simulasi  dilakukan  dengan  mengakses  sistem  secara  langsung  untuk mendapatkan hasil yang lebih maksimal, kemudian simulasi sistem ini juga dilakukan untuk verifikasi dan memperkuat hasil evaluasi yang di dapat melalui sebaran kuesioner.

## 4.1  Uji Validitas
Uji  validitas  berfungsi  untuk  menguji  apakah  indikator-indikator  pertanyaan  yang  digunakan dapat  mengkonfirmasi  sebuah  konstruk  atau  variabel.  Pengambilan  keputusan  untuk  menentukan valid tidaknya instrument dilakukan dengan melihat hasil r-hitung dibandingkan r-tabel dimana df= n- 2 ( degree of freedom ) dengan taraf signifikan 5%, jika r-tabel < r-hitung maka dinyatakan valid. Dari rumus tersebut didapatkan df= 8-2 maka df= 6 maka uji validitas dinyatakan valid jika memiliki nilai faktor  loading  >  0,71.    [6].  Dengan  menggunakan  bantuan  program  SPSS,  hasil  pengujian  dapat dilihat pada Tabel 2 berikut ini.
Tabel 2. Hasil Uji Validitas Butir Pertanyaan R-hitung R-tabel Keterangan 1 0.898 0.71 Valid 2 0.747 0.71 Valid 3 0.788 0.71 Valid 4 0.898 0.71 Valid 5 0.726 0.71 Valid 6 0.889 0.71 Valid 7 0.788 0.71 Valid 8 0.747 0.71 Valid 9 0.896 0.71 Valid 10 0.726 0.71 Valid 11 0.726 0.71 Valid 12 0.788 0.71 Valid 13 0.788 0.71 Valid 14 0.726 0.71 Valid 15 0.726 0.71 Valid 16 0.726 0.71 Valid 17 0.788 0.71 Valid
Berdasarkan hasil uji validitas dengan menggunakan SPSS 23 menunjukkan bahwa nilai r-hitung korelasi semua pertanyaan dari variabel lebih besar dari r-tabel. Hasil yang diperoleh dari semua item dinyatakan valid dan dapat digunakan sebagai alat pengumpulan data pada penelitian ini.

## 4.2   Uji Reliabilitas
Reliabilitas merupakan ukuran suatu kestabilan dan konsistensi responden dalam  menjawab hal yang  berkaitan  dengan  konstruk-konstruk  pertanyaan  yang  merupakan  dimensi  suatu  variabel  dan disusun  dalam  suatu  bentuk  kuesioner.  Untuk  menguji  reliabilitas  kuesioner  atau  pertanyaan digunakan  rumus Cronbach  Alpha. Suatu  kuesioner  penelitian  dinyatakan  reliabel  apabila  koefisien reliabilitas  ( r  alpha )  lebih  besar  dari  nilai  r-tabel.  Setelah  diperoleh  koefisien  reliabilitas  kemudian dikonsultasikan dengan tabel nilai r dengan taraf signifikan 5%. [6]
Sugiyono merumuskan cara menginterpretasikan koefisien r, dalam Tabel. 3 berikut ini.
Ria Andriani: Evaluasi User Experience Dengan Pendekatan Usability Testing Pada Sistem Informasi Smart Academic
Tabel 3. Interpretasi Terhadap Koefisien Korelasi No  Koefisien Interpretasi 1 0.800 sampai dengan 1.00 Sangat Kuat 2 0.600 sampai dengan 0.800 Kuat 3 0.400 sampai dengan 0.600 Sedang 4 0.200 sampai dengan 0.400 Rendah 5 0.00 sampai dengan 0.200 Sangat Rendah
Sedangkan hasil uji reliabilitas dapat dilihat pada Tabel 4. berikut ini.
Tabel 4. Hasil Reliability Statistics Cronbach's Alpha N of Items 0.961 17
Hasil  analisis  menunjukkan  bahwa  nilai Cronbach’s  Alpha sebesar  0.961,  angka  tersebut melampaui  nilai  signifikasi  0.8  maka  dapat  disimpulkan  insrumen  dinyatakan  reliabel  dan  dapat digunakan  untuk  pengujian  selanjutnya.  Nilai  reliabilitas  yang  diperoleh  0.961  berada  pada  taraf interpretasi “Sangat kuat”.

## 4.3   Pengolahan Data dan Analisis
Proses  pengolahan  data  dibagi  berdasarkan  teknik  pengambilan  data  yang  dilakukan.  Analisis akan  dilakukan  terhadap  dua  proses  yang  digunakan  untuk  mengukur usability Sistem  informasi Smart  Academic di  DAAK  Universitas  AMIKOM  Yogyakarta,  selanjutnya  akan  ditarik  kesimpulan terhadap  hasil  analisis  yang  mengacu  pada  hasil  pengukuran usability dengan  pendekatan Heuristic Model. Perhitungan  data  hasil  kuesioner  dilakukan  dengan  skala  likert,  terbagi  dalam  skala  skor penilaian antara 1-4, dimana skor 1 untuk jawaban responden sangat tidak setuju sampai dengan skor 4 untuk jawaban sangat setuju, skala penilaian tersebut disajikan pada Tabel 5. [7]
Tabel 5. Skala Penilaian Pernyataan Disingkat Skor Sangat Tidak Setuju STS 1 Tidak Setuju TS 2 Setuju S 3 Sangat Setuju SS 4
Dalam  menghitung  kriteria  kelayakan,  dilakukan  dengan  mengalikan  nilai  penilaian  dengan jumlah skor penilaian dengan jumlah indicator yang diukur sesuai rumus: Persentase kelayakan tiap aspek (%) =
X 100%. Hasil dari pengalian tersebut kemudian dianalisis ke dalam distribusi nilai dan persentase dengan skala penilaian sesuai tabel 6. [10]
Tabel 6. Persentase Kelayakan Evaluasi Usability Smart Academic Persentase penilaian Kategori 75% - 100% Sangat Baik 50% - 74,9% Baik 25% - 49,9% Tidak Baik 0% - 24,9% Sangat Tidak Baik
Ria Andriani: Evaluasi User Experience Dengan Pendekatan Usability Testing Pada Sistem Informasi Smart Academic
Perhitungan persentase jawaban responden dilakukan melalui distribusi frekuensi dan persentase menggunakan formula:
……………………..(1)
Keterangan : P = Persentase F = Frekuensi Data N = Jumlah Sampel Yang Diolah
Tabel 7. Hasil Pengolahan Kuesioner Kode Skala Likert Total Index Persentase 1 2 3 4 STS TS S SS VOS 1 0 0 12 16 28 87.5 MBS 1 0 0 15 12 27 84.4 MBS 2 0 0 18 8 26 81.3 UCF 1 0 0 21 4 25 78.1 UCF 2 0 0 24 0 24 75.0 CS 1 0 6 12 4 22 68.8 PES 1 0 8 12 0 20 62.5 PES 2 0 4 12 8 24 75.0 RR1 0 0 18 8 26 81.3 FEU 1 0 0 15 12 27 84.4 FEU 2 0 4 9 12 25 78.1 AMD 1 0 0 21 4 25 78.1 AMD 2 0 2 21 0 23 71.9 HER 1 0 0 21 4 25 78.1 HER 2 0 0 18 8 26 81.3 HED 1 0 8 12 0 20 62.5 HED 2 0 0 21 4 25 78.1 Rata-rata 0 1.88 16.59 6.12 24.59 76.84
Berdasarkan  analisis  yang  dilakukan  dengan  metode Heuristic  Evaluation diperoleh  frekuensi kategori sebagai berikut:
1. Visibility of System
Sistem  harus  selalu  memberikan  informasi  kepada  pengguna  apa  yang  sedang  berlangsung melalui  pesan  umpan  balik  dalam  waktu  yang  tepat.  Meninjau  pada  tabel  7.  Hasil  pengolahan kuesioner  analisis  reponden  pada  variabel Visibility  of  System diperoleh  hasil  penilaian  sangat  baik dengan  persentase  87.5%.  Sebanyak  57%  responden  menyatakan  sistem  menyediakan  visibilitas sehingga pengguna mengetahui status dan aksi alternatif yang bisa dipilih.
2. Match Between System and The Real World
Berdasarkan hasil analisis data pada tabel 7. terhadap variabel Match Between System and The Real World dapat dilihat bahwa pada indikator MBS 1 diperoleh persentase sebesar 84.4% sedangkan indikator  MBS  2  sebesar  81.3%.  Hasil  pengolahan  rerata  persentase  pada  variabel Match  Between System  and  The  Real  World diperoleh  hasil  persentase  83%  yang  menyatakan  variabel  ini  memiliki tingkat usability yang sangat baik. Indikator MBS 1 menunjukkan 56% responden setuju sistem sudah menyajikan  informasi  yang  sesuai  pada  setiap  halaman,  sedangkan  pada  indikator  MBS  2 menunjukkan  69%  responden  sangat  setuju  sistem  informasi  menyajikan  konten  yang  mudah dipahami.
Ria Andriani: Evaluasi User Experience Dengan Pendekatan Usability Testing Pada Sistem Informasi Smart Academic

## 3. User Control and Freedom
Berdasarkan hasil analisis data pada tabel 7. terhadap variabel User Control and Freedom dapat dilihat  bahwa    pada  indikator  UCF  1    diperoleh  presentase  sebesar  84%,  sedangkan  pada  indikator UCF  2  diperoleh  persentase  69%.  Dari  tabulasi  indikator  tersebut  diperoleh  rerata  persentase  77% pada  variabel User  Control  And  Freedom, dari  tabulasi  tersebut  menyatakan  variabel  ini  memiliki tingkat usability yang sangat baik. Indiktor UCF 1 menunjukkan 84% responden setuju  bahwa Sistem Informasi Smart  Academic sudah  dilengkapi  dengan  mekanisme  jalan  pintas  atau  shortcut  untuk menuju halaman tertentu yang diinginkan pengguna, sedangkan pada indikator UCF 2  menunjukkan bahwa 69% responden setuju jika Sistem Informasi Smart Academic memberikan panduan yang jelas untuk menjelajah setiap menu yang ada.
4. Consistency and Standards
Berdasarkan hasil analisis pada tabel 7. terhadap variabel Consistency and Standards diperoleh hasil  penilaian  yang  baik  dengan  persentase  68,8%.  Variabel Consistency  and  Standards menunjukkan 55% responden menilai bahwa dalam menggunakan Sistem Informasi Smart Academic tidak perlu bertanya kepada siapapun dan langsung bisa menggunakannya. Sedangkan 27% responden menilai  bahwa  dalam  mengakses  sistem  pengguna  harus  bertanya  kepada  orang  lain  karena  pada sistem informasi Smart Academic tidak ada menu help/bantuan. 5. Preventive Error System
Berdasarkan  hasil  analisis  data  pada  tabel  7.  terhadap  variabel Preventive  Error  System menunjukkan  bahwa  pada  indikator  PES1  diperoleh  persentase  62,5%,  sedangkan  indikator  PES  2 diperoleh persentase sebesar 75%. Dari tabulasi indikator tersebut diperoleh rerata persentase 68,8%. Pada  variabel Preventive  Error  System, dari  tabulasi  tersebut  menyatakan  variabel  ini  memiliki tingkat usability yang baik. Indikator PES 1 memiliki persentase 60% yang menyatakan bahwa sistem sudah disertai dengan mekanisme pencegahan agar pengguna tidak melakukan kesalahan dalam entri data  sedangkan  40%  responden  menyatakan  tidak  setuju  bahwa  Sistem  Informasi Smart  Academic sudah disertai dengan mekanisme pencegahan agar pengguna tidak melakukan kesalahan dalam entri data.  Sedangkan  pada  indikator  PES  2  50%  responden  menyatakan  bahwa  Sistem  Informasi Smart Academic sudah menyajikan pesan kesalahan yang informatif apabila pengguna melakukan input data yang tidak sesuai.
6. Recognation Rather Than Recall
Berdasarkan tabel 7. hasil pengelolaan kuesioner analisis responden pada variabel Recognation Rather Than Recall diperoleh hasil penilaian sangat baik dengan persentase 81,3%. Sistem Informasi Smart Academic sudah memiliki pengingat/notifikasi saat pengguna melewatkan sebuah data dengan persentase 69%.
7. Flexibelity And Efficient of Use
Berdasarkan  hasil  analisis  pada  tabel  7.  terhadap  variabel  Flexibelity  And Efficient  of  Use menunjukkan bahwa indikator FEU 1 diperoleh persentase sebesar 84,4%. Sedangkan indikator FEU 2 diperoleh persentase 78,1%. Dari tabulasi indikator tersebut diperoleh rerata persentase 81,3% pada variabel Flexibelity  And  Efficient  Of  Use, dari  tabulasi  tersebut  menyatakan  bahwa  variabel  ini memiliki  tingkat Usability sangat  baik.  Sistem  Informasi Smart  Academic mudah  digunakan  baik untuk pemula maupun pengguna yang sudah berpengalaman dengan persentase 56%. Sedangkan pada indikator FEU 2, 48% responden menilai bahwa Sistem Informasi Academic efisien untuk digunakan oleh pengguna  tanpa  membutuhkan  waktu  yang  lama.  Sedangkan  16%  responden  menyatakan  tidak setuju.
8. Aesthetic And Minimalist Design
Berdasarkan hasil analisis data pada tabel 7. terhadap variabel Aesthetic And Minimalist Design menunjukkan  bahwa  pada  indikator  AMD  1  diperoleh  persentase  sebesar  78,1%  sedangkan  pada indikator AMD 2 diperoleh persentase sebesar 71,9%. Dari tabulasi indikator tersebut diperoleh rerata persentase  75%  pada  variabel Aesthetic  And  Minimalist  Design yang  artinya  variabel  ini  sudah memiliki  tingkat Usability yang  sangat  baik.  Sistem  memberikan  pesan  dialog  yang  relevan  dan dibutuhkan  dengan  persentase  84%.  Sedangkan  pada  indikator  AMD  2,  91%  responden  menilai bahwa  sistem  sudah  memberikan  pesan  dialog  yang  sederhana,  simpel  dan  tidak  membingungkan. Sebaliknya 9% responden menyatakan tidak setuju.
9. Help, Users Recognize, Dialogue, and Recovers From Errors
Ria Andriani: Evaluasi User Experience Dengan Pendekatan Usability Testing Pada Sistem Informasi Smart Academic
Berdasarkan hasil analisis data pada tabel 7. terhadap variabel Help, Users Recognize, Dialogue, and Recovers From Errors menunjukkan bahwa pada indikator HER 1 diperoleh persentase sebesar 78,1%,  sedangkan  HER  2  diperoleh  persentase  81,3%.  Dari  tabulasi  indikator  tersebut  diperoleh rerata  persentase  sebesar  80%  pada  variabel Help,  Users  Recognize,  Dialogue,  and  Recovers  From Errors yang artinya variabel ini sudah memiliki tingkat Usability yang sangat baik. Indikator HER 1 dimana  pesan  kesalahan  pada  sistem  dimunculkan  dalam  bahasa  yang  sederhana  dan  mudah  untuk dipahami dengan persentase sebesar 84%. Sedangkan pada indikator HER 2 responden menilai bahwa pesan  kesalahan  yang  muncul  pada  sistem  informasi Smart  Academic bersifat  konstruktif  dan memberikan solusi dengan persentase sebesar 69% dari jumlah keseluruhan responden. 10. Help And Documentation
Berdasarkan  hasil  analisis  pada  tabel  7.  terhadap  variabel Help  And  Documentation dapat  dilihat bahwa  pada  indikator  HED  1  diperoleh  persentase  sebesar  62,5%,  sedangkan  indikator  HED  2 diperoleh persentase sebesar 78,1%. Dari tabulasi indikator tersebut diperoleh rerata persentase 70,3% pada  variabel Help  And  Documentation yang  artinya  variabel  ini  sudah  memiliki  tingkat Usability yang sangat baik. Indikator HED 1, terdapat menu help pada Sistem Informasi Smart Academic yang dapat  membantu  pengguna,  dengan  persentase  60%  yang  menyatakan  setuju  dan  terdapat  40% responden  menyatakan  tidak  setuju.  Sedangkan  pada  indikator  HED  2  terdapat  84%  responden menyatakan  setuju  bahwa  Sistem  Informasi Smart  Academic disertai  dengan  sitemap  yang memudahkan pengguna melihat menu secara keseluruhan.
4.4. Rekapitulasi Analisis Data Hasil Pengukuran Usability Berikut merupakan rekapitulasi analisis data hasil pengukuran Usability yang ditunjukkan pada tabel 8.
Tabel 8. Rekapitulasi Analisis Data Hasil Pengukuran Usability Skala Likert Vo s 1 Mbs 1 Mbs 2 Uc f 1 Uc f 2 Cs 1 Pe s 1 Pe s 2 Rr 1 Fu e 1 Fe u 2 Amd 1 Amd 2 He r 1 He r 2 He d 1 He d 2 Rata -rata Respo nden 4 16 12 8 4 0 4 0 8 8 12 12 4 0 4 8 0 4 6,12 32 3 12 15 18 21 24 12 12 12 18 15 9 21 21 21 18 12 21 16,5 9 24 2 0 0 0 0 0 6 8 4 0 0 4 0 2 0 0 8 0 1,88 16 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0,00 8 Total 28 27 26 25 24 22 20 24 26 27 25 25 23 25 26 20 25 24,5 9 Index 87, 5 84,3 8 81,2 5 78, 13 75, 00 68, 75 62, 50 75, 00 81, 25 84, 38 78, 13 78,1 3 71,8 8 78, 13 81, 25 62, 50 78, 13 76,8 4
Rekapitulasi  analisis  data  hasil  pengukuran Usability pada  tabel  8.  di  masing-masing  variabel diatas didapatkan dari nilai baik skala likert X jumlah responden yang menjawab pada masing-masing variabel.  Untuk  variabel  yang  nilainya  dibawah  24  diberi  warna  kuning  dan  selanjutnya  dilakukan evaluasi.
Kalkulasi  hasil  rata-rata  dari  10  variabel  metode Heuristic  Evaluation, maka  didapatkan  hasil rata-rata  76,8%  yang  dapat  dibulatkan  menjadi  77%  dengan  tingkat  persentase  tersebut  Sistem Informasi Smart Academic berada pada tingkat Usability yang sangat baik dan sudah dapat memenuhi kriteria Usability pada sebuah sistem informasi berdasarkan persentase kelayakan evaluasi Usability. Batas  baik  sistem  yang  akan  di  evaluasi  dihitung  dengan  melihat  total  yang  memiliki  interval  baik, dengan rumus (total responden) x (skala likert batas baik) yaitu (8) x (3) = 24. Pada Tabel 4.6. terlihat bahwa system dinyatakan tidak perlu dilakukan perbaikan apabila nilai total melebihi angka minimal batas baik yaitu 24 dan tidak perlu dilakukan evaluasi. Grafik hasil evaluasi Sistem Informasi Smart Academic dapat dilihat pada Gambar 2.
Ria Andriani: Evaluasi User Experience Dengan Pendekatan Usability Testing Pada Sistem Informasi Smart Academic

## Gambar 2. Grafik hasil evaluasi
Berdasarkan Gambar 2. dapat diketahui bahwa dari 17 indikator yang ada, sebanyak 4 indikator memiliki  total  nilai  dibawah  24,  sehingga  indikator  tersebut  dijadikan  pedoman  dan  dilakukan evaluasi  dengan  teknik Retrospective  Think  Aloud .    Evaluasi  ini  bertujuan  untuk  memperkuat  hasil yang  didapatkan  dari  data  kuesioner  sebelumnya.  Sehingga  peneliti  dapat  memberikan  usulan perbaikan sesuai dengan kebutuhan pengguna dan standard Usability yang ada.

## 4.5. Hasil Evaluasi Teknik Retrospective Think Aloud
Data  hasil  pengolahan  dengan  teknik Retrospective  Think  Aloud adalah  data  verbal  yang didapatkan  berupa  komentar  dari  masing-masing  responden.  Data  diperoleh  dengan  cara  responden melakukan  akses  terhadap  sistem  secara  langsung  dan  melakukan  perintah  sesuai  langkah-langkah evaluasi  yang  telah  disiapkan.    Adapun  hasil  evaluasi  yang  dilakukan  menggunakan Retrospective Think Aloud adalah berikut ini. 1. Consistency And Standard
Sistem yang baik pada konsep heuristic seharusnya pengguna tidak perlu mempertanyakan mengenai perbedaan  pemahaman  pada  sebuah  kata,  kalimat,  situasi  dan  aksi.  Evaluasi  yang  dilakukan responden ditemukan bahwa button tutup di setiap menu yang terdapat pada Sistem Informasi Smart Academic terletak  pada  pojok  kanan  bawah  sehingga  button  ini  tidak  mudah  terjangkau  oleh penglihatan  pengguna.  Serta  di  beberapa  form  terdapat  button  Proses  yang  pengguna  sendiri  masih mengalami  kebingungan  terkait  fungsi  button  tersebut  apakah  dipergunakan  untuk  menyimpan  data atau melakukan proses lainnya.
2. Preventive Error System
Pencegahan  kesalahan  seharusnya  dilakukan  sebelum  pengguna  melakukan  simpan  pada  data  yang sudah  di  inputkan,  sehingga  pengguna  tidak  melakukan  pekerjaan  berulang  kali.  Sistem  tidak memberikan  button  edit  dan  hapus  pada  form  bagi  kelas  sehingga  pada  saat  pengguna  salah melakukan input data pembagian kelas maka proses ini harus diulangi dari awal.
3. Aesthetic And Minimalist Design
Evaluasi yang dilakukan responden pada halaman form hapus nilai transkip. Ditemukan bahwa pada satu  halaman  terdapat  button  yang  sama  yang  terdapat  pada  bagian  tengah  dan bawah.  Button  yang fungsinya  sama  dalam  sebuah  sistem  dirasa  sangat  tidak  efektif  dan  dapat  membuat  bingung pengguna sistem.
4. Help And Documentation
Evaluasi yang dilakukan responden dinyatakan bahwa tidak ditemukannya  menu help dan juga fitur panduan  dalam  penggunaan  sistem  yang  terdapat  pada Smart  Academic sehingga  pada  saat mengalami kesulitan pengguna harus menghubungi pihak pembuat sistem.
Kesimpulan evaluasi yang dilakukan menggunakan Retrospective Think Aloud dapat dilihat pada tabel 9.
Ria Andriani: Evaluasi User Experience Dengan Pendekatan Usability Testing Pada Sistem Informasi Smart Academic

## Tabel 9. Rekapitulasi Analisis Data Hasil Pengukuran
Usability NO RESPONDEN VARIABEL KOMENTAR 1 Admin Consistancy And Standards 1. Button tutup terletak pada pojok kanan bawah dinilai sulit untuk dijangkau.
2. Tidak terdapat interface loading pada saat melakukan export file ke excel.
3. Terdapat button Proses pada beberapa form yang fungsinya kurang dipahami oleh pengguna. 2 Admin Preventive Error System 1. Tidak terdapat button Edit dan hapus pada Form Bagi Kelas di Sistem Informasi Smart Academic 2. Pesan kesalahan ditampilkan setelah pengguna memilih aksi
3. Sistem tidak memberikan peringatan pada saat pengguna memilih button simpan dan hapus. 3 Admin Aesthetic And Minimalist Design 1. Terdapat button yang sama pada sebuah halaman 4 Admin Help And Documentation 1. Sistem Informasi Smart Academic tidak mempunyaimenu Help/Bantuan 2. Sistem Informasi Smart Academic tidak mempunyai panduan dalam mengoperasikan sistem

## 4.6. Usulan Perbaikan
Dari  evaluasi  yang  dilakukan  dengan  menggunakan  teknik  RTA  didapatkan  beberapa  usulan- usulan  perbaikan  yang  dapat  digunakan  sebagai  acuan  dalam  perbaikan  sistem , usulan  perbaikan diharapkan  dapat  memberikan  kemudahan  kepada  pengguna  sehingga  dapat  meningkatkan  nilai Usability pada Sistem Informasi Smart Academic. Adapun usula perbaikan yang didapatkan dari hasil Evaluasi menggunakan teknik RTA dapat dilihat pada tabel 10 berikut.
Tabel 10. Rekapitulasi Analisis Data Hasil Pengukuran Usability NO VARIABEL USULAN INTERFACE USULAN 1 Consistancy And Standards Perlu adanya perubahan tata letak button Tutup yang sebelumnya berada pada pojok kanan bawah, dan
seharusnya terletak pada
kanan atas agar mudah dijangkau oleh penglihatan
pengguna.
Ria Andriani: Evaluasi User Experience Dengan Pendekatan Usability Testing Pada Sistem Informasi Smart Academic
2 Consistancy And Standards Perlu ditambahkan interface loading agar pengguna dapat mengetahui proses secara detail pada saat melakukan
export file excel.
3 Consistancy And Standards Perlu dilakukan penjabaran terkait maksud dari button Proses pada beberapa form yang terdapat di sistem informasi smart academic.
4 Preventive
Error System Perlu adanya penambahan button Edit dan Hapus pada form bagi kelas agar memudahkan pengguna untuk mengantisipasi
terjadinya kesalahan agar
tidak mengulangi proses dari
awal.
5 Preventive Error System Perlu adanya kotak dialog konfirmasi ketika pengguna melakukan aksi simpan atau
hapus agar pengguna benar- benar mengetahui proses apa yang akan mereka lakukan.
Ria Andriani: Evaluasi User Experience Dengan Pendekatan Usability Testing Pada Sistem Informasi Smart Academic

## 6
Aesthetic And Minimalist Design Seharusnya hanya terdapat satu button yang memiliki fungsi sama dalam sebuah form agar pengguna tidak mengalami kebingungan
pada saat menggunakan
sistem.
7 Help And Documentation
Perlu adanya menu
help/bantuan.
8 Help And Documentation Perlu adanya panduan
pengoprasian sistem
informasi smart academic.
Selain rekomendasi pada tabel 10 di atas peneliti juga mengusulkan agar sistem informasi Smart Academic  dapat  terintegrasi  dengan  seluruh  sistem  yang  ada  di  Universitas  AMIKOM  Yogyakarta agar lebih mempermudah keseluruhan administrasi pada semua bagian terkait. Selain itu peneliti juga mengusulkan  desain  antar  muka  untuk  pengembangan  sistem  informai  Smart  Academic  yang  dapat dilihat pada table 10.

## 5 KESIMPULAN
Berdasarkan  hasil  analisis  data  dan  pembahasan  tentang  Evaluasi Usability pada  Sistem Informasi Smart  Academic dapat  disimpulkan  bahwa  secara  keseluruhan  diperoleh  hasil  evaluasi dengan  nilai  persentase  sebesar  77%  dengan  tingkat  persentase  tersebut  Sistem  Informasi Smart Academic berada  pada  tingkat Usability yang  sangat  baik dan  sudah  dapat  memenuhi  kriteria
Ria Andriani: Evaluasi User Experience Dengan Pendekatan Usability Testing Pada Sistem Informasi Smart Academic
Usability pada sebuah sistem informasi. Kemudian dari 10 variabel Nielsen Heuristic masih terdapat 4 variabel Usability yang  memiliki  nilai  kurang  baik  yaitu  pada  variabel Consistancy  And  Standards yang dapat dilihat pada hasil evaluasi dimana pengguna masih mengalami kebingungan terkait fungsi button dibeberapa form, Preventive Error System yang dapat dilihat pada hasil evaluasi dimana sistem tidak  memberikan  button  edit  dan  hapus  pada  form  bagi  kelas  sehingga  pada  saat  pengguna  salah melakukan  input  data  maka  proses  ini  harus  diulangi  dari  awal, Aesthetic  And  Minimalist  Design yang  dapat  dilihat  pada  hasil  evaluasi  terdapat  button  yang  fungsinya  sama  dalam  sebuah  form sehingga  dirasa  sangat  tidak  efektif  dan  dapat  menimbulkan  kebingungan  untuk  pengguna  sistem, Help And Documentation yang dapat dilihat pada hasil evaluasi tidak terdapat tombol help dan juga fitur  panduan  dalam  penggunaan  sistem,  sehingga  apabila  mengalami  kesulitan  pengguna  harus menghubungi pihak pembuat sistem.
Selanjutnya  rekomendasi  yang  dapat  diberikan  untuk  perbaikan  sistem  kedepan  adalah  pada bagian Consistancy And Standards perlu adanya perubahan tata letak button tutup yang sebelumnya berada pada pojok kanan bawah, dan seharusnya terletak pada kanan atas agar mudah dijangkau oleh penglihatan  pengguna,  Perlu  ditambahkan  interface  loading  agar  pengguna  dapat  mengetahui  proses secara  detail  pada  saat  melakukan  export  file  excel.lalu  pada  bagian Preventive  Error  System Perlu adanya penambahan button Edit dan Hapus pada form bagi kelas agar memudahkan pengguna untuk mengantisipasi terjadinya kesalahan agar tidak mengulangi proses dari awal, kemudian Perlu adanya kotak  dialog  konfirmasi  ketika  pengguna  melakukan  aksi  simpan  atau  hapus  agar  pengguna  benar- benar  mengetahui  proses  apa  yang  akan  mereka  lakukan.  Selanjutnya  pada  bagian Aesthetic  And Minimalist  Design Seharusnya  hanya  terdapat satu  button  yang  memiliki  fungsi sama  dalam  sebuah form  agar  pengguna  tidak  mengalami  kebingungan  pada  saat  menggunakan  sistem.  Yang  terakhir pada  bagian Help  And  Documentation Perlu  adanya  menu help /bantuan  dan  Perlu  adanya  panduan pengoprasian sistem informasi smart academic.

## REFERENSI
[1] M.  Hassenzahl  and  N.  Tractinsky,  “User  experience  -  A  research  agenda,” Behav.  Inf. Technol. , vol. 25, no. 2, pp. 91–97, 2006, doi: 10.1080/01449290500330331.
[2] P.  N.  Lestari,  P.  I.  Santosa,  and  R.  Ferdiana,  “Pengukuran  Pengalaman  Pengguna  Dalam Menggunakan Sistem Informasi Akademik,” Semin. Nas. Teknol. Inf. dan Komun. , vol. 2016, no. Sentika, pp.
2089–9815, 2016, [Online]. Available:
https://fti.uajy.ac.id/sentika/publikasi/makalah/2016/53.pdf.
[3] A.  Sriwulandari,  H.  Hidayati,  and  B.  Pudjoatmojo,  “Analisis  dan  Evaluasi  Aspek  Usability Pada  Web  HRMIS  Telkom  University  Menggunakan  Usability  Testing  Analysis  and Evaluation of Usability Aspects on Web HRMIS Telkom University Using Usability Testing,” e-Proceeding Eng. , vol. 1, no. 1, pp. 537–542, 2014.
[4] A.  Sularsa  and  A.  S.  Prihatmanto,  “Evaluasi  User  Experiences  Produk  iDigital  Museum dengan Menggunakan UEQ,” J. Teknol. Inf. , vol. 2, no. 2, pp. 56–62, 2015.
[5] D.  A.  P.  A.  Widhiani,  I.  K.  R.  Arthana,  and  I.  M.  A.  Pradnyana,  “Analisa  User  Experience Pada  Sistem  Informasi  Akademik  Universitas  Pendidikan  Ganesha  Ditinjau  dari  Pengguna Mahasiswa,” J.  Pendidik.  Teknol.  dan  Kejuru. ,  vol.  15,  no.  1,  2018,  doi:  10.23887/jptk- undiksha.v15i1.13048.
[6] K.  M.  Utamaningrum,  W.  Andhyka,  and  E.  D.  Wahyuni,  “Analisa  Pendekatan  User Experience  dan  Psikologi Kognitif Terhadap Kenyamanan  Pengguna  Sistem  Informasi KRS- Online  Sebagai  Bahan  Evaluasi  dan  Pengembangan  Sistem,” JOINCS  (Journal  Informatics, Network, Comput. Sci. , vol. 1, no. 1, p. 21, 2017, doi: 10.21070/joincs.v1i1.801.
[7] V.  Intanny,  I.  Widiyastuti,  M.  Dolorosa,  and  K.  Perdani,  “Pengukuran  Kebergunaan  dan Pengalaman  Pengguna  Marketplace  Jogjaplaza  .  id  dengan  Metode  UEQ  dan  USE Questionnaire,” Pekommas ,  vol.  3,  no.  2,  pp.  117–126,  2018,  [Online].  Available: https://media.neliti.com/media/publications/267627-measuring-usability-and-user-experience- a292205a.pdf.
[8] E.  L.  C.  Law,  A.  P.  O.  S.  Vermeeren,  M.  Hassenzahl,  and  M.  Blythe,  “Towards  a  UX manifesto,” People Comput. XXI HCI.But Not as We Know It - Proc. HCI 2007 21st Br. HCI Gr. Annu. Conf. , vol. 2, no. September, pp. 3–5, 2007, doi: 10.14236/ewic/hci2007.95.
Ria Andriani: Evaluasi User Experience Dengan Pendekatan Usability Testing Pada Sistem Informasi Smart Academic
[9] V. W. Sujarweni and L. R. Utami, “Analisis Dampak Pembiayaan Dana Bergulir KUR (Kredit Usaha Rakyat) Terhadap Kinerja UMKM (Studi Kasus di Daerah Istimewa Yogyakarta),” J. Bisnis dan Ekon. (JBE), vol. 22, no. 1, pp. 11–25, 2015.
[10] A.  Sadnyana,  M.  Dharmawiguna,  and  A.  Pradnyana,  “Di  Universitas  Pendidikan  Ganesha,” Kumpul. Artik. Mhs. Pendidik. Tek. Inform. , vol. 6, no. 2, pp. 309–319, 2017.
[11] U. E. Unggul, “Universitas Esa Unggul,” no. April, pp. 1–11, 2019.