3458 Jurnal Teknik Informatika dan Sistem Informasi ISSN 2407-4322 Vol. 9, No. 4, Desember 2022, Hal. 3458-3466 E- ISSN 2503-2933
Pengujian Usability Aplikasi Mobile E-Surat Menggunakan User Experience Questionnaire (UEQ)
Binti Rahmadtul Ulfa* 1 , Awalludiyah Ambarwati 2
1,2 Universitas Narotama; Jl. Arif Rahman Hakim No.51 Surabaya, Telp: (031) 5946404
1,2 Progam Studi Sistem Informasi, FTIK, Universitas Narotama Surabaya e-mail: * 1 ulfa061098@gmail.com, 2 ambarwati1578@yahoo.com

## Abstrak
CV  ANT  merupakan software  house di  Kota  Surabaya.  Pada  tahun  2019  perusahaan memproduksi aplikasi e-surat mobile untuk salah satu klien. Pada akhir tahun 2021 perusahaan berinisiatif  untuk  memperbarui  desain User  Interface dan User  Experience (UI/UX)  aplikasi tersebut tapi belum adanya pengujian baik untuk desain versi lama maupun baru. Penelitian ini dilakukan  pengujian usability pada  desain  aplikasi mobile e-surat  versi  lama  dan  versi  baru untuk  mengetahui  apakah  desain  baru  mempunyai user  experience yang  lebih  baik  dari  versi lama  atau  tidak.  Teknik  pengujian  yang  digunakan  adalah User  Experience  Questionnaire (UEQ)  dan  pengujian prototype menggunakan task skenario  pada  desain  versi  baru.  Sebagai responden adalah pengguna desain versi lama berjumlah 23 orang. Teknik UEQ menghasilkan nilai  untuk  desain  versi  baru  adalah  skala  Daya  Tarik  mendapat  2.4  ( excellent ),  Kejelasan  2.3 ( excellent ),  Efisiensi  2.1  ( excellent ),  Ketepatan  2.2  ( excellent ),  Stimulasi  2.5  ( excellent ),  dan Kebaruan 1.5 ( good ). Sedangkan versi lama skala Daya Tarik mendapat 1.7 ( good ), Kejelasan 1.5 ( above average ), Efisiensi 1.4 ( above average ), Ketepatan 1.6 ( good ), Stimulasi 1.4 ( good ), dan  Kebaruan  0.5  ( below  average ).  Sehingga  bisa  disimpulkan  bahwa  desain  versi  baru mempunyai user experience yang lebih baik dari desain versi lama. Namun masih perlu adanya perbaikan berdasarkan hasil pengujian prototype yaitu 51 dari 100 dengan level Sedang.
Kata kunci — User Experience Questionnaire (UEQ), Pengujian Usability , User Interface dan User Experience (UI/UX), Aplikasi Mobile , Aplikasi E-Surat.

## Abstract
CV  ANT  is  a  software  house  in  the  city  of  Surabaya.  In  2019  the  company  produced  a mobile  e-mail  application  for  one  of  its  clients.  At  the  end  of  2021,  the  company  took  the initiative  to  update  the  application's  User  Interface  and  User  Experience  (UI/UX)  design  but there has been no testing for both the old and new versions of the design. This study conducted usability testing on the old and new versions of the e-mail mobile application design to find out whether  the  new  design  has  a  better  user  experience  than  the  old  version  or  not.  The  testing technique used is the User Experience Questionnaire (UEQ) and prototype testing using a task scenario in the new version design. As respondents, there are 23 users of the old version of the e-mail application. The UEQ technique produces scores for the new version design, namely the Attractiveness scale gets 2.4 (excellent), Dependability 2.3 (excellent), Efficiency 2.1 (excellent), Accuracy  2.2  (excellent),  Stimulation  2.5  (excellent),  and  Novelty  1.5  (good).  While  the  old version  of  the  Attractiveness  scale  got  1.7  (good),  Perspicuity  1.5  (above  average),  Efficiency 1.4 (above average), Dependability 1.6 (good), Stimulation 1.4 (good), and Novelty 0.5 (below average). So it can be concluded that the new version design has a better user experience than the  old  version design.  However,  there  is still  a  need  for improvement  based  on  the  results  of prototype testing, which is 51 out of 100 with a Medium level.
Keywords — User Experience Questionnaire (UEQ), Usability Testing, User Interface and User Experience (UI/UX), Mobile Application, Email Application.
Jatisi                             ISSN 2407-4322 Vol. 9, No. 4, Desember 2022, Hal. 3458-3466 E- ISSN 2503-2933 3459
Binti , et., al [ Pengujian Usability Aplikasi Mobile E-Surat Menggunakan User Experience Questionnaire (UEQ) Title of manuscript is short and clear, implies research results (First Author)

## 1. PENDAHULUAN
V  ANT  merupakan  perusahaan  konsultan  dan  jasa  teknologi  informasi  yang  terletak  di Kota  Surabaya  Jawa  Timur  sejak  tahun  2010.  CV  ANT  telah  membantu  banyak  klien dalam  membuat software berbasis web , mobile application maupun  pengadaan insfratruktur  IT.  Salah  satu software yang  telah  dibuat  oleh  perusahaan  untuk  salah  satu  klien adalah aplikasi e-surat versi mobile android pada tahun 2019. Berdasarkan wawancara dengan manajer  produksi  diperoleh  informasi  bahwa  pada  sekitar  akhir  tahun  2021  perusahaan berinisiatif  untuk  membuat redesign  User  Interface dan User  Experience (UI/UX)  aplikasi dengan  harapan  dapat  memberikan User  Experience (UX)  yang  lebih  baik,  memudahkan user dan memberikan nilai tambah bagi kerja sama perusahaan.
Namun  belum  adanya  pengujian  UX  yang  dilakukan  untuk  desain  versi  baru  maupun versi  lama,  sehingga  keputusan  untuk  membuat  desain  baru  dengan  harapan  tersebut  belum diketahui kebenarannya apakah desain versi baru yang telah dibuat mempunyai UX yang lebih baik  dari  desain  versi  lama  atau  tidak.  Sebagai  solusi  dari  permasalahan  tersebut  maka  pada penelitian  ini  akan  dilakukan  pengujian usability pada  desain  versi  lama  dan  versi  baru  untuk mengetahui apakah desain versi baru mempunyai UX yang lebih baik dari versi lama atau tidak. Pengujian usability dilakukan untuk mengevaluasi apakah sebuah aplikasi sudah sesuai dengan kebutuhan  pengguna  atau  belum  [1].  Aspek  Kegunaan  ( Usability )  meliputi  pengguna  dapat merasakan  kemudahan,  kenyamanan,  dan  kecepatan  dalam  menggunakan  aplikasi  untuk mencapai tujuan [2]. Teknik yang digunakan untuk pengujian usability adalah User Experience Questionnaire (UEQ).
UEQ  adalah  kuesioner  yang  dapat  memberikan  sebuah  penilain  secara  cepat  [3].  UEQ yang  terdiri  dari  26  items  pertanyaan  yang  diberikan  kepada  responden  untuk  mendapat  data subjektif  yang  berasal  dari  kuesioner  UEQ  [4].  UEQ  dapat  digunakan  untuk  membandingkan pengalaman  pengguna  dua  produk.  Evaluasi  UEQ  dari  kedua  produk  atau  kedua  versi  produk dibandingkan  berdasarkan  rata-rata  skala  untuk  setiap  skala  UEQ  [5].  Terdapat  6  skala pengukuran  dalam  UEQ  yaitu  Data  Tarik  ( Attractiveness ),  Kejelasan  ( Perspicuity ),  Efisiensi ( Efficiency ), Ketepatan ( Dependability ), Stimulasi ( Stimulation ), dan Kebaruan ( Novelty ) [6]. Penelitian  terdahulu  dilakukan  oleh  Siti  Rohmah  dan  Maxsi  Ary  (2021)  untuk membandingkan  antara  dua  aplikasi  pinjaman online menggunakan  metode usability  testing dengan  teknik  uji System  Usability  Scale (SUS)  dan  metode User  Experience  Questionnaire (UEQ).  Hasil  dari  penelitian  adalah  penilaian  kuantitatif  dari  pengujian  menggunakan  teknik SUS  dan  UEQ  [7].  Namun  dalam  penelitian  tersebut  tidak  disertai  uraian feedback dari responden mengenai apa yang membuat responden kurang puas.
Selanjutnya penelitian dilakukan oleh Wibowo et al. (2019) untuk membandingkan user experience dua  aplikasi mobile  banking dengan  skenario testing dan  menggunakan  UEQ  [4]. Penelitian  tersebut  relevan  dengan  penelitian  ini,  tetapi  terdapat  perbedaan  metode  dalam pengujian  skenario  karena  dalam  penelitian  ini  pengujian  skenario  dilakukan  secara online menggunakan platform Maze.co. Selanjutnya penelitian dilakukan oleh Karis et al. (2019) untuk menguji user  experience pada  sistem  informasi  pasar  kerja  Kemnaker  RI  mengguanakan tool UEQ  [8].  Pada  penelitian  peneliti  tidak  dapat  mengukur task  success  rate ketika  responden menggunakan sistem yang dievaluasi.
Hasil  dari  penelitian  ini  adalah  penilaian  kuantitatif  berdasarkan  analisis  menggunakan teknik UEQ terhadap desain UI/UX aplikasi e-surat mobile baik desain versi lama maupun baru dan pengujian prototype terhadap desain versi baru disertai data uraian kritik dan saran sebagai bahan perbaikan.
C
3460 Jatisi ISSN 2407-4322 Vol. 9, No. 4, Destember 2022, Hal. 3458-3466 E-ISSN 2503-2933
Binti , et., al [ Pengujian Usability Aplikasi Mobile E-Surat Menggunakan User Experience Questionnaire (UEQ)

## 2. METODE PENELITIAN

## 2.1   Tahapan Penelitian
Penelitian  ini  menggunakan  metode  kuantitatif  untuk  mengukur user  experience dan analisis  statistik  deskriptif.  Disebut  metode  kuantitatif  karena  data  penelitian  berupa  angka- angka  dan  analisis  menggunakan  statistik  desktiptif.  Statistik  deskriptif  adalah  statistik  yang digunakan  untuk  menganalisis  data  dengan  cara  mendeskripsikan  atau  menggambarkan  data yang telah terkumpul sebagaimana adanya tanpa bermaksud membuat kesimpulan yang berlaku untuk  umum  atau  generalisasi  [9].  Proses  penelitian  digambarkan  menggunakan  blok  diagram pada Gambar 1.
Gambar 1. Tahapan Penelitian [9]

## 2.2   Studi Literatur
Setelah  masalah  dirumuskan  selanjutnya  dilakukan  studi  literatur  untuk  mendukung penyelesaian  masalah  dan  tercapainya  tujuan  penelitian.  Studi  literatur  dilakukan  dengan melakukan studi pustaka yang berkaitan dengan topik penelitian. Literatur yang digunakan dari jurnal ilmiah, buku maupun ebook , dan artikel dari internet .

## 2.3   Pengumpulan Data
Pengumpulan  data  dilakukan  dengan  tiga  cara.  Pertama,  Observasi  lapangan  untuk memperoleh informasi mengenai gambaran umum perusahaan dan alur aplikasi mobile e-surat baik versi desain lama maupun versi baru. Pada tahap ini juga dilakukan penentuan responden yang merupakan pengguna aplikasi mobile e-surat versi lama dan berjumlah 20 sampai 30 orang sesuai  panduan  UEQ  [5].  Kedua,  Penyebaran  kuesioner  UEQ  untuk  mendapatkan  data berdasarkan  impresi  menggunakan  aplikasi  baik  desain  versi  lama  maupun  desain  versi  baru. Ketiga,  Pengujian prototype dilakukan  untuk  menguji user  experience desain  versi  baru. Pengujian  dilakukan  secara online menggunakan platform Maze.co.  Pengujian  menggunakan task skenario berdasarkan fitur-fitur aplikasi yang ditampilkan pada Tabel 1 untuk mengetahui tingkat usability score berdasarkan nilai keberhasilan, kegagalan, durasi, dan kesalahan.
Tabel 1. Skenario Pengujian Prototype No Skenario Kode 1 Menyetujui pengajuan surat yang baru masuk hari ini SK1 2 Rollback pengajuan surat keluar dengan mengoreksi berkas SK2 3 Melihat notifikasi pesan baru SK3 4 Mengubah password login SK4
Sumber: Hasil Penelitian, Diolah Kembali
Jatisi                             ISSN 2407-4322 Vol. 9, No. 4, Desember 2022, Hal. 3458-3466 E- ISSN 2503-2933 3461
Binti , et., al [ Pengujian Usability Aplikasi Mobile E-Surat Menggunakan User Experience Questionnaire (UEQ) Title of manuscript is short and clear, implies research results (First Author)

## 2.4   Analisis Hasil
Analisis data hasil pengujian dilakukan dalam tiga tahap. Pertama, Data kuesioner UEQ diolah  menggunakan Data  Analysis  Tools untuk  mendapatkan  nilai mean dari  masing-masing item  pertanyaan  dan  masing-masing  skala  pengukuran  yang  selanjutnya  bisa  dibandingkan dengan  kumpulan  data benchmark untuk  mengetahui  kategori  tingkat user  experience yang dihasilkan [10]. Kedua, Data pengujian prototype yang dihasilkan oleh platform Maze.co adalah usability  score yang  mencerminkan  tingkat  kemudahan  pengguna  dalam  menggunakan  suatu desain  [11].  Metode  yang  digunakan  oleh  Maze.co  dalam  mengukur  tingkat usability adalah Misson  Usability  Score (MIUS)  dan Maze  Usability  Score (MAUS).  MIUS  digunakan  untuk menilai  skor  tiap task menggunakan  rumus  pada  Persamaan  1,  sedangkan  MAUS  digunakan menilai skor pada seluruh task dengan mencari rata-rata MIUS untuk setiap task . Tingkatan nilai MAUS  ditampilkan  pada  Tabel  2  [11].  Ketiga,  Data  kritik  dan  saran  yang  diperoleh  dari kuesioner akan dikelompokkan untuk dilakukan penarikan kesimpulan sebagai dasar perbaikan aplikasi.
MIUS = DSR + (IDSR/2) – (MCR/2) – (Min(10, Max(0,(AVGD-5)/2))
(1)
Keterangan:
MIUS  = Mission Usability Score DSR = Direct Success Rate IDSR   = Indirect Success Rate MCR = Misclick Rate AVGD  = Average Duration Fungsi : Max: max( number_1 , number_2 ) => untuk mencari nilai maksimal antara number_1 dan number_2 . Min: min( number_1, number_2 ) => untuk mencari nilai minimum antara number_1 dan number_2 . Tabel 2. Tingkatan Skor MAUS [11] No Nilai Keterangan 1 80 - 100 Tinggi 2 50 - 80 Sedang 3 0 - 50 Rendah

## 2.5   Kesimpulan
Setelah  semua  tahapan  penelitian  selesai,  maka  tahap  terakhir  adalah  dilakukan penarikan kesimpulan. Kesimpulan diambil berdasarkan hasil analisis data yang telah dilakukan. Kesimpulan  berisi  jawaban  singkat  terhadap  setiap  rumusan  masalah  berdasarkan  data  yang telah terkumpul [9].

## 3. HASIL DAN PEMBAHASAN

## 3.1   Hasil Observasi
CV  ANT  merupakan  perusahaan  konsultan  dan  jasa  teknologi  informasi  atau  biasa disebut software  house yang  terletak  di  Jl  Baratajaya  3/16,  Surabaya,  Jawa  Timur.  CV  ANT berdiri  resmi  pada  11  Maret  2010.  CV  ANT  telah  membantu  banyak  klien  dalam  membuat software berbasis web , mobile  application maupun  pengadaan  insfratruktur  IT  sampai pengadaan komputer klien. Aplikasi mobile e-surat adalah aplikasi pengelolaan surat menyurat secara digital / elektronik yang mempunyai empat fitur utama. Pertama, menampilkan data surat yang  dibagi  menjadi  3  kategori  yaitu  surat  keluar,  surat  cuti  dan  surat  ijin  kios.  Kedua, Menyetujui  surat.  Ketiga,  Mengembalikan  surat  dan  mengoreksi  berkas.  Keempat, Mengarsipkan surat.
3462 Jatisi ISSN 2407-4322 Vol. 9, No. 4, Destember 2022, Hal. 3458-3466 E-ISSN 2503-2933
Binti , et., al [ Pengujian Usability Aplikasi Mobile E-Surat Menggunakan User Experience Questionnaire (UEQ)

## 3.2   Hasil Penyebaran Kuesioner
Kuesioner dimuat pada Google Form kemudian disebarkan kepada 23 responden terpilih dengan  rentang  usia  30  –  40  tahun  melalui  pesan  Whatsapp.  Hasil  kuesioner  yang  didapatkan untuk  kedua  versi  desain  yaitu  desain  versi  lama  dan  versi  baru  kemudian  dianalisis menggunakan Data Analysis Tools UEQ dan menghasilkan nilai mean (rata-rata) dari masing- masing skala yang dimuat pada Tabel 4.
Tabel 3. Standar Nilai Mean UEQ [5] No Rentang Nilai Keterangan 1 Antara -0,8 dan 0,8 Netral 2 > 0,8 Positif 3 < -0,8 Negatif Tabel 4. Hasil Nilai Mean Kedua Versi Desain Skala Desain Versi Lama Desain Versi Baru Nilai Mean Keterangan  Nilai Mean Keterangan Daya Tarik ( Attractiveness ) 1.7 Positif 2.4 Positif Kejelasan ( Perspicuity ) 1.5 Positif 2.3 Positif Efisiensi ( Efficiency ) 1.4 Positif 2.1 Positif Ketepatan ( Dependability ) 1.6 Positif 2.2 Positif Stimulasi ( Stimulation ) 1.4 Positif 2.5 Positif Kebaruan ( Novelty ) 0.5 Netral 1.5 Positif Sumber: Hasil Penelitian, Diolah Kembali
Hasil nilai mean pada desain versi lama menunjukkan nilai evaluasi positif pada skala Daya  Tarik,  Kejelasan,  Efisiensi,  Ketepatan,  dan  Stimulasi.  Namun  skala  Kebaruan mendapatkan nilai evaluasi netral. Sedangkan hasil pada desain versi baru menunjukkan semua skala  mendapatkan  nilai  evaluasi  yang  positif.  Selanjutnya  hasil  tersebut  dapat  dibandingkan dengan  kumpulan  data benchmark yang  berisi  produk  tipikal  yang  sudah  mapan  dan  cukup berbeda untuk mendapatkan gambaran yang lebih baik tentang kualitas suatu produk [5]. Hasil perbandingan dengan kumpulan data benchmark dimuat pada Tabel 6.
Tabel 5. Nilai Benchmark UEQ [5] Kategori Attractiveness  Persipcuity  Efficiency  Dependability  Stimulation  Originality Excellent 1,86 2,03 1,90 1,70 1,70 1,61 Good 1,60 1,77 1,50 1,47 1,35 1,14 Above average 1,19 1,25 1,06 1,15 1,01 0,75 Below average 0,70 0,75 0,60 0,78 0,50 0,25 Tabel 6. Hasil Nilai Benchmark Kedua Versi Desain Skala Desain Versi Lama Desain Versi Baru Nilai Mean Kategori Nilai  Nilai Mean Keterangan Daya Tarik ( Attractiveness ) 1.7 Good 2.4 Excellent Kejelasan ( Perspicuity ) 1.5 Above average 2.3 Excellent Efisiensi ( Efficiency ) 1.4 Above average 2.1 Excellent Ketepatan ( Dependability ) 1.6 Good 2.2 Excellent Stimulasi ( Stimulation ) 1.4 Good 2.5 Excellent Kebaruan ( Novelty ) 0.5 Below Average 1.5 Good Sumber: Hasil Penelitian, Diolah Kembali
Jatisi                             ISSN 2407-4322 Vol. 9, No. 4, Desember 2022, Hal. 3458-3466 E- ISSN 2503-2933 3463
Binti , et., al [ Pengujian Usability Aplikasi Mobile E-Surat Menggunakan User Experience Questionnaire (UEQ) Title of manuscript is short and clear, implies research results (First Author)
Hasil  perbandingan  dengan  kumpulan  data benchmark menunjukkan  desain  versi  baru dapat  mencapai  kategori  penilaian  tertinggi  yaitu excellent (bagus  sekali)  pada  5  skala  yaitu Daya Tarik, Kejelasan, Efiensi, Ketepatan dan Stimulasi dan kategori good (bagus) pada skala Kebaruan. Sedangkan desain versi lama mendapatkan nilai tertinggi pada kategori good (bagus) untuk  skala  Daya  Tarik,  Ketepatan  dan  Stimulasi,  kategori above  average (diatas  rata-rata) untuk skala Kejelasan dan Efisiensi, dan kategori below average (dibawah rata-rata) untuk skala Kebaruan.  Sehingga  bisa  disimpulkan  bahwa  desain  versi  baru  mempunyai user  experience yang lebih baik dari desain versi lama. Hal tersebut selaras dengan grafik perbandingan kedua versi  pada  Gambar  2, bahwa  terlihat  pada  kesemua  skala  pada  desain  versi  baru  mendapatkan nilai yang lebih tinggi dibandingkan desain versi lama.
Sumber: Hasil Penelitian, Diolah Kembali
Gambar 2. Grafik Hasil Perbandingan Kedua Versi

## 3.3 Pengujian Prototype
Hasil  pengujian prototype desain  versi  baru  menggunakan platform Maze.co  dengan responden  yang  sama  dengan  kuesioner  menghasilkan  nilai  MAUS  50  dari  100  yang ditampilkan  pada  Gambar  3.  Nilai  tersebut  berada  dalam  level usability Sedang.  Hasil  yang cukup  baik  tapi  masih  jauh  dari  level  Tinggi  sehingga  membutuhkan  perbaikan  untuk meningkatkan nilai usability tersebut.
3464 Jatisi ISSN 2407-4322 Vol. 9, No. 4, Destember 2022, Hal. 3458-3466 E-ISSN 2503-2933

## Sumber: Hasil Penelitian, Diolah Kembali
Gambar 3. Hasil Nilai MAUS Pengujian Prototype Tabel 7. Hasil Nilai MIUS Pengujian Prototype Kriteria SK1 SK2 SK3 SK4 Jumlah Tester 23 17 15 14 Misclick Rate 25,4% 18,3% 12,6% 6,5% Avg Duration 60,6s 30,4s 11,4s 12,1s Avg Success 21,7% 23,5% 66,7% 64,3% Avg Indirect Success 60,9% 29,4% 13,3% 14,3% Avg Bounce 17,4% 47,1% 20,0% 21,4 Mission Usability Score 38 29 67 68 Levels Of Threshold Rendah  Rendah  Sedang  Sedang
Sumber: Hasil Penelitian, Diolah Kembali
Tabel  7  menunjukkan  nilai  MIUS  dari  masing-masing  skenario.  dari  jumlah  tester  23 orang yang menjalankan pengujian hanya tersisa 14 orang yang berhasil menyelesaikan seluruh skenario  hingga  skenario  ke  4.  Diketahui  kegagalan  paling  banyak  terdapat  pada  skenario  2 (SK2) dengan nilai persentase tester mengakhiri pengujian ( Avg Bouce ) tertinggi dibandingkan yang  lain  yaitu  47,1%  sehingga  berpengaruh  pada  nilai  MIUS  yang  rendah  yaitu  29  dari  100. Jumlah tester yang berhasil menjalankan SK2 sebanyak 17 orang dari 23 orang yang artinya 6 orang lainnya gagal, dikarenakan 5 responden mengakhiri pengujian dengan menutup langsung browser dikarenakan  tidak  menemukan  tombol rollback pada  halaman  detail  pengajuan  surat yang  disebabkan  oleh  tampilan  pengujian platform Maze.co  yang  tidak  responsif  untuk  versi mobile sehingga  tombol rollback tersebut  tidak  terlihat  ketika  pengujian  menggunakan handphone ,  dan  1  orang  responden  tidak  berhasil  menyelesaikan  SK1  sehingga  tidak  bisa menjalankan ke SK2.

## 3.4   Kritik & Saran Responden
Pertanyaan  mengenai  kritik  &  saran  meliputi  aspek  terbaik  dari  aplikasi  dan  masukan sebagai  bahan  perbaikan.  Hasil  kritik  dan  saran  dari  23  responden  terhadap  desain  versi  baru penulis kelompokkan dan menampilkannya dalam bentuk grafik pada Gambar 4 dan Gambar 5. didapat  4  point  aspek  yang  disukai  oleh  responden  yaitu  mengenai  fitur  koreksi  berkas, User Interface (UI)  yang  baru,  adanya  fitur dashboard dan  fungsionalitas  keseluruhan  aplikasi. Aspek  UI  yang  diperbarui menyesuaikan  tren  desain  terbaru  mendapatkan  nilai tertinggi  yaitu
Jatisi                             ISSN 2407-4322 Vol. 9, No. 4, Desember 2022, Hal. 3458-3466 E- ISSN 2503-2933 3465
Binti , et., al [ Pengujian Usability Aplikasi Mobile E-Surat Menggunakan User Experience Questionnaire (UEQ) Title of manuscript is short and clear, implies research results (First Author)
sebesar  39%  atau  9  dari  23  responden.  Hal  tersebut  selaras  dengan  data  kritik  dan  saran  pada Gambar  5  dimana  sebanyak  36%  atau  8  responden  tidak  memberikan  masukan  dikarenakan merasa sudah puas dengan desain versi baru.
Gambar 4. Pengelompokkan Aspek Terbaik Gambar 5. Pengelompokkan Kritik dan Saran

## 4. KESIMPULAN
Hasil penelitian dapat disimpulkan bahwa desain versi baru mempunyai user experience yang  lebih  baik  dibandingkan  versi  lama,  dikarenakan  nilai mean dan  nilai benchmark pada keenam skala pengukuran desain versi baru mendapatkan nilai lebih tinggi dibandingkan versi lama.  Meskipun  desain  versi  baru  mendapatkan  nilai  lebih  unggul,  tapi  masih  perlu  adanya perbaikan  berdasarkan  hasil  pengujian prototype dan  data  kritik  dan  saran  dari  pengguna, dikarenakan berdasarkan hasil pengujian prototype mendapatkan nilai MAUS 51 dari 100 yang berada pada level usability sedang yang masih perlu ditingkatkan lagi.

## 5. SARAN
Berdasakan  hasil  penelitian  tersebut,  maka  penulis  mempunyai  beberapa  saran-saran sebagai berikut:
1. Untuk peneliti selanjutnya dapat menggunakan platform pengujian usability online yang lain selain Maze.co. Mengingat tampilan platform Maze.co yang penulis gunakan tidak responsif pada versi mobile .
2. Untuk  pihak  perusahaan  CV  ANT  disarankan  untuk  melakukan  perbaikan  sesuai  hasil penelitian,  mengingat  tujuan  dilakukannya  pembaruan  untuk  mendapatkan  nilaii  tambah pada  kerja  sama  dengan  klien.  Namun  keputusan  keputusan  perbaikan  tersebut  dapat disesuaikan kembali dengan sumber daya yang dimiliki dan kebijakan kerjasama perusahaan dengan klien.

## UCAPAN TERIMA KASIH
Penulis  mengucapkan  terima  kasih  kepada  Bapak  Aditya  Tanjung  selaku  Direktur sekaligus  Bapak  Zulmi  Adi  Rizky  selaku  Manager  Produksi  dan  seluruh  tim  CV  ANT  atas dukungan pemberikan akses data dalam penelitian ini.
3466 Jatisi ISSN 2407-4322 Vol. 9, No. 4, Destember 2022, Hal. 3458-3466 E-ISSN 2503-2933

## DAFTAR PUSTAKA
[1] N.  R.  Riyadi, “Pengujian  Usability  Untuk  Meningkatkan  Antarmuka  Aplikasi  Mobile myUMM Students,” Sist. J. Sist. Inf. , Vol. 8, No. 1, pp. 226–232, 2019.
[2] O.  D.  Yohanes,  A.  Ambarwati,  and  C.  Darujati, “Pengembangan  Antarmuka  dan Pengalaman  Pengguna  Aplikasi  Ujian  Online  Menggunakan  Metode  Goal-Directed Design,” JOINTECS (Journal Inf. Technol. Comput. Sci. , Vol. 6, No. 1, pp. 55–62, 2021.
[3] W.  A.  Febrianto,  W.  H.  N.  Putra,  and  A.  R.  Perdanakusuma, “Analisis  Pengalaman Pengguna  Aplikasi  Sistem  Informasi  Puskesmas  Paperless  Menggunakan  Metode Usability  Testing  dan  User  Experience  Questionnaire  (UEQ)(Studi  Kasus:  Puskesmas Tarik Kabupaten Sidoarjo),” J. Pengemb. Teknol. Inf. dan Ilmu Komput. , Vol. 3, No. 6, pp. 6099–6106, 2019.
[4] R. Y. A. Wibowo, S. H. Wijoyo, and R. I. Rokhmawati, “Analisis Pengalaman Pengguna pada Aplikasi Mobile Banking di Indonesia Dengan Menggunakan Usability Testing dan User Experience Questionnaire (UEQ) (Studi pada JakOne Mobile dan BCA Mobile),” J. Pengemb. Teknol. Inf. dan Ilmu Komput. , Vol. 3, No. 6, pp. 5666–5673, 2019.
[5] M.  Schrepp, User  Experience  Questionnaire  Handbook  Version  8 .  2019.  [Online]. Available: www.ueq-online.org
[6] I.  R.  Wulandari  and  L.  D.  Farida, “Pengukuran  User  Experience  pada  E-Learning  di Lingkungan Universitas Menggunakan User Experience Questionnare (UEQ),” J. Mantik Penusa , Vol. 2, No. 2, pp. 146–151, 2018.
[7] S.  Rohmah  and  M.  Ary, “Analisis  Pengalaman  Pengguna  Aplikasi  Pinjaman  Online Menggunakan Metode Usability Testing dan User Experience Questionnaire (Studi kasus pada Akulaku dan Kredivo Indonesia),” JSI J. Sist. Inf. , Vol. 13, No. 1, pp. 2230–2245, 2021.
[8] Kharis,  P.  I.  Santoso,  and  W.  W.  Winarno, “Evaluasi  User  Experience  pada  Sistem Informasi  Pasar  Kerja  Menggunakan  User  Experience  Questionnare  (UEQ),” CITEE . CITEE, Yogyakarta, pp. 237–243, 2019.
[9] Sugiyono, Metode Penelitian Pendidikan (Pendekatan Kuantitatif, Kualitatif, dan R&D) . Bandung: Alfabeta, 2015.
[10]  R. D. B. Kurniawan, S. H. Wijoyo, and N. H. Wardani, “Evaluasi Usability Aplikasi MY JNE Dengan Metode User Experience Questionnaire (UEQ) dan Heuristic Evaluation,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. , Vol. 3, No. 6, pp. 5583–5591, 2019.
[11]  A.  G.  Glowdy,  R.  Fauzi,  and  E.  N.  Alam, “Perbaikan  Tampilan  User  Interface  Untuk Meningkatkan User Experience pada Aplikasi Nganggur.Id Menggunakan Metode User- Centered Design,” e-Proceeding Eng. , Vol. 7, No. 2, pp. 7617–7624, 2020.