KLIK: Kajian Ilmiah Informatika dan Komputer ISSN 2723-3898 (Media Online) Vol 3, No 6, Juni 2023, Hal 754-764 DOI 10.30865/klik.v3i6.807 https://djournals.com/klik

## Analisis Usability Pada Sistem Informasi LAPORBUP Menggunakan Performance Measurement, Retrospective Think Aloud dan User Experience Questionnaire
Mohamad Ariansidi * , I Made Candiasa, I Made Gede Sunarya
Fakultas Ilmu Komputer, Program Studi Ilmu Komputer, Universitas Pendidikan Ganesha, Singaraja, Indonesia Email: 1,* ariansidi@gmail.com, 2 candiasaimade@undiksha.ac.id, 3 sunarya@undiksha.ac.id Email Penulis Korespondensi: ariansidi@gmail.com
Abstrak− Sejak  5  tahun  penggunaanya  hingga  saat  ini  belum  pernah  dilakukan  evaluasi  pada  LAPORBUP  dan  belum  diketahui seberapa besar tingkat kepuasan pengguna dalam menggunakan LAPORBUP selain itu ditemukan beberapa masalah yang terjadi pada LAPORBUP yang dirasakan oleh pengguna terkait dengan antarmuka dan funsionalitas sistem. Permasalahan tersebut menunjukkan bahwa LAPORBUP masih belum sesuai dengan kebutuhan, maka perlu dilakukan analisis evaluasi usability secara menyeluruh pada sistem dengan mengukur efektivitas dan efisiensi serta tingkat kepuasan pengguna. Evaluasi LAPORBUP melibatkan 54 responden yang diperoleh dari perwakilan OPD dan masyarakat pengguna aktif LAPORBUP. Pengolahan data evaluasi ini  dilakukan dengan teknik  Performance  Measurement  untuk  mengukur  efektivitas  dan  efisiensi  sistem,  serta  Retrospective  Think  Aloud  dan  User Experience Questionnaire untuk mengukur aspek kepuasan pengguna. Hasil evaluasi Performance Measurement menujukkan aplikasi LAPORBUP belum efektif kerena ditemukan beberapa permasalahan saat responden mengerjakan skenario tugas. Selanjutnya analisis data UEQ dilakukan dengan menggunakan UEQ Data Analysis Tool dengan membandingkan nilai setiap aspek dengan kumpulan data produk yang tersedia. Berdasarkan analisis yang dilakukan, aspek daya tarik termasuk pada kategori baik dengan nilai 1,75. Aspek kejelasan termasuk pada kategori diatas rata-rata dengan nilai sebesar 1,48. Aspek efisiensi termasuk pada kategori diatas rata-rata dengan nilai sebesar 1,18. Aspek ketepatan termasuk pada kategori baik dengan nilai sebesar 1,55. Aspek stimulasi termausk pada kategori  sangat  baik  dengan  nilai  sebesar  2,13.  Aspek  kebaruan  termasuk  pada  kategori  Sangat  Baik  dengan  nilai  sebesar  1,81. Rekomendasi yang dihasilkan dari Retrospective Think Aloud terdiri dari 7 rekomendasi pada halaman pengaduan, 14 rekomendasi pada halaman administrator, 10 rekomendasi pada halaman bupati, dan 9 rekomendasi pada halaman OPD. Hasil analisis menunjukkan bahwa dapat dilakukan perbaikan pada aspek kejelasan dan efisiensi sehingga dapat meningkatkan kualitas pada layanan LAPORBUP.
Kata Kunci: Evaluasi, Sistem Informasi; Performance Measurement; Retrospective Think Aloud; User Experience.
Abstract− Since 5 years of its use until now there has never been an evaluation at LAPORBUP and it is not yet known how high the level of user satisfaction is in using LAPORBUP. In addition, several problems were found in LAPORBUP which were felt by users related to the interface and system functionality. These problems indicate that LAPORBUP is still not in accordance with the needs, it is necessary to carry out an evaluation analysis of the overall usability of the system by measuring the effectiveness and efficiency as well as the level of user satisfaction. The LAPORBUP evaluation involved 54 respondents obtained from OPD representatives and active users of LAPORBUP. Processing of this evaluation data is carried out using the Performance Measurement technique to measure system effectiveness and efficiency, as well as Retrospective Think Aloud and User Experience Questionnaire to measure aspect s of user satisfaction. The results of the Performance Measurement evaluation show that the LAPORBUP application has not been effective because several problems were found when the respondents worked on the task scenarios. Furthermore, UEQ data analysis was carried out using the UEQ Data Analysis Tool by comparing the value of each aspect with the available product data set. Based on the analysis conducted, the attractiveness aspect is included in the good category with a value of 1.72. The clarity aspect is included in the category above the average with a value of 1.48. The efficiency aspect is included in the category above the average with a value of 1.18. The aspect of accuracy is included in the good category with a value of 1.55. The stimulation aspect is included in the very good  category with a value of 2.13. The novelty aspect is included in the Very Good category with a value of 1.64. The recommendations generated from Retrospective Think Aloud consist of 7 recommendations on the complaints page, 14 recommendations on the management page, 10 recommendations on the regent's page, and 9 recommendations on the OPD page. The results of the analysis show that improvements can be made to aspects of clarity and efficiency so as to improve the quality of LAPORBUP services.
Keywords : Evaluation; Information Systems; Performance Measurement; Retrospective Think Aloud; User Experience.

## 1. PENDAHULUAN
Dinas  Komunikasi  Informatika  dan  Persandian  Kabupaten  Lombok  Timur  merupakan  Organisasi  Perangkat  Darerah (OPD) yang bertugas sebagai pemberi layanan informasi kepada masyarakat, menjadi garda terdepan dalam penyediaan sarana  pengaduan  dan  pelaporan  di  kabupaten  Lombok  [1].  Hal  ini  menjadi  tanggung  jawab  Pemerintah  berdasarkan Pasal 36 dan 37 Undang-Undang Nomor 25 Tahun 2009 tentang Pelayanan Publik, yang mengatur bahwa penyelenggara harus menyediakan akses seluas-luasnya kepada masyarakat untuk memberikan sarana pengaduan kepada penyelenggara atas pemberian layanannya [2]. Layanan Aspirasi dan Pengaduan Laporan Ke Bupati (LAPORBUP) adalah sebuah sarana aspirasi dan pengaduan berbasis web yang dibuat oleh Dinas Komunikasi Informatika dan Persandian Kabupaten Lombok Timur  pada  tahun  2018  dalam rangka  meningkatkan  pelayanan  kepada  masyarakat  dengan  memberikan  akses  seluas- luasnya  kepada  masyarakat  atas  pelayanan  yang  diberikan  oleh  pemerintah  merupakan  salah  satu  upaya  untuk meningkatkan kualitas pelayanan publik [3]. Dengan memaksimalkan akses masyarakat, diharapkan dapat berperan aktif dalam mewujudkan pelayanan publik yang unggul untuk mengawasi program dan kinerja pemerintah dalam pelaksanaan pembangunan  sekaligus  dapat  berinteraksi  dengan  pemerintah  kapan  saja  dan  dimana  saja  melalui  LAPORBUP  yang dapat  diakses  oleh  masing-masing  Organisasi  Perangkat  Daerah  mulai  dari  tingkat  Instansi  Daerah,  Kecamatan, Kelurahan, Desa hingga masyarakat umum. Berdasrkan data saat ini LAPORBUP telah terhubung dan digunakan oleh
21 Dinas, 21 Kecamatan, 15 Kelurahan, 239 Desa, dan masyrakat umum di Kabupaten Lombok Timur, hingga saat ini LAPORBUP  telah  menerima  82  laporan  pengaduan  dan  aspirasi  dari  berbagai  pihak  dengan  rincian  56  laporan  telah didisposisi kepada instansi terkait dan 26 laporan telah selesai dikerjakan.
Saat  ini menyampaikan  laporan,  aspirasi,  pengaduan  dan  keluhan  sudah  menggunakan  sistem  informasi,  tetapi penggunaanya  masih  belum  maksimal,  karena  ditemukan  beberapa  masalah  terjadi  pada  LAPORBUP  yang  dirasakan oleh pengguna, diantaranya terkait dengan antarmuka sistem kurang menarik, tata letak tombol berantakan, penempatan menu tidak konsisten, ditemukan beberapa bug pada sistem dan terdapat error pada beberapa fungsional sistem seperti kesulitan melakukan pencarian data selain itu hingga saat ini belum pernah dilakukan evaluasi pada LAPORBUP sejak 5 tahun  pengaplikasiannya  dan  belum  diketahui  seberapa  besar  tingkat  kepuasan  pengguna  dalam  menggunakan LAPORBUP. Permasalahan tersebut menunjukkan bahwa pelayanan dan informasi yang diberikan oleh Dinas Kominfo Kabupaten  Lombok  Timur  masih  belum  sesuai  dengan  kebutuhan,  maka  perlu  dilakukan  analisis  kegunaan  evaluasi secara  menyeluruh  pada  sistem  LAPORBUP  untuk  mengidentifikasi  masalah  dengan  mengukur  efektivitas  sistem menggunakan  teknik Performance  Measurement selanjutnya  pada  aspek  efisiensi  sistem  menggunakan  metode Retrospective Think  Aloud dan User  Experience  Questionnaire untuk  mengukur  aspek  kepuasan  pengguna  guna mendapatkan hasil evaluasi yang menyeluruh dan memperoleh rekomendasi secara efektif yang dapat dijadikan sebagai salah satu pedoman bagi tim pengembang dalam melakukan perbaikan layanan dari sistem LAPORBUP. Analisis sistem merupakan  langkah  awal  untuk  menguraikan  setiap  komponen  yang  terlibat  dengan  sistem  untuk  mengidentifikasi permasalahan [4]. Salah satu cara untuk mengidentifikasi permasalahan atau kendala adalah dengan melakukan evaluasi berbasis pengguna [5].
Adapun beberapa penelitian terdahulu yang dijadikan sebagai referensi yang berhubungan dengan evaluasi sistem infotmasi diantaranya adalah penelitian yang dilakukan oleh Putro (2020) pada evaluasi Lapor Bantul menggunakan User Experience Questionnaire (UEQ) dengan menggunakan 6 skala pengalaman pengguna serta metode evaluasi kolaboratif untuk melalkukan identifikasi masalah yang dihadapi pengguna saat menggunakan aplikasi Lapor Bantul [6]. Selanjutnya, penelitian yang dilakukan oleh Ashshofiah (2021) menggunakan metode Think aloud dengan memberikan 10 skenario tugas pengujian website Dinas Tenaga Kerja Dan Trasmigrasi kepada 8 responden [7]. Gunawan (2021) hasil evaluasi Think Aloud pada website Pustakawan Ganeca Digital memperoleh 10 rekomendasi yang disampaikan oleh responden [8]. Wedayanti (2019) efektifitas Aplikasi Simalu dihitung berdasarkan jumlah keberhasilan serta kegagalan tugas yang dilakukan  oleh  responden,  sedangkan  efisiensi  dihitung  berdasarkan  durasi  pengerjaan  tugas  responden  pada  saat menyelesaikan tugas yang diberikan yang diberikan [9]. Gunawan (2021) pengembangan dan evaluasi difokuskan pada perbaikan kompleksitas 14 fungsi dan analisis kode keamanan dan server SisKA [10]. Sulistya (2021) hasil penelitian berhasil memperoleh rekomendasi perbaikan untuk dijadikan acuan dan refrensi dalam memperbaiki dan meningkatkan fungsionalitas pada website Dinas Pendidikan dan Kebudayaan Kota MNO [11]. Putra (2023) memperoleh skor uji UEQ pada  analisis  Learning  Management  System  setiap  aspek  diantaranya  adalah  aspek attractiveness skala  1,92,  aspek perspicuity menunjukkan  skala  1,52,  aspek efficiency menunjukkan  skala  1,97,  selanjutnya  pada  aspek dependability menunjukkan skala 1,89, dan aspek stimulation menunjukkan skala 1,64 [12]. Juniantari (2021) hasil analisis pengujian UEQ meunjukan bahwa sistem informasi DPMPTSP berada pada kategori positif [13].Adinegoro (2018) menggunakan teknik  evaluasi Focus  Group  Discussion  (FGD) untuk  memvalidasi  secara  subjektif  persepsi  dan  permasalahan berdasarkan hasil rekomendasi dari pengguna [14].
Penitian ini bertujuan mengevaluasi LAPORBUP untuk mengidentifikasi masalah dan kepuasan pengguna pada sistem  informasi  LAPORBUP.  Evaluasi  dilakukan  menggunakan  teknik Performance  Measurement untuk  mengukur efektivitas dan efisiensi pada sistem. Selanjutnya Retrospective Think Aloud dan User Experience Questionnaire untuk mengukur  aspek kepuasan pengguna. Selanjutnya dilaksanakan diskusi  serta pengumpulan data lanjutan dengan pihak pengelola  LAPORBUP  melalui  kegiatan Focus  Group  Discussion untuk  memvalidasi  seluruh  temuan  dalam  evaluasi LAPORBUP.  Hasil  akhir  penelitian  akan  disusun  rekomendasi,  kesimpulan  dan  saran  yang  dapat  digunakan  untuk perbaikan serta dapat dijadikan sebagai salah satu pedoman bagi tim pengembang dalam melakukan perbaikan layanan dari sistem LAPORBUP untuk meningkatkan kualitas pelayanan kepada masyarakat.

## 2. METODOLOGI PENELITIAN

## 2.1 Tahapan Penelitian
Penelitian ini dilakukan dengan melalui beberapa tahapan penelitian, yaitu tahap awal pada penelitian ini dimulai dengan melakukan identifikasi masalah, pengumpulan data, studi literatur, penentuan responden, penerapan metode, analisis data, diskusi hasil dan kesimpulan. Tahapan-tahapan penelitian tersebut ditunjukkan pada Gambar 1.
Mulai Identifikasi Masalah
Studi Literatur Penentuan Responden Analisis Data Penerapan Metode Pengumpulan Data Hasil Analisis Kesimpulan Selesai
Gambar 1. Tahapan Penelitian
Berikut ini merupakan penjelasan dari tahapan-tahapan yang dilakukan penulis dalam melakukan penelitian: a. Identifikasi Masalah Pada tahap ini penulis menguraikan apa-apa saja yang menjadi permasalahan pada LAPORBUP.
b. Pengumpulan Data
Pada tahap ini penulis melakukan pengympulan data yang relevan dengan penelitian ini dengan melakukan observasi pada  sistem  informasi  LAPORBUP  serta  wawancara  dengan  pihak  pengelola  LAPORBUP  pada  Dinas  Kominfo Kabupaten Lombok Timur, guna memperoleh refrensi dalam mendukung penelitian yang dilaksanakan.
1. Obeservasi
Observasi dilakukan untuk mengambil data primer pada sistem informasi LAPORBUP dengan mengamati secara langsung. Pada tahap ini ditemukan beberapa masalah terjadi pada LAPORBUP yang dirasakan oleh pengguna, diantaranya terkait dengan antarmuka sistem kurang menarik, tata letak tombol berantakan, penempatan menu tidak konsisten, ditemukan beberapa bug pada sistem dan terdapat error pada beberapa fungsional sistem.
2. Wawancara
Melakukan  wawancara  langsung  dengan  pengelola  LAPORBUP,  masyarkat  pengguna  aktif  dan  pihak-pihak terkait, menyebutkan pada rentang waktu 5 tahun penerapan dan penggunaan LAPORBUP hingga saat ini belum pernah  dilakukan  evaluasi  pada  LAPORBUP  dan  belum  diketahui  seberapa  besar  tingkat  kepuasan  pengguna dalam menggunakan LAPORBUP.
c. Studi Literatur
Pada tahap ini penulis melakukan studi literatur untuk mengkaji teori dari beberapa jurnal ilmiah, skripsi, tesis dan buku-buku yang berkaitan dengan penelitian ini untuk memperkuat hasil penlitian.
d. Penentuan Responden
Pada  tahap  ini  responden  penelitian  diperoleh  dari  perwakilan  OPD  dan  masyarakat  pengguna  aktif  yang  pernah mengajukan pengaduan dan aspirasi pada layanan LAPORBUP yakni sebanyak 62 populasi. Penentuan besar sampel, peneliti menggunakan formula slovin dengan taraf kepercayaan 95% digunakan dalam pengembalian keputusan [15]. Selanjutnya dipilih 54 responden secara acak menggunakan teknik simple random sampling . Seluruh responden ini terlibat dalam evaluasi Performance Measurement, Retrospective Think Aloud dan User Experience Questionnaire. e. Penerapan Metode
Pada tahap ini penulis menggunakan Pe rformance Measurement untuk mengukur kebermanfaatan sistem berdasarkan tingkat keberhasilan dan kecepatan pengerjaan tugas [16] , Analisis data Retrospective Think Aloud dilakukan dengan mengidentifikasi  kesulitan  atau  saran  kemudian  meringkasnya  ke  dalam  bahasa  formal  [17] , dan User  Experience Questionnaire digunakan  untuk  memeriksa  pengalaman  pengguna,  mengidentifikasi  dan  menentukan  area  untuk perbaikan [18].
f. Analisis Data
Pada tahap ini penulis melakukan analisis data dilakukan menggunakan Performance Measurement untuk mengukur efektivitas dan efisiensi pada sistem. Selanjutnya Retrospective Think Aloud dilakukan dengan cara mencatat semua kesulitan  dan  saran  yang  dari  responden  dan  data  kuesioner User  Experience  Questionnaire dimasukkan  kedalam UEQ Data Analysis Tool untuk menganalisis kepuasan pengguna [15]. g. Hasil Analisis
Pada tahap ini selanjutnya dilaksanakan diskusi lanjutan dengan pihak pengelola LAPORBUP melalui kegiatan FGD untuk memvalidasi seluruh temuan-temuan dalam analisa usability sistem informasi LAPORBUP.
h. Kesimpulan
Pada tahap ini merupakan hasil akhir penelitian berupa rekomendasi,yang dapat dijadikan sebagai salah satu pedoman bagi tim pengembang dan pihak pengelola LAPORBUP dalam melakukan perbaikan layanan pada sistem informasi LAPORBUP untuk meningkatkan kualitas pelayanan kepada masyarakat.

## 2.2 Metode Analisis Data
Pada tahap analisis data dalam penelitian ini peneliti menggunakan beberapa metode yang digunakan untuk mengevaluasi 3 aspek yang berbeda pada LAPORBUP, yaitu:

## 2.2.1 Performance Measurement
Teknik  evaluasi Performance  Measurement digunakan  untuk  mengukur  kebermanfaatan  sistem  berdasarkan  tingkat keberhasilan dan kecepatan pengerjaan tugas  [16]. Teknik  pengukuruan ini dilakukan dengan merekam  layar  menjadi video menggunakan perangkat software Bandicam ketika responden menggunakan sistem. Responden akan melakukan 2  percobaan  pada  setiap  tugas  yang  diberikan.  Selanjutnya  peneliti  memutar  kembali  data  dari  rekaman  video  dan menghitung  jumlah  kegagalan  dan  waktu  pengerjaan  responden  dalam  mengerjakan  tugas  yang  diberikan  terkait penggunaan  LAPORBUP.  Pengukuran  efektivitas  dilakukan  dengan  menghitung  jumlah  kegagalan  pengerjaan  tugas yang  dilakukan  oleh  setiap  responden.  Efektivitas  dihitung  dengan  cara  menetapkan  angka  biner  “1”  jika  responden berhasil mengerjakan tugas dan angka “0” jika responden gagal  mengerjakan tugas  [9]. Rumus yang digunakan untuk menghitung tingkat kegagalan pengerjaan tugas dapat dilihat pada persamaan (1) [19].
error = 𝑗𝑢𝑚𝑙𝑎ℎ 𝑡𝑢𝑔𝑎𝑠 𝑦𝑎𝑛𝑔 𝑔𝑎𝑔𝑎𝑙 𝑑𝑖𝑙𝑎𝑘𝑢𝑘𝑎𝑛 𝑗𝑢𝑚𝑙𝑎ℎ 𝑡𝑜𝑡𝑎𝑙 𝑡𝑢𝑔𝑎𝑠 × 100 (1)
Penilaian taraf efisiensi  dilakukan secara statistik  dengan metode pengolahan data kompartif waktu  pengerjaan pada setiap tugas antara dua kelompok independen yaitu pada uji 1 dan uji 2 yang dilakukan dengan menggunakan uji Mann Whitney U-Test. Beberapa hal yang dapat dilakukan dengan Mann Whitney U-test adalah sebagai berikut [20].
a. Lakukan pemeringkatan pada setiap angka. Pemeringkatan adalah suatu proses menggabungkan sekumpulan data.
b. Tambahkan nilai yang telah diperingkatkan dalam kondisi tertentu.
c. Lakukan uji total dari sejumlah pemeringkatan.
d. Selanjutnya uji apakah nilai rata-rata dari dua populasi adalah sama atau tidak.

## 2.2.2 Retrospective Think Aloud
Pengumpulan  data  dengan  teknik Retrospective  Think  Aloud dilakukan  setelah  proses  pengambilan  data Performance Measurement selesai  dilakukan  [16].  Dalam  pengumpulan  data  RTA,  responden  akan  diberikan  arahan  untuk  dapat menceritakan  sejelas-jelasnya  tentang  apa  yang  dipirkirkan  responden  dan  kesan  mereka  saat  menjalankan  tahapan- tahapan  untuk  menyelesaikan  tugas  yang  diminta.  Proses  pengumpulan  data  dilakukan  dengan  cara  merekam  dan mencatat  semua  kesulitan  dan  saran  yang  diungkapkan  responden.  Tahap  selanjutnya  adalah  melakukan  pengolahan terhadap  seluruh  hasil  rekaman  responden.  Analisis  data  dilakukan  dengan  mengidentifikasi  kesulitan  atau  saran kemudian  meringkasnya  ke  dalam  bahasa  formal  [17].  Dalam  penelitian  ini  menggunakan  46  skenario  tugas  untuk mengevaluasi LAPORBUP. Contoh skenario tugas dapat dilihat pada Tabel 1.
Tabel 1. Contoh sekenario tugas
No Skenario Tugas
1 Pada menu profile , upload photo profil baru dan lakukan ubah photo profil.
2 Pada menu Instansi, silahkan tambahkan data instansi dinas dengan data berikut:
• Nama Instansi
• Keterangan
• Alamat
3 Selanjutnya pada menu data operator OPD, cari operator OPD dengan nama: Samsul Rizal. Kemudian, klik tombol hapus.

## 2.2.3 User Experience Questionnaire
Data  kepuasan  pengguna  diperoleh  menggunakan  UEQ . Pengisian  kuesioner  ini  dilakukan  setelah  pengguna menggunakan LAPORBUP untuk mengukur nilai pengalaman pengguna setelah menggunakan sistem. Salah satu media yang valid untuk  mengolah  data  survei  pengalaman  pengguna  pada  metode  evaluasi  adalah  UEQ  [21].  memeriksa pengalaman  pengguna,  mengidentifikasi  dan  menentukan  area  untuk  perbaikan  [18].  Dalam UEQ berisi  26 item pernyataan [22]. Setiap butir pertanyaan dalam UEQ memiliki rentang skala 1 sampai 7 yang kemudian diubah ke dalam rentang  nilai  -3  sampai  +3  [18].  Setiap  aspek  UEQ dalam  Bahasa  Indonesia  yakni  kejelasan,  ketepatan,  daya  tarik, efisiensi, kebaruan dan stimulasi [22]. Contoh pernyataan User Experience Questionnaire ditunjukkan pada Gambar 2. Data kuesioner dimasukkan ke dalam UEQ Analysis Data Tool untuk menganalisis kepuasan pengguna [15]. Hasil akhir dari UEQ berdasarkan UEQ Analysis Data Tool digambarkan dalam grafik hasil uji benchmark yang menunjukkan kualitas  dari  produk  kedalam  lima  kategori  yaitu: excellent,  good,  above  average,  below  average dan bad [23].  Nilai untuk rentang benchmark pada setiap kategori ditunjukkan pada Tabel 2 [24].
Tabel 2. Benchmark pada UEQ Data Analysis Tool No Aspect Category Excellent Good Above Average Belove Average Bad 1 Attractiveness >1,75 >1,52 >1,17 >0,7 ≤0,7
2 Perspicuity >1,9 >1,56 >1,08 >0,64 ≤0,64 3 Efficiency >1,78 >1,47 >0,98 >0,54 ≤0,54 4 Dependability >1,65 >1,48 >1,14 >0,78 ≤0,78 5 Stimulation >1,55 >1,31 >0,99 >0,5 ≤0,5 6 Novelty >1,4 >1,05
>0,71 >0,3 ≤0,3
Gambar 2. User Experience Questionnaire
Hasil  analisis  dari  evaluasi  Pe rformance  Measurement,  Retrospective  Think  Aloud, dan User  Experience Questionnaire akan disusun menjadi kesimpulan akhir yaitu daftar rekomendasi perbaikan LAPORBUP.

## 2.2.4 Focus Group Discussion
Focus Group Discussion (FGD) adalah salah satu metode pengumpulan informasi mengenai suatu permasalahan tertentu melalui diskusi kelompok. Teknik pengumpulan data kualitatif FGD relatif lebih mudah dilakukan dibandingkan dengan teknik  pengumpulan  data  kualitatiflainnya.  Menggunakan  metode  FGD  dapat  memberikan  penemuan  baru  sekaligus penjelasan yang mungkin tidak dapat ditemukan dengan cepat oleh teknik lain [25].
Pengumpulan  data  pada  FGD  dilakukan  untuk  memvalidasi  seluruh  rekomendasi  yang  dihasilkan  dari  tahap evaluasi. Hal yang dibahas dalam FGD pada penelitian ini adalah sebagai berikut.
a. Mengidentifikasi seluruh rekomendasi yang dihasilkan dari evaluasi kebermanfaatan ( usability ) yang telah dilakukan pada LAPORBUP.
b. Kemudian mengumpulkan saran, masukan dan solusi perbaikan berdasarkan rekomendasi yang ada.
c. Selanjutnya mendefinisikan rekomendasi berdasarkan prioritas yang perlu diimplementasikan.

## 3. HASIL DAN PEMBAHASAN
Pada bagian ini, merupakan  hasil dan pembahasan dari  setiap evaluasi  yang dihasilkan yaitu evaluasi  kebermanfaatan pada aspek efektivitas, efisiensi, dan kepuasan pengguna LAPORBUP. Berikut penjelasan dari  tahapan evaluasi  yang dilakukan dari masing-masing komponen tersebut dijabarkan sebagai berikut.

## 3.1 Hasil Uji - Performance Measurement
Data yang diperoleh dari pengujian efektifitas dan efisiensi menggunakan teknik Performance Measurement adalah data kegagalan  pengerjaan  tugas  dan  data  waktu  pengerjaan  tugas  terhadap  54  orang  responden  pada  halaman  pengaduan, administrator, bupati dan OPD dijabarkan sebagai berikut.
a. Analisis Efektifitas
1. Hasil dan Analisis Efektifitas Halaman Pengaduan
Pada uji ke 1 dan uji ke 2 tidak terdapat kegeagalan ( error ). Halaman pengaduan dapat disimpulkan sudah efektif, karena tidak ditemukan masalah atau error saat menggunakan sistem.
2. Hasil dan Analisis Efektifitas Halaman Administrator
Pada uji ke 1 halaman Administrator memperoleh rata-rata persentase kegagalan ( error ) sebesar 6,24%. Selanjutnya pada uji ke 2 pada saat menggunakan halaman Administrator, terjadi penurunan rata-rata persentase kegagalan sebesar
6,08%.  Terdapat  6  faktor  yang  menyebabkan  kegagalan  yaitu  1)  peletakan  tombol-tombol  masih  kurang  tepat,  2) terdapat menu-menu yang tidak sesuai nama dan pengelompokanya, 3) letak tombol pencarian belum berfungsi secara maksimal,  4)  terdapat  tombol  duplikat/ganda,  5)  ketidaksesuaian  ikon-ikon  pada  menu  atau  tombol  aksi,  6) penggunaan bahasa yang tidak konsisten.
3. Hasil dan Analisis Efektifitas Halaman Bupati
Pada uji ke 1 halaman bupati memperoleh rata-rata persentase kegagalan ( error ) sebesar 7,40%. Selanjutnya pada uji ke  2  pada  saat  menggunakan  halaman  Bupati,  terjadi  penurunan  rata-rata  persentase  kegagalan  sebesar  4,94%. Terdapat  5 faktor yang menyebabkan kegagalan yaitu 1) penempatan tombol  aksi  yang kurang efektif, 2) terdapat tombol duplikat/ganda, 3) letak tombol pencarian belum berfungsi secara maksimal, 4) penggunaan bahasa yang tidak konsisten, 5) ketidaksesuaian ikon-ikon pada menu atau tombol aksi.
4. Hasil dan Analisis Efektifitas Halaman OPD
Pada  uji  ke  1  menggunakan  halaman  OPD  memperoleh  rata-rata  persentase  kegagalan  ( error )  sebesar  18,36%. Selanjutnya pada uji ke 2 pada saat  menggunakan halaman OPD, terjadi penurunan rata-rata persentase kegagalan sebesar  14,28%.  Terdapat  3  faktor  yang  menyebabkan  kegagalan  yaitu  1)  peletakan  tombol-tombol  masih  kurang efektif dan sulit ditemukan, 2) letak tombol pencarian tidak berfungsi secara maksimal, 3) penggunaan bahasa yang tidak konsisten.
Berdasarkan hasil analisis efektifitas ditemukan sebanyak 14 masalah dalam sistem LAPORBUP dengan tingkat keparahan yang sangat tinggi. Masalah-masalah ini dapat menyebabkan ketidaknyamanan atau memengaruhi pengalaman pengguna saat menggunakan sistem.

## b. Analisis Efisiensi
Hasil analisis  efisiensi  yang diperoleh berdasarkan perbandingan durasi  waktu  dalam mengerjakan setiap tugas yang diberikan pada percobaan uji 1 dan percobaan uji 2 yang dilakukan oleh responden. Adapun dasar pengambilan keputusan Mann  Whitney menggunakan software tools SPSS  26.  Dalam  analisis  efisiensi  yang  dilakukan  dengan menggunakan hipotesis sebagai berikut.
H0 : Tidak terdapat perbedaan waktu pengerjaan tugas antara kelompok uji 1 dan kelompok uji 2. H1 : Terdapat perbedaan waktu pengerjaan tugas antara kelompok uji 1 dan kelompok uji 2.
Jika nilai Asymp.Sig < 0,05, maka hipotesis nol (H0) ditolak dan hipotesis alternatif diterima, sedangkan jika nilai Asymp.Sig  >  0,05,  maka  hipotesis  nol  (H0)  diterima  dan  hipotesis  alternatif  ditolak.  Selanjutnya,  setelah  membuat hipotesis  dari  data  yang  diperoleh  kemudian  diolah  dengan  uji Mann Whitney menggunakan software tools SPSS  26. Adapun analisis efisiensi LAPORBUP dari setiap halaman pengguna dijabarkan sebagai berikut.
1. Hasil Uji Efisiensi Halaman Pengaduan
Tabel 3. Pengujian Statistik Halaman Pengaduan
Tugas  Mann Whitney U  Wilcoxon W Z Asymp. Sig. (2-tailed)  Exact Sig.[2*(1-tailedSig.)] 1 246.000 624.000 -2.051 0,040 .040a 2 347.000 725.000 -0.303 0,762 .762a 3 343.500 721.500 -0.363 0,716 .716a
Dari 3 tugas yang dikerjakan, terdapat 2 tugas dinyatakan tidak ditemukan perbedaan waktu yang signifikan dan 1 tugas dinyatakan terdapat perbedaan waktu yang signifikan. Hasil evaluasi efisensi pada halaman pengaduan menunjukkan bahwa halaman pengaduan belum efisien.
2. Hasil dan Uji Efisiensi Halaman Administrator

## Tabel 4. Pengujian Statistik Halaman Administrator
Tugas  Mann Whitney U  Wilcoxon W Z Asymp. Sig. (2-tailed)  Exact Sig. [2*(1-tailed Sig.)] 1 291.000 669.000 -1.272 0,203 .203a 2 326.000 704.000 -0.666 0,505 .505a 3 310.000 688.000 -0.943 0,346 .346a 4 289.000 667.000 -1.306 0,191 .191a 5 339.000 717.500 -0.475 0,635 .635a 6 326.000 704.000 -0.666 0,505 .505a 7 326.500 704.500 -0.658 0,511 .511a 8 283.000 661.000 -1.410 0,158 .158a 9 286.000 664.000 -1.358 0,174 .174a 10 325.500 703.500 -0.675 0,500 .500a 11 333.500 711.500 -0.536 0,592 .592a 12 313.000 691.000 -0.891 0,373 .373a 13 304.500 682.500 -1.041 0,298 .298a 14 363.000 741.000 -0.026 0,979 .979a 15 306.500 684.500 -1.004 0,316 .316a 16 250.000 628.000 -1.981 0,048 .048a
17 294.000 672.000 -1.220 0,222 .222a 18 286.500 664.500 -1.350 0,177 .177a 19 354.000 732.000 -0.182 0,856 .856a 20 315.000 693.000 -0.857 0,392 .392a 21 282.000 660.000 -1.428 0,153 .153a 22 361.500 739.500 -0.052 0,959 .959a 23 280.500 658.500 -1.454 0,146 .146a 24 240.500 618.500 -2.146 0,032 .032a 25 249.000 627.000 -1.999 0,046 .046a 26 313.000 691.000 -0.891 0,373 .373a 27 273.500 651.500 -1.575 0,115 .115a
Dari 27 tugas yang dikerjakan, terdapat 24 tugas dinyatakan tidak ditemukan perbedaan waktu yang signifikan dan 3 tugas dinyatakan terdapat perbedaan waktu yang signifikan. Hasil evaluasi efisensi pada halaman administrator menunjukkan bahwa halaman administrator belum efisien.
3. Hasil dan Uji Efisiensi Halaman Bupati
Tabel 5 . Pengujian Statistik Halaman Bupati
Tugas  Mann Whitney U  Wilcoxon W Z Asymp. Sig. (2-tailed)  Exact Sig. [2*(1-tailed Sig.)] 1 281.500 659.500 -1.436 0,151 .151a 2 252.000 630.000 -1.947 0,052 .052a 3 272.500 650.500 -1.592 0,111 .111a 4 293.000 671.000 -1.237 0,216 .216a 5 238.000 616.000 -2.189 0,029 .029a 6 310.000 688.000 0.943 0,346 .346a 7 357.000 735.000 -0,130 0,897 .897a 8 308.000 686.000 -0.978 0,328 .328a 9 246.500 624.500 -2.042 0,041 .041a
Dari 9 tugas yang dikerjakan, terdapat 8 tugas dinyatakan tidak ditemukan perbedaan waktu yang signifikan dan  1  tugas  dinyatakan  terdapat  perbedaan  waktu  yang  signifikan.  Hasil  evaluasi  efisensi  pada  halaman  bupati menunjukkan bahwa halaman bupati belum efisien.
4. Hasil dan Uji Efisiensi Halaman OPD

## Tabel 6. Pengujian Statistik Halaman OPD
Tugas  Mann Whitne U  Wilcoxon W Z Asymp. Sig. (2-tailed)  Exact Sig.[2*(1-tailed Sig.)] 1 269.500 647.500 -1.644 0,100 .100a 2 222.000 600.000 -2.466 0,014 .014a 3 286.500 664.500 -1.350 0,177 .177a 4 280.000 658.000 -1.467 0,142 .142a 5 236.500 614.500 -2.215 0,027 .027a 6 340.000 718.000 -0,424 0,672 .672a 7 245.500 623.500 -2.059 0,039 .039a
Dari 7 tugas yang dikerjakan, terdapat 4 tugas dinyatakan tidak ditemukan perbedaan waktu yang signifikan dan  3  tugas  dinyatakan  terdapat  perbedaan  waktu  yang  signifikan.  Hasil  evaluasi  efisensi  pada  halaman  OPD menunjukkan bahwa halaman pengaduan belum efisien.

## 3.2 Hasil Uji - Retrospective Think Aloud
Hasil  evaluasi  RTA  menunjukkan  menunjukkan  masih  ditemukan  beberapa  permaslahan,  kesulitan,  kritik  serta  saran perbaikan dari pengguna yang telah dianlisis dan menghasilkan 7 rekomendasi pada halaman pengaduan ditunjukan pada Tabel  7,  14  rekomendasi  pada  halaman  administrator  ditunjukan  pada  Tabel  8,  10  rekomendasi  pada  halaman  bupati ditunjukan pada Tabel 9, dan 9 rekomendasi pada halaman OPD ditunjukan pada Tabel 10.
Tabel 7. Rekapitulasi RTA Halaman Pengaduan No Masalah Rekomendasi 1 Tracking laporan  Penamaan menu-menu diperjelas dan dikelompokkan berdasarkan fungsinya.
2 Tombol pada sistem
Tata  letak  menu  perlu  dipertimbangkan  agar  mudah  ditemukan.  Tata  letak  tombol dipindahkan  posisinya  yang  semula  disembunyikan  diganti  menjadi  ditampilkan  pada  sisi kanan atas halaman. 3 Kejelasan menu pada sistem
Menu bisa dibuat dalam posisi selalu ditampilkan, sehingga saat berada pada halaman awal pengaduan menu-menunya tetap terlihat.
4 Statistik laporan Fitur tracking laporan dioptimalkan lagi, agar dapat berfungsi sebagaimana mestinya.
5 Fitur pencarian Perlu diperjelas tombolnya dengan melengkapinya dengan ikon yang mudah dipahami.
6 Menu informasi Lengkapi informasi petunjuk penggunaan agar memudahkan pengguna dalam menggunakan LAPORBUP.
7 Statistik Laporan  Pada halaman data statistik laporan perlu diperjelas dan dilengkapi informasi lainnya serta desain  antarmuka  juga  perlu  dioptimalkan  agar  informasi  yang  disampaikan  pada  data satatistik mudah dipahami.
Tabel 8. Rekapitulasi RTA Halaman Administrator No Masalah Rekomendasi 1 Menu sistem Penamaan menu-menu diperjelas atau dikelompokkan berdasarkan fungsi-fungsinya.
2 Unggah
Fitur upload foto dioptimalkan lagi, agar dapat berfungsi sebagaimana mestinya.
3 Kejelasan tombol Pindahkan tombol logout ke bagian sisi kanan atas halaman dan hilangkan tombol logout duplikat yang semestinya tidak perlu.
4 Ikon menu Penamaan  dan  pemberian  ikon  pada  setiap  menu-menu  perlu  disesuaikan  agar  mudah dipahami.
5 Statistik laporan Desain antarmuka dan konten informasi pada data statistik laporan perlu dioptimalkan, agar mudah dipahami.
6 Password Tambahkan fitur tampilkan password , agar kesalahan dalam memasukkan password dapat diketahui.
7 Fitur pencarian Fitur pencarian pada data statistik perlu dioptimalkan, agar berfungsi sebagaimana mestinya.
8 Sinkronisasi data Sinkronisasi data pada halaman statistik perlu disesuaikan dengan data yang ada pada data aduan.
9 Menu statistik Halaman data laporan selesai pada menu statistik perlu dioptimalkan dengan konten-konten informasi.
10 Tab laporan Pada bagian tab laporan terdisposisi perlu diberikan warna pembeda berdasarkan masing- masing tab yang dikelompokan agar terlihat jelas.
11 Laporan masuk Halaman data laporan masuk pada menu statistik tidak berfungsi secara maksimal sehingga perlu dioptimalkan
12 Informasi sistem Perjelas informasi kesalahan, agar tidak membingungkan pengguna.
13 Tabel Tabel data perlu dirapikan dan diperjelas karena terdapat kolom judul duplikat, hilangkan kolom duplikat 14 Bahasa Gunakan bahasa Indonesia pada keseluruhan fitur secara konsisten. Tabel 9. Rekapitulasi RTA Halaman Bupati No Masalah Rekomendasi 1 Ikon menu Ikon dan penamaan menu disesuaikan agar pengguna tidak bingung dengan ikon menu yang tidak sesuai dengan penamaanya.
2 Tombol duplikat
Hilangkan  tombol logout duplikat  yang  semestinya  tidak  perlu,  kemudian  pindahkan tombol logout yang semula pada bagian bawah ke bagian sisi kanan atas halaman.
3 Unggah
Fitur upload foto dioptimalkan lagi, agar dapat berfungsi sebagaimana mestinya 4 Desain antarmuka Tampilan  antarmuka  pada  statistik  laporan  perlu  dioptimalkan  dengan  menambahkan konten-konten informasi agar data yang ditampilkan teratur dan tidak berantakan.
5 Fitur pencarian
Fitur pencarian data dioptimalkan lagi karena fitur tesebut sangat penting ketika mencari data dengan cepat.
6 Bahasa Penggunaan bahasa Indonesia pada keseluruhan fitur secara konsisten
7 Laporan terdisposisi
Pada saat melihat laporan terdisposisi pada menu statistik laporan tidak dapat diakses, sehingga perlu dioptimalkan.
8 Tabel
Tabel data dirapikan karena terdapat kolom judul duplikat, hilangkan kolom duplikat.
9 Password
Untul  minimalisir  kesalahan  penggunaan  mengisi password perlu  ditambahkan  fitur untuk menampilkan password .
10 Umpan balik sistem Pemberitahuan  kesalahan  jarang  muncul,  sebaiknya  pemberitahuannya  dimunculkan agar pengguna dapat mengetahui kesalahannya.
Tabel 10. Rekapitulasi RTA Halaman OPD No Masalah Rekomendasi 1 Desain antarmuka Pada  setiap  tabel  data  perlu  dirapikan  karena  terdapat  kolom  judul  duplikat,  hilangkan kolom duplikat. 2 Tabel Rapikan tabel data dan hilangkan kolom judul duplikat. 3 Unggah Fitur upload foto dioptimalkan lagi, agar dapat berfungsi sebagaimana mestinya.
4 Letak tombol Pindahkan tombol logout ke bagian sisi kanan atas halaman dan hilangkan tombol duplikat yang tidak perlu.
5 Penamaan menu Desain  antarmuka  dan  ikon  pada  halaman dashboard perlu  disesuaikan  berdasarkan penamaanya secara konsisten.
6 Umpan balik Pemberitahuan kesalahan tidak jelas, sebaiknya pemberitahuannya dimunculkan.
7 Laporan selesai Pada saat melihat laporan selesai laporan tidak dapat diakses, sehingga perlu dioptimalkan.
8 Password
Untuk menghindari kesalahan memasukkan password , tambahkan fitur untuk menampilkan password . 9 Bahasa
Gunakan Bahasa Indonesia secara konsisten agar mudah dipahami oleh pengguna.

## 3.3 Hasil Uji - User Experience Questionnaire (UEQ)
Rekapitulasi nilai setiap item pernyataan yang telah diisi oleh responden diproses menggunakan UEQ Data Analysis Tool . Tahap pengolahan data dimulai dengan mentransformasikan data-data awal, kemudian dilanjutkan dengan mencari nilai rata-rata dari setiap aspek user experience .  Skor rata-rata untuk setiap aspek ditunjukkan pada Tabel 11.
Tabel 11. Skor Nilai Rata-Rata Pada Setiap Aspek
Aspects Average Standard Deviation N Confidence Confidence interval (p=0.05) Attractiveness 1,750 0,381 54 0,102 1,648 1,852 Perspicuity 1,477 0,561 54 0,150 1,327 1,626 Efficiency 1,176 0,538 54 0,143 1,032 1,319 Dependability 1,546 0,510 54 0,136 1,410 1,682 Stimulation 2,125 0,485 54 0,129 1,996 2,254 Novelty 1,806 0,455 54 0,121 1,684 1,927
Tabel 11 menunjukkan skor rata-rata pada keenam aspek pengalaman pengguna. Interval kepercayaan merupakan pendugaan parameter populasi berdasarkan nilai interval data sampel. Paling rendah nilai estimasi interval diperoleh dari nilai rata-rata dikurangi nilai kepercayaan. Kemudian, nilai estimasi interval tertinggi diperoleh dengan menambahkan nilai  rata-rata  dengan  nilai  kepercayaan  [16].  Berdasarkan  data  pada  Tabel  11  aspek Attractiveness mendapat  nilai kepercayaan sekitar 0,102. Hal ini menunjukkan bahwa nilai pengalaman pengguna pada aspek daya tarik berkisar antara 1,648 sampai 1,852. Hasil uji benchmark juga dilakukan dengan membandingkan nilai pada setiap aspek dengan data set produk yang ada dalam UEQ Analysis Data Tool [23]. Hasil dari benchmark uji perbandingan ditunjukkan pada Gambar 3 berikut ini.
Gambar 3. Hasil Uji Benchmark LAPORBUP
Berdasarkan  Tabel  11 dan Gambar  3  dapat  dilihat bahwa  aspek daya tarik termasuk pada kategori baik  dengan nilai 1,75. Aspek kejelasan termasuk pada kategori diatas rata-rata dengan nilai sebesar 1,48. Aspek efisiensi termasuk pada kategori diatas rata-rata dengan nilai sebesar 1,18. Aspek ketepatan termasuk pada kategori baik dengan nilai sebesar 1,55.  Aspek  stimulasi  termausk  pada  kategori  sangat  baik  dengan  nilai  sebesar  2,13.  Aspek  kebaruan  termasuk  pada kategori  sangat  baik  dengan  nilai  sebesar  1,81.Namun  hasil  analisis  menunjukkan  bahwa  pada  aspek  kejelasan  dan efisiensi dilakukan ditingkatkan sehingga dapat meningkatkan kualitas pada layanan LAPORBUP.

## 3.4 Focus Group Discussion (FGD)
Untuk memperkuat hasil analisis dari tahap evaluasi LAPORBUP. Selanjutnya dilaksanakan diskusi serta pengumpulan data lanjutan dengan pihak pengelola LAPORBUP melalui kegiatan FGD. Kegiatan FGD bertujuan mendapatkan umpan balik yang jelas, mencari alternatif solusi dan untuk memperkuat hasil analisis efektivitas dan efisiensi yang dilakukan pengguna  saat  mengerjakan  tugas  pada  tahap  sebelumnya  serta  saran  yang  diberikan  pengguna  sebagai  bahan  dalam
-1,00 -0,50 0,00 0,50 1,00 1,50 2,00 2,50 Daya tarik Kejelasan Efisiensi Ketepatan Stimulasi Kebaruan Excellent Good Above Average Below Average Bad Mean
penyusunan  rekomendasi.  Daftar  rekomendasi  akhir  yang  dihasilkan  menyatakan  hasil  analisis  dan  evaluasi  dalam penelitian ini dinyatakan valid dan dapat diterima serta disepakati seluruhnya oleh pihak pengelola LAPORBUP dengan menindaklanjuti hasil FGD dengan menyusun rencana aksi sebagai bahan perbaikan kedepan dan akan dijadikan sebagai rujukan  bagi  tim  pengembang  dalam  melakukan  perbaikan  layanan  dari  LAPORBUP  berdasarkan  skala  prioritas perbaikan.

## 4. KESIMPULAN
Hasil  evaluasi  menyatakan  sistem  LAPORBUP  masih  belum  efektif  kerena  terdapat  permasalahan  dalam  pengerjaan tugas  pada  uji  efektifitas  dan  uji  efisiensi.    Keenam  aspek  pengalaman  pengguna  memperoleh  nilai  rata-rata  aspek stimulasi  sebesar 2,13 dan aspek kebaruan sebesar 1,81 kedua aspek ini memperoleh kategori sangat  baik. Sedangkan pada aspek daya tarik sebesar 1,75 dan aspek ketepatan sebesar 1,55 memperoleh kategori baik. Selanjutnya pada aspek kejelasan  sebesar  1,48  dan  aspek  efisiensi  sebesar  1,18  memperoleh  kategori  diatas  rata-rata.  Rekomendasi  yang dihasilkan dari evaluasi ini yaitu 7 rekomendasi pada halaman pengaduan, 14 rekomendasi pada halaman administrator, 10 rekomendasi pada halaman bupati, dan 9 rekomendasi pada halaman OPD. Evaluasi dan pengembangan kedepannya diharapkan dapat dijadikan sebagai salah satu rujukan bagi tim pengembang dalam melakukan perbaikan layanan pada sistem  LAPORBUP  serta  dapat  digunakan  sebagai  referensi  pendukung  dalam  pelaksanaan  evaluasi  sistem  informasi pada  perangkat  daerah  lainnya  di  lingkungan  Pemerintah  Kabupaten  Lombok  Timur  maupun  untuk  penelitian  lain selanjutnya.

## REFERENCES
[1] Bagian Hukum Kab Lombok Timur, Peraturan Bupati (Perbup) Tentang Perubahan Atas Peraturan Bupati Nomor 40 Tahun 2019 Tentang Kedudukan, Susunan Organisasi, Uraian Tugas, Fungsi dan Tata Kerja Dinas Komunikasi, Informatika dan Persandian. 2019.  Accessed:  May  17,  2023.  [Online].  Available:  https://peraturan.bpk.go.id/Home/Details/131500/perbup-kab-lombok- timur-no-40-tahun-2019
[2] Pemerintah  Pusat,  “Undang-undang  (UU)  No.  25  Tahun  2009.”  2009.  Accessed:  May  17,  2023.  [Online].  Available: https://peraturan.bpk.go.id/Home/Details/38748/uu-no-25-tahun-2009
[3] Kementerian Pendayagunaan Aparatur Negara dan Reformasi Birokrasi, Peraturan Menteri Pendayagunaan Aparatur Negara dan Reformasi  Birokrasi  tentang  Road  Map  Pengembangan  Sistem  Pengelolaan  Pengaduan  Pelayanan  Publik  Nasional.  2015. Accessed:  May  17,  2023.  [Online].  Available:  https://peraturan.bpk.go.id/Home/Details/132672/permen-pan-rb-no-3-tahun- 2015
[4] I. M. A. W. PUTRA and I. M. A. O. K. A. GUNAWAN, “Pengembangan Sistem Informasi Agenda, Arsip Dan Persuratan Bappeda Kabupaten Badung,” Majalah Ilmiah Universitas Tabanan, vol. 18, no. 1, pp. 63–70, 2021.
[5] I. M. A. O. Gunawan and H. Hariyanti, “Evaluasi Kepuasan Pengguna Pada Website SMK Wira Harapan Menggunakan System Usability Scale,” Smart Comp: Jurnalnya Orang Pintar Komputer, vol. 11, no. 4, pp. 607–614, 2022.
[6] S. Putro, K. Kusrini, and M. P. Kurniawan, “Penerapan Metode UEQ dan Cooperative Evaluation untuk Mengevaluasi User Experience  Lapor  Bantul,”  Creative  Information  Technology  Journal,  vol.  6,  no.  1,  p.  27,  2020,  doi: 10.24076/citec.2019v6i1.242.
[7] P. A. T. Ashshofiah, S. R. Natasia, Y. E. Hartanti, and J. Muhammad, “Evaluasi Usability Website Dinas Tenaga Kerja Dan Trasmigrasi Kabupaten XYZ Menggunakan Metode Think-Aloud,” Jurnal Teknologi Informasi, vol. 5, no. 2, pp. 134–143, 2021, doi: 10.36294/jurti.v5i2.2057.
[8] I. M. A. O. Gunawan, I. M. A. W. Putra, and K. L. Damayanthi, “Evaluasi Usability pada Website Pustakawan Ganeca Digital Menggunakan User Experience Questionnaire dan Think Aloud,” Syntax Literate; Jurnal Ilmiah Indonesia, vol. 6, no. 1, pp. 99– 111, 2021.
[9] N. Luh Putri Ari Wedayanti, N. Kadek Ayu Wirdiani, and I. Ketut Adi Purnawan, “Evaluasi Aspek Usability pada Aplikasi Simalu Menggunakan Metode Usability Testing,” Jurnal Ilmiah Merpati (Menara Penelitian Akademika Teknologi Informasi), vol. 7, no. 2, p. 113, 2019, doi: 10.24843/jim.2019.v07.i02.p03.
[10]  I.  Made  Agus  Oka  Gunawan  and  G.  Indrawan,  “SINTECH  Journal  |  67  PENGEMBANGAN  SISTEM  INFORMASI KEMAJUAN  AKADEMIK  MENGGUNAKAN  MODEL  INCREMENTAL  BERBASIS  EVALUASI  USABILITY  DAN WHITE BOX TESTING”, [Online]. Available: https://doi.org/10.31598
[11]  M. Sulistiya, Z. Mu, S. R. Natasia, and M. Yusuf, “Penerapan Metode Think Aloud untuk Evaluasi Usability pada Website Dinas Pendidikan dan Kebudayaan Kota MNO,” vol. 16, no. 1, pp. 25–32, 2020.
[12]  I. M. A. W. Putra, I. M. A. O. Gunawan, I. P. B. Suyasa, I. P. D. Suarnatha, and I. G. J. A. Putra, “EVALUASI LEARNING MANAGEMENT  SYSTEM  (LMS)  PADA  BADAN  KEPEGAWAIAN  DAN  PENGEMBANGAN  SUMBER  DAYA MANUSIA (BKPSDM) KABUPATEN TABANAN,” Community Development Journal: Jurnal Pengabdian Masyarakat, vol. 4, no. 2, pp. 2652–2660, 2023.
[13]  Juniantari  and  nyoman  T.  A.  Putra,  “Analisis  Sistem  Informasi  Dpmptsp  Menggunakan  Metode  User  Dpmptsp  Information System  Analysis  Using  the  User  Experience,”  Jurnal  Informatika  dan  Komputer,  vol.  4,  no.  1,  pp.  31–37,  2021,  doi: 10.33387/jiko.
[14]  A. L. T. Adinegoro, R. I. Rokhmawati, and H. M. Az-Zahra, “Analisis Pengalaman Pengguna pada Website E-commerce Dengan Menggunakan Usability Testing dan User Experience Questionnaire (UEQ) (Studi pada Lazada.co.id, Blibli.com dan JD.id),” Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, vol. 2, no. 11, pp. 5862–5870, 2018, [Online]. Available: http://j- ptiik.ub.ac.id/index.php/j-ptiik/article/view/3439
[15]  J. J. Tejada, J. Raymond, and B. Punzalan, “On the Misuse of Slovin’s Formula.”
[16]  T. Yuliyana, I. K. R. Arthana, and K. Agustini, “Usability Testing pada Aplikasi POTWIS,” JST (Jurnal Sains dan Teknologi), vol. 8, no. 1, p. 12, 2019, doi: 10.23887/jst-undiksha.v8i1.12081.
[17]  A. M. Ersa, “Usability Evaluation Website E-Government Layanan Aspirasi dan Pengaduan Online (LAPOR!): Perbandingan Antara Existing Product dan Development Product,” Uniersitas Indonesia, 2015.
[18]  M. Schrepp and J. Thomaschewski, “Handbook for the modular extension of the User Experience Questionnaire,” Mensch & Computer, pp. 1–19, 2019.
[19]  Justin  Mifsud,  “Usability  Metrics  -  A  Guide  To  Quantify  The  Usability  Of  Any    System  -  Usability  Geek.  ,”  2015. https://usabilitygeek.com/usability-metrics-a-guide-to-quantify-system-usability/ (accessed Dec. 19, 2022).
[20]  M. A. W. Sadnyana, I. G. M. Darmawiguna, S. Kom, and I. M. A. Pradnyana, “Evaluasi Usability Sistem Informasi Prakerin Pendidikan  Teknik  Informatika  di  Universitas  Pendidikan  Ganesha  dengan  Metode  Usability  Testing,”  KARMAPATI (Kumpulan Artikel Mahasiswa Pendidikan Teknik Informatika), vol. 6, no. 2, pp. 309–319, 2017.
[21]  A. Sularsa and A. S. Prihatmanto, “Evaluasi User Experiences Produk iDigital Museum dengan Menggunakan UEQ,” Jurnal Teknologi Informasi, vol. 2, no. 2, pp. 56–62, 2015.
[22]  H. B. Santoso, M. Schrepp, R. Yugo Kartono Isal, A. Y. Utomo, and B. Priyogi, “Measuring user experience of  the student- centered E-learning environment,” Journal of Educators Online, vol. 13, no. 1, pp. 1–79, 2016.
[23]  A. A. I. I. Paramitha, G. R. Dantes, and G. Indrawan, “The evaluation of web based academic progress information system using heuristic evaluation and user experience questionnaire (UEQ),” Proceedings of the 3rd International Conference on Informatics and Computing, ICIC 2018, pp. 1–6, 2018, doi: 10.1109/IAC.2018.8780430.
[24]  M. Schrepp, A. Hinderks, and J. Thomaschewski, “Construction of a Benchmark for the User Experience Questionnaire (UEQ),” International Journal of Interactive Multimedia and Artificial Intelligence, vol. 4, no. 4, p. 40, 2017, doi: 10.9781/ijimai.2017.445.
[25]  L.  D.  Farida,  “Pengukuran  User  Experience  Dengan  Pendekatan  Usability,”  Seminar  Nasional  Teknologi  Informasi  dan Multimedia 2016, pp. 6–7, 2016.