Nurmiati, Evaluasi Usability Pada Aplikasi (Microsoft Word) Menggunakan Questionnaires Nielsen's Attributes Of Usability (NAU) (Studi Kasus : Mahasiswa Program Studi Biologi UIN Syarif Hidayatullah Jakarta Tahun 2021)

## EVALUASI USABILITY APLIKASI MICROSOFT WORD MENGGUNAKAN QUESTIONNAIRES
NIELSEN'S ATTRIBUTES OF USABILITY (NAU) (STUDI KASUS : MAHASISWA PROGRAM STUDI BIOLOGI UIN SYARIF HIDAYATULLAH JAKARTA TAHUN 2021)
1 Evy Nurmiati, 2 Muhammad Shidqa Irahman
12 Sistem Informasi, Fakultas Sains dan Teknologi, UIN Syarif Hidayatullah Jakarta, Jl. Ir. H. Djuanda No. 95, Ciputat Timur, Tangerang Selatan 15412, Banten Email: evy.nurmiati@uinjkt.ac.id , shidqa.irahman21@mhs.uinjkt.ac.id

## ABSTRAK
Microsoft 365 merupakan suatu platform yang berisi kumpulan media perangkat lunak ( software ) yang bertujuan untuk mendukung produktivitas dan membantu dalam mengakses suatu informasi para penggunanya. Microsoft 365 ini juga merupakan software yang berbasis pada cloud dan terdiri dari  berbagai software pendukung  yang  bertujuan  untuk  memenuhi  produktivitas  para penggunanya.  Microsoft  365  terdiri  dari  berbagai software Microsoft  lainnya  seperti  Microsoft Word, Microsoft Excel, Microsoft Power Point, dan lain sebagainya. Salah satu software yang ada pada  Microsoft  365  ialah  Microsoft  Word.  Microsoft  Word  biasanya  digunakan  oleh  para penggunanya untuk melakukan perubahan (editing) pada suatu dokumen yang berisi teks laporan dan dokumen tertulis lainnya yang bersifat digital. Oleh karena itu para pengguna Microsoft Word harus  mudah  memahami  penggunaan  fitur  pada  Microsoft  Word.  Pada  paper  ini  penulis  akan melakukan  Evaluasi Usability terhadap  penggunaan  Microsoft  Word  yang  menggunakan Questionnaires  Nielsen’s  Attributes Of  Usability (NAU)  sebagai  Teknik  pengujiannya. Oleh  karena itu, dalam paper ini dilakukan pengujian evaluasi usability berdasarkan 5 kategori yaitu Learnability, Efficiency, Memorability, Error, dan Satisfaction . Keywords : Evaluasi Usability; Questionnaires Nielsen’s Attributes Of Usability ; Microsoft Word

## 1 PENDAHULUAN
Dalam  pengembangan  perangkat  lunak,  usability  testing  adalah  salah  satu  metode  yang penting  untuk  mengevaluasi  pengalaman  pengguna.  Evaluasi  usability  testing  bertujuan  untuk memastikan  bahwa  pengguna  dapat  menggunakan  suatu  produk  atau  aplikasi  dengan  mudah, efisien, dan tanpa hambatan. Pengguna Microsoft Word memiliki berbagai kebutuhan dan tingkat keahlian yang berbeda-beda. Beberapa pengguna mungkin menggunakan Word untuk keperluan pribadi  para  pengguna  seperti  menulis  surat  atau  membuat  daftar  belanja,  pada  umumnya digunakan  untuk  keperluan  profesional  seperti  membuat  laporan  atau  proposal  bisnis.  Dalam semua kasus, penting bagi pengguna untuk dapat dengan cepat dan efisien menggunakan fitur- fitur yang disediakan oleh Word.
Evaluasi  usability  testing  pada  Microsoft  Word  dapat  membantu  mengidentifikasi  masalah yang  mungkin  timbul  dalam  penggunaan  aplikasi  ini.  Misalnya,  masalah  dapat  muncul  dalam navigasi antarmuka pengguna, pengaturan format, fitur kolaborasi, atau dalam penggunaan alat bantu seperti spell checker atau pemformatan teks. Dengan melakukan evaluasi usability testing pada  Microsoft  Word  dapat  menambah  ilmu  yang  berharga  tentang  bagaimana  pengguna menggunakan Word, kesulitan yang mereka hadapi, dan area di mana perbaikan diperlukan.
Hasil  dari  evaluasi  usability  testing  juga  dapat  digunakan  untuk  menginformasikan pengembangan  dan  perbaikan  produk  di  masa  depan.  Tim  pengembang  Microsoft  dapat menggunakan  masukan  dari  pengguna  untuk  membuat  perubahan  pada  antarmuka  pengguna, menambahkan  fitur  baru,  atau  meningkatkan  fitur  yang  sudah  ada.  Hal  ini  akan  membantu meningkatkan  pengalaman  pengguna  secara  keseluruhan  dan  menjaga  keunggulan  kompetitif Microsoft  Word  di  pasar  perangkat  lunak  pengolah  kata.setelah  diimplementasikannya  sistem informasi akademik tersebut menuju ke arah lebih matang.
Evaluasi  usability  testing  pada  Microsoft  Word  adalah  langkah  penting  untuk  memastikan bahwa  pengguna  dapat  menggunakan  aplikasi  dengan  mudah  dan  efisien.  Dengan  melibatkan pengguna  dalam  evaluasi  ini,  Microsoft  dapat  memahami  kebutuhan  dan  tantangan  pengguna secara lebih baik, serta melakukan perbaikan yang diperlukan untuk meningkatkan pengalaman pengguna dalam penggunaan Microsoft Word. Dengan rumusan masalah yaitu “Bagaimana hasil Evaluasi Usability pada aplikasi Microsoft Word menggunakan
Teknik  pengujian Quesionnare  Nielsen  Attribute  Usability (NAU)  pada  Mahasiswa  Program Studi Biologi Universitas Islam Negeri Syarif Hidayllah  Jakarta  Tahun  2021?”.  Adapun tujuan dari penelitian  ini  adalah  mengetahui  tingkat  usability  (tingkat  kemudahan  ( learnability ),  tingkat kecepatan  ( efficiency ),  tingkat  daya  ingat  ( memorability ),  tingkat  kesalahan  ( error ),  dan  tingkat kepuasan  ( satisfaction )  terhadap  pengguna)  pada  Microsoft  Word  yang  mungkin  akan dikembangkan untuk versi berikutnya khusunya pada mahasiswa program studi biologi Universitas Islam Negeri Syarif Hidayatullah Jakarta Tahun 2021

## 2 TINJAUAN PUSTAKA
Usability merupakan suatu atribut kualitas yang memiliki fungsi untuk mengukur tingkat kemudahan pengguna atau user ketika menggunakan seuatu produk atau layanan agar mencapai sesuai tujuan yang telah diharapkan sehingga dapat menghasilkan nilai kepuasan pengguna [1].
Pada dasarnya penting untuk disadari bahwa usability bukanlah properti satu dimensi dari user interface [2]. Usability memiliki banyak komponen dengan lima atribut antara lain learnability (mudah dipelajari), efficiency (efisien), memorability (mudah diingat), errors (pencegahan kesalahan), satisfaction (kepuasan pengguna). Dari aspek pengukuran tersebut dapat disimpulkan bahwa usability terletak pada interaksi pengguna dengan produk atau sistem.
Evaluasi usability dalam prakteknya sebagian besar biaya yang dikeluarkan pada pengembangan sistem digunakan untuk perawatan karena permasalahan usability pengguna dengan sistem dan bukan karena permasalahan teknis [3]. Sehingga dengan adanya keadaan tersebut dapat memberikan gambaran tentang pentingnya evaluasi usability dengan tujuan memperjelas adanya kebutuhan terhadap pengembangan sistem dari sebelum sampai sesudah proses pengembangan itu diterapkan.
Nielsen Attributtes of Usability (NAU) merupakan suatu teknik kuesioner dari metode pengujian inquiry usability yang dikembangkan oleh (Nielsen J., 1993) yang mendefinisikan bahwa usability adalah suatu tolak ukur kualitas sistem yang mengkaji tentang seberapa mudah tampilan antarmuka dapat digunakan  oleh  pengguna  (3.  Standar  Nielsen  Model)  [4].  Untuk  menjalankan pengujian usability dengan kuesioner Nielsen’s Attributtes of Usability (NAU)
terdapat tiga tahap standar yang perlu dilakukan, yang diantaranya adalah:
1. Menyusun pertanyaan pengujian Nielsen Attributtes of Usability yang didasari oleh atribut pertanyaan yang mempunyai beberapa indikator dan butir pertanyaan.
2. Mengukur hasil pengujian berdasarkan skala pengujian kuesioner Nielsen Attributtes of Usability
3. Meninjau pengujian dan melakukan penghitungan dengan statistik deskriptif, modus, rata-rata, dan median sebagai hasil dari pengujian Nielsen Attributtes of Usability .
Nurmiati, Evaluasi Usability Pada Aplikasi (Microsoft Word) Menggunakan Questionnaires Nielsen's Attributes Of Usability (NAU) (Studi Kasus : Mahasiswa Program Studi Biologi UIN Syarif Hidayatullah Jakarta Tahun 2021)

## 3 METODE PENELITIAN
Metodologi Penelitian yang digunakan pada penelitian mengacu pada Teknik pengumpulan data yang bertujuan untuk mengumpulkan data-data yang dibutuhkan pada penelitian ini. Adapun Teknik pengumpulan data yang digunakan pada penelitian ini ialah studi literatur dan kuesioner Nielsen's Attributes of Usability.  Pada penelitian  ini  metode  pengumpulan  data  yang  digunakan ialah  dengan  menggunakan  kuesioner  atau  angket  yang  berisi  beberapa  pertanyaan  dengan jawaban yang bertipe pilihan ganda.
Pada kuesioner tersebut tipe jawabannya merupakan pilihan ganda yang mengacu pada skala likert, yang dimana pada masing-masing pilihan dikategorikan dengan nilai yang berbeda dengan rincian  skala  1-5  yang  menggambarkan  persetujuan  dari  setiap  butir  pertanyaan  yang  ada  pada kuesioner  yang  digunakan.  Berikut  rincian  penilaian  kuesioner  menggunakan  skala  likert  yang digunakan pada penelitian ini :
Tabel 1. Kategori Penilaian pada Skala Likert Skala Bobot Nilai Keterangan 1 1 Sangat Tidak Setuju (STS) 2 2 Tidak Setuju (TS) 3 3 Netral (N) 4 4 Setuju (S) 5 5 Sangat Setuju (SS)
Adapun  responden  pada  penelitian  ini  merupakan  mahasiswa  program  studi  Biologi Universitas Islam Negeri Syarif Hidayatullah Jakarta Tahun 2021 dengan total responden 11 orang yang diambil secara acak dan memenuhi kategori berikut :
1. Mahasiswa Aktif Program  Studi Biologi  Universitas Islam  Negeri  Syarif Hidayatullah Jakarta Tahun 2021
2. Pernah Menggunakan Aplikasi Microsoft Word

## 4 HASIL DAN PEMBAHASAN
Pada  aplikasi  Microsoft  Word  akan  dilakukan  pengujian  terhadap  usability  sebagai  bahan untuk  evaluasi  usability  pada  Microsoft  Word,  oleh  karena  itu  disusunlah  kuesioner  yang  akan diberikan  kepada  responden  berisi  total  28  butir  pertanyaan  dengan  rincian  yang  mencakup Learnability (6 Butir), Effeciency (7 Butir), Memorability (4 Butir), Error (4 Butir), dan Satisfaction (3 Butir).
Tabel 2. Pertanyaan Questionnaires Nielsen Attributtes of Usability (NAU) Item Soal Kode Soal Indikator Learnability Aplikasi Microsoft word mudah digunakan ? QNAU-01 Easy to understand Aplikasi Microsoft word mudah dipelajari ? QNAU-02 Apakah tampilan aplikasi Microsoft word mudah dikenal ? QNAU-03 Easy to look for specific information Apakah tampilan aplikasi Microsoft Word sangat simple ? QNAU-04 Apakah fitur aplikasi Microsoft word sederhana ? QNAU-05 Easy to identify navigational Aplikasi  Microsoft  word  memudahkan  pengguna  memahami konten informasi yang disajikan ? QNAU-06 Efficiency Apakah aplikasi Microsoft Word bekerja secara efektif ? QNAU-07 Easy to reach quickly Apakah aplikasi Microsoft Word bekerja secara efisien ? QNAU-08 Aplikasi Microsoft Word mempermudah pekerjaan ? QNAU-09 Aplikasi Microsoft Word mempercepat pekerjaan ? QNAU-10 Aplikasi  Microsoft  Word  tidak  memerlukan  RAM  yang  besar saat digunakan ? QNAU-11 Easy to use
Nurmiati, Evaluasi Usability Pada Aplikasi (Microsoft Word) Menggunakan Questionnaires Nielsen's Attributes Of Usability (NAU) (Studi Kasus : Mahasiswa Program Studi Biologi UIN Syarif Hidayatullah Jakarta Tahun 2021)
Apakah aplikasi Microsoft Word tidak memerlukan ROM yang besar saat menyimpan file ? QNAU-12 Membuka Microsoft Word tidak memerlukan waktu yang lama ? QNAU-13 Memorability Apakah aplikasi Microsoft Word mudah diingat ? QNAU-14 Easy to remember Tools pada Microsoft Word mudah diingat ? QNAU-15 Menu pada Microsoft Word mudah diingat ? QNAU-16 Apakah  pengguna  mudah  mengingat  cara  penggunaan aplikasi Microsoft Word ? QNAU-17 Easy to reestablish Error Apakah  pengguna  tidak  pernah  menemukan  error  saat menggunakan aplikasi Microsoft Word ? QNAU-18 Few number of errors detected Pengguna  dengan  mudah  mengatasi  kesalahan  dalam menggunakan aplikasi Microsoft Word ? QNAU-19 Easy to fix Pengguna  dengan  cepat  mengatasi  kesalahan  dalam menggunakan aplikasi Microsoft Word ? QNAU-20 Apakah pada aplikasi Microsoft word ada panduan mengatasi kesalahan ? QNAU-21 Satisfaction Aplikasi Microsoft Word menyediakan informasi yang jelas ? QNAU-22 Comfort to use Apakah  komposisi  warna  dan  peletakan  fitur  yang  ada  pada Mikrosoft Word tidak membingungkan ? QNAU-23 Microsoft Word menghemat waktu saat digunakan ? QNAU-24 System pleasant to use
Berdasarkan persentase distribusi jawaban yang ada pada tabel diatas, dapat diketahui untuk pertanyaan  dengan  atribut learnability .  Dengan  pilihan  1  (Sangat  Tidak  Setuju)  dipilih  oleh  1,51% partisipan. Pilihan 2 (Tidak Setuju) dipilih oleh 6,06%. Pilihan 3 (Cukup) dipilih oleh sekitar 22,75% partisipan. Pilihan 4 (Setuju) dipilih oleh 46,98% partisipan, dan pilihan 5 (Sangat Setuju) dipilih oleh 22,75% partisipan.
Berdasarkan  persentase  distribusi  jawaban  yang  ada  pada  tabel  diatas,  dapat  diketahui  untuk pertanyaan  dengan  atribut Efficiency .  Dengan  pilihan  1  (Sangat  Tidak  Setuju)  dipilih  oleh  0% partisipan. Pilihan 2 (Tidak Setuju) dipilih oleh 1,3%. Pilihan 3 (Cukup) dipilih oleh sekitar 23,38% partisipan. Pilihan 4 (Setuju) dipilih oleh 49,31% partisipan, dan pilihan 5 (Sangat Setuju) dipilih oleh 25,98% partisipan.
Berdasarkan persentase distribusi jawaban yang ada pada tabel diatas, dapat diketahui untuk pertanyaan  dengan  atribut Memorability .  Dengan  pilihan  1  (Sangat  Tidak  Setuju)  dipilih  oleh  0% partisipan.  Pilihan  2  (Tidak  Setuju)  dipilih  oleh  9,1%.  Pilihan  3  (Cukup)  dipilih  oleh  sekitar  15,92% partisipan. Pilihan 4 (Setuju) dipilih oleh 40,97% partisipan, dan pilihan 5 (Sangat Setuju) dipilih oleh 34,12% partisipan.
Berdasarkan persentase distribusi jawaban yang ada pada tabel diatas, dapat diketahui untuk pertanyaan dengan atribut Error . Dengan pilihan 1 (Sangat Tidak Setuju) dipilih oleh 0% partisipan. Pilihan 2 (Tidak Setuju) dipilih oleh 13,65%. Pilihan 3 (Cukup) dipilih oleh sekitar 36,37% partisipan. Pilihan  4  (Setuju)  dipilih  oleh  49,97%  partisipan,  dan  pilihan  5  (Sangat  Setuju)  dipilih  oleh  0% partisipan.
Berdasarkan persentase distribusi jawaban yang ada pada tabel diatas, dapat diketahui untuk pertanyaan  dengan  atribut Satisfaction .  Dengan  pilihan  1  (Sangat  Tidak  Setuju)  dipilih  oleh  0% partisipan.  Pilihan  2  (Tidak  Setuju)  dipilih  oleh  9,1%.  Pilihan  3  (Cukup)  dipilih  oleh  sekitar  24,26% partisipan. Pilihan 4 (Setuju) dipilih oleh 54,53% partisipan, dan pilihan 5 (Sangat Setuju) dipilih oleh 12,13% partisipan.
Nurmiati, Evaluasi Usability Pada Aplikasi (Microsoft Word) Menggunakan Questionnaires Nielsen's Attributes Of Usability (NAU) (Studi Kasus : Mahasiswa Program Studi Biologi UIN Syarif Hidayatullah Jakarta Tahun 2021)
Tabel 3. Hasil Perhitungan Hasil Questionnaires Nielsen Attributtes of Usability (NAU) Kode Soal Indikator Mean Modus Hasil Learnability QNAU-1 QNAU-2 Easy to understand 4,31 / 5 5 Sangat Setuju (SS) QNAU-3 QNAU-4 Easy to look for specific information 4,36 / 4 4 Setuju (S) QNAU-5 QNAU-6 Easy to identify navigational 3,54 / 4 4 Setuju (S) Rata-Rata Learnability 4,07 Setuju (S) Efficiency QNAU-7 QNAU-8 QNAU-9 QNAU-10 Easy to reach quickly 3,54 / 4 4 Setuju (S) QNAU-11 QNAU-12 QNAU-13 Easy to use 3,75 / 3 3 Netral (N) Rata-Rata Efficiency 3,54 Setuju (S) Memorability QNAU-14 QNAU-15 QNAU-16 Easy to remember 3,96 / 4 4 Setuju (S) QNAU-17 Easy to reestablish 4,09 / 4 4 Setuju (S) Rata-Rata Memorability 4,02 Setuju (S) Error QNAU-18 Few number of errors detected 4 / 4 4 Setuju (S) QNAU-19 QNAU-20 QNAU-21 Easy to fix 3,3 / 4 4 Setuju (S) Rata-Rata Error 3,65 Setuju (S) Satisfaction QNAU-22 QNAU-23 Comfort to use 3,68 / 4 4 Setuju (S) QNAU-24 System pleasant to use 3,72 / 4 4 Setuju (S) Rata-Rata Satisfaction 3,7 Setuju (S) Rata-Rata Total Evaluasi Usability 3,80 Setuju (S)
Pada  masing-masing  atribut  terdapat  beberapa  indikator  penilaian  yang  berfungsi  untuk mengetahui  aspek  terhadap  evaluasi usability yang  telah  dilakukan.  Untuk  atribut Learnability dengan rata-rata keseluruhan 4,07 (Setuju) terdapat 3 indikator yaitu Easy to understand, Easy to look for specific information , dan Easy to identify navigational . Untuk atribut Efficiency dengan rata-rata keseluruhan 3,54 (Setuju) terdapat 2 indikator yaitu Easy to reach quickly dan Easy to Use . Untuk atribut Memorability dengan rata-rata keseluruhan 4,02 (Setuju) terdapat 2 indikator yaitu Easy to remember dan Easy to reestablish . Untuk atribut Error dengan  rata-rata  keseluruhan  3,65  (Setuju)  terdapat  2  indikator  yaitu Few  number  of  errors detected dan Easy  to  fix .  Untuk  atribut Satisfaction dengan  rata-rata  keseluruhan  3,7  (Setuju) terdapat 2 indikator yaitu Comfort to use dan System pleasant to use . Sehingga diperoleh rata-rata keseluruhan yaitu 3,8 (Setuju)
Nurmiati, Evaluasi Usability Pada Aplikasi (Microsoft Word) Menggunakan Questionnaires Nielsen's Attributes Of Usability (NAU) (Studi Kasus : Mahasiswa Program Studi Biologi UIN Syarif Hidayatullah Jakarta Tahun 2021)

## 5 KESIMPULAN
Berdasarkan  hasil  evaluasi Usability dengan  teknik  pengujian Questionnaires  Nielsen Attributtes  of  Usability (NAU)  yang  dilakukan  oleh  peneliti  dan  telah  diujikan  pada  MMicrosoft Word dengan responden yaitu mahasiswa program studi  Biologi  Universitas Islam  Negeri  Syarif Hidayatullah Jakarta tahun 2021 yang diambil secara acak. Pada evaluasi usability yang dilakukan berdasarkan dalam 5 kategori atribut usability Nielsen Model yaitu Learnability (dengan indikator Easy to understand, Easy to look for specific information, dan Easy to identify navigational ), Efficiency (dengan indikator Easy to reach quickly dan Easy to Use ), Memorability (dengan indikator Easy to remember dan Easy to reestablish ), Error (dengan indikator Few number of errors detected dan Easy to fix ), dan Satisfaction (dengan indikator Comfort to use dan System pleasant to use ) mendapatkan hasil setuju bahwa usability sudah berjalan dengan baik dan semestinya dengan rata-rata total nilai dari seluruh atribut adalah 3.80 (Setuju) dari skala penilaian 5 (Sangat Setuju)

## REFERENSI
[1] Nielsen  J.,  2012.  Usability  101  :  Introduction  To  Usability.  [online]  Tersedia  di: <https://www.nngroup.com/articles/usability-101-introduction-to-usability/>.
[2] J. Nielsen (1992), “The Usability Engineering Life Cycle,” Computer (Long. Beach. Calif)., vol. 25, no. 3, pp., doi: 10.1109/2.12150310.33364/algoritma/v.11-2.341.
[3] Prayoga.  (2014).  Analisis  Usability  Pada  Aplikasi  Berbasis  Web  dengan  Mengadopsi  Model Kepuasan Pengguna (User Satisfaction). Jurnal Sistem Informasi MTI-UI, 1412-8896..
[4] Nielsen, J. (1993). Usability Inspection Method. New York: John Willey & Sons.
[5] D.Yuniarto,M.Suryadi,  E.Firmansyah,  D.  Herdiana,  A.  Subiyakto,  and  A.  B.  A.  Rahman, “Integrating the Readiness and Usability Models for Assessing the Information System Use,” 2018 6th Int, Conf. Cyber IT Serv. Manag. CITSM 2018, no. Citsm, pp. 5-10, 2019.
[6] Carroll, J. M. (2015). Human Computer Interaction- Brief Intro. In The Encyclopedia of Human- Computer Interaction, 2nd Ed. Interaction Design Foundation.
[7] Hornbaek, K. 2006. Current practice in measuring usability: Challenges to usability studies and research. International journal of human-computer studies, 64(2), 79-102.
[8] J.  Nielsen  dan  M.  Tahir, Homepage  usability:  50 websites   deconstructed.   New   Riders Publishing, 2001.
[9] J. Nielsen, Usability inspection methods. ACM, 1994
[10] Hidayah, N. A., Subiyakto, A., & Setyaningsih, F. (2019, 6-8 Nov. 2019). Combining Webqual and Importance Performance Analysis for Assessing A Government Website. Paper presented on the  2019  7th  International  Conference  on  Cyber  and  IT  Service  Management  (CITSM).  DOI: https://doi.org/10.1109/CITSM47753.2019.8965408
[11] Subiyakto,  A.,  Rahmi,  Y.,  Kumaladewi,  N.,  Huda,  M.  Q.,  Hasanati,  N.,  Haryanto,  T.  (2020). Investigating  Quality  of  Website  Design  Using  Mixed-Method  Usability  Testing  Framework. Paper presented on the Science and Mathematics International Conference (SMIC) 2020. DOI: https://doi.org/10.1063/5.0041677
[12] Subiyakto,  A.,  Amimah,  A.,  Nurmiati,  E.,  Zulfiandri,  Z.,  Rustamaji,  E.,  Haryanto,  T.,  &  Abd Rahman, T. K. (2022). Investigating User Experience to Redesign User Interface Using User- Centered  Design  Approach.  ICIC  Express  Letters,  Part  B:  Applications,  13(8),  861-868.  DOI: https://doi.org/10.24507/icicelb.13.08.827
[13] Zulfiabdri, Z., Putri, S. N., & Subiyakto, A. (2021, September). Evaluating User Interface of A Transport  Application  Using  Usability  Evaluation  Methods.  In  2021  9th  International Conference  on  Cyber  and  IT  Service  Management  (CITSM)  (pp.  1-7).  IEEE.  DOI: https://doi.org/10.1109/citsm52892.2021.9589020
[14] Subiyakto,  A.,  & Wijaya,  D. J. (2018).  Evaluasi Website Badan  Pusat  Stastistik  Menggunakan Metode Usability Testing. Applied Information System and Management (AISM), 1(2), 81-89. DOI: 10.15408/aism.v1i2.20103
[15] Yuniarto, D., Rahman, A. B. A., Subiyakto, A., Herdiana, D., Firmansyah, E., & Marliana, R. R. (2022, September). Enhancing the Usability of Information Systems Internal Quality Assurance Systems: Recently Formed Universities Study. In 2022 10th International Conference on Cyber and IT Service Management (CITSM) (pp. 1-8). IEEE. DOI:
https://doi.org/10.1109/citsm56380.2022.9936003
[16] Subiyakto,  A.,  Aisy, R., Sudarsono,  B.  G.,  Sihotang,  S.,  Setiyadi, D.,  Sani, A.  (2020).  Empirical Evaluation  of  User  Experience  Using  Lean  Product  and  Process  Development:  A  Public Institution  Case  Study  in  Indonesia.  Paper  presented  on  the  Science  and  Mathematics International Conference (SMIC) 2020. DOI: https://doi.org/10.1063/5.0041676