Terbit online pada laman web jurnal: http://ejournal.undhari.ac.id/index.php/jveit

## JVEIT
Journal of Vocational Education and Information Technology Vol. 4 No. 1 (2023) 22 - 28
ISSN Media Elektronik: 2722-5305
Usability Testing Aplikasi AIS Mobile Menggunakan Metode User Centered Design pada Mahasiswa Baru Sistem Informasi UIN Syarif Hidayatullah Jakarta
Bintang Fajar Mauludin 1 , A’ang Subiyakto 2 1 Sistem Informasi, Fakultas Sains dan Teknologi, UIN Syarif Hidayatullah Jakarta
2 Sistem Informasi, Fakultas Sains dan Teknologi, UIN Syarif Hidayatullah Jakarta
1 bintang.fm21@mhs.uinjkt.ac.id 2 aang_subiyakto@uinjkt.ac.id

## Abstract
Many  individuals  all  across  the  world  now  depend  heavily  on  their  smartphones  in  their  daily  lives.  Building  mobile applications gives the chance to connect with a very sizable and growing user base. Mobile applications have a large market potential due to their constantly  growing user base.  Icons on the  phone screen make it simple and quick to access mobile applications. Users don't need to open a browser or type a website address in order to utilize an application; they simply need to click on the application icon. According to the results of the questionnaire given to 21 respondents, UIN Jakarta's AIS Mobile application scored 64.87% on usability. Due to this, the User Centered Desig build method was used in this study to build the AIS  website  for  UIN  Syarif  Hidayatullah  Jakarta  in  order  to  increase  the  usability  value  of  the  website  in  the  aspects  of Learnability, Efficiency, Memorability, Error Prevention, and Satisfication Assessment.
Keywords: Usability Testing, User Centered Design, AIS Mobile

## Abstrak
Banyak orang di seluruh dunia sekarang sangat bergantung pada smartphone mereka dalam kehidupan sehari-hari. Merancang aplikasi  mobile  akan  memberi  kesempatan  untuk  terhubung  dengan  basis  pengguna  yang  sangat  besar  dan  berkembang. Aplikasi seluler memiliki potensi pasar yang besar karena basis penggunanya yang terus berkembang. Ikon pada layar ponsel mempermudah dan mempercepat akses ke aplikasi seluler. Pengguna tidak perlu membuka browser atau mengetik alamat situs web untuk menggunakan aplikasi; mereka hanya perlu mengklik ikon aplikasi. Berdasarkan hasil kuesioner yang diberikan kepada 21 responden, aplikasi AIS Mobile UIN Jakarta memperoleh nilai usability sebesar 64,87%. Oleh karena itu, dalam penelitian ini digunakan metode User Centered Design untuk membangun website AIS UIN Syarif Hidayatullah Jakarta guna meningkatkan nilai usability website pada aspek Learnability, Efficiency, Memorability, Error Prevention , dan Satisfication Assessment .
Kata kunci: Usability Testing, User Centered Design, AIS Mobile
© 2023 Jurnal JVEIT

## 1. Pendahuluan
Perkembangan  kuantitas  mahasiswa  UIN  Jakarta pada  saat  ini  sudah  sangat  banyak  dan  fasilitas  fisik kampus  sudah  tidak  sanggup  melayani  banyaknya mahasiswa seperti saat ini. Perkembangan teknologi saat ini  pun  sudah  sangat  berkembang  pesat.  Pemanfaatan sistem informasi di bidang akademik salah satu efisiensi teknologi untuk memfasilitasi seluruh mahasiswa untuk medapatkan layanan yang maksimal.
Layanan  akademik  di  perguruan  tinggi  telah diuntungkan  dengan  penggunaan  sistem  informasi akademik  [1,  2].  Perguruan  tinggi  harus  menyediakan infrastruktur  teknis  yang  memadai  dan  memenuhi kebutuhan  pengguna  layanan  [3]  untuk  memberikan layanan akademik yang berkualitas. Jaminan pelayanan yang baik dan konsisten [4] dengan kualitas  yang baik sangat  diharapkan.  Layanan  akademik  memerlukan manajemen semua layanan yang akurat dan berkualitas tinggi, termasuk respons terhadap setiap peristiwa yang
JVEIT (Journal of Vocational Education and Information Technology)  Vol . 4 No. 1 (2023) 29 – 33
mungkin terjadi. Proses insiden perlu dikonfigurasi agar tidak terjadi gangguan layanan [5].
Aplikasi Academic  Information  System (AIS)  UIN Jakarta  Mobile  merupakan  aplikasi  sistem  informasi yang  dirancang  untuk  memfasilitasi  mahasiswa  UIN Jakarta  dalam  mengakses  informasi  terkait  aktivitas perkuliahan seperti jadwal perkuliahan, pengisian kartu rencana  studi,  laporan  hasil  studi,  pengumuman perkuliahan,  dan  informasi  akademik  lainnya.  Untuk memastikan  kualitas  dan  kegunaan  aplikasi  ini, dilakukan  usability  testing  sebagai  bagian  dari  proses pengembangan dan peningkatan sistem.
Rumusan  masalah  dan  tujuan  penelitian  ini menunjukkan  pendekatan  yang  sistematis  dan berorientasi pada pengguna (UCD) dalam upaya untuk meningkatkan  kualitas  dan  efektivitas  aplikasi  AIS Mobile UIN Jakarta. Dengan mempertimbangkan hasil dari  usability  testing  dan  data  dari  System  Usability Scale, penelitian ini  bertujuan  untuk  mengidentifikasi kekurangan  dan  area  perbaikan  yang  dapat meningkatkan  pengalaman  pengguna  dan  efisiensi pembelajaran.  Melalui  proses  analisis  yang  terinci, rekomendasi perbaikan yang disusun diharapkan dapat memberikan  kontribusi  yang  signifikan  terhadap pengembangan aplikasi ini.

## 2. Metode Penelitian
Usability adalah atribut kualitas yang mengukur seberapa  nyaman  suatu  produk  atau  layanan  bagi pengguna  untuk digunakan untuk  mencapai  hasil  yang diinginkan  dan  memberikan  nilai  kepuasan  pengguna [6].  Menurut  Nielsen  (1993), usability memiliki beberapa  komponen,  yaitu learnability,  efficiency, memorability,  errors ,  dan satisfaction .  Kelima  kriteria tersebut  sudah  mencakup  kegunaan  pada  Aplikasi AIS Mobile UIN Jakarta [7].
Penulis  menggunakan User  Centered  Design (UCD) sebagai metode penelitian paper ini. UCD juga memperhatikan  desain  sosioteknis  suatu  sistem,  yang dapat  dianggap  sebagai  ruang  yang  dirancang  untuk komunikasi  dan  interaksi  manusia  karena  tidak  hanya memperhitungkan  pengguna  tetapi  juga  bagaimana pengguna  menggunakan  teknologi  dalam  aktivitas sehari-hari [8].
Teknik terpenting yang digunakan dalam proses UCD adalah evaluasi dengan menggunakan pendekatan yang berpusat  pada  pengguna. Pengguna sering ditarik ke  dalam  perspektif  desain  dan  penilaian  melalui partisipasi  pengguna  dalam  proses UCD [9].  Di beberapa  disiplin  ilmu, User  Interface dan User Experience, atau UI/UX ,  masalah  desain  telah diselesaikan dengan menggunakan metode UCD . Implementasinya, merencanakan dan mengembangkan  perawatan  kesehatan,  membuat produk berbasis komputer untuk warga lanjut usia [10], menggabungkan  konsep  paralel  kewirausahaan  dan Interaksi Manusia-Komputer (IMK), dan membuat dan
mengembangkan permainan komputer untuk pengguna dengan gangguan motorik [11].
Penelitian  ini  dilakukan  dengan  beberapa  tahap penelitian,  yaitu  dengan  melakukan    studi    literatur, penyebaran online kuesioner, user    research , pembuatan prototype , dan usability evaluation

## Gambar 1. Proses UCD
Pada  tahap  studi  literatur,  penulis    melakukan penelitian  pustaka  untuk memahami  teori-teori  dasar yang    berkaitan    langsung  dengan  penelitian  tentang rekomendasi perbaikan  dan usability  testing aplikasi AIS  Mobile dengan  menggunakan  metode User Centered  Design .  Selanjutnya  adalah  tahapan survey online kepada user sistem AIS Mobile UIN Jakarta pada saatn  ini  untuk  menemukan  permasalahan  dan  isu-isu yang perlu dievaluasi. Setelah mendapatkan hasil survey selanjutnya dilakukan perhitungan skor dan implementasi evaluasi.
Setelah  tahap  evaluasi,  akan  membuat  desain usulan  dengan  membuat prototype yang  akan  menjadi sistem usulan untuk sistem baru AIS Mobile UIN Jakarta yang merupakan hasil evaluasi user dari mahasiswa baru Sistem  Informasi  angkatan  2022.  Penulis  memilih mahasiswa baru angkatan 2022 untuk dijadikan subjek karena  mahasiswa  baru  masih  memakai  aplikasi AIS Mobile secara intens

## 3.   Hasil dan Pembahasan
Setelah  membuat  pertanyaan  untuk  kuesioner penelitian  pengguna  dan  membagikan  survei  kepada pengguna  yang  memenuhi  persyaratan,  penulis melakukan  perhitungan  untuk  menganalisis  hasil kuesioner.  Penulis  menentukan  nilai usability  user interface berdasarkan  masing-masing  komponen evaluasi  yang  diberikan  kepada  responden.  Ada  enam pertanyaan untuk masing-masing dari lima aspek.

## 3.1. Aspek Learnability
Pertanyaan  survey  atau  kuesioner  untuk  aspek learnability adalah:
JVEIT (Journal of Vocational Education and Information Technology)  Vol . 4 No. 1 (2023) 29 – 33
Tabel 1. Skor Aspek Learnability
Y (Nilai Maksimal) = 6 x 5 x 20 = 600 Total Skor   = 77 + 61+ 59+68 + 60 + 61 = 386 %𝑖𝑛𝑑𝑒𝑥 𝑙𝑒𝑎𝑟𝑛𝑎𝑏𝑖𝑙𝑖𝑡𝑦 = 𝑇𝑜𝑡𝑎𝑙 𝑠𝑘𝑜𝑟 𝑌 𝑥 100%
%𝑖𝑛𝑑𝑒𝑥 𝑙𝑒𝑎𝑟𝑛𝑎𝑏𝑖𝑙𝑖𝑡𝑦 = 386
600 𝑥 100% = 64,33%

## 3.2. Aspek Effeciency
Pertanyaan survey atau kuesioner untuk aspek effeciency adalah:
Tabel 2. Skor Aspek Efficiency
Y (Nilai Maksimal) = 6 x 5 x 20 = 600 Total Skor   = 67 + 61+ 60 + 61 + 64 + 60 = 373
%𝑖𝑛𝑑𝑒𝑥 𝑒𝑓𝑓𝑒𝑐𝑖𝑒𝑛𝑐𝑦 = 𝑇𝑜𝑡𝑎𝑙 𝑠𝑘𝑜𝑟
𝑌 𝑥 100%
%𝑖𝑛𝑑𝑒𝑥 𝑒𝑓𝑓𝑒𝑐𝑖𝑒𝑛𝑐𝑦 = 373 600 𝑥 100% = 62,17%

## 3.3. Aspek Memorability
Pertanyaan  survey  atau  kuesioner  untuk  aspek memorability adalah:
Tabel 3. Skor Aspek Memorability
Y (Nilai Maksimal) = 6 x 5 x 20 = 600 Total Skor   = 62 + 65+ 67 + 70 + 65 + 70
= 399
%𝑖𝑛𝑑𝑒𝑥 𝑚𝑒𝑚𝑜𝑟𝑎𝑏𝑖𝑙𝑖𝑡𝑦 = 𝑇𝑜𝑡𝑎𝑙 𝑠𝑘𝑜𝑟 𝑌 𝑥 100% %𝑖𝑛𝑑𝑒𝑥 𝑚𝑒𝑚𝑜𝑟𝑎𝑏𝑖𝑙𝑖𝑡𝑦 = 399
600 𝑥 100% = 66,50%

## 3.4. Aspek Error Prevention
Pertanyaan  survey  atau  kuesioner  untuk  aspek error prevention adalah:
Y (Nilai Maksimal) = 6 x 5 x 20 = 600 Total Skor   = 74 + 72+ 76 + 71 + 59 + 65 = 417
%𝑖𝑛𝑑𝑒𝑥 𝐸𝑃 = 𝑇𝑜𝑡𝑎𝑙 𝑠𝑘𝑜𝑟 𝑌 𝑥 100% %𝑖𝑛𝑑𝑒𝑥 𝐸𝑃 = 386 600 𝑥 100% = 69,50% Aspek Pertanyaan Skor Learnability Bahasa AIS Mobile saat ini mudah dimengerti 77 Tampilan Fitur saat ini tidak membuat pengguna bingung 61 Tata letak bantuan informasi  pada AIS  Mobile saat  ini  sudah  sesuai  dan mudah dimengerti
59
Penulisan  pada AIS  Mobile saat ini mudah dipahami 68 Aplikasi AIS Mobile saat ini mudah  digunakan  untuk mengakses menu perkuliahan 60
Fungsi Tombol/ Button pada AIS  Mobile saat  ini  mudah dipahami 61 Aspek Pertanyaan Skor Effeciency Menu  pada AIS  Mobile saat ini mudah digunakan 67 Tampilan Fitur tidak membuat pengguna bingung 61 Tata letak bantuan informasi sesuai dan mudah diakses 60 Susunan  Menu  pada AIS Mobile sudah efisien 61 Tata  letak  menu AIS  Mobile familiar dan mudah diakses 64 Fitur pada AIS Mobile mudah diakses 60
Aspek Pertanyaan Skor Memorability Tampilan tata letak halaman  awal  pada AIS Mobile mudah diingat 62 Judul  setiap  halaman jelas dan  informatif sehingga mudah diingat 65 Pilihan pengelompokkan menu  dan  Informasi pada AIS  Mobile mudah diingat 67 Tampilan Button Mudah diingat 70 Susunan Informasi Perkuliahan  pada AIS Mobile mudah diingat 65 Tampilan  warna  pada AIS Mobile mudah diingat 70
Tabel 5. Skor Aspek Satisfaction
JVEIT (Journal of Vocational Education and Information Technology)  Vol . 4 No. 1 (2023) 29 – 33

## Tabel 4. Skor Aspek Prevention
3.5. Aspek Satisfaction
Pertanyaan  survey  atau  kuesioner  untuk  aspek satisfaction adalah:
Tabel 5. Skor Aspek Satisfaction
Y (Nilai Maksimal) = 6 x 5 x 20 = 600 Total Skor   = 74 + 72+ 76 + 71 + 59 + 65
= 371 %𝑖𝑛𝑑𝑒𝑥 𝑠𝑎𝑡𝑖𝑠𝑓𝑎𝑐𝑡𝑖𝑜𝑛 = 𝑇𝑜𝑡𝑎𝑙 𝑠𝑘𝑜𝑟 𝑌 𝑥 100% %𝑖𝑛𝑑𝑒𝑥 𝑠𝑎𝑡𝑖𝑠𝑓𝑎𝑐𝑡𝑖𝑜𝑛 = 371 600 𝑥 100% = 61,83% %𝑖𝑛𝑑𝑒𝑥 𝑟𝑎𝑡𝑎 − 𝑟𝑎𝑡𝑎 = 324,33%
5 = 64,87%

## Tabel 6. Kriteria Penilaian
Menurut  tabel  di  atas,  skor  64,87%  termasuk  kategori menarik,  sehingga  beberapa  fitur  tidak  perlu digantikantetapi  hanya  perlu  ditambahkan  usabilitynya saja.  Dengan  menggunakan  hasil  evaluasi,  penulis membuat  sistem  usulan  berupa  interface  baru  dari aplikasi AIS Mobile UIN Jakarta.
Gambar 2. UI Profile
Berikut  adalah  tampilan  halaman profile ,  penulis menggunakan  warna  kuning  sebagai  warna  pallete karena  berasa  lebih  fresh  dan  lebih  modern.  Dalam halaman profile terdapat  foto  profil,  nama,  NIM, program  studi,  fakultas,  angkatan,  jumlah  SKS  yang diambil, dan identitas pribadi lainnya.
Aspek Pertanyaan Skor Error Prevention Terdapat  solusi  ketika pengguna  lupa  dengan password personal 74 Struktur  halaman AIS Mobile konsisten 72 Terdapat  informasi  yang menunjukkan semester pengguna 76 Terdapat perubahan tampilan ketika dilakukan tindakan 71 Terdapat pilihan “search” di AIS  Mobile untuk memudahkan  pencarian kemudahan penelusuran
59 Ada atribut, gambar, atau informasi  jika  tindakan fungsi  yang  dipilih  tidak sesuai 65 Aspek Pertanyaan Skor Satisfaction Tampilan Menu Perkuliahan  pada AIS Mobile saat  ini  sudah terlihat modern 54 Font atau  Teks  saat  ini nyaman dilihat 65 Kombinasi Pewarnaan Tampilan AIS Mobile saat ini sudah memuaskan 61 Tampilan AIS Mobile saat ini pada menu perkuliahan terlihat simple 65 Pengguna  puas  melihat design AIS Mobile saat ini 60 Tombol/ Button pada AIS
Mobile sudah  terlihat modern dan efektif 66
Skala Bobot Nilai Presentase Tidak Menarik 1 0-19,9% Kurang Menarik 2 20-39,9% Biasa Saja 3 40-59,9% Menarik 4 60-79,9% Sangat Menarik 5 80-100%
JVEIT (Journal of Vocational Education and Information Technology)  Vol . 4 No. 1 (2023) 29 – 33

## Gambar 3. UI Home Page
Berikut  adalah  halaman home atau  utama.  Di  sini terdapat  beberapa  atribut  baru  seperti dashboard pengingat  kelas  di  waktu  terdekat  beserta  mata  kuliah dan  ruangannya,  terdapat  menu-menu  lainnya  seperti daftar  KRS,  aktivitas  kuliah,  cari  ruangan,  presensi, penilaian, laporan KHS, laporan keuangan, dan lainnya, serta  terdapat  grafik  prestasi  mahasiswa  berdasarkan indeks  prestasi  yang  didapat  mahasiswa  setiap semesternya.
Gambar 4. UI KRS Page
Berikut  adalah  halaman  daftar  KRS  yang  diambil,  di sini  secara  keseluruhan  memiliki  fitur  yang  sama dengan aplikasi  yang saat  ini  yaitu terdapat informasi nama  mata  kuliah,  ruangan,  waktu,  dan  dosen. Perubahannya  terdapat  tambahan  tombol scan untuk keperluan presensi jika perlu dan task jika di pertemuan hari  tersebut  dosen  pengampu  memberikan  tugas kepada  mahasiswa  dan  mahasiswa  dapat  langsung mengumpulkan lewat aplikasi ini.

## 4.   Kesimpulan
Berdasarkan hasil Usability Testing aplikasi AIS Mobile  UIN  Jakarta  menggunakan  metode  User Centered  Design  (UCD)  pada  mahasiswa  baru  Sistem Informasi Universitas Islam Negeri Syarif Hidayatullah Jakarta  tahun  2022,  didapatkan  bahwa  aplikasi  ini memperoleh  indeks  usability  sebesar  64,87%,  yang masuk  dalam  kategori  "Menarik".  Ini  menunjukkan bahwa sebagian besar pengguna menyukai pengalaman menggunakan  aplikasi  ini  dan  merasa  terbantu  dalam menjalani  proses  pembelajaran.  Meskipun  demikian, masih  terdapat  ruang  untuk  peningkatan  dalam  hal usability agar aplikasi ini dapat lebih efektif dan nyaman digunakan oleh pengguna.

## Daftar Rujukan
[1] B Phillips 2013 Information Technology Management Practice: Impacts upon Effectiveness J. Organ. End User Comput. 25(4) pp 50–74.
[2] R  Ajami  and  I  Technology  2013  IT  Governance  in  Higher Education Institutions in UAE Int. J.It/bus. Alignment Gov. 4(2) pp 1–18.
[3] R. Pereira 2012 Designing a New Integrated IT Governance and IT  Management  Framework  Based  on  Both  Scientific  and Practitioner Viewpoint Int. J. Enterp. Inf. Syst. 8(4) pp 1–43.
[4] S H Parisa Aasi, and Lazar Rusu 2014 Culture Influence on IT Governance Int. J. It/bus. Alignment Gov. 5(1) pp 34–49.
[5] A Nabiollahi, R A Alias, and S Sahibuddin 2010 A Service Based Framework  for  Integration  of  ITIL  V3  and  Enterprise Architecture IEEE pp 1–5.
[6]   Nielsen  J.,  2012.  Usability  101  :  Introduction  To  Usability.
[online] Tersedia di: <https://www.nngroup.com/articles/usability-101- introduction-to-usability/> [7]   Rosalinda,  S.  E.  P.,  Ulinnuha,  N.,  &  Rolliawati,  D.  (2018).
Evaluasi Usability Sistem Informasi Manajemen Kepegawaian Berbasis  Iso  9241-11  Menggunakan  Metode  Partial  Least Square.  Jurnal  Komunika :  Jurnal  Komunikasi,  Media  Dan Informatika, 7(3), 127–134
[8] Issa, T. and Isaias, P. (2014) HCI and Usability Principles and Guidelines  in  the  Website  Development  Process:  An International Perspective. In: Lacka, E., Chan, H. and Yip, N., Eds., E-Commerce Platform Acceptance, Springer, Berlin, 69- 189. https://doi.org/10.1007/978-3-319-06121-4_9
[9] Ritter,  F.  E.,  Baxter,  G.  D.,  &  Churchill,  E.  F.  (2014). Foundations  for  Designing  User-Centered  Systems :  What System Designers Need To Know about People. In Springer
[10]   C. LeRouge, J. Ma, S. Sneha and K. Tolle, "User profiles and personas  in  the  design  and  development  of  consumer  health technologies,"  International  Journal  of  Medical  Informatics, vol. 82, no. 11, pp. e251-e268, 2013.
[11]   L. A.  Zaina and  A.  Álvaro,  "A design methodology  for  user- centered innovation in the software development area," Journal of Systems and Software, vol. 110, no. December, pp. 155-177, 2015