Journal Homepage : http://jurnal.sar.ac.id/index.php/satin

## Pengujian User Experience Pada Aplikasi Sisfo Mahasiswa ITP Dengan Metode SUS Dan Usability Testing
Ansel Caprico 1 , Ganda Yoga Swara 2 , Anna Syahrani 3 , Putri Mandarani 4 , Eko Kurniawanto Putra 5 1 Institut Teknologi Padang, ansel003455@gmail.com,  Gajah Mada Kandis Nanggalo, Padang, Indonesia
2 Institut Teknologi Padang, gandayogaswara@itp.ac.id, Gajah Mada Kandis Nanggalo, Padang, Indonesia
3 Institut Teknologi Padang, annasyahrani@itp.ac.id, Gajah Mada Kandis Nanggalo, Padang, Indonesia
4 Institut Teknologi Padang, pmandarani@itp.ac.id, Gajah Mada Kandis Nanggalo, Padang, Indonesia
5 Institut Teknologi Padang, eko_kp@itp.ac.id, Gajah Mada Kandis Nanggalo, Padang, Indonesia
Informasi Makalah Abstrak Submit Revisi Diterima : Okt 10, 2023 : Nov 11, 2023 : Juni 1, 2024 Beragamnya  aplikasi  yang  beredar  di  masyarakat,  membuat para  pengembang  aplikasi  mobile  berlomba-lomba  untuk menciptakan  aplikasi  yang  menarik,  terutama  dalam  hal desain  antarmuka  pengguna  dan  pengalaman  pengguna.
Sayangnya, sejak awal peluncurannya, aplikasi android Sisfo ITP  Mahasiswa  belum  pernah  menjalani  pengujian  analisis kegunaan  usability.  Analisis  terhadap  aplikasi  ini  penting untuk mengetahui sejauh mana keberhasilan implementasinya.  Penelitian  ini  memilih  metode System Usability  Scale (SUS)  dan Usability  Testing sebagai pendekatan  utama.  Alasan  pemilihan  metode  SUS  terletak pada  kemampuannya  menyediakan  pengukuran  kuantitatif yang  jelas  terhadap  kepuasan  pengguna,  memungkinkan perbandingan  dengan  standar  industri.  Kecepatan  dan efisiensi  penggunaan  SUS  juga  menjadi  pertimbangan, memungkinkan  pengumpulan  data  dengan  cepat  tanpa memerlukan  sumber  daya  yang  besar.  Penggunaan  metode Usability  Testing dipilih  untuk  memberikan  wawasan mendalam  tentang  pengalaman  pengguna  melalui  interaksi langsung. Dengan melakukan pengujian langsung, penelitian ini  dapat  mengidentifikasi  masalah  dengan  rinci  dan memberikan  rekomendasi  perbaikan  yang  langsung  dapat diimplementasikan  dalam  pengembangan  berkelanjutan. Hasil  dari  penelitian  ini  menunjukkan  skor  SUS  sebesar  59, dikategorikan  sebagai  F  dengan  kata  sifat  "Ok".  Dalam  hal kegunaan  usability,  aplikasi  ini  juga  mendapatkan  skor sebesar  59,  menempatkannya  dalam  kategori  standar. Kesimpulan  dari  kombinasi  metode  SUS  dan Usability Testing memberikan  gambaran  yang  holistik  terkait  dengan kepuasan  pengguna  dan  tingkat  usability  aplikasi  Sisfo  ITP
Mahasiswa.  Rekomendasi  perbaikan  yang  dihasilkan  dari pengujian  ini  memberikan  kontribusi  positif  terhadap perbaikan pengalaman pengguna secara keseluruhan.

## Kata Kunci :
Aplikasi Mobile; Sisfo Mahasiswa ITP;
System Usability Scale ; Usability Testing ; User Experience; User Interface.

## Abstract
The  diversity  of  applications  circulating  in  society  prompts  mobile  application  developers  to
Journal Homepage : http://jurnal.sar.ac.id/index.php/satin
compete  in  creating  appealing  applications,  particularly  in  terms  of  user  interface  design  and user  experience.  Unfortunately,  since  its  initial  launch,  the  android  application  Sisfo  ITP Mahasiswa  has  never  undergone  Usability  Testing  and  analysis.  Analyzing  this  application  is crucial to understanding the extent of its implementation success.
This  research  opts  for  the  System  Usability  Scale  (SUS)  and  Usability  Testing  as  the  primary approaches. The choice of SUS is based on its ability to provide clear quantitative measurements of user satisfaction, enabling comparisons with industry standards. The speed and efficiency of using  SUS  are  also  considerations,  allowing  rapid  data  collection  without  requiring  extensive resources.
The  use  of  Usability  Testing  is  chosen  to  provide  in-depth  insights  into  the  user  experience through direct interaction. By conducting direct testing, this study can pinpoint issues in detail and provide recommendations for improvements that can be directly implemented in continuous development.
The results of this research show an SUS score of 59, categorized as "Ok" in grade F. In terms of usability,  the  application  also  received  a  score  of  59,  placing  it  in  the  standard  category.  The conclusion  drawn  from  the  combination  of  SUS  and Usability  Testing methods  provides  a holistic  overview  of  user  satisfaction  and  usability  levels  for  the  Sisfo  ITP  Mahasiswa application. The improvement recommendations resulting from this testing contribute positively to enhancing the overall user experience.

## 1. Pendahuluan
Saat ini aplikasi mobile berkembang pesat dan  semakin  beragam.  Laporan  Pemasaran Aplikasi  Indonesia  versi  2020  menganalisis 813  juta  penginstalan  yang  tercatat  di Indonesia  pada  Januari  hingga  September 2020.  (Indotelko,  2020 ). Penting  untuk memahami  bahwa  keberhasilan  sebuah aplikasi tidak hanya ditentukan oleh fungsionalitasnya,  tetapi  juga  oleh  tampilan
(user interface/UI)
dan pengalaman
pengguna (user experience/UX) (Novialdi T, 2023). Aplikasi Sistem Informasi ITP
Mahasiswa,  yang  bertujuan  memudahkan mahasiswa  Institut  Teknologi  Padang  (ITP), menjadi  fokus  penelitian  karena  belum pernah mengalami pengujian UI/UX. Evaluasi  ketergunaan  aplikasi  merupakan langkah  esensial  untuk  menilai  sejauh  mana aplikasi  tersebut  dapat  digunakan  secara efektif (Sugihartono, 2020). Analisis ketergunaan dilakukan dengan metode
seperti System  Usability  Scale (SUS)  dan
Usability  Testing ,  yang  melibatkan  survei terhadap  pengguna  dan  uji  kelayakan penggunaan (Manik, 2021). Hasil survei dan pengujian  menunjukkan  mayoritas  pengguna setuju  bahwa  analisis  tingkat  pengalaman pengguna  diperlukan,  merespon  kebutuhan akan  perbaikan  pada  UI/UX  Aplikasi  ITP Mahasiswa.
Sebagai  respons  terhadap  kurangnya pengujian UI/UX pada aplikasi ini, penelitian ini dimotivasi untuk memberikan rekomendasi terkait UI/UX
Penelitian  sebelumnya  yang  digunakan sebagai  pedoman studi  literatur  dalam melaksanakan  proses  penelitian.  Penelitian Pertama  berkaitan  dengan  pengujian  aplikasi android  IGracias  ITTP  yang  belum  pernah mengalami  pengujian  analisis  ketergunaan dari aplikasi tersebut. Penelitian ini menggunakan  aplikasi  Maze  dan  Google Forms  untuk  mengumpulkan  data  survei. Berdasarkan  hasil  uji  reliabilitas,  skor
Cronbach  alpha  sebesar  0.818  (Haryanto  & Gustalika, 2023).
Selain  itu  pada  uji  validitas  korelasi produk  Pearson  Moment  skor  T-panel dinyatakan  valid  dengan  skor  1.734.  Selain itu, skor SUS aplikasi IGracias ITTP Android adalah  62.  Dari  hasil  skor  SUS  tersebut, aplikasi  android  IGracias  ITTP  termasuk dalam kategori D dengan kata sifat "Ok" dan untuk  hasil  Ketergunaan,  diperoleh  skor  60 ( E. C. Haryanto, 2020) .
Penelitian kedua berkaitan tentang evaluasi usability pada  sebuah  aplikasi pembelajaran tari. Pengujian usability dilakukan  dengan  menggunakan  metode System  Usability  Scale (SUS).  Dengan menyebarkan kuesioner kepada 20 responden untuk  menguji  10  petanyaan  untuk  penilaian pada  aplikasi  pembelajaran  tari.  Hasil  dari pengujian  tersebut  memperoleh  nilai  79,37 dengan  grade  “B”,  yang  artinya  aplikasi pembelajaran  tari  dinyatakan  mudah  untuk digunakan ( A. I. Purnamasari, 2020) .
Penelitian ketiga dilakukan untuk menganalisis  tingkat  kepuasan  pengguna website  sisfo  ITP  yang  disediakan  oleh Institut  Teknologi  Padang  sebagai  sarana informasi  bagi  mahasiswa.  Metode  yang digunakan adalah PIECES dengan 6 indikator,  yaitu performance,  information, economy,  control,  efficiency ,  dan service . Penelitian ini menggunakan kuesioner sebagai  alat  ukur  dan  pengolahan  data dilakukan  pada  SPSS.  Penelitian  ini  melalui 5 tahap pengujian untuk mengetahui validitas,  analisis  frekuensi,  reliabilitas, normalitas,  dan  statistik  deskriptif  dari website  sisfo  ITP.  Hasil  analisis  deskriptif menunjukkan  bahwa  website  sisfo  ITP  dari semua indikator berjalan cukup baik, dengan skala rentang 318-499. Tujuan dari penelitian ini adalah memberikan rekomendasi pengembangan pada website sisfo mahasiswa ITP  berdasarkan  data  yang  diperoleh  (D. W. T. Putra, 2021).
Metode Kuesioner System Usability Scale
(SUS)  dan Usability  Testing adalah  metode yang  keduanya  dapat  mengumpulkan  data kualitatif  dan  kuantitatif  serta  mengukur kemudahan penggunaan, efisiensi, dan tingkat kepuasan pengguna terhadap Aplikasi ITP  Mahasiswa  (Sari,  2019).  Dalam  metode SUS,  peneliti  juga  menguji  reliabilitas  dan validitas menggunakan koefisien α Cronbach dan korelasi product moment Pearson untuk memastikan  keakuratan  instrumen  yang digunakan.  Keunggulan  kedua  metode  ini adalah  kesederhanaan  dalam  proses  analisis dan  kecepatan  pelaksanaannya  (Haryanto, 2023).
Fokus  utama  dari  keduanya  adalah mengevaluasi  kendala  ketergunaan  yang berkaitan dengan desain antarmuka pengguna dalam perangkat lunak.

## 2. Metode Penelitian
Pada  penelitian  ini,  peneliti  mengukur kemudahan  penggunaan  ( usability )  aplikasi mobile sisfo  ITP  -  mahasiswa  di  Institut
Teknologi Padang (ITP)
dengan
menggunakan metode System Usability Scale
(SUS)  pada  100  mahasiswa  yang  sering menggunakan  aplikasi  tersebut. SUS  adalah metode penilaian usability dengan melibatkan end  user (pengguna  akhir)  untuk hasil yang memadai berdasarkan pertimbangan  jumlah  sampel  yang  kecil (Fatmawati,  2021).  Peneliti  juga  melakukan validasi  terhadap  subjek  penelitian  dengan mengisi  survei  yang  disediakan  dan  juga peneliti  melakukan  pengujian Usability Testing (UT)  pada  aplikasi mobile sisfo  ITP menggunakan website maze pada 5 mahasiswa.  Hal  ini  dapat  dilihat  pada Gambar 1.
Gambar 1 . Alur Penelitian
Dalam  melakukan  penelitian  ini  peneliti melakukan penyebaran kuesioner yang berisi 10  pernyataan  dan  5  pilihan  jawaban  untuk memberikan  penilaian usability aplikasi mobile sisfo  ITP  –  mahasiswa.  Kuesioner diberikan  kepada  responden  berupa  alamat uniform  resource  locator (URL)  yang disebarkan  melalui  aplikasi sosial  media seperti whatsApp dan  akan  terhubung  ke google  form .  Penyebaran  kuesioner  ini ditujukan kepada mahasiswa Institut Teknologi  Padang  yang  aktif  menggunakan
aplikasi mobile sisfo  ITP  –  mahasiswa dimulai pada Januari 2023- September 2023.
a. Skenario Pengujian Dalam  Kuesioner System  Usability Scale (SUS), Peneliti menggunakan skenario
John  Brooke  yang  terdiri  dari  10  pernyataan yang  dibuat  menggunakan Google  Form . Penilaian  dilakukan  menggunakan  skala likert 1-5,  dimana  pertanyaan  nomor  ganjil bernada  positif  dan  pertanyaan  nomor  genap bernada  negatif.  Setelah  mendapatkan  hasil dari  kuesioner,  proses  selanjutnya  adalah
mengolah  data  dengan  benar  dan  menarik kesimpulannya. Data tersebut akan dianalisis dengan  menggambarkan  bentuk  nyata  dari responden  melalui  metode  deskripsi  data, sehingga  mudah  dipahami.  Dibawah  ini menunjukkan perincian pertanyaan tersebut.
1. Saya  berpikir  saya  akan  sering  untuk menggunakan  aplikasi mobile Sisfo ITP – Mahasiswa.
2. Saya  merasa  aplikasi mobile Sisfo ITP – Mahasiswa terlalu rumit  padahal dapat dibuat lebih simpel.
3. Saya rasa aplikasi mobile Sisfo ITP – Mahasiswa mudah digunakan.
4. Saya berpikir saya membutuhkan bantuan dari orang lain dalam menggunakan aplikasi mobile Sisfo ITP – Mahasiswa
5. Saya merasa fitur-fitur aplikasi mobile Sisfo ITP – Mahasiswa berjalan dengan semestinya.
6. Saya menemukan terdapat banyak fitur yang terintegrasi dengan baik dalam system aplikasi mobile Sisfo ITP – Mahasiswa.
7. Saya merasa mayoritas user akan dapat mempelajari aplikasi mobile Sisfo ITP – Mahasiswa dengan cepat
8. Saya menemukan bahwa aplikasi mobile Sisfo ITP – Mahasiswa ini sangat tidak praktis untuk digunakan
9. Saya sangat yakin bisa mengoperasikan Aplikasi mobile Sisfo ITP – Mahasiswa
10. Saya harus belajar banyak sebelum saya dapat mengoperasikan aplikasi mobile
Sisfo ITP – Mahasiswa.
Pertanyaan  tersebut  terdiri  dari  10 pernyataan yang menggunakan skala likert 5, yaitu  skala  sangat  setuju  (SS)=5,  setuju (S)=4, Netral(N)=3, tidak setuju (TS)=2, dan sangat  tidak  setuju  (STS)=1  Selain  itu menurut  (Hair,  2007),  alasan  menggunakan skala likert 5  poin  adalah karena  skala likert 7 poin atau 13 poin akan membuat responden menjadi lebih sulit untuk membedakan setiap poin  skala  dan  responden  sulit  dalam
mengolah informasi. Adapun sajian penjelasan skala likert tersebut akan disajikan dalam tabel 1.
Tabel 1. Skala likert 5 poin Skala Kategori 1 Sangat Tidak Setuju 2 Tidak Setuju 3 Netral 4 Setuju 5 Sangat Tidak Setuju b. Responden Responden  adalah  mahasiswa  Institut Teknologi
Padang yang merupakan pengguna yang sering menggunakan aplikasi mobile  Sisfo  ITP  –  Mahasiswa,  yang  sudah divalidasi melalui survei berjumlah 50 jiwa
.
c. Pengujian data Pengujian dilakukan dengan
menyebarkan  link  kepada  responden  melalui aplikasi whatsapp .  Alat  yang  digunakan untuk Kuesioner System Usability Test (SUS) adalah google form , di mana responden dapat menjawab  setiap  pernyataan  yang  telah dibuat  peneliti  sebelumnya  pada  tahap skenario pengujian.
d. Pengolahan data
Untuk  mengolah  data  hasil  pengujian Kuesioner System  Usability  Scale (SUS), perlu dilakukan perhitungan skor dengan cara yang  cukup  spesifik.  Pertama,  angka  ganjil dari pernyataan harus dikurangi 1.
Kemudian,  angka  genap  harus  dikurangi  5. Setelah semua skor dihitung dan dikalkulasikan,  jumlah  skor  tersebut  harus dikalikan  dengan  2,5.  Skor  standar/rata-rata pada SUS adalah 68 (G. Karnawan, 2020).

## 3. Hasil dan Pembahasan
Dalam  penelitian  ini,  metode System Usability  Scale (SUS)  dan Usability  Testing digunakan  untuk  mengevaluasi  aplikasi Sistem Informasi ITP Mahasiswa.
Keuntungan  utama  SUS  adalah  pengukuran
kuantitatif  yang  jelas  dan  perbandingan dengan  standar  industri  (Wahyuningrum,
2021), sementara Usability Testing
memberikan  wawasan  mendalam  melalui interaksi langsung,
memungkinkan identifikasi  masalah  rinci  dengan  dampak langsung untuk pengembangan berkelanjutan (Sabandar & Santoso, 2018).
a. Uji Realibilitas dan Validitas Uji realibilitas dilakukan untuk memastikan tingkat kepercayaan dari
kuesioner  yang  digunakan  dengan  cara mengumpulkan  data  jawaban  dari  responden dan  perhitungan  skor cronbach (Aziza  & Rahayu, 2019). Skor cronbach yang mendekati  angka  1  menunjukkan  bahwa kuesioner  tersebut  dapat  dipercaya  dengan baik.  Skor  yang  lebih  besar  dari  0,7  dan kurang dari 0,9 masih dapat diterima sebagai skor yang cukup baik (Pradipta et al., 2020). Dapat dilihat pada Gambar 2.
Gambar 2. Uji Reliabilitas
Sementara  itu,  hasil  verifikasi  terhadap 10 item kuesioner dilakukan dengan menggunakan metode korelasi product moment  Pearson. Uji  validitas  ditujukan untuk  memastikan  bahwa  alat  ukur  yang telah  disusun  dapat  secara  akurat  mengukur apa  yang  perlu  diukur  (Darma,  2021).  Uji validitas  bertujuan  untuk  mengevaluasi kevalidan  atau  kesesuaian  suatu  kuesioner dalam  mengumpulkan  data  dari  responden
(Sidik,  2018). Pengujian  ini  dilakukan dengan  menggunakan  aplikasi  pengolah digital.  Pada  pengujian  ini,  terdapat  50 peserta, Hasil penghitungan korelasi menggunakan product  moment  pearson menghasilkan  skor  t-hitung.  Dalam  konteks ini, jika nilai t-hitung lebih besar dari pada t- tabel,  maka  item  tersebut  dinyatakan  valid. Hasil  uji  validitas  kuesioner  disajikan  secara rinci dalam Tabel 2.
Tabel 2. Hasil Uji Validitas No. Instrumen Nilai thitung Keterangan 1 3.8332606 Valid 2 3.0296431 Valid 3 4.5683447 Valid 4 3.1036274 Valid 5 5.2052701 Valid 6 8.1841699 Valid 7 5.2052701 Valid 8 9.7927042 Valid 9 5.6360802 Valid 10 3.378769 Valid b. Analisis  Hasil  Kuesioner  SUS  dan
Usability Testing
1. Kuesioner SUS
Aturan  penilaian  SUS  adalah  jika  ada satu  atau  lebih  angka  ganjil  dalam  sebuah kalimat,  maka  skornya  akan  dikurangi  1. Angka  genap  akan  dikurangi  5  poin.  Setelah menghitung  seluruh  poin  yang  diraih, langkah  selanjutnya  adalah  mengalikan  total poin  dengan  2.5.  Berikut  merupakan  hasil perhitungan  SUS  yang  dilakukan  dengan  50 responden pada kodingan python :
Gambar 3. Hasil Perhitungan SUS
Berdasarkan hasil perhitungan pada Gambar 3 aplikasi sisfo ITP Mahasiswa memperoleh skor SUS  sebesar  59,  sehingga  aplikasi  sisfo  ITP  Mahasiswa  masuk  ke  dalam  kategori  F  dengan adjective Ok. Berikut skala penilaian SUS:
Gambar 4. Hasil Penilaian Skor SUS aplikasi Sisfo ITP Mahasiswa
Penggunaan System  Usability  Scale (SUS)  memberikan  manfaat  signifikan  dalam mengevaluasi  tingkat  kepuasan  dan  ketergunaan  pengguna  terhadap  aplikasi.  Dengan  skala penilaian yang dapat memberikan gambaran secara keseluruhan, SUS menyediakan indikator yang mudah  dipahami  terkait  kualitas  UI/UX  aplikasi.  Kelebihan  SUS  terletak  pada  kesederhanaan penggunaan  dan  interpretasi  hasil  yang  dapat  diukur  secara  kuantitatif,  memberikan  gambaran yang jelas tentang efektivitas perbaikan yang diusulkan terhadap aplikasi. Dengan demikian, SUS membantu  penelitian  ini  untuk  mendapatkan  pemahaman  yang  lebih  mendalam  terkait  aspek kepuasan pengguna pada aplikasi Sistem Informasi ITP Mahasiswa.
2. Usabity Testing
Usability Testing pada pengguna aplikasi  sisfo  ITP  Mahasiswa  dilakukan dengan memanfaatkan aplikasi maze , dengan
membuat task  mission untuk  membuat pengujian usability pada maze seperti  pada tabel task mission dibawah :
Tabel 3. Task Usability Testing No. Task Deskripsi Task 1 Login User disini diperintahkan untuk login ke aplikasi
2 Buka Kartu Rencana Studi
User disini diperintahkan untuk masuk ke menu Kartu Rencana Studi 3 Buka Kartu Ujian
User disini diperintahkan untuk masuk ke menu Kartu Ujian
4 Buka Nilai dan KHS
User disini diperintahkan untuk masuk ke menu Nilai dan KHS
5 Buka Registrasi KP/PL
User disini diperintahkan untuk masuk ke menu  Registrasi KP/PL
6 Buka Tugas Akhir
User disini diperintahkan untuk masuk ke menu Tugas Akhir
7 Buka IPK User disini diperintahkan untuk masuk ke menu IPK
8 Buka Alur Matakuliah User disini diperintahkan untuk masuk ke menu Alur Matakuliah
9 Buka Profil User disini diperintahkan untuk masuk ke menu Profil 10 Bukan Password User disini diperintahkan untuk masuk ke menu Password
Pada  tahapan  kedua  yaitu testing pada maze saat  proses  pengujian  berlangsung,  peneliti akan  menerima  laporan  pada maze tentang  bagaimana  pengguna  berinteraksi  dengan  aplikasi tersebut  sesuai  yang  diberikan  pada task  mission dan  deskripsi mission seperti  di  tunjukan  pada gambar task mission 1 Usability Testing dibawah :

## Gambar 5. Task mission 1 Usability Testing
Apabila  pengguna  berhasil  mengerjakan task  mission pertama  maka  akan  berlanjut  ke  misi berikutnya  hingga  semua  misi  diselesaikan  dengan  baik  ataupun  tidak.  Setelah  selesai,  data  dari hasil testing untuk task mission 1 dapat dilihat pada gambar dibawah :
Gambar 6. Result testing task mission 1
Hasil  pengujian  yang  dihasilkan  aplikasi  ini  berupa  statistik  yang  menarik  perhatian  berupa angka-angka yang dihasilkan dari tugas-tugas yang dilakukan pengguna, seperti terlihat pada tabel 4
Tabel 4. Statistik Usability Mission Misclick Rate Avg. Duration Avg. Success Avg. Bounce 1 50% 18.8 s 60% 40% 2 30% 35.9 s 60% 20% 3 55% 16.3 s 50% 0% 4 40% 10.7 s 50% 0% 5 52% 14.6 s 50% 0% Mission Misclick Rate Avg. Duration Avg. Success Avg. Bounce 6 45% 6.7 s 100% 0% 7 14% 5.8 s 100% 0% 8 52% 7.3 s 66% 0% 9 75% 10.9 s 66% 0% 10 52% 9.7 s 66% 0%
Setelah  skor usability setiap mission diperoleh  lalu  dirata-rata  dan  mendapatkan hasil akhir skor usability sebagai Tabel 5 :
SATIN – Sains dan Teknologi Informasi Vol. 10, No. 1, Juni 2024, pp. 11-24 ISSSN: 2527-9114, DOI: 10.33372/stn.v9i2.1000
Tabel 5. Skor akhir usability
Responden  Skor akhir Usability 5 59 Berdasarkan skor akhir Usability Testing pada  Tabel  5  aplikasi  sisfo  ITP Mahasiswa memperoleh skor usability sebesar  59,  skor  tersebut  menunjukan bahwasanya  aplikasi  sisfo  ITP  Mahasiswa memiliki  nilai usability pada  kategori  F berdasarkan mutu nilai skor SUS. Keuntungan  penggunaan Usability  Testing terletak pada
kemampuannya
mengidentifikasi  secara  langsung  hambatan dan  kesulitan  pada  desain  antarmuka. Dengan  melibatkan  pengguna,  penelitian  ini memperoleh  wawasan  mendalam  tentang masalah  yang  dihadapi  pengguna  dalam penggunaan  aplikasi. Usability  Testing juga memberikan dasar kualitatif untuk memahami persepsi dan preferensi pengguna, memastikan perbaikan yang diusulkan sesuai dengan kebutuhan pengguna aktual.
Penerapan  kedua  metode  memberikan keuntungan komplementer. SUS memberikan pandangan umum tentang kepuasan pengguna secara cepat dan efisien, sementara Usability  Testing memberikan  pemahaman mendalam  dan  spesifik.  Identifikasi  masalah UI/UX yang terperinci dan rekomendasi yang tepat  sasaran  menjadi  dampak  signifikan. Kecepatan, efisiensi, validitas, dan reliabilitas keduanya memberikan keunggulan dibandingkan metode alternatif.
Perbandingan  menunjukkan  kecepatan  dan efisiensi  SUS  dan Usability  Testing ,  dengan validitas  dan  reliabilitas  yang  membuatnya pilihan dapat diandalkan.  Keberhasilan metode  ini  terletak  pada  kemampuannya memberikan  rekomendasi  implementasi  dan mendukung  perbaikan  berkelanjutan  pada UI/UX  aplikasi.  Sehingga,  penerapan  SUS dan Usability Testing memberikan kontribusi yang signifikan dalam meningkatkan kualitas UI/UX  Aplikasi  Sistem  Informasi  ITP Mahasiswa sebagai pendekatan evaluasi yang holistik dan efektif.

## 3. Rekomendasi Prototype
Berdasarkan  hasil  analisis  skor System Usability  Score (SUS)  pada  aplikasi  sisfo mobile ITP  Mahasiswa  yang  mendapatkan skor  59  dan  skor  59  dari  hasil  pengujian Usability  Testing (UT)  dengan  berdasarkan mutu  nilai  skor  SUS,  aplikasi mobile sisfo ITP  Mahasiswa  mendapatkan  kategori  F dengan adjective Ok yang termasuk kedalam skor  dibawah  standar  yaitu  68,  peneliti memutuskan  untuk  melakukan  perbaikan pada sisfo ITP dengan memberikan prototyp e yang  dibuat  menggunakan  metode atomic design dengan  memecah  desain  menjadi elemen-elemen  yang  lebih  kecil  seperti atoms,  molecules,  organisms,  templates,  dan pages. Kemudian  diterepakan  pada design prototype yang  dimulai  dari typography, icon,  button  &  field,  card,  graphic,  color (Nelianli  Yan  Jaya,  2022)  seperti  pada gambar dibawah :
Gambar 7 Komponen atomic design prototype Sistem Informasi ITP Mahasiswa
Dengan menggunakan kodingan Phyton untuk menghitung nilai terendah untuk setiap kolom dalam kuisioner SUS, dan kemudian mencetak nama-nama kolom yang memiliki nilai terendah ke layar.  Hasil  yang  ditampilkan  oleh  kodingan  tersebut  seperti  ditunjukan  pada  gambar  hasil kodingan nilai terendah berikut :

## Gambar 8 Hasil kodingan nilai terendah
Dari  hasil  kodingan  tersebut  didapatkan nilai  terendah  ada  pada  pertanyaan  2, pertanyaan  4  dan  pertanyaan  10  dengan  isi pertanyaan  yang  mencakup  beberapa  dari    5 aspek utama user experience , yaitu: learnability , efficiency , memorability , errors , dan satisfaction .  Dari  tiap  pertanyaan kuisioner  SUS  yang  mendapatkan  nilai
terendah adalah indikator learnability sehingga  perbaikan  akan  difokuskan  kepada learnability aplikasi mobile Sisfo  ITP Mahasiswa,  didasari  juga  dengan  hasil pengujian Usability
Testing yang
menunjukan  banyaknya miss  click dan  gagal dalam task  mission pada  aplikasi mobile Sisfo  ITP  Mahasiswa  dan  kemudian  di
SATIN – Sains dan Teknologi Informasi Vol. 10, No. 1, Juni 2024, pp. 11-24 ISSSN: 2527-9114, DOI: 10.33372/stn.v9i2.1000
perbaiki  pada  rekomendasi prototype UI/UX yang  dibuat  menggunakan  aplikasi  Figma ,
Untuk  rekomendasi  desain prototype dan
perbandingan dengan desain yang lama dapat dilihat  pada  gambar  rekomendasi protoype berikut :
(a)                                        (b)
Gambar 9 (a) Halaman menu utama (b) rekomendasi halaman menu utama
Berdasarkan  pada  hasil  nilai  pertanyaan terendah,  yaitu  pertanyaan  ke  2  yang memiliki  indikator learnability dengan  isi pertanyaan  “Saya  merasa  aplikasi mobile Sisfo ITP – Mahasiswa terlalu rumit padahal dapat  dibuat  lebih  simple”.  Masalah  dari desain Sisfo ITP Mahasiswa pada gambar (a) berupa  tampilan  menu  aplikasi  terlalu  rumit karena  pembagian  menu  yang  terlalu menyatu  dengan  bagian card informasi sehingga  sering  menimbulkan miss  click , kemudian  rekomendasi  desain  yang  penulis berikan  pada  gambar  (b)  adalah  membuat tampilan  menu  jadi  lebih  simple  dan memisahkan menu profil dengan menu utama serta membuat ikon pada menu menjadi lebih minimalis.
Setelah  itu  juga  dilakukan  pengujian Usability  Testing (UT)  pada prototype sisfo ITP  Mahasiswa  menggunakan maze yang dilakukan oleh 5 responden sebelumnya yang melakukan  pengujian  aplikasi mobile sisfo ITP  Mahasiswa  dengan  6 task  mission yang dikerjakan  oleh  responden  dan  Setelah  5 responden  melakukan  pengujian Usability Testing pada  aplikasi prototype sisfo  ITP Mahasiswa, maka akan muncul hasil pengujian  yang  ditampilkan  oleh  maze  yang dapat dilihat pada gambar result task mission
1 prototype dibawah :

## Gambar 10 Result task mission 1 prototype
Setelah  skor usability setiap mission diperoleh lalu dirata-rata maka akan mendapatkan  hasil  akhir  skor usability seperti  pada  Tabel  6  skor Usability  Testing prototype dari maze :
Tabel 6 Skor akhir usability prototype Responden Skor akhir Usability 5 77

## 4. Simpulan
Berdasarkan hasil pengujian user experience pada aplikasi sisfo ITP Mahasiswa  menggunakan  metode System Usability Scale (SUS) dan Usability Testing , ditemukan  bahwa  skor  SUS  sebesar  59  dan skor Usability  Testing sebesar  59.  Kedua skor  ini  masuk  dalam  kategori  yang  kurang baik  karena  tidak  memenuhi  standar  skor sebelumnya  yang  ditetapkan  sebesar  68. Hasil Usability Testing untuk prototype Sisfo ITP  Mahasiswa  memperoleh  skor  77,  yang memenuhi standar usability. Dengan demikian, kesimpulan penelitian ini
menunjukkan  bahwa  meskipun  terdapat ketidaksesuaian  antara  skor  SUS, Usability Testing ,  dan  standar  yang  ditetapkan,  hasil Usability  Testing memberikan  gambaran yang  lebih  positif  terkait  dengan  usability aplikasi.  Oleh  karena  itu,  fokus  perbaikan
dan  pengembangan  dapat  difokuskan  pada aspek-aspek yang ditemukan melalui metode Usability Testing untuk meningkatkan kualitas  user  experience  pada  aplikasi  sisfo ITP Mahasiswa.

## 5. Referensi
A  I.  Purnamasari,  A.  Setiawan,  and  Kaslani. (2020). “Evaluasi Usability Pada Aplikasi Pembelajaran  Tari  Menggunakan System Usability  Scale (  SUS  ).”  J.  ICT    Inf. Commun. Technol., vol. 20, no. 2, pp. 70– 75, doi: 10.36054/jict-ikmi.v20i2.274. Aziza,  S.,  &  Rahayu,  G.  H.  N.  N.  (2019). Implementasi  sistem  enterprise  resource planning  berbasis  Odoo  modul  sales dengan  metode  RAD  pada  PT  XYZ.
Journal Industrial Servicess , 5 (1), 49–57. D.  W.  T.  Putra,  H.  Bulkis,  A.  Syahrani. (2021).  “METODE  PIECES  DALAM MENGUKUR  TINGKAT  KEPUASAN PENGGUNA  PORTAL  AKADEMIK.” Jurnal  Sains  dan  Teknologi.,  vol.  21,  no. 1, pp. 50–57 , doi:
http://dx.doi.org/10.36275/stsp.v21i1.360. Darma,  B.  (2021). Statistika  Penelitian Menggunakan  SPSS  (Uji  Validitas,  Uji Reliabilitas,  Regresi  Linier  Sederhana, Regresi  Linier  Berganda,  Uji  t,  Uji  F, R2) . Guepedia. https://doi.org/10.35314/isi.v6i1.1881
E.  C.  Haryanto,  M.  A.  Gustalika.  (2020). “Implementation  of  User  Experience Using  the  Design  Thinking  Method  in
Prototype Cleanstic Applications.” JASMED (Journal of Software
Engineering  and  Multimedia),  vol.  6,  no. 1, pp. 10–17 , doi: 10.20895/jasmed.v1i1.1016. Fatmawati,  A.  (2021).  Evaluasi  Usability pada  Learning  Management  System
OpenLearning Menggunakan System
Usability Scale . INOVTEK Polbeng - Seri
Informatika , 6 (1), 120.
G. Karnawan, S. Andryana, R. T. Komalasari.  (2020).  “Pengujian  User Experience  pada  Aplikasi  ITTPIGracias Menggunakan System  Usability  Scale (SUS)dan Usability Testing .” JTMI (Jurnal Teknologi dan Manajemen Informatika),  vol.  1,  no.  1,  pp.  1–8  ,  doi: 10.26905/jtmi.v6i1.3785.
Hair, J.F., Money, A.H., Samouel,
P. and Page, M. (2007), "Research
Methods for Business", Education +
Training, Vol. 49 No. 4, pp. 336-
337. https://doi.org/10.1108/et.2007.49.4.
336.2.
Haryanto, E. C., & Gustalika, M. A. (2023).
Pengujian User Experience pada Aplikasi ITTP IGracias Menggunakan System Usability Scale (SUS) dan Usability Testing . JASMED: Journal of Software Engineering and Multimedia , 1 (1), 1–8.
Indotelko,  “Pertumbuhan  pasar  aplikasi mobile  di  Indonesia  sangat  signifikan,” (2020).https://www.indotelko.com/read/1
608100220/pertumbuhan-pasar-plikasi- mobile-di-indonesia-sangat-signifikan (accessed Jan. 01, 2021).
M. L. Nuriman, N. Mayesti. (2020).“ Evaluasi Ketergunaan Website Perpustakaan Universitas  Indonesia Menggubnakan System Usability Scale .” BACA (Jurnal Dokumentasi dan Informasi), vol. 41, no. 2, pp. 253–269 , doi: https://doi.org/10.14203/j.baca.v41i2.622. Manik, V. (2021). Evaluasi Usability pada Aplikasi Mobile ACC. ONE menggunakan System Usability Scale (SUS) dan Usability Testing . Universitas Atma Jaya Yogyakarta.
N Sugihartono, T., & Rian Chrisna Putra, R. (2020).  Analisis  Kepuasan  Pengguna
Menggunakan  Technology  Acceptance
Model pada Sistem Pelayanan Publik. SATIN  -  Sains  Dan  Teknologi
Informasi , 6 (2),
97-105. https://doi.org/10.33372/stn.v6i2.651. Nelianli  Yan  Jaya,  M.  Agustian  Reyza Novris,  &  Junadhi.  (2022).  Penerapan Metode Design Sprint Dalam Perancangan  UI/UX  Aplikasi  Pengingat Sarapan. SATIN  -  Sains  Dan  Teknologi
Informasi , 8 (2),
152-161. https://doi.org/10.33372/stn.v8i2.892. Novialdi  T,  Reski  Mai  Candra,  Muhammad Affandes,  &  Pizaini.  (2023).  Desain Aplikasi Pencarian Jasa Fotografer (Capturar)  dengan  Menggunakan  Metode
Lean  UX. SATIN  -  Sains  Dan  Teknologi
Informasi , 9 (1), 32-43. https://doi.org/10.33372/stn.v9i1.93.
Pradipta,  I.  D.  B.  P.  E.,  Sariyasa,  S.,  &
Lasmawan, I. W. (2020). PENGEMBANGAN INSTRUMEN KEMAMPUAN  BERPIKIR  KREATIF DAN LITERASI MATEMATIKA PADA MATERI  GEOMETRI  SISWA  KELAS IV SEKOLAH DASAR. Jurnal Penelitian  Dan  Evaluasi  Pendidikan
Indonesia , 10 (1), 21–30.
Sabandar, V. P., & Santoso, H. B. (2018). Evaluasi Aplikasi Media Pembelajaran Statistika Dasar Menggunakan Metode Usability Testing . Teknika , 7 (1), 50–59. Sari, W. U. (2019). Analisis Usability Pada Sistem Informasi Akademik Mahasiswa Universitas Muhammadiyah Riau
Menggunakan Metode System Usability Scale (SUS). Skripsi, Universitas Islam Negeri Sultan Syarif Kasim . Sidik, A. (2018). Penggunaan System Usability Scale (SUS) Sebagai Evaluasi Website Berita Mobile. Technologia: Jurnal Ilmiah , 9 (2), 83. https://doi.org/10.31602/tji.v9i2.1371. Wahyuningrum, T. (2021). Buku Referensi Mengukur Usability Perangkat Lunak . Deepublish.