Nuryasin, Evaluasi Usability Aplikasi Spotify Menggunakan Metode System Usability Scale (SUS)

## EVALUASI USABILITY APLIKASI SPOTIFY MENGGUNAKAN METODE
SYSTEM USABILITY SCALE (SUS)
1 Nuryasin, 2 Annisa Tasya Ferina
12 Sistem Informasi, Fakultas Sains dan Teknologi UIN Syarif Hidayatullah Jakarta,
Jl. Ir H. Juanda No.95, Cemp. Putih, Kec. Ciputat Tim., Kota Tangerang Selatan, Banten 15412 Email: nuryasin@uinjkt.ac.id , Annisatsyfrn10@gmail.com

## ABSTRAK
Penelitian ini mengevaluasi usability penggunaan pada aplikasi Spotify  dengan menerapkan metode System  Usability  Scale (SUS).  Di  tengah  persaingan  ketat  yang  terjadi  pada  layanan streaming musik,  Spotify  perlu  mempertahankan  kualitas  layanan  untuk  menjaga  loyalitas pengguna. Penelitian kuantitatif ini melibatkan 32 responden yang menggunakan kuesioner SUS terdiri dari 10 pertanyaan dengan 5 poin skala Likert. Hasil menunjukkan skor SUS Spotify adalah sebesar  84,5.  yang  dikategorikan  sebagai  "Excellent"  dan  "Acceptable".  Hasil  ini  menunjukkan bahwa  Spotify  mudah  digunakan  dan  memenuhi  ekspektasi  pengguna,  sehingga  mampu mempertahankan loyalitas dan bersaing dengan platform streaming musik lain.
Keywords : Usability , System Usability Scale , Spotify, User Experience , Streaming Musik.

## 1 PENDAHULUAN
Perkembangan  teknologi  yang  sangat  pesat  membuat  teknologi  terus  digunakan  untuk memudahkan  pekerjaan  manusia.  Salah  satunya  dalam  mendengarkan  musik,  Perkembangan teknologi menyebabkan orang-orang banyak yang beralih dari menggunakan media musik secara fisik seperti CD dan kaset, kini menjadi streaming di internet.
Mendengarkan musik sudah menjadi suatu rutinitas. Mendengarkan musik biasanya dilakukan sebagai  latar  belakang  untuk  melakukan  kegiatan  lain  seperti  membaca,  berolah  raga  ataupun sekedar  relaksasi[1].    Mendengarkan  musik  kini  menjadi  aktivitas  populer  untuk  pengguna smartphone. Generasi  milenial  sudah    menjadi    pasar    terbesar    dalam    mengkonsumsi    aplikasi music  streaming [2] .
Aplikasi streaming musik  yang  dapat  digunakanpun  sudah  sangat  banyak.  Salah  satunya adalah  Spotify.  Spotify  merupakan  sebuah platform  streaming musik online yang  memberikan hiburan  musik  secara  legal  [3] .  Spotify  adalah  platform musik  terpopular  di dunia  dengan  jumlah pengguna hampir 350 juta [4] .
Kepopuleran  yang  telah  didapatkan  oleh  Spotify  harus  selalu  dipertahankan.  Namun, mengacu pada banyaknya platform streaming musik lain ini dapat menjadi ancaman kuat yang perlu dipertimbangkan oleh Spotify. Pengguna yang merasakan kepuasan dan mempunyai rasa percaya tidak  selalu  bersikap  loyal  [5].  Untuk  itu  dibutuhkan  upaya  meningkatkan  loyalitas  pengguna terhadap  aplikasi  spotify  guna  mempertahankan  kepopuleran  dan  kerberhasilan  dari  aplilkasi Spotify yang telah dicapai. Jika tidak, pengguna spotify akan berpindah ke produk dari  platform streaming musik lain dan menyebabkan kepopuleran dan keberhasilan ini akan menurun. Loyalitas  pengguna  adalah  salah  satu  hasil  dari user  experience.  User  experience yang  baik dapat  menghasilkan  loyalitas  pengguna yang  baik  pula  [6]. User  experience menggambarkan pengalaman yang didapatkan oleh pengguna terhadap suatu sistem[7]. User experience yang baik dapat memberikan keuntungan bagi perusahaan dan meningkatkan keinginan user untuk kembali berkunjung pada aplikasi. Sebaliknya, user experience yang kurang baik dapat mengurangi loyalitas pengguna dan reputasi sebuah produk atau aplikasi [8].
Untuk mengetahui apakah sebuah user experience telah dikembangkan dengan baik, dibutuhkan alat  untuk  mengukur  mengevaluasi  user  experience  tersebut.  Salah  satu  alat  ukur  dalam
Nuryasin, Evaluasi Usability Aplikasi Spotify Menggunakan Metode System Usability Scale (SUS)
mengevaluasi  user  experience  adalah  Usability.  Usability merujuk  pada  seberapa  baik  kesan pengguna yang mereka rasakan pada saat menggunakan aplikasi [9]. Aspek usability merupakan hal yang harus diperhatikan dimana dengan kemudahan tersebut pengguna dapat dengan mudah menggunakan nya  tanpa  harus merasa  kesulitan  dalam  mengaksesnya.
Oleh  karena  itu,  evaluasi  untuk  menilai usability aplikasi  Spotify  perlu  dilakukan.  Evaluasi usability dapat  dilakukan    melalui  analisis  menggunakan  metode  System  Usability  Scale  (SUS). Metode ini dapat diterapkan untuk menilai kegunaan suatu sistem, termasuk aplikasi seluler.

## 2 TINJAUAN PUSTAKA
Spotify adalah layanan digital streaming musik yang telah digunakan di seluruh dunia dalam beberapa tahun terakhir. Spotify memberikan akses cepat kepada jutaan pengguna ke lebih dari 20 juta lagu [10].
User  Interface adalah  segala  sesuatu  yang berinteraksi  dengan pengguna  akhir  secara  fisik, persepsi, dan mental dalam menggunakan sistem  [11]. UI mempunyai peran dalam memberikan pengalaman  yang  berkesan  kepada  pengguna.  Pengalaman  ini  ditinjau  melalui  elemen  desain visual  dan  tata  letak tools  d alam  sebuah  aplikasi  [12].  UI  Menentukan  seberapa baiknya  sebuah perangkat lunak,  apabila  UI  yang  telah  dikembangkan  tidak  memberikan kesan  yang baik  maka pengguna  akan  dengan  mudah  meninggalkan  perangkat  lunak  yang  telah  dikembangkan  [13]. Untuk menilai kerberhasilan UI dapat digambarkan dalam bagaimana UI telah menerapkan prinsip seperti usability, accessibility , dan mode interaksi [14]. User experience menggambarkan bagaimana perilaku pengguna ketika menggunakan aplikasi [15].  UX  adalah  pandangan  pengguna  dan  umpan  balik  yang  didapatkan  dari  sebuah  sistem. Konseptualisasi UX dibagi menjadi beberapa cara, yaitu [16]: (1)Menjelajahi indikator fakor-faktor kepuasan  pengguna  dari  perspektif usability ,  (2)Menekankan  performa  pengguna,  dan  (3) User experience merupakan penilaian yang dapat diukurbaik  secara subjektif maupun objektif.
Usability adalah tolak ukur untuk mengukur seberapa mudah antarmuka sebuah aplikasi dapat digunakan oleh pengguna [17]. Aspek usability ini sangat krusial dalam pengembangan aplikasi [18]. Sebuah aplikasi dapat memenuhi kriteria usable apabila fungsinya mampu dijalankan secara efektif, efisien,  dan  memuaskan  bagi  pengguna  [19].  Dengan  kata  lain, usability juga  dapat  diartikan sebagai  tingkat  sebuah  aplikasi    dapat  digunakan  oleh  pengguna  untuk  mencapai  tujuan efektivitas, efisiensi, dan kepuasan penggunaan [20].
System Usability  Scale (SUS)  adalah  alat  ukur  standar  yang  paling  umum  atau  paling  sering digunakan  untuk  menilai usability sebuah  sistem  atau  aplikasi  [21]. System  Usability  Scale dikemukakan oleh John Brooke sebagai cara “cepat dan kotor” [22]. Metode SUS menggunakan 5 poin Skala Likert yang terdiri dari Sangat Tidak Setuju, Tidak Setuju, Netral, setuju, serta Sangat Setuju.  Skor  yang  diperoleh  kemudian  dihitung  berdasarkan  aturan  SUS,  kemudian  hasil  yang diperoleh akan menunjukkan tingkat usability suatu aplikasi [23].

## 3 METODE PENELITIAN

## 3.1 Jenis Penelitian
Pendekatan yang digunakan dalam penelitian ini adalah metode kuantitatif. Pendekatan ini berfokus  terhadap  analisa  data  kuantitatif  berdasarkan  kuesioner  yang  telah  disebar  dengan tujuan  untuk  mengukur  tingkat usability aplikasi  spotify.  penelitian  ini  secara  spesifik menggunakan kuesioner yang mengacu pada ketentuan ketentuan system usability scale . secara teknis, responden mengisi kuesioner yang berisikan 10 pertanyaan mengenai aplikasi spotify. Pada tahap ini, terdapat 32 responden yang telah berpartisipasi dengan mengisi kuesioner SUS tersebut. Adapun alur penelitian ini disajikan pada gambar 1.
Nuryasin, Evaluasi Usability Aplikasi Spotify Menggunakan Metode System Usability Scale (SUS)

## Gambar 1 Alur peneltiian

## 3.2 Metode System Usability Scale (SUS)
Instrumen  yang  digunakan  pada  penelilitian  ini  berupa  kuesioner  yang  terdiri  dari  10 pertanyaan,  setiap  pertanyaan  mempunyai  pilihan  tingkat  persetujuan  atau  ketidaksetujuan dengan menggunakan 5 poin skala Likert [22]. 10 pertanyaan SUS disajikan pada tabel 1.
Tabel 1 Pertanyaan SUS No Pertanyaan Skala 1 Saya merasa aplikasi Spotify akan menjadi aplikasi yang sering saya gunakan 1-5 2 Saya merasa  Spotify adalah aplikasi yang terlalu rumit dan kompleks untuk digunakan. 1-5 3 Saya merasa Spotify adalah aplikasi yang gampang untuk digunakan. 1-5 4 Saya merasa butuh bantuan orang lain atau tenaga teknis untuk menggunakan aplikasi Spotify. 1-5 5 Saya merasa fitur-fitur di aplikasi Spotify beroperasi dengan seharusnya. 1-5 6 Saya merasa terdapat hal yang tidak sesuaipada aplikasi Spotify. 1-5 7 Saya merasa kebanyakan pengguna  akan mengerti cara menggunakan aplikasi Spotify dengan cepat. 1-5 8 Saya merasa aplikasi Spotify rumit untuk digunakan. 1-5 9 Saya merasa tidak mempunyai gangguan saat menggunakan aplikasi Spotify. 1-5 10 Saya merasa harus mempelajari banyak hal sebelum menggunakan aplikasi Spotify. 1-5
Responden akan diberikan pilihan jawaban yang terdiri dari sangat tidak setuju bernilai skor 1, tidak setuju bernilai skor 2, netral bernilai skor 3, setuju bernilai skor 4, dan sangat setuju bernilai skor 5. Informasi mengenai 5 poin skala Likert ini disajikan pada tabel 2.
Tabel 2 Skala Likert
Skala Pilihan Jawaban 1 Sangat Tidak Setuju 2 Tidak Setuju 3 Netral 4 Setuju 5 Sangat Setuju
Nuryasin, Evaluasi Usability Aplikasi Spotify Menggunakan Metode System Usability Scale (SUS)
Perhitungan  nilai  SUS  memiliki  beberapa  ketentuan  atau  aturan  yang  harus  diikuti.  Berikut adalah ketentuan saat perhitungan skor pada kuesioner [24]:
1. Setiap pertanyaan bernilai pertanyaan positif, skor yang didapatkan dari skor pengguna akan dikurangi  1.  Pada  penelitian  ini  pertanyaan  bernilai  positif  merupakan  pertanyaan  bernomor ganji  (Pertanyaan 1, Pertanyaan 3, Pertanyaan 5, Pertanyaan 7, dan Pertanyaan 9).
2. Setiap pertanyaan bernilai pertanyaan negatif, skor yang yang didapatkan dari skor pengguna akan mengurangi nilai 5. Pada penelitian ini pertanyaan bernilai negatif merupakan pertanyaan bernomor genap (Pertanyaan 2, Pertanyaan 4, Pertanyaan 6, Pertanyaan 8, dan Pertanyaan 10).
3. Skor yang didapatkan dari hasil penjumlahan skor setiap pernyataan akan dikalikan 2,5.
Ketentuan  ini  berlaku  untuk  setiap  responden  yang  berpartisipasi.  Selanjutnya,  skor  dari setiap  jawaban  responden  akan  dihitung  dengan  menjumlahkan  seluruhnya  kemudian  mencari rata-ratanya  dengan  membagi  skor  yang  telah  dijumlahkan  dengan  jumlah  responden.  Berikut penjabaran dari ketentuan perhitungan skor yang telah ditetapkan:
Skor  SUS  =  ((Pertanyaan  1  -  1)  +  (5  -  Pertanyaan  2)  +  (Pertanyaan  3  -  1)  +  (5  -  Pertanyaan  4)  + (Pertanyaan 5 - 1) + (5 - Pertanyaan 6) + (Pertanyaan 7 - 1) + (5 - Pertanyaan 8) + (Pertanyaan 9 - 1) + (5 - Pertanyaan 10)) x 2,5)

## Gambar 2 Acceptability Ranges and adjective ratings
Hasil  dari  perhitungan  skor  SUS  mempunyai  rentang  antara  0  hingga  100.  Hasil  ini  akan dikategorikan berdasarkan penilaian sebagai berikut: 1. Kategori “A” = > 80.3 dengan penilaian“Excellent”
2. Kategori "B" = antara 68-80.3 dengan penilaian "Good"
3. Kategori “C” = 68 dengan penilaian “OK”
4. Kategori "D" = antara 51-67 dengan penilaian "Poor"
5. Kategori "F" = < 51 dengan penilaian "Awful"

## 4 HASIL DAN PEMBAHASAN
Dalam peneilitian ini, peniliti mengumpulkan data menggunakan survei kuesioner.  Terdapat 32 responden yang  telah mengisi kuesioner. Kriteria responden yang didapatkan adalah seluruh responden telah menggunakan aplikasi Spotify untuk mendengarkan musik, 22 responden  berjenis kelamin  perempuan,  dan  10  responden  berjenis  kelamin  laki-laki.  Hasil  jawaban  dari  setiap responden disajikan pada tabel 3.
Tabel 3 Skor Jawaban Asli
Skor Asli Responden P1 P2 P3 P4 P5 P6
P7 P8 P9 P10 Responden1 4 2 5 5 4 1 5 2 5 1 Responden2 5 1 5 1 5 3 5 1 5 1 Responden3 5 1 5 1 5 1
5 1 5 1 Responden4 5 2 4 1 5 1
5 1 4 3 Responden5 3 1 4 2 4 3
4 3 5 3 Responden6 3 1 5 1 5 2
5 1 5 1 Responden7 5 1 5 1 5 1
5 1 5 1 Responden8 4 2 5 1 4 2
5 1 4 1 Responden9 5 1 5 2 5 2
5 1 5 1 Responden10 5 1 5 1 5 1
5 1 5 1 Responden11 4 2 4 2 4 3 3 2 4 2 Responden12 3 2 4 2 4 3 4 2 4 2
Nuryasin, Evaluasi Usability Aplikasi Spotify Menggunakan Metode System Usability Scale (SUS)
Skor Asli Responden P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 Responden13 5 3 4 2 5 2 4 3 3 2 Responden14 3 3 4 1 4 3 3 1 3 2 Responden15 5 1 5 1 5 1 5 1 5 1 Responden16 5 1 5 1 5 1 5 1 5 1 Responden17 5 1 5 1 5 1 5 1 4 1 Responden18 1 5 1 5 1 3 1 5 1 5 Responden19 5 1 5 1 5 1 5 1 5 1 Responden20 5 1 5 1 5 1 5 1 5 1 Responden21 2 2 4 2 4 2 4 2 4 2 Responden22 5 1 5 1 3 3 5 1 5 1 Responden23 3 4 2 4 3 4 4 4 1 5 Responden24 5 1 5 2 5 4 5 1 5 5 Responden25 5 1 5 1 5 1 5 1 5 1 Responden26 5 2 4 1 5 2 3 1 5 1 Responden27 5 1 5 1 5 1 5 1 5 5 Responden28 5 1 5 2 5 1 5 1 5 2 Responden29 5 1 5 1 5 1 4 1 5 3 Responden30 5 1 5 1 5 2 5 1 5 2 Responden31 5 1 5 1 5 1 4 1 5 1 Responden32 2 2 4 1 5 1 5 1 5 2
Jawaban  dari  kuesioner  ini  kemudian  dihitung  menggunakan  aturan  dan  ketentuan  yang sudah  ditetapkan  sebelumnya  untuk  memperoleh  skor  SUS.  Hasil  perhitungan  skor  ini  disajikan pada tabel 4.
Tabel 4 Perhitungan Skor SUS Perhitungan skor SUS Jumlah Total skor (*2.5) Responden P1  P2  P3  P4  P5  P6  P7  P8  P9 P10 Responden1 3 3 4 0 3 4 4 3 4 4 32 80 Responden2 4 4 4 4 4 2 4 4 4 4 38 95 Responden3 4 4 4 4 4 4 4 4 4 4 40 100 Responden4 4 3 3 4 4 4 4 4 3 2 35 87.5 Responden5 2 4 3 3 3 2 3 2 4 2 28 70 Responden6 2 4 4 4 4 3 4 4 4 4 37 92.5 Responden7 4 4 4 4 4 4 4 4 4 4 40 100 Responden8 3 3 4 4 3 3 4 4 3 4 35 87.5 Responden9 4 4 4 3 4 3 4 4 4 4 38 95 Responden10 4 4 4 4 4 4 4 4 4 4 40 100 Responden11 3 3 3 3 3 2 2 3 3 3 28 70 Responden12 2 3 3 3 3 2 3 3 3 3 28 70 Responden13 4 2 3 3 4 3 3 2 2 3 29 72.5 Responden14 2 2 3 4 3 2 2 4 2 3 27 67.5 Responden15 4 4 4 4 4 4 4 4 4 4 40 100 Responden16 4 4 4 4 4 4 4 4 4 4 40 100 Responden17 4 4 4 4 4 4 4 4 3 4 39 97.5 Responden18 0 0 0 0 0 2 0 0 0 0 2 5 Responden19 4 4 4 4 4 4 4 4 4 4 40 100 Responden20 4 4 4 4 4 4 4 4 4 4 40 100 Responden21 1 3 3 3 3 3 3 3 3 3 28 70 Responden22 4 4 4
4 2 2 4 4 4 4 36 90 Responden23 2 1 1
1 2 1 3 1 0 0 12 30 Responden24 4 4 4
3 4 1 4 4 4 0 32 80 Responden25 4 4 4
4 4 4 4 4 4 4 40 100 Responden26 4 3 3
4 4 3 2 4 4 4 35 87.5 Responden27 4 4 4
4 4 4 4 4 4 0 36 90 Responden28 4 4 4 3 4 4 4 4 4 3 38 95
Nuryasin, Evaluasi Usability Aplikasi Spotify Menggunakan Metode System Usability Scale (SUS)
Perhitungan skor SUS Jumlah Total skor (*2.5) Responden P1  P2  P3  P4  P5  P6  P7  P8  P9 P10 Responden29 4 4 4 4 4 4 3 4 4 2 37 92.5 Responden30 4 4 4 4 4 3 4 4 4 3 38 95 Responden31 4 4 4 4 4 4 3 4 4 4 39 97.5 Responden32 1 3 3 4 4 4 4 4 4 3 34 85 Jumlah 1081 2702.5 Rata-rata 84.5
Berdasarkan perhitungan yang telah dilakukan pada tabel 4, didapatkan hasil akhir dari skor SUS adalah 84,453125 atau jika dibulatkan sama dengan 84,5. Berdasarkan hasil ini dapat diartikan aplikasi Spotify termasuk kedalam kategori “A” dengan penilaian “Excellent” yang menunjukkan bahwa  aplikasi  Spotify  mudah  digunakan  dan  dipahami  oleh  pengguna,  dan  “Acceptable”  yang menunjukkan bahwa aplikasi Spotify memenuhi ekspektasi pengguna dalam hal usability .

## 5 KESIMPULAN
Berdasarkan hasil dari analisis usability aplikasi Spotify menggunakan metode system usability scale yang  telah  dilakukan,  skor  akhir  pada  aplikasi  Spotify  mencapai  nilai  84,5.  Hasil  ini  dapat diartikan bahwa tingkat  penerimaan pengguna  terhadap  aplikasi  Spotify  sangat baik  dan  sudah memenuhi  ekspetasi  penggunaan  dalam  hal usability .  Dari  hasil  evaluasi usability ini  dapat disimpulkan  Spotify  dapat  mempertahankan  keloyalitasan  pengguna,  mempertahankan kepopulerannya, dan mampu bersaing dengan aplikasi streaming musik lainnya.

## REFERENSI
[1] D. Sema, “Mendengarkan dan Memahami Musik,” Tonika J. Penelit. Dan Pengkaj. Seni, vol. 4, no. 1, pp. 82 – 94, May 2021, doi: 10.37368/tonika.v4i1.125.
[2] Z. Fairus, “Strategi Pemasaran Spotify dalam Pembeliam akun Premium,” Sep. 2021.
[3] B.  Winarso,  “Apa  Itu  Spotify,”  Hybrid.co.id.  Accessed:  May  20,  2024.  [Online].  Available: https://hybrid.co.id/post/apa-itu-spotify/
[4] “Music  Streaming  App  Revenue  and  Usage  Statistics  (2024),”  Business  of  Apps.  Accessed: May  21,  2024.  [Online].  Available:  https://www.businessofapps.com/data/music-streaming- market/
[5] C.  R.  Uripi,  “Halangan  Berpindah  Untuk  Mempertahankan  Loyalitas  Pengguna  Blackberry Smartphones”.
[6] B. Ciptadi and J. Umar, “Metode Alternatif untuk Mendeteksi Bias Respons Social Desirability pada Item- item Tes Kepribadian,” JP3I J. Pengukuran Psikol. Dan Pendidik. Indones., vol. 1, no.
1, Art. no. 1, Feb. 2019, Accessed: May 28, 2024. [Online]. Available: https://journal.uinjkt.ac.id/index.php/jp3i/article/view/10683
[7] G.  F.  Widjieanto,  “Analisa  Pengaruh  User  Experience  Terhadap  Customer  Loyalty  dengan Trust Sebagai Variabel Intervening pada Aplikasi Digital Payment Dana”.
[8]  M. C. Herawati and D. F. Suyatno, “Evaluasi User Experience Pada Aplikasi SOCO by Sociolla Menggunakan Google’s HEART Metrics dan Set GSM,” J. Emerg. Inf. Syst. Bus. Intell. JEISBI, vol. 4, no. 4, pp. 79 – 85, Sep. 2023.
[9] W.  Handiwidjojo  and  L.  Ernawati,  “Pengukuran  Tingkat  Ketergunaan  (Usability)  Sistem Informasi Keuangan Studi Kasus: Duta Wacana Internal Transaction (Duwit),” . . ., vol. 02, no. 01, 2016.
[10] B. Zhang et al., “Understanding User Behavior in Spotify,” presented at the Proceedings - IEEE INFOCOM, Apr. 2013, pp. 220 – 224. doi: 10.1109/INFCOM.2013.6566767.
[11] S. Chopra, D. Kumar, G. Singh, and A. Nayyar, “User Interface : an Overview,” 2023, pp. 1– 9.
Nuryasin, Evaluasi Usability Aplikasi Spotify Menggunakan Metode System Usability Scale (SUS)
[12] N. P. C. Sitorus, I. Jaelani, and Y. Muhyidin, “Perancangan User Interface dan User Experience Aplikasi Penjualan Furniture Interior & Build pada Toko Stepline Menggunakan Metode Goal Directed  Design  (GDD),”  JATI  J.  Mhs.  Tek.  Inform.,  vol.  7,  no.  4,  A rt.  no.  4,  2023,  doi: 10.36040/jati.v7i4.7024.
[13]  E. F. Yehdeya, C. H. Primasari, T. A. P. Sidhi, Y. P. Wibisono, D. B. Setyohadi, and M. Cininta, “Analisis  User  Interface  (UI)  Dan  User  Experience  (UX)  Sudut  Elevasi  Pemukul  Gamelan Metaverse Virtual Reality Menggunakan User Centered Design (UCD),” JI KO J. Inform. Dan Komput., vol. 7, no. 1, Art. no. 1, Feb. 2023, doi: 10.26798/jiko.v7i1.757.
[14] F.  Zamakhsyari  and  A.  Fatwanto,  “A  Systematic  Literature  Review  of  Design  Thinking Approach for User Interface Design,” JOIV Int. J. Inform. Vis., vol. 7, p. 2313, Dec. 2023, doi: 10.30630/joiv.7.4.01615.
[15]  J. J. Garrett, The elements of user experience: user-centered design for the Web and beyond, 2nd ed. in Voices that matter. Berkeley, CA: New Riders, 2011.
[16] N.  Bevan,  “What  is  the  difference  between  the  purpose  of  usability  and  user  experience evaluation methods,” 2009. Accessed: May 28, 2024. [Online]. Available: https://www.semanticscholar.org/paper/What-is-the-difference-between-the-purpose-of- and-Bevan/cba74036995821ca560d31bf397c695a460a63a5
[17]  W. L. in R.- B. U. Experience, “Usability 101: Introduction to Usability,” Nielsen Norman Group. Accessed: May 24, 2024. [Online]. Available: https://www.nngroup.com/articles/usability-101- introduction-to-usability/
[18]  A.  Subiyakto,  V.  Adhiazni,  E.  Nurmiati,  N.  Hasanati,  S.  Sumarsono,  and  Moh.  Irfan, “Redesigning User Interface Based On User Experience Using Goal - Directed Design Method,” in 2020 8th International Conference on Cyber and IT Service Management (CITSM), Pangkal Pinang, Indonesia: IEEE, Oct. 2020, pp. 1 – 6. doi: 10.1109/CITSM50537.2020.9268822.
[19] J.  Nielsen,  “Usability  inspection  methods,”  in  Conference  Companion  on  Human  Factors  in Computing Systems, in CHI ’95. New York, NY, USA: Association for Computing Machinery, May 1995, pp. 377 – 378. doi: 10.1145/223355.223730.
[20] I. A. H.n, P. I. Nugroho, and R. Ferdiana, “Pengujian Usability Website Menggunakan System Usability Scale,” J. IPTEKKOM J. Ilmu Pengetah. Teknol. Inf., vol. 17, no. 1, Art. no. 1, Jun. 2015, doi: 10.17933/iptekkom.17.1.2015.31-38.
[21] J. R. Lewis, “The System Usability Scale: Past, Present, and Future,” Int. J. Human– Computer Interact., vol. 34, no. 7, pp. 577 – 590, Jul. 2018, doi: 10.1080/10447318.2018.1455307.
[22] J. Brooke, “SUS: A quick and dirty usability scale,” Usability Eval Ind, vol. 189, Nov. 1995.
[23] D.  Oleh,  “Mengukur  Kepuasan  Pengguna  Sistem  Informasi  Bimbingan  Konseling  (E -BK) Menggunakan System Usability Scale (SUS) di SMK Negeri 1 Banda Aceh”.
[24] B.  Y.  Prayoga,  “Usability  Analysis  Of  Camscanner  Applications  Using  The  System  Usability Scale  (SUS)  Method,”  J.  PERANGKAT  LUNAK,  vol.  5,  no.  2,  pp.  177– 186,  Jun.  2023,  doi: 10.32520/jupel.v5i2.2616.