## EXPLORER
Evaluasi Aplikasi DOI by RJI pada Aspek Usability dan User Experiance Menggunakan Metode System Usability Scale (SUS) dan User Experience Questionnaire (UEQ)
Asep Erlan Maulana
Fakultas Ilmu Komputer, Teknik Informatika, Universitas Pamulang, Tangerang Selatan, Indonesia Email: dosen02716@unpam.ac.id
Abstrak − Relawan Jurnal Indonesia memiliki aplikasi yang memudahkan para pengelola jurnal untuk menjadi member dari Crossref dan berlangganan Digital Object Identifier (DOI). Salah satu layanan yang dimiliki RJI saat ini adalah Aplikasi DOI. Tujuan penelitian ini untuk menguji kualitas kegunaan dan menghasilkan evaluasi tingkat kepuasan  pengalaman  pengguna  dari  Aplikasi  DOI by RJI.  Ada  2  metode  yang  digunakan  pada  penelitian  ini. Metode  pertama System  Usability  Scale (SUS)  digunakan  untuk  mengukur  aspek usability .  Sedangkan  metode kedua User  Experience  Questionnaire (UEQ)  digunakan  untuk  menghasilkan  hasil  evaluasi  tingkat  kepuasan pengguna dari pengalaman pengguna. Dari 23 responden terdapat hasil tingkat kepuasan pengguna dengan skor 65 dengan kategori D dan bisa dikatakan baik diterima oleh pengguna. Aspek tingkat kepuasan terdapat hasil level positif dengan nilai mean tertinggi ada pada skala efisiensi ( Efficiency ) yaitu 1,554 diikuti dengan skala stimulasi ( Stimulation )  dengan  nilai  1,511.  Kemudian  nilai  dari  skala  daya  tarik  ( Attractiveness )  sebesar  1,493,  skala ketepatan ( Dependability ) 1,478, skala kebaruan ( Novelty ) 1,326 dan skala kejelasan ( Perspicuity ) 1,272. Hal ini menunjukkan  tingkat  kepuasan  pengguna  dalam  menggunakan  Aplikasi  DOI by RJI  memiliki  pengalaman pengguna yang positif. Karena semua tingkat skala lebih tinggi dari nilai standarnya yaitu 0,8.
Kata Kunci: Aplikasi DOI RJI; System Usability Scale; User Experience Questionnaire
Abstract − Indonesian Journal Volunteers have an application that makes it easy for journal managers to become members of Crossref and subscribe to Digital Object Identifiers (DOI). One of the services that RJI currently has is the DOI application. The purpose of this study was to test the quality of usability and to evaluate the level of user experience satisfaction from the DOI by RJI application. There are 2 methods used in this research. The first method of the System Usability Scale (SUS) is used to measure usability aspects. While the second method of the User Experience Questionnaire (UEQ) is used to produce evaluation results of user satisfaction levels from the user experience. From 23 respondents there are results of user satisfaction levels with a score of 65 with category D and can be said to be well received by users. Aspects of the level of satisfaction there is a positive level results with the highest mean value on the efficiency scale (Efficiency) which is 1.554 followed by the stimulation scale (Stimulation) with a value of 1.511. Then the value of the attractiveness scale is 1.493, the dependability scale is 1.478, the novelty scale is 1.326 and the Perspicuity scale is 1.272. This shows that the level of user satisfaction in using the DOI by RJI application has a positive user experience. Because all levels of the scale are higher than the standard value of 0.8.
Keywords : DOI by RJI App; System Usability Scale; User Experience Questionnaire

## 1. PENDAHULUAN
Relawan Jurnal Indonesia merupakan organisasi nirlaba yang dibentuk pada tahun 2016 bergerak dibidang pengelolaan dan pengembangan publikasi ilmiah [1] . Salah satu layanan yang dimiliki RJI saat ini adalah Aplikasi DOI. Aplikasi DOI adalah layanan online yang memudahkan para pengelola jurnal untuk menjadi member dari Crossref dan berlangganan Digital Object Identifier (DOI). Pada 10 November 2017, Relawan Jurnal Indonesia (RJI)  diresmikan  sebagai  Sponsoring  Affiliates  Crossref  [2],  mereka  memiliki  wewenang  untuk  menyalurkan Prefiks DOI, membantu pendaftaran konten DOI ke Crossref, mengelola pembayaran DOI untuk  anggota yang tergabung  di  RJI,  mewakili  semua  anggota  untuk  membayar  membership  tahunan  ke  Crossref,  dan menyelenggarakan  kegiatan  serta  layanan  terkait  Crossref  di  Indonesia. Crossref  adalah  salah  satu  agen pendaftaran DOI dari International DOI Foundation (IDF) dan Scholarly Infrastructure yang dirancang dengan sengaja  oleh  komunitas  akademik  untuk  membantu  menghubungkan  publisher satu  dengan  yang  lain  dan komunitas akademik satu dengan yang lain, sehingga penelitian mereka lebih mudah ditemukan. [3].
Sejak dirilis Aplikasi DOI by RJI pada tahun 2017, belum ada penelitian terkait mengenai evaluasi usability . Hal  ini  memungkinkan  terdapatnya  beberapa  masalah  dari  aspek  usability  yang  belum  diketahui.  Untuk mengetahui seberapa mudah digunakan dan seberapa efektif penggunaan aplikasi DOI by RJI, evaluasi usability ini  diperlukan.  Ini  disebabkan  oleh  pentingnya  fungsi  dan  sebagai  penunjang  kelancaran  kegiatan  pengelolaan jurnal  serta  untuk  membantu  proses  pengelolaan  jurnal  menjadi  lebih  mudah.  Aspek  kegunaan  ( Usability ) dari perspektif  pengalaman pengguna  ( User  Experience )  adalah  komponen  yang  akan  dievaluasi . Aspek usability adalah  syarat  yang  diperlukan  untuk  sistem  dapat  bertahan  dikarenakan pengguna  akan  berhenti  menggunakan

## EXPLORER
ketika sistem  tersebut sulit  untuk digunakan  [4].  Metode  yang  baik  digunakan  untuk  evaluasi  sistem  dan memberikan hasil langsung tentang usability Portal Akademik Dosen ULM dengan menggabungkan metode User Experience Questionnaire (UEQ) dan Heuristic Walkthrough [5]. Metode Usability Testing dan User Experience Questionnaire (UEQ) digunakan Febrianto dkk dalam penelitiannya [6]. Kedua metode tersebut digunakan dalam penelitian  ini  untuk  mengevaluasi  kemampuan  dan  pengalaman  pengguna  pada  penggunaan Sistem  Informasi Puskesmas Paperless (SIMPLE). Hasil pengujian usability menunjukkan bahwa pengguna memiliki kemampuan untuk menyelesaikan ketujuh tugas yang diberikan. Tugas tersebut memiliki nilai 100% untuk tingkat efektivitas, yang berarti bahwa aplikasi SIMPLE sudah memiliki tingkat efektivitas (efektivitas) yang sangat baik. Pada aspek Efficiency,  tugas  pertama  menyelesaikan  dengan  waktu  yang  paling  cepat  dibandingkan  dengan  tugas  lainnya; responden pertama mencatat 0,19 goal/s atau 5,96 goal/s, responden kedua mencatat 4,86 goal/s, dan responden ketiga mencatat 5,07 goal/s. Tugas keenam mencatat waktu penyelesaian yang paling lama dibandingkan dengan tugas lainnya, dengan responden pertama mencatat 0,007 goal/s atau 133,69 goal/s, responden kedua 120,78 goal/s serta untuk responden ketiga yaitu 10,37 goal/s. Di Aspek Satisfaction, yang diuji menggunakan System Usability Scale (SUS), menerima nilai rata-rata sebesar 68,12, dan tetap berada pada tingkat skala yang mewakili kategori “D”.
Penggunaan  metode  UEQ  dan  USE Questionnaire digunakan  untuk  mengevaluasi  kebergunaan  dan pengalaman  pengguna  terhadap  marketplace  jogjaplaza.id.  Khususnya,  industri  kecil  menengah  (IKM)  adalah fokus penelitian ini [7]. Pada penelitiannya memberikan penjelasan tentang metode UEQ dan USE Questionnaire yang digunakan untuk mengukur kebergunaan dan pengalaman pengguna marketplace jogjaplaza.id, khususnya Industri  Kecil  Menengah  (IKM).  Hasil  pengujian  UEQ  menunjukkan  bahwa  responden  cukup  puas  dengan kegunaan  marketplace  jogjaplaza.id.  Menurut  hasil,  aspek  kualitas  pragmatis  menerima  nilai  0,70,  sedangkan aspek  kualitas  kesenangan  menerima  nilai  0,37.  Nilai  0,055  dari  aspek  kualitas  kesenangan  untuk  novelty menunjukkan bahwa pengguna tidak merasakan kebaruan atau novelty layanan karena tampilannya yang monoton dan  tidak  memiliki  layanan  yang  membantu  transaksi.  Pengujian  usability  yang  didasarkan  pada  tiga  aspek usability,  yaitu  efektivitas,  efisiensi,  dan  kepuasan,  telah  menunjukkan  hasil  yang  baik.  Berdasarkan aspek efektivitas  pengguna  dalam  menyelesaikan  tugas  yang  diberikan,  website  radio  streaming  lebih  efisien daripada  streaming  mobile  radio.  Pada  aspek kepuasan,  berdasarkan  hasil  kuesioner  SUS,  menghasilkan kesimpulan bahwa tingkat kepuasan mobile radio streaming lebih baik dan tinggi daripada website radio streaming [8].  Selanjutnya,  dengan  menggunakan  metode User  Experience  Questionnaire  (UEQ),  hasilnya  menunjukkan bahwa  baik  website  maupun  aplikasi  radio  prambors  memiliki  penilaian  yang  positif,  dengan  nilai  yang  sudah melebihi  0,8.  Untuk  mengukur  efisiensi  pengalaman  pengguna  menggunakan  Pedoman  Pengalaman  Pengguna (UEQ) ditemukan bahwa UEQ dapat melakukan evaluasi dengan cepat dan dapat mengukur aspek usability seperti efisiensi, perspektif, dan ketergantungan, serta aspek pengalaman pengguna seperti dorongan atau orisinalitas [9].
Tujuan  dari  penelitian  ini  adalah  untuk  melakukan  evaluasi usability pada  aplikasi  DOI by RJI.  Ini  akan dilakukan dengan menggunakan metode System Usability Scale (SUS) dan User Experience Questionnaire (UEQ) . Hasil  dari  evaluasi  ini  akan  menentukan  tingkat usability dari  penilaian  dan  pengalaman  pengguna,  serta mengidentifikasi masalah yang ada pada aplikasi DOI by RJI.

## 2.  METODOLOGI PENELITIAN
Tahapan  penelitian  yang  akan  dilakukan  untuk  melakukan  evaluasi  usability  dan  pengalaman  pengguna aplikasi DOI by RJI dimulai dari 1) Identifikasi Masalah dan Studi Literatur, 2) Penentuan untuk Pemilihan Metode Penelitian, 3) Persiapan Melakukan Evaluasi, 4) Melakukan Evaluasi Usability, 5) Analisis Data Hasil Evaluasi, dan 6) Penarikan Kesimpulan. Sebagaimana lengkapnya bisa dilihat pada Gambar 1.
Gambar 1. Tahapan Penelitian
Tahap awal pada penelitian, masalah diidentifikasi dan kemudian digunakan untuk membantu perumusan masalah  penelitian.  Selanjutnya,  analisis  studi  literatur  dilakukan  untuk  mendapatkan  teori-teori  yang  dapat mendukung  analisis  penelitian,  dengan  mengumpulkan  berbagai  informasi  dan  referensi  tentang  evaluasi usability untuk  mendukung  pengetahuan.  Selanjutnya,  hasil  identifikasi  masalah  dan  penelitian  literatur sebelumnya  digunakan  untuk  menentukan  metode  evaluasi.  Dalam  penelitian  ini,  evaluasi  usability  dilakukan

## EXPLORER
dengan menggunakan metode System Usability Scale (SUS) dan User Experience Questionnaire (UEQ). Proses persiapan  evaluasi  dilakukan  untuk  memenuhi  beberapa  nama  yang  diperlukan  untuk  menjalankan  evaluasi usability.  Ini  termasuk  menentukan  sampel  dan  membuat  kuesioner  untuk  dievaluasi  dengan  metode  ini. Selanjutnya metode evaluasi dipilih dan ditentukan dari hasil identifikasi masalah dan studi literatur yang telah dilakukan  sebelumnya.  Pada  penelitian  ini,  dilakukan  evaluasi usability dengan  menggunakan  metode System Usability Scale (SUS), dan User Experience Questionnaire (UEQ). Persiapan evaluasi dilakukan untuk memenuhi beberapa nama yang diperlukan untuk menjalankan evaluasi usability, seperti penentuan sampel dan pembuatan kuesioner untuk evaluasi dengan System Usability Scale (SUS) dan User Experience Questionnaire (UEQ). Pada tahap  ini  kuesioner  didapatkan  dari  pengguna  diolah  menggunakan  20  responden  yang  terdiri  dari  beberapa instansi  pengguna  aplikasi  ini.  Kuesioner  yang  didapat  dari  pengguna  diolah  menggunakan  metode System Usability Scale (SUS). 10 instrumen kuesioner dengan skala 5  Dihitung dengan rumus skor SUS. Lalu didapat hasil akhir perhitungan Skor SUS [10]. Kemudian menentukan grade hasil penilaian dengan 2 cara yaitu SUS Skor percentile  rank  dan  Acceptability  Range,  Grade  Scale,  dan  Adjective  Rating  [11].  Instrumen  kuesioner System Usability Scale (SUS) dapat dilihat pada Tabel 1.
Tabel 1. Instrumen Kuesioner System Usability Scale (SUS)
User Experience Questionnaire (UEQ)  merupakan pengumpulan beberapa data kuantitatif terhadap kesan responden  dari  pengalaman  pengguna  yang  digunakan  sebagai  bagian  dari classical  usability  test [12].  Hasil evaluasi menggunakan UEQ akan berdampak tinggi pada perbaikan dari dugaan mengenai bidang-bidang [13]. Untuk melakukan evaluasi menggunakan UEQ, populasi dan sampel diidentifikasi agar mendapatkan data yang relevan.
Sampel penelitian sebanyak 23 responden yang mewakili tiap pengguna aplikasi DOI by RJI dari berbagai institusi. Pada penelitian ini, Kuesioner ini didistribusikan melalui Google Form yang berisi 26 poin pertanyaan yang mengacu pada 26 item dari enam skala UEQ  [9], yaitu 1) Daya Tarik ( Attractiveness ) merupakan sebuah produk harus menyenagkan, terlihat menarik dan ramah kepada pengguna. Apakah pengguna suka atau tidak pada produk  tersebut?.  2)  Efisien  ( Efficiency )  merupakan  seberapa  cepat  dan  efisien  pengguna  dapat  menyelesaikan tugasnya dengan produk tersebut. Bisakah pengguna menyelesaikan tugas mereka tanpa usaha yang berlebihan. 3) Kejelasan  ( Perspicuity )  merupakan  pengguna  dapat  dengan  mudah  mengerti  dalam  mengenal  dan  cara mempelajari  produk.  4)  Ketepatan  ( Dependability )  merupakan  kesan  pengguna  bisa  berinteraksi  dan mengendalikan produk sesuai ekspektasinya. 5) Stimulasi ( Stimulation ) merupakan kesan pengguna untuk tertarik dan termotivasi dalam  menggunakan produk. 6) Kebaruan ( Novelty )  merupakan sebuah  produk harus  memiliki sifat inovatif, iventif dan direncang secara kreatif. Struktur dari Skala UEQ dapat dilihat pada gambar 2
Kode Instrumen Pertanyaan Sangat Tidak Setuju Sangat Setuju Q1 1. Saya berpikir akan sering menggunakan sistem ini. 1 2 3 4 5 Q2 2. Saya rasa sistem ini rumit untuk digunakan. 1 2 3 4 5 Q3 3. Saya rasa sistem ini mudah digunakan. 1 2 3 4 5 Q4 4. Saya membutuhkan bantuan dari orang lain atau teknisi untuk dapat menggunakan sistem ini. 1 2 3 4 5 Q5 5. Saya rasa fitur dari berbagai fungsi sistem ini berjalan sebagaimana mestinya. 1 2 3 4 5 Q6 6. Saya menemukan sistem ini tidak konsisten. 1 2 3 4 5 Q7 7. Saya rasa kebanyakan orang akan mudah belajar untuk menggunakan sistem ini dengan sangat cepat. 1 2 3 4 5 Q8 8. Saya rasa sistem ini sangat rumit untuk digunakan. 1 2 3 4 5 Q9 9. Saya rasa tidak ada hambatan dalam menggunakan sistem ini. 1 2 3 4 5 Q10  10. Saya perlu membiasakan diri terlebih dahulu sebelum bisa memulai menggunakan sistem ini. 1 2 3 4 5

## EXPLORER
Gambar 2. Struktur UEQ
Instrumen kuesioner UEQ dapat dilihat pada Gambar 3
Gambar 3. Instrumen UEQ [14]

## EXPLORER

## 3. HASIL DAN PEMBAHASAN
3.1 System Usability Scale (SUS)
Data yang diperoleh dari hasil kuesioner dengan responden sebanyak 23 responden. Data dari pengguna aplikasi DOI by RJI tersebut berasal dari berbagai institusi. Hasil data kuesioner merupakan data yang dipilih dan sudah melalui seleksi serta  konsistensi responden dalam  mengisi  kuesioner. Berikut pada tabel 2 adalah rincian data System Usability Scale (SUS) yang diperoleh dari hasil kuesioner:
Tabel 2. Data Kuesioner System Usability Scale ( SUS ) dari pengguna Aplikasi DOI by RJI
Tabel 2 menunjukkan rumus yang digunakan untuk menilai usability sistem. Selanjutnya, hasil perhitungan dianalisis  dengan  SUS  Percentile  Range,  Grade  Scale,  Adjective  Rating,  dan  Acceptability  Range.  Hasil penilaian berbeda  sesuai  dengan  kategori  penilaiannya.  jika  SUS  skor  percentile  rank membandingkan  hasil evaluasi  user  secara  keseluruhan  Namun,  untuk  Range  Acceptability  Range,  Grade  Scale,  dan  Adjective Rating penilaiannya dibagi menjadi tiga kategori. Hasil perhitungan skor SUS dapat dilihat pada tabel 3.
Tabel 3. Hasil Perhitungan Skor menggunakan rumus System Usability Scale (SUS) Responden Skor Hasil Hitung SUS Jumlah Nilai (Jumlah x 2.5) Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 Q10 R1 3 3 3 3 3 3 3 3 3 1 28 70 R2 0 3 3 3 3 3 3 3 1 1 23 58 R3 3 3 3 1 3 3 3 3 3 0 25 63 R4 4 4 4 3 4 4 4 4 4 1 36 90 R5 4 3 3 1 3 2 3 3 2 1 25 63 R6 4 4 4 3 4 4 4 4 4 2 37 93 R7 0 3 0 3 0 3 0 3 0 4 16 40 R8 4 4 4 3 3 4 4 4 4 3 37 93
No Responden Skor Kuesioner dari Responden Q1 Q2  Q3  Q4 Q5 Q6 Q7 Q8 Q9 Q10 1 Responden 1 4 2 4 2 4 2 4 2 4 4 2 Responden 2 1 2 4 2 4 2 4 2 2 4 3 Responden 3 4 2 4 4 4 2 4 2 4 5 4 Responden 4 5 1 5 2 5 1 5 1 5 4 5 Responden 5 5 2 4 4 4 3 4 2 3 4 6 Responden 6 5 1 5 2 5 1 5 1 5 3 7 Responden 7 1 2 1 2 1 2 1 2 1 1 8 Responden 8 5 1 5 2 4 1 5 1 5 2 9 Responden 9 4 4 4 4 3 3 3 3 3 4 10 Responden 10 4 2 4 2 4 1 4 2 3 4 11 Responden 11 5 4 2 4 2 3 2 4 2 4 12 Responden 12 4 3 4 3 4 3 3 3 3 3 13 Responden 13 4 1 5 4 4 2 5 1 5 3 14 Responden 14 4 2 4 2 4 2 4 2 4 4 15 Responden 15 4 2 1 1 1 2 4 3 3 2 16 Responden 16 4 2 4 2 4 2 4 2 4 2 17 Responden 17 3 2 4 2 4 3 4 2 4 2 18 Responden 18 3 4 2 3 3 4 2 4 2 4 19 Responden 19 4 4 2 3 4 2 2 2 2 5 20 Responden 20 5 1 5 2 5 1 4 1 5 4 21 Responden 21 4 3 4 3 4 3 4 3 4 5 22 Responden 22 5 2 4 2 4 3 3 2 4 2 23 Responden 23 4 2 4 1 4 3 4 2 5 2

## EXPLORER
R9 3 1 3 1 2 2 2 2 2 1 19 48 R10 3 3 3 3 3 4 3 3 2 1 28 70 R11 4 1 1 1 1 2 1 1 1 1 14 35 R12 3 2 3 2 3 2 2 2 2 2 23 58 R13 3 2 3 2 3 3 3 2 3 0 24 60 R14 3 3 3 3 3 3 3 3 3 1 28 70 R15 3 3 0 4 0 3 3 2 2 3 23 58 R16 3 3 3 3 3 3 3 3 3 3 30 75 R17 2 3 3 3 3 2 3 3 3 3 28 70 R18 2 1 1 2 2 1 1 1 1 1 13 33 R19 3 1 1 2 3 3 1 3 1 0 18 45 R20 4 4 4 3 4 4 3 4 4 1 35 88 R21 3 2 3 2 3 2 3 2 3 0 23 58 R22 4 3 3 3 3 2 2 3 3 3 29 73 R23 3 3 3 4 3 2 3 3 4 3 31 78 Skor rata-rata (Hasil Akhir) 65
Skor SUS akhir rata-rata sebesar 65 terlihat dari hasil perhitungan menggunakan rumus SUS yang ditunjukkan pada tabel 3. Nilai 65 termasuk dalam kategori D, atau dapat dianggap baik, seperti yang ditunjukkan pada gambar 3.
Gambar 3. Kategori Skor SUS [14]
3.2 User Experience Questionnaire (UEQ)
Sebagai  hasil  dari  distribusi  kuesioner  UEQ  kepada  pengguna  aplikasi  DOI by RJI,  yang  terdiri  dari  26 pertanyaan  yang  mewakili  enam  aspek  kuesioner User  Experience  Questionnaire (UEQ),  seperti  yang ditunjukkan pada Gambar 4.
F
D C B A LOW HIGH NOT ACCEPTABLE MARGINAL
ACCEPTABLE
0 1 0 2 0 3 0 4 0 5 0 6 0 7 0 8 0 9 0 10 0
WORST
IMAGINABLE POOR
OK
GOOD  EXCELLENT WORST
IMAGINABLE ACCEPTABILITY
RANGE
GRADE SCALE ADJECTIVE RATINGS 65 Skor SUS APP DOI by RJI

## EXPLORER
Gambar 4. Grafik Nilai keseluruhan Skala UEQ
Pada Gambar 5, keenam skala nilai rata-rata adalah 1,44. Dengan demikian, nilai User Experiance pada aplikasi DOI yang dikembangkan oleh RJI dapat dianggap sangat baik. Nilai rata-rata tertinggi ditemukan pada skala  efisiensi  (Efficiency),  yang  memiliki  nilai  1,554,  diikuti  oleh  skala  stimulasi  (Stimulation)  dengan  nilai 1,511.  Nilai  berikutnya  adalah  pada  skala  daya  tarik  (Attractiveness)  dengan  nilai  1,493,  skala  ketepatan (Dependability) dengan nilai 1,478, skala kebaruan (Novelty) dengan nilai 1,326, dan skala kejelasan (Perspicuity) 1,272.  Menurut  Martin  Schrepp  [12],  nilai  di  atas  0,8  menunjukkan  nilai  yang  positif,  dan  nilai  di  bawah  0,8 menunjukkan nilai yang negatif.
Gambar 5. Hasil Mean setiap Skala UEQ
Menurut  persepsi  pengguna,  skala  efisensi  ( Efficiency )  memiliki  nilai  tertinggi,  dengan  nilai  1,554. Dengan  menggunakan  skala  ini,  pengguna  dapat  mempercepat  proses  pendaftaran  DOI  secara online .  Struktur aplikasi yang dibuat sangat baik dan cukup untuk membantu pengguna menyelesaikan aktifitas penggunaannya. Pengguna juga memilih skala stimulasi ( Stimulation ) dengan nilai positif 1,511, yang mendorong pengguna untuk menjalankan  dan  menggunakan  aplikasi  DOI  oleh  RJI.  Selanjutnya,  pengguna  memilih  skala  daya  tarik ( Attractiveness )  dengan  nilai  positif  1,493.  Pengguna  mengatakan  bahwa  aplikasi  DOI  RJI  menarik.  Persepsi pengguna dipengaruhi oleh seberapa nyaman,  menarik, dan  menyenangkan  menggunakan aplikasi ini.  Aplikasi DOI by RJI memiliki sistem yang sederhana dan mudah digunakan yang membantu pengguna berlangganan DOI, melakukan  aktivasi  DOI,  dan  menjadi member Crossref .  Dengan  nilai  1,478,  skala  ketepatan  ( Dependability ) menunjukkan pengendalian pengguna dalam menggunakan aplikasi ini. Nilai ini mendukung aktifitas pengguna menggunakan  aplikasi  DOI by RJI  dalam  hal  tingkat kesesuaian  harapan,  tingkat kehandalan,  keamanan,  dan tingkat kemudahan dapat diprediksi. Menurut pengguna, skala kebaruan ( Novelty ) memiliki nilai 1,326 dan skala kejelasan  ( Perspicuity )  memiliki  nilai  1,272.  Nilai-nilai  ini  menunjukkan  bahwa  tingkat  inovasi  aplikasi  DOI by RJI sudah baik. Ketika mereka mencoba fitur-fitur yang ada di aplikasi, pengguna merasa ada kebaruan yang dihadirkan.  Mereka  juga  merasakan  hal  yang  sama  tentang  skala  kejelasan.  Pengguna  juga  menyukai  aspek

## EXPLORER
kejelasan.  Aplikasi  DOI by RJI  mudah  digunakan  oleh  pengguna,  seperti  yang  ditunjukkan  oleh  nilai  yang diberikannya, tampilannya yang sederhana dan mudah dipahami, dan tingkat kesulitan dan kerumitan yang rendah.
Gambar 6. UEQ Diagram Benchmarks Aplikasi DOI by RJI [15]
Berdasarkan UEQ benchmarks tahun 2019, dilakukan perbandingan dengan 468 studi mengenai produk yang berbeda (perangkat lunak bisnis, halaman web, toko web, dan jejaring sosial) untuk mengetahui aplikasi DOI RJI  memiliki  User  Experience  yang  baik.  Gambar  6  menunjukkan  hasilnya,  diagram  benchmark  dengan  lima kategori. Gambar 6 menunjukkan bahwa hasil penilaian aplikasi DOI by RJI dikategorikan Good . Dari 5 kategori penilaian, 4 dari skala UEQ mendapatkan nilai rata-rata di atas interval bechmarks dengan kategori Good . 2 skala mendapatkan nilai rata-rata di atas interval bechmarks dengan kategori Above Average . dan pada skala kejelasan ( Perspicuity ), nilai rata-rata mendekati kategori Above Average . Dari hasil pengukuran menggunakan kuesioner UEQ,  layanan  aplikasi  DOI by RJI  sudah  mempunyai  tingkat  penilaian  yang  baik.  Meskipun  skala  kejelasan ( Perspicuity ) nilai rata-ratanya mendekati di bawah rata-rata ( Above Average ).

## 4. KESIMPULAN
Hasil pengujian kegunaan (usability) yang dilakukan menggunakan System Usability Scale (SUS) dapat mencapai nilai sebesar 65 sehingga nilai tersebut mendapatkan grade B, yang berarti bahwa hasilnya baik. Secara kualitas kegunaan, hasil tersebut memenuhi kebutuhan pengguna saat menggunakan aplikasi. Sedangkan Pengujian yang dilakukan  dengan  menggunakan  metode User  Experience  Questionnaire (UEQ)  diperoleh  nilai  evaluasi pengalaman  pengguna  sebagai  berikut:  Tingkat  efisensi  ( Efficiency )  1,554  diikuti  dengan  tingkat  stimulasi ( Stimulation ) dengan nilai 1,511. Kemudian tingkat daya tarik ( Attractiveness ) sebesar 1,493, Tingkat ketepatan ( Dependability )  1,478,  Tingkat  kebaruan  ( Novelty )  1,326  dan  tingkat  kejelasan  ( Perspicuity )  1,272.  Hal  ini menunjukkan  tingkat  kepuasan  pengguna  dalam  menggunakan  Aplikasi  DOI by RJI  memiliki  pengalaman pengguna yang positif. Karena semua tingkat skala lebih tinggi dari nilai standarnya yaitu 0,8.

## REFERENCES
[1]  Adminrji, “About,” RJI. Accessed: Aug. 05, 2024. [Online]. Available: https://relawanjurnal.id/about/
[2]  Adminrji, “RJI Menjadi Sponsoring Affiliates Crossref,” RJI. Accessed: Aug. 05, 2024. [Online]. Available: https://relawanjurnal.id/rji-menjadi-sponsoring-affiliates-crossref/
[3]  M. T. Multazam, “Crossref Cited By, Cara Berpartisipasi dan memasangnya pada OJS Versi 2,” 2018, OSF . doi: https://doi.org/10.31227/osf.io/vb4fh.
[4]  J.  Nielsen,  “Usability  101:  Introduction  to  Usability,”  Nielsen  Norman  Group.  Accessed:  Aug.  05,  2024. [Online]. Available: https://www.nngroup.com/articles/usability-101-introduction-to-usability/
[5]  Y. Sari, M. Arafah, and N. Novitasari, “Evaluasi Usability Sistem Informasi Akademik Dosen Menggunakan User Experience Questionnaire dan Heuristic Walkthrough,” Jurnal RESTI (Rekayasa Sistem dan Teknologi Informasi) , vol. 5, no. 2, pp. 247–253, 2021, doi: 10.29207/resti.v5i2.3022.
[6]  W. A. Febrianto, W. H. N. Putra, and A. R. Perdanakusuma, “Analisis Pengalaman Pengguna Aplikasi Sistem Informasi Puskesmas Paperless menggunakan Metode Usability Testing dan User Experience Questionnaire (UEQ) (Studi,” Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer , vol. 3, no. 6, pp. 6099–6106, 2019.
[7]  V. A. Intanny, I. Widiyastuti, and M. D. K. Perdani, “Pengukuran Kebergunaan dan Pengalaman Pengguna Marketplace Jogjaplaza.id dengan Metode UEQ dan USE Questionnaire,” Jurnal Pekommas , vol. 3, no. 2, Art. no. 2, Oct. 2018, doi: 10.30818/jpkm.2018.2030201.
[8]  M. Audi, R. I. Rokhmawati, and H. M. Az-Zahra, “Analisis Aspek Usability dan User Experience Website dan Aplikasi Mobile Radio Streaming (Studi Pada Website dan Aplikasi Mobile Radio Prambors),” Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer , vol. 2, no. 2, pp. 6391–6400.

## EXPLORER
[9]  A. Hinderks, M. Schrepp, F. J. Domínguez Mayo, M. J. Escalona, and J. Thomaschewski, “Developing a UX KPI based on the user experience questionnaire,” Computer Standards & Interfaces , vol. 65, pp. 38–44, Jul. 2019, doi: 10.1016/j.csi.2019.01.007.
[10] U. Ependi, T. B. Kurniawan, and F. Panjaitan, “System Usability Scale Vs Heuristic Evaluation: a Review,” Simetris:  Jurnal  Teknik  Mesin,  Elektro  dan  Ilmu  Komputer ,  vol.  10,  no.  1,  pp.  65–74,  2019,  doi: 10.24176/simet.v10i1.2725.
[11] A. E. Maulana, A. K. Rivai, and S. Sarwani, “Analisis Kualitas Sistem Layanan Penilaian Buku Pendidikan Agama  (SILPBPA)  Menggunakan  Metode  System  Usability  Scale  (SUS)  dan  Pengembangannya Menggunakan Scrum Berbasis Web,” J.  Teknik  Informatika ,  vol.  13,  no.  2,  pp.  103–122,  Feb.  2021,  doi: 10.15408/jti.v13i2.17778.
[12] D. M. Schrepp, User Experience Questionnaire Handbook , vol. 8. 2019.
[13] B. Laugwitz, T. Held, and M. Schrepp, “Construction and Evaluation of a User Experience Questionnaire,” in HCI  and  Usability  for  Education and  Work ,  A.  Holzinger,  Ed.,  in  Lecture  Notes  in Computer  Science. Berlin, Heidelberg: Springer, 2008, pp. 63–76. doi: 10.1007/978-3-540-89350-9_6.
[14] A. Bangor, P. Kortum, and J. Miller, “Determining what individual SUS scores mean: adding an adjective rating scale,” Journal of Usability Studies (JUS) , vol. 4, no. 3, pp. 114–123, 2009.
[15] M.  A.  Maricar,  D.  Pramana,  and  D.  R.  Putri,  “Evaluasi  Penggunaan  SLiMS  pada  E-Library  dengan Menggunakan User Experience Question (EUQ),” Jurnal Teknologi Informasi dan Ilmu Komputer , vol. 8, no. 2, Art. no. 2, Mar. 2021, doi: 10.25126/jtiik.2021824443.