Elsy  Rahajeng  (2022)  Evaluasi  Pengalaman  Pengguna  Aplikasi  E-Letter  Menggunakan  Metode User Experience Questionnaire , Jurnal Syntax Literate: Jurnal Ilmiah Indonesia, (7) 10 E-ISSN: 2548-1398 Published by: Ridwan Institute
Syntax Literate: Jurnal Ilmiah Indonesia p–ISSN: 2541-0849 e-ISSN: 2548-1398 Vol. 7, No. 10, Oktober 2022

## EVALUASI PENGALAMAN PENGGUNA APLIKASI E-LETTER MENGGUNAKAN METODE USER EXPERIENCE QUESTIONNAIRE

## Elsy Rahajeng
Program Studi Sistem Informasi, Universitas Islam Negeri Syarif Hidayatullah, Indonesia Email: elsy.rahajeng@uinjkt.ac.id

## Abstrak
Aplikasi  E-letter  merupakan  aplikasi  yang  digunakan  mahasiswa  untuk  mengajukan pembuatan  surat.  Aplikasi  yang  membantu  mahasiswa  dalam  mengajukan  surat Keterangan Aktif Kuliah dan Surat Keterangan Praktek Kerja Lapangan dan yang lainnya. Dalam  penelitian  ini  ingin  diketahui  tingkat  kenyamanan  pengguna  dalam  hal User Experience. Evaluasi  dilakukan  pada  mahasiswa  dan  mahasiswi  program  studi  Sistem Informasi dengan menggunakan metode User Experience Questionnaire (UEQ). Evaluasi dilakukan dengan menggunakan Data Analityc Tool yang berada di website UEQ. Hasil dari evaluasi ini adalah Nilai daya tarik adalah 1,436, nilai kejelasan adalah 1,702, nilai efisiensi adalah 1,202, nilai ketepatan adalah 1,269, nilai stimulasi adalah 1,365 dan nilai kebaruan adalah 0,750.
Kata Kunci: User Experience , User Experience Questionnaire , E-Letter

## Abstract
The E-letter application is an application used by students to submit letters. Applications that assist students in submitting a Certificate of Active Lecture and a Certificate of Field Work Practice and others. In this study, we want to know the level of user comfort in terms of  User  Experience.  The  evaluation  was  carried  out  on  students  and  students  of  the Information  Systems  study  program  using  the  User  Experience  Questionnaire  (UEQ) method. The evaluation was carried out using the Data Analytic Tool located on the UEQ website.  The  results  of  this  evaluation  are  the  attractiveness  value  is  1.436,  the  clarity value is 1.702, the efficiency value is 1.202, the accuracy value is 1.269, the stimulation value is 1.365 and the novelty value is 0.750.
Keywords: User Experience , User Experience Questionnaire , E-Letter

## Pendahuluan
Kegiatan  persuratan  adalah  suatu  kegiatan  yang  biasa  dilakukan  di  berbagai  instansi. Apalagi kegiatan persuratan ini melibatkan berbagai pihak. Kegiatan persuratan bila dilakukan secara manual maka akan dapat saja terjadi surat tersebut hilang. Untuk mencegah kehilangan dokumen  dan  tertatarapi  persuratan  di  suatu  organisasi  maka  diperlukan  aplikasi  yang mengelola  persuratan.  Teknologi  informasi  yang  saat  ini  pesat  perkembangannya memungkinkan  untuk  melakukan  kegiatan  surat  menyurat  berbasis  teknologi  informasi.  Di
organisasi yang sudah ingin agar dokumen persuratan terkelola dengan baik maka penggunaan teknologi perlu dipertimbangkan untuk kelancaran kegiatan surat menyurat di organisasi.
Pada kegiatan perkuliahan di perguruan tinggi, kegiatan persuratan cukup menjadi suatu hal yang sering dilakukan dalam pelaksanaan administrasi perkuliahan. Mahasiswa fakultas Sains  dan  teknologi  UIN  Syarif  Hidayatullah  mendapatkan  kemudahan  untuk  mengajukan surat menyurat kepada pihak fakultas dengan menggunakan aplikasi yang disebut E-Letter.
Aplikasi  Sistem  Informasi  Persuratan  atau  E-Letter  yang  ada  di  fakultas  Sains  dan Teknologi UIN Syarif Hidayatullah adalah aplikasi yang ditujukan untuk mahasiswa fakultas Sains dan Teknologi. Aplikasi ini bertujuan untuk membantu mahasiswa untuk mengajukan pembuatan  surat.  Pembuatan  surat  yang  dapat  diajukan  antara  lain  Surat  Keterangan  Aktif Kuliah dan Surat PKL (Praktek Kerja Lapangan) (Pustipanda, 2017b).
Admin  Sistem  Informasi  Persuratan  dapat  membuatkan  surat  yang  diperlukan  oleh mahasiswa karena terkadang mahasiswa tidak dapat mengakses sendiri E-letter karena kendala tertentu.  Mahasiswa  dapat  meminta  bantuan  kepada  admin.  Admin  akan  membantu memesankan surat yang dibutuhkan oleh mahasiswa. Selain pembuatan surat, pada aplikasi E- letter ini juga terdapat menu laporan surat (rekapitulasi surat) yang dipesan mahasiswa dalam waktu tertentu (Pustipanda, 2017a).
Pembuatan  Surat  oleh  mahasiswa  melalui  Sistem  Informasi  E-Letter  bukan  tanpa kendala.  Ada  mahasiswa  yang  mengeluhkan  adanya  kendala  terkait  dengan  penggunaan  E- Letter. Oleh karenanya berdasarkan keluhan yang dirasakan pengguna dan untuk mengevaluasi pengalaman  pengguna  E-Letter  maka  penulis  mengajukan  penelitian  dengan  judul  Evaluasi Pengalaman Pengguna Aplikasi E-Letter Menggunakan Metode User Experience Questions untuk mengevaluasi pengalaman pengguna dalam berinteraksi dengan E-Letter.
Keberhasilan produk perangkat lunak tidak hanya dapat digunakan secara fungsinya dan kelengkapan  perangkat  lunak  tetapi  yang  tidak  kalah  penting  adalah  pengalaman  pengguna ( user experience ) secara keseluruhan dalam menggunakan perangkat lunak tersebut (Zarour & Alharbi, 2017).
Kuesioner pengalaman pengguna / User Experience Quesionnaire (UEQ) adalah suatu skala  pengukuran  yang  komprehensif  yang  mengukur  pengalaman  pengguna.  Aspek  yang diukur ada dua yaitu aspek kegunaan yang meliputi efisiensi, ketajaman dan ketergantungan ( efficiency,  perspicuity,  dependability )  dan  pengukuran  aspek  pengalaman  pengguna  yaitu orisinalitas dan stimulasi ( originality, stimulation ) (UEQ Team, 2018).
Kuesioner pengalaman pengguna (UEQ) adalah kuesioner yang banyak digunakan untuk mengukur  kesan  subjektif  pengguna  terhadap  pengalaman  pengguna  produk.  UEQ  adalah diferensial semantik dengan 26 item. Pengisian UEQ membutuhkan waktu kurang lebih 3-5 menit,  yaitu  UEQ  sudah  cukup  efisien  dalam  hal  waktu  yang  dibutuhkan  untuk  menjawab semua item (Schrepp et al., 2017b).
Pada UEQ terdapat 6 skala yaitu:
1) Attractiveness (Daya Tarik): Impresi secara keseluruhan dari suatu produk atau layanan.
2) Perspicuity (Kejelasan):  Kemudahan  yang  didapatkan  dari  produk  atau  layanan  dan kemudahan untuk menggunakakan produk atau layanan tersebut.
3) Efficiency (Efisiensi): Apakah pengguna dapat menyelesaikan tugas mereka tanpa melalui usaha, dan apakah pengguna akan bereaksi dengan cepat?
4) Dependability (Ketepatan): Apakah pengguna merasa mengendalikan interaksi? Apakah aman dan dapat diprediksi.
5) Stimulation (Stimulasi): Apakah menarik dan memotivasi untuk menggunakan produk? Apakah menyenangkan untuk digunakan?
6) Novelty (Kebaruan):  Apakah  desain  produk  kreatif?  Apakah  itu  menarik  minat pengguna?(UEQ Team, 2018)
Skala  yang  berjumlah  enam  tersebut  dikelompokkan  menjadi  3  aspek  yaitu  aspek Daya Tarik ( Attractiveness ), aspek Pragmatic Quality ada hubungannya dengan manfaat yang dirasakan, efiisiensi dan kemudahan suatu aplikasi atau website digunakan dan aspek Hedonic Quality terdiri dari stimulasi ( Stimulation ) dan Kebaruan ( Novelty ). Berikut contoh pertanyaan yang ada dalam kuesioner UEQ:

## Gambar 1. Kuesioner UEQ Method
Tahapan penelitian ini adalah sebagai berikut:

## 1. Metode Pengumpulan Data
Observasi: Kegiatan observasi ini adalah kegiatan yang mengamati perilaku pengguna E- Letter dalam menggunakan E-letter. Survei: Survei dengan menyebarkan kuesioner kepada pengguna  E-letter  yaitu  mahasiswa  Fakultas  Sains  dan  Teknologi  program  Studi  Sistem Informasi. Studi Literatur: Kegiatan ini menelaah literatur yang ada pada jurnal – jurnal.

## 2. Populasi dan Sampel
Populasi  mahasiswa  dan  mahasiswi  program  Studi  Sistem  Informasi  UIN  Syarif Hidayatullah.  Sampel  awal  30  orang  mahasiswa  dan  mahasiswi.  Untuk  mengukur User Experience dengan  sampel  pengguna  yang  representatif,  maka  biasanya  dapat  diambil sampel  20  –  30  pengguna,  hal  tersebut  sudah  memberikan  pengukuran  yang  cukup stabil(Schrepp et al., 2017a).

## 3. Metode Analisis Data
Menganalisis  dengan  menggunakan  metode User  Experience  Questionnaire (UEQ). Intepretasi  hasil  yang  didapat  dengan  memasukkan  data  yang  telah  disebarkan menggunakan  excel  dan  dimasukkan  ke tools yang  telah  disediakan  pada website UEQ. Kemudian  pada  bagian  Benchmark  UEQ  ini  kita  mendapatkan  patokan  tolak  ukur bagaimana aplikasi atau website yang kita uji dengan membandingkan dengan benchmark. Benchmark mengklasifikasi ke 5 (lima) kategori per skala yaitu:
- Luar biasa ( Excellent ): Di kisaran 10% hasil terbaik.
- Bagus ( Good ): 10% hasil dalam set data benchmark lebih baik dan 75% dari itu hasilnya lebih buruk.
- Di atas rata-rata ( Above average ): 25% dari hasil dalam benchmark lebih baik daripada hasilnya untuk produk yang dievaluasi, 50% hasilnya lebih buruk.
- Di bawah rata-rata ( Below average ): 50% hasil dalam tolok ukur lebih baik daripada hasilnya untuk produk yang dievaluasi, 25% hasilnya lebih buruk.
- Buruk ( Bad ): Di kisaran hasil terburuk 25%

## Hasil dan Pembahasan
1. Pengumpulan data
Objek  pada  penelitian  ini  adalah  website  E-Letter  dengan  url:  https://e- letter.fst.uinjkt.ac.id/. Observasi dilakukan dengan cara memperhatikan mahasiswa dalam melakukan  pembuatan  atau  mengajukan  surat  keterangan  pada  Sistem  Informasi Persuratan (E-Letter).
Survei  dilakukan  dengan  cara  mengumpulkan  data.  Pengumpulan  data  dilakukan dengan  menyusun  pertanyaan  dalam  suatu form (isian)  dan  dibagikan  kepada  para responden.  Data  yang  didapatkan  dari  responden  akan  diubah  menjadi  dalam  bentuk spreadsheet . Data tersebut siap diolah lebih lanjut. Pada metode UEQ ada 26 pertanyaan. Studi literatur dilakukan dengan cara mencari artikel dan penelitian yang sejalan dengan penelitian dengan metode UEQ.
2. Populasi dan Sampel Populasi  pengguna  E-Letter  adalah  mahasiswa  dan  mahasiswi  Fakultas  Sains  dan Teknologi  lebih  spesifik  lagi  adalah  mahasiswa  dan  mahasiswi  Program  Studi  Sistem Informasi.  Untuk  sampel  responden  pada  penelitian  ini  adalah  30  orang  yang  pernah menggunakan  E-Letter.  Pada  sampel  penelitian  ini  pengguna  keseluruhan  adalah mahasiswa  program  studi  Sistem  Informasi  fakultas  Sains  dan  Teknologi  UIN  Syarif Hidayatullah. 56,7% responden adalah laki – laki dan 43,3% responden adalah wanita. Rata – rata usia responden adalah 19 - 23 tahun.
3. Analisis Data Tahapan selanjutnya setelah mendapatkan data dari responden maka akan dilakukan pengolahan data. Data yang didapatkan akan diolah dengan Metode UEQ. Data tersebut diolah  dengan  menggunakan Data  Analysis  Tools. Tools  tersebut  dapat  diambil  dari website resmi UEQ. Untuk angka tiap item yang tertinggi adalah 3 untuk hasil yang positif dan terbaik. Untuk hasil yang negatif adalah paling rendah adalah -3, ini adalah penilaian yang  terburuk.  Setelah  data  dimasukkan  ke  dalam tools maka  hasil  data  yang  didapat adalah ada 4 buah data yang tidak konsisten. Sehingga data yang tidak konsisten tersebut kita hapus sehingga pengukuran jauh lebih baik. Data yang telah konsisten menjadi 26 data. Analisis yang dilakukan dengan menggunakan metode UEQ ini menggunakan 26 pertanyaan,  pengguna  diminta  untuk  menjawab  masing  –  masing  item.  Pertanyaan  – pertanyaan tersebut memiliki skala penilaian dari 1 sampai dengan 7. Sehingga hasil yang didapat dari data seperti pada tabel di bawah ini:

## Tabel 1.  Rerata, Varian dan Simpangan Baku
Dari gambar tersebut dilakukan perhitungan mean (rerata), Variance (Varian) dan Standard Deviation , dan dapat kita lihat bahwa skalanya dipisahkan berdasarkan warna.
Tabel 2 di bawah ini adalah hasil rerata berdasarkan skala UEQ berikut hasilnya:

## Tabel 2. Hasil rerata berdasarkan skala
Kemudian selanjutnya, uji UEQ terdiri dari 6 (enam) skala yang dievaluasi yang antara  lain  daya  tarik  ( attractiveness) ,  kejelasan  ( perspicuity) ,  efisiensi  ( efficiency ), ketepatan ( dependability ), stimulasi ( stimulation ) dan kebaruan ( novelty ).
Nilai per aspek dapat dilihat pada Gambar 2. Dari semua aspek yaitu daya tarik, kejelasan,  efisiensi,  ketepatan,  stimulasi  nilainya  >  1  tetapi  untuk  aspek  kebaruan nilainya kurang dari 1. Nilai aspek kebaruan masih kurang dibanding nilai aspek lain. Oleh karenanya aspek kebaruan perlu ditingkatkan agar dapat seperti aspek yang lainnya. Gambar 2 pada gambar ini menunjukkan nilai rerata dari aspek yang ditanyakan pada pengguna.  Nilai  rerata  Daya  Tarik  adalah  1,46,  nilai  Kejelasan  adalah  1,702,  nilai Efisiensi adalah 1,202, nilai Ketepatan daalah 1,269, Stimulasi memiliki nilai di 1,365. Semua nilai tersebut mendapat nilai di atas 1 kecuali nilai item Kebaruan yang memiliki nilai di bawah 1 yaitu 0,75.

## Elsy Rahajeng

## Gambar 2. Nilai per aspek aplikasi E-Letter
Skala  UEQ  dapat  kita  bagi  menjadi  dua  kualitas  yaitu  kualitas  pragmatis ( Perspicuity, Efficiency, Dependability ) dan kualitas hedonis ( Stimulation, Originality ). Kualitas pragmatis terdiri dari kejelasan, efisiensi, dan ketepatan. Stimulasi dan kebaruan menjadi bagian dari kualitas hedonis. Penilaian untuk daya tarik, kualitas pragmatis, dan hedonis dapat dilihat pada Tabel 3.

## Tabel 3. Tabel Kualitas Pragmatis dan Hedonis
Dari tiga kualitas yaitu daya tarik, kualitas pragmatis dan kualitas hedonis makan berdasarkan Tabel 3 maka nilai yang terbesar adalah daya tarik yang nilainya adalah 1,44. Kemudian kualitas pragmatis mendapatkan nilai 1,39 dan kualitas hedonis mendapatkan nilai 1,06.
Hasil lain yaitu benchmark adalah analisis yang membandingkan hasil evaluasi pada penelitian ini dengan penelitian yang sejenis yang dipaparkan pada website UEQ. Berikut ini gambar 3 adalah grafik dari data benchmark:

## Gambar 3. Data Benchmark
Data pada gambar 3 dan tabel 4 menggambarkan nilai hasil Data Benchmark yaitu Daya Tarik, Kejelasan, Efisiensi, Ketepatan dan Kebaruan yaitu Di atas rata – rata ( Above Average) yang artinya 25% hasil benchmark lebih baik daripada hasil untuk produk yang dievaluasi, 50% hasil lebih buruk. Sedangkan Stimulasi dalah baik ( Good ) artinya 10% hasil dari kumpulan data benchamrk lebih baik dan 75% hasil lebih buruk.
Tabel 4. Nilai hasil Data Benchmark Scale Mean Comparisson to benchmark  Interpretation Daya tarik 1,44 Above average 25% of results better, 50% of results worse Kejelasan 1,70 Above Average 25% of results better, 50% of results worse Efisiensi 1,20 Above Average 25% of results better, 50% of results worse Ketepatan 1,27 Above Average 25% of results better, 50% of results worse Stimulasi 1,37 Good 10% of results better, 75% of results worse Kebaruan 0,75 Above Average 25% of results better, 50% of results worse

## Kesimpulan
Hasil  dari  evaluasi  aplikasi  e-letter  ini  pada  skala  daya  tarik  adalah  1,44  yang  bila dibandingkan  dengan  benchmark  hasilnya  di  atas  rata  –  rata,  pada  skala  kejelasan  nilainya adalah 1,70 yang bila dibandingkan dengan benchmark hasilnya di atas rata – rata, pada skala efisiensi nilainya adalah 1,20 yang bila dibandingkan dengan benchmark adalah di atas rata – rata. Skala ketepatan dengan nilai 1,27 yang bila dibandingkan dengan benchmark adalah di atas  rata  –  rata.  Untuk  skala  stimulasi  mendapat  nilai  1,37  yang  bila  dibandingkan  dengan benchmark  hasilnya  baik  dan  kebaruan  dengan  nilai  0,75  yang  bila  dibandingkan  dengan benchmark hasilnya di atas rata – rata.

## Elsy Rahajeng

## BIBLIOGRAFI
Jelantik, G. N. K. S. A., Si, Satwika, P., & Anggara, N. Y. (2019). Analisis Sistem Informasi Akademik  STMIK  Primakara  Menggunakan  User  Experience  Questionnaire  (Arya Jelantik)  Analisis  Sistem  Informasi  Akademik  STMIK  Primakara  Menggunakan  User Experience Questionnaire (UEQ). Jutisi , 8 No.3 , 95–106. www.siska.primakara.
Kharis,  Santosa,  P.  I.,  &  Winarno,  W.  W.  (2019). Evaluasi  User  Experience  pada  Sistem Informasi  Pasar  Kerja  Menggunakan  User  Experience  Questionnaire  (UEQ) .  CITEE 2019.
Kushendriawan, M. A., Santoso, H. B., Panca, O. H. P., & Schrepp, M. (2021). Evaluating User  Experience  of  a  Mobile  Health  Application  ‘Halodoc’  using  User  Experience Questionnaire  and  Usability  Testing. Jurnal  Sistem  Informasi , 17 (1),  58–71. https://doi.org/10.21609/jsi.v17i1.1063
Pustipanda.  (2017a). Panduan  Penggunaan  Aplikasi  Sistem  Informasi  Persuratan(E-Letter)
Admin . https://www.uinjkt.ac.id/wp-content/uploads/sites/2/2017/12/user.manual.admin- e-letter.pdf
Pustipanda.  (2017b). Panduan  Penggunaan  Aplikasi  Sistem  Informasi  Persuratan  E-Letter . https://pustipanda.uinjkt.ac.id/wp content/uploads/sites/2/2017/12/user.manual.mahasiswa-1.pdf
Schrepp, M., Hinderks, A., & Thomaschewski, J. (2017a). Construction of a Benchmark for the  User  Experience  Questionnaire  (UEQ). International  Journal  of  Interactive Multimedia and Artificial Intelligence , 4 (4), 40. https://doi.org/10.9781/ijimai.2017.445
Schrepp, M., Hinderks, A., & Thomaschewski, J. (2017b). Design and Evaluation of a Short Version  of  the  User  Experience  Questionnaire  (UEQ-S). International  Journal  of Interactive Multimedia and Artificial Intelligence , 4 (6), 103.
https://doi.org/10.9781/ijimai.2017.09.001
UEQ Team. (2018). Euser Experience Quesionnaire . https://www.ueq-online.org/
Zarour,  M.,  &  Alharbi,  M.  (2017).  User  experience  framework  that  combines  aspects, dimensions, and measurement methods. Cogent Engineering , 4 (1). https://doi.org/10.1080/23311916.2017.1421006
Copyright holder: Elsy Rahajeng (2022)
First publication right: Syntax Literate : Jurnal Ilmiah Indonesia
This article is licensed under: