DOI: https://doi.org/10.32487/jshp.v8i2.2098
Received: 23 March 2024 Revised: 9 April 2024 Accepted: 25 April 2024

## Usability Evaluation pada Aplikasi Taspen Otentikasi Berbasis System
Usability Scale
R . Amalina Dewi Kumalasari 1* , Herman Tolle 2
1 Fakultas Komunikasi dan Bisnis, Universitas Telkom, Bandung, Indonesia
2 Fakultas Ilmu Komputer, Universitas Brawijaya, Malang, Indonesia
* radenamalina@telkomuniversity.ac.id

## Abstract
The  Taspen  Otentikasi  application  is  a  self-authentication  service  for  retirees  that  uses  combined  biometric technology, which includes voice, face, and movement recognition from PT Taspen Persero. The aim of digitising the authentication service into self-authentication is to make it easier for PT Taspen customers who are retirees, most of whom  have  entered  old  age  so  that  they  do  not  need  to  come  to  the  Taspen  payment  partner  office  to  carry  out authentication at the counter and to avoid document forgery. Usability testing can be done to determine how easily a system can be used. One method that can be used in usability testing is the System Usability Scale (SUS). The total number of respondents used was 34 respondents. From this test, a score of 68.3 was obtained, which indicates that the system that has been built still needs to be refined so that users, especially elderly people, can well receive it.
Keywords: usability, authentication, biometric

## Abstrak
Aplikasi Taspen Otentikasi merupakan layanan autentikasi mandiri (self-authentication) untuk pensiunan yang menggunakan teknologi  biometrik  kombinasi  yaitu meliputi  pengenalan  suara,  wajah  serta  gerakan  dari  PT  Taspen Persero. Tujuan digitalisasi layanan autentikasi menjadi self-authentication ini adalah untuk memudahkan nasabah PT Taspen  yang  merupakan  pensiunan  dan  kebanyakan sudah  memasuki  usia lanjut  agar  tidak  perlu  datang  ke  kantor mitra bayar Taspen untuk melakukan autentikasi di loket dan untuk menghindari adanya pemalsuan dokumen. Untuk mengetahui  seberapa mudah  suatu  sistem  dapat  digunakan,  dapat  dilakukan  pengujian usability .  Salah satu metode yang  dapat  digunakan  dalam  pengujian usability adalah  System Usability Scale  (SUS).  Total  responden  yang digunakan adalah 34 responden. Dari pengujian tersebut didapatkan skor 68,3, yang menandakan bahwa sistem yang telah  dibangun  masih  perlu  disempurnakan  agar  mampu  diterima  dengan  baik  oleh  penggunanya  terutama  orang berusia lanjut.
Kata kunci: usability , autentikasi, biometric
© 2024 Jurnal Sosial Humaniora dan Pendidikan (JSHP). This work is licensed under CC BY-SA 4.0

## 1. Pendahuluan
Seiring masuknya era revolusi industri 4.0. Beberapa layanan yang sebagian besar digunakan oleh konsumen berusia lanjut telah berangsur telah beralih dari sistem konvensional menjadi sistem yang  berbasis  teknologi,  walaupun  masih  ada  alternatif  layanan  konvensional  yang  dapat dimanfaatkan. Di Indonesia, salah satu layanan dana pensiun telah menerapkan layanan autentikasi diri berbasis biometrik dengan memanfaatkan autentikasi dan identifikasi multimodal, antara lain pin atau password ,  wajah,  mata,  dan  suara.  Autentikasi  nasabah  dana  pensiun  wajib  dilakukan secara  berkala  sebagai  bukti  bahwa  penerima  pensiun  masih  hidup.  Proses  autentikasi  yang
DOI: https://doi.org/10.32487/jshp.v8i2.2098
sebelumnya  hanya  melalui  petugas  di  loket  layanan,  kini  diperluas  hingga  mencakup  layanan autentikasi mandiri melalui aplikasi di smartphone pelanggan untuk mengurangi antrian. Di sisi lain teknologi biometrik digunakan dalam layanan mandiri ini sebagai “ prove of life” agar proses autentikasi aman dan mencegah penipuan atau pemalsuan data.
PT Taspen (Persero) atau Tabungan dan Asuransi Pegawai Negeri adalah Badan Usaha Milik Negara Indonesia yang bergerak di bidang usaha Asuransi Sosial Pegawai Negeri Sipil (PNS) yang terdiri  dari  Program  Pensiun,  Tabungan  Hari  Tua,  Jaminan  Kecelakaan  Kerja  dan  Jaminan Kematian. Penerima pensiun wajib melakukan autentikasi untuk pembayaran pensiun (PT Taspen Persero, 2018). Setiap awal bulan, para pensiunan Pegawai Negeri Sipil (PNS) akan antre di loket mitra Taspen (bank/ kantor pos) untuk di autentikasi oleh petugas loket. Bagi pensiunan yang telah mencapai usia lanjut dan mulai sakit, pencairan dana pensiun dapat diwakilkan oleh pasangan atau ahli warisnya. Biasanya, pihak yang mewakili penerima manfaat harus menyiapkan surat pengantar yang  menyatakan  bahwa  penerima  manfaat  masih  hidup  dan  berhak  mencairkan  dana.  Surat pernyataan  diperlukan  untuk  mencegah  pencairan  dana  pensiun  oleh  pihak  yang  tidak  berhak menerimanya, atau terdapat unsur penipuan. Ada kasus dimana pensiunan telah meninggal dunia, namun  ahli  warisnya  tetap  mengambil  dana  pensiun  yang  bukan  menjadi  haknya  (Kuswayati, 2019).  Aplikasi  Taspen  Otentikasi  merupakan  layanan  mandiri  berbasis  teknologi  yang diperuntukkan bagi peserta penerima manfaat pensiun untuk melakukan autentikasi berkala secara mandiri, sehingga mereka tidak perlu datang ke loket untuk melakukan autentikasi.
Layanan  autentikasi  mandiri  dari  PT  Taspen  ini  merupakan  layanan  autentikasi  digital pertama  untuk  pensiunan  yang  menggunakan  teknologi  biometrik  kombinasi  yaitu  meliputi pengenalan sidik jari, iris dan wajah, serta suara dan baru diluncurkan pada tahun 2018. Tujuan digitalisasi layanan autentikasi menjadi self-authentication ini adalah untuk memudahkan nasabah PT  Taspen  yang  merupakan  pensiunan  dan  kebanyakan  sudah  memasuki  usia  lanjut  agar tidak perlu datang ke kantor mitra Taspen (bank atau kantor pos) untuk melakukan autentikasi di loket dan  untuk  menghindari  adanya  pemalsuan  dokumen.  Namun,  sejak  peluncuran  layanan self- authentication melalui aplikasi smartphone pada tahun 2018 hingga Desember 2020, dari jumlah nasabah Taspen sebanyak lebih dari 2,8 juta pensiunan, baru sebanyak 1,3 juta orang atau sekitar 46,13%  yang  telah  mendownload  aplikasi  (PT  Taspen  Persero,  2021).  Artinya,  belum  semua nasabah Taspen memanfaatkan aplikasi ini.
Gambar 1. Interface dari aplikasi Taspen Otentikasi Sumber: Dokumentasi penulis
DOI: https://doi.org/10.32487/jshp.v8i2.2098
Aplikasi Taspen Otentikasi bisa di instal secara gratis di perangkat smartphone. Namun, ada persyaratan untuk ponsel yang digunakan, yaitu ponsel harus Android dengan minimum versi 5.1.1 (Android Lollipop) atau iOs dengan minimum versi 7.0, selain itu, ponsel yang digunakan harus memiliki  kapasitas  kamera  setidaknya  sebesar  8  MP  dan  dilengkapi  dengan  fitur  mikrofon (Mahardhika, 2020). Untuk menjalankan aplikasi Taspen Otentikasi, pengguna harus terkoneksi dengan  jaringan  internet  yang  stabil  dan  pencahayaan  ruangan  yang  cukup  terang.  Autentikasi aplikasi ini diawali dengan memasukkan nomor ID dan PIN atau kata sandi. Aplikasi kemudian akan  mengarahkan  pengguna  untuk melakukan  pemindaian  biometrik  wajah  dan  mata  (disertai dengan  mengangguk,  menggelengkan  kepala,  dan  mengedipkan  mata)  serta  suara  untuk pencocokan  data.  Setelah  autentikasi  berhasil,  penerima  manfaat  pensiun  dapat  menarik  dana pensiunnya dari anjungan tunai mandiri (ATM). Gambar 1 menunjukkan tampilan dari aplikasi Taspen Otentikasi.
Berdasarkan penelusuran user reviews dalam Googleplay (Gambar 2), dalam pengaplikasian aplikasi ini, banyak kendala yang dihadapi. Dari 12 review yang diambil rata-rata mengungkapkan banyak kesalahan (error) (44%), verifikasi yang berulang (13%), server yang selalu sibuk (19%), instruksi yang tidak jelas (6%), pengenalan wajah dan suara yang selalu gagal (19%). Selain itu pensiunan dalam menggunakan aplikasi tersebut dibantu oleh keluarga mereka baik anak maupun cucu.

## Gambar 2. Kendala dalam Penggunaan Aplikasi Taspen Otentikasi
Sumber: googleplay (2020)
Faizal et al. (2020) dalam penelitiannya terkait Taspen Otentikasi di PT Taspen (Persero) KCU Kota Bandar Lampung mengemukakan ada beberapa hambatan penerapan Taspen Otentikasi diantaranya masalah sistem error atau aplikasi yang belum sempurna, kesulitan para lansia dalam mempelajari fitur-fitur yang ada pada smartphone saat menggunakan aplikasi Taspen Otentikasi, dimana kesulitan yang tersebut disebabkan oleh menurunnya fungsi-fungsi organ tubuh, sehingga masih terdapat beberapa penerima pensiun yang datang langsung ke mitra  bayar, dan kurangnya sosialisasi  kepada  nasabah.  Hal  ini  menunjukkan,  pada  penerapannya,  layanan  autentikasi biometrik  ini  tidak  lepas  dari  beberapa  permasalahan  terutama  dari  fasilitas  pendukung  yang dimiliki pengguna dan kesiapan pengguna mengingat pengguna aplikasi ini adalah pensiunan yang kebanyakan berusia lanjut.
Berdasarkan uraian tersebut, maka perlu dilakukan evaluasi terhadap usability dari aplikasi Taspen  Otentikasi.  Menggunakan  evaluasi usability untuk  mengembangkan  sistem  dapat membantu mengidentifikasi area yang perlu ditingkatkan dan memungkinkan desain ulang proses berdasarkan  umpan  balik  pengguna  (Rembulan  et  al.,  2023).  Faktor  penting  dalam  evaluasi usability adalah  fokus  pada  sudut  pandang  pengguna  terhadap  sistem  dan  mempertimbangkan
44% 13% 19% 19% 6% 0% 10% 20% 30% 40% 50% Eror Verifikasi berulang Server sibuk Pengenalan wajah dan suara sering gagal Instruksi tidak jelas
DOI: https://doi.org/10.32487/jshp.v8i2.2098
pengalaman  pengguna  sistem  dengan  menggunakan  pendekatan  desain  yang  berpusat  pada manusia (Kurniawan & Yuamita, 2023). Beberapa penelitian sebelumnya telah melakukan evaluasi usability  dari  sistem  yang  berbeda,  baik  pada  sistem  yang  baru  maupun  yang  telah  digunakan secara luas  misalnya aplikasi android  (Buana & Nurina Sari, 2022; Rahadi, 2014), aplikasi My Telkomsel (Devi et al., 2020), web perguruan tinggi (Kesuma, 2020; Kurniawan & Yuamita, 2023), knowledge management system  (Mahdiyah & Tania, 2022), e-learning (Ardhana, 2022), namun evaluasi usability pada sistem yang digunakan oleh lansia masih terbatas. Penelitian ini bertujuan untuk mengetahui tingkat usability dari aplikasi Taspen Otentikasi yang mayoritas digunakan oleh pengguna berusia lanjut.
Usability adalah suatu bentuk pengalaman pengguna dalam berinteraksi dengan suatu sistem sampai  pengguna  tersebut  dapat  mengoperasikan  sistem  tersebut  dengan  mudah  dan  cepat (Nielsen, 2012). Aspek usability pada sebuah website dapat digunakan untuk mengukur tingkat kualitas pengalaman pengguna ketika melakukan interaksi dengan suatu website (Pressman, 2005). Definisi usability yang  diterima  secara  luas  berasal  dari  International  Organization  for Standardization  (ISO),  yang  menekankan  tiga  dimensi  yaitu  efektivitas  (kemampuan  pengguna untuk menyelesaikan pekerjaan mereka secara kualitatif menggunakan sistem), efisiensi (sumber daya yang dihabiskan untuk tugas), dan kepuasan (reaksi subjektif pengguna terhadap penggunaan sistem) (Vlachogianni & Tselios, 2022). Menurut Nielsen (2012), ada lima atribut kualitas pada aspek usability , yaitu:
1. Learnabilty ,  yaitu  tentang  seberapa  mudah  pengguna  sistem  dalam  mempelajari  dan menyelesaikan tugas-tugas mendasar ketika baru pertama kali mengunjungi suatu sistem.
2. Efficiency ,  yaitu  tingkat  kecepatan  pengguna  dalam  menyelesaikan  tugas-tugas  lain  setelah mempelajari isi dari suatu sistem.
3. Memorability , yaitu tingkat pemahaman pengguna terhadap sistem setelah pengguna tersebut tidak lagi menggunakan sistem tersebut dalam jangka waktu yang lama.
4. Error ,  yaitu  seberapa  banyak  tingkat  kesalahan  yang  dilakukan  oleh  pengguna  sistem, seberapa berat kesalahan yang dilakukannya dan seberapa mudah pengguna sistem mengatasi kesalahan yang terjadi ketika sedang menggunakan sistem tersebut.
5. Satisfaction , yaitu tingkat kepuasan pengguna dalam menggunakan sistem tersebut. Selain  atribut  kualitas,  terdapat  tiga  prinsip usability menurut usability juga  dapat  dibagi menjadi  tiga  prinsip,  yaitu  kemampuan  belajar  (seberapa  mudah  bagi  pengguna  baru  untuk mempelajari antarmuka sistem), fleksibilitas (berapa banyak cara yang dapat dilakukan pengguna untuk berinteraksi dengan sistem, daya tahan (seberapa baik dan kuat sistem dirancang dan dibuat) (Dix et al., 2004). Hasil dari usability test ini dimaksudkan untuk memberikan gambaran tingkat kualitas pengalaman pengguna ketika melakukan interaksi dengan aplikasi (Pressman, 2005).

## 2. Metodologi
Metode System Usability Scale (SUS) merupakan salah satu metode yang dapat digunakan untuk mengukur tingkat usability suatu sistem. Metode ini diusulkan pertama kali oleh J Brooke (Brooke,  1996).  Metode  ini  menggunakan  10  pertanyaan  kuesioner  dengan  bentuk  tanggapan berupa skala Likert dengan 5 skor jawaban dimulai dari skala “Sangat Tidak Setuju” sampai skala “Sangat  Setuju”  untuk  masing-masing.  Selama  dua  dekade  terakhir,  data  penelitian  telah memvalidasi keandalan skala SUS (Vlachogianni & Tselios, 2022). Hingga saat ini, metode SUS telah  banyak  digunakan  untuk  mengukur  tingkat usability suatu  sistem  dan  memiliki  beberapa keunggulan, yaitu dapat digunakan dengan mudah, karena hasilnya berupa angka skor 0  – 100, tidak membutuhkan perhitungan yang rumit, tersedia secara gratis atau tidak membutuhkan biaya
DOI: https://doi.org/10.32487/jshp.v8i2.2098
tambahan, SUS terbukti valid dan reliable, walau dengan ukuran sampel yang kecil (Brooke, 2013). Alur yang dilakukan untuk mendapatkan hasil dari metode tersebut ditunjukkan pada Gambar 3.

## Gambar 3. Alur Penelitian
Langkah  pertama  yang  dilakukan  dalam  penelitian  ini  adalah  menentukan  responden. Langkah  kedua,  melakukan  pengujian usability dengan  metode  SUS  terhadap  objek  yang  diuji. Setelah melakukan pengujian, hasil pengujian tersebut diolah dan dibuatkan analisis agar dapat diketahui  hal  apa  yang  mempengaruhi  hasil  yang  didapatkan  serta  lebih  memudahkan  untuk memahami hasil pengujian tersebut.

## 2.1. Menentukan Responden
Pengguna  aplikasi  Taspen  Otentikasi  adalah  penerima  manfaat  pensiun  PNS  yang  disalurkan melalui PT Taspen Persero. Responden dalam penelitian ini adalah penerima manfaat pensiun yang pernah melakukan autentikasi online melalui aplikasi Taspen Otentikasi.

## 2.2. Usability Testing
Usability test dilakukan menggunakan metode SUS yang dikemukakan oleh Brooke (1996). Daftar pertanyaan dan interpretasi mengacu pada daftar pertanyaan dan interpretasi yang dikembangkan oleh  Bangor  et  al.  (2009).  Interpretasi  nilai  SUS  yang  dikemukakan  oleh  Bangor  et  al.  (2009) menggunakan lima pendekatan yaitu perbandingan persentil, peringkat, sifat, tingkat penerimaan, dan Net Promotor Score (NPS), yang susun dalam sebuah gambar peringkat nilai.

## Tabel 1. Daftar Pernyataan Kuesioner SUS
Pernyataan SUS (Bangor, 2009) Pernyataan SUS yang Dimodifikasi I think that I would like to use this product frequently Saya berpikir akan menggunakan aplikasi ini lagi. I found the product unnecessarily complex Saya merasa aplikasi ini rumit untuk digunakan. I thought the product was easy to use Saya merasa aplikasi ini mudah digunakan. I think that I would need the support of a technical person to be able to use this product Saya membutuhkan bantuan dari orang lain atau teknisi dalam menggunakan aplikasi ini. I found that the various functions in this product were well integrated Saya merasa fitur-fitur dalam aplikasi ini berjalan dengan semestinya. I thought that there was too much inconsistency in this product Saya merasa ada banyak hal yang tidak konsisten (tidak serasi) pada aplikasi ini. I imagine that most people would learn to use this product very quickly. Saya merasa orang sebaya saya akan memahami cara menggunakan aplikasi ini dengan cepat. I found the product very cumbersome to use Saya merasa aplikasi ini membingungkan. I felt very confident using the product Saya merasa tidak ada hambatan dalam menggunakan aplikasi ini. I needed to learn a lot of things before I could get going with this product Saya perlu membiasakan diri terlebih dahulu sebelum menggunakan aplikasi ini seterusnya. Sumber: Diolah penulis Menentukan Responden Usability Testing Analisis Hasil Pengujian
DOI: https://doi.org/10.32487/jshp.v8i2.2098

## Tabel 2. Skor Tanggapan SUS
Tanggapan Skor Sangat Setuju (SS) 5 Setuju (S) 4 Kurang Setuju (KS) 3 Tidak Setuju (TS) 2 Sangat Tidak Setuju (STS) 1

## Sumber: Diolah penulis
Perhitungan hasil evaluasi usability dengan metode SUS dilakukan dengan mengikuti beberapa aturan yang diadaptasi dari Kesuma (2020) sebagai berikut:
1. Setiap pertanyaan bernomor ganjil (1, 3, 5, 7, 9), kurangi 1 dari skor (Skor – 1). Misalnya pada Pernyataan Nomor 1 Saya berpikir akan menggunakan aplikasi ini lagi. Responden menjawab dengan nilai 4, maka hasil perhitungannya adalah 4 dikurangi 1. Jadi skor responden untuk pernyataan Nomor 1 adalah 3.
2. Setiap pertanyaan bernomor genap (2, 4, 6, 8, 10), kurangi nilainya dari 5 (5 – Skor). Misalnya untuk  pernyataan  Nomor  2,  responden  menjawab  ‘tidak  setuju’  (skor:  2),  maka  hasil perhitungannya adalah 5 dikurangi 2. Jadi skor responden untuk pernyataan Nomor 2 adalah 3.
3. Semua nilai dari pernyataan bernomor genap dan ganjil tersebut dijumlahkan dan kemudian hasil penjumlahan tersebut dikalikan dengan 2,5.
4. Nilai perkalian dengan 2,5 kemudian dijumlahkan dan dirata-ratakan. Hasil perhitungan skor SUS  berkisar  antara  0  –  100,  aplikasi  dianggap  memiliki tingkat usability yang  bagus  jika keseluruhan skor SUS yang diperoleh sama dengan atau diatas angka 68.
Berikut rumus perhitungan skor SUS:
(( 𝑅 1 − 1) + (5 − 𝑅 2) + ( 𝑅 3 − 1) + (5 − 𝑅 4) + ( 𝑅 5 − 1) + (5 − 𝑅 6) + ( 𝑅 7 − 1) + (5 − 𝑅 8) + ( 𝑅 9 − 1) + (5 − 𝑅 10)) ∗ 2.5)/ 10
Selanjutnya, nilai skor yang didapatkan dari perhitungan tersebut diinterpretasikan berdasarkan klasifikasi SUS yang dikemukakan oleh Bangor (2009) dan Sauro (2018) (lihat Gambar 4).
Gambar 4. Interpretasi Nilai Skor SUS diadaptasi dari Bangor et al. (2009) dan Sauro (2018)
Menurut Sauro (2018), terdapat lima bentuk pendekatan dalam menginterpretasikan nilai dari skor SUS, yaitu:
DOI: https://doi.org/10.32487/jshp.v8i2.2098
1. Persentil  ( Percentiles  Rank ):  Nilai  skor  SUS  dapat  diubah  menjadi  peringkat  persentil. Persentil adalah pendekatan yang sama yang digunakan dokter anak untuk mengetahui apakah bayi kelebihan atau kekurangan berat badan. Peringkat persentil digunakan untuk mengetahui seberapa baik skor mentah dibandingkan dengan skor lain di database. Nilai rata-ratanya (pada persentil ke-50) adalah 68. Artinya, nilai SUS di atas 68 berarti di atas rata-rata dan di bawah 68 berarti di bawah rata-rata. SUS sebesar 75 berada pada persentil ke-73 (skornya lebih baik dari 73% skor dalam database). Nilai SUS sebesar 52 berada pada persentil ke-15 (skornya lebih buruk dari 85% skor dalam database).
2. Peringkat ( Grades ): Nilai skor SUS dapat dikelompokkan ke dalam peringkat- peringkat mulai dari peringkat A hingga F, dimana peringkat A berarti sangat baik (unggul), dan peringkat F berarti sangat buruk (gagal).
3. Sifat ( Adjectives ): Nilai skor SUS dapat diklasifikasikan menjadi enam kategori sifat “ worst ” sampai  dengan “best”,  dimana  nilai  skor  SUS  sampai  ddengan  50,9 masuk  dalam  kategori “poor”,  nilai 51 untuk “ OK ”, nilai 72 keatas masuk dalam kategori “ Good ”, nilai 80 – 85 dikatakan Exellent dan nilai 85 ke atas masuk dalam kategori “ best imaginable ”.
4. Tingkat Penerimaan ( Acceptible ): Tingkat penerimaan “ acceptable ” untuk nilai skor di atas 70, nilai skor antara 50  - 70 dianggap "marginal", yang mencakup rentang dari C hingga D dalam skala peringkat, dan untuk “ not acceptable ” mulai dari nilai skor 50 ke bawah.
5. Net  Promotore  Score (NPS):  Rata-rata,  SUS  menjelaskan  antara  30%  dan  50%  variasi kemungkinan  pengguna  untuk  merekomendasikan.  NPS  menetapkan  tiga  kelas  pemberi rekomendasi  berdasarkan  tanggapan  mereka terhadap  kemungkinan  11  poin  (0  hingga  10). NPS,  sebagaimana  istilahnya  merupakan  survei  tingkat  kepuasan  dan  keloyalan  pengguna terhadap  sebuah  produk  yang  berkaitan  dengan  seberapa  besar  kemungkinan  pengguna merekomendasikan produk tersebut kepada orang lain. Kelas promoter untuk skor 9 dan 10, kelas passive untuk skor 7 dan 8, dan kelas detractors untuk skor 6 kebawah.
Berdasarkan  Gambar  3,  kelasifikasi  kategori  penilaian juga  dapat  dijelaskan  dengan  kriteria pada Tabel 3.
Tabel 3. Klasifikasi Penilaian Skor SUS Grade SUS Percentile Range Adjective Acceptable NPS A+ 84.1-100 96-100 Best Imaginable Acceptable Promoter A 80.8-84.0 90-95 Excellent Acceptable Promoter A- 78.9-80.7 85-89 Acceptable Promoter B+ 77.2-78.8 80-84 Acceptable Passive B 74.1 – 77.1 70 – 79 Acceptable Passive B- 72.6 – 74.0 65 – 69 Acceptable Passive C+ 71.1 – 72.5 60 – 64 Good Acceptable Passive C 65.0 – 71.0 41 – 59 Marginal Passive C- 62.7 – 64.9 35 – 40 Marginal Passive D 51.7 – 62.6 15 – 34
OK Marginal Detractor
Sumber: Sauro (2018)
DOI: https://doi.org/10.32487/jshp.v8i2.2098

## 2.3. Pengumpulan Data
Pengumpulan data dalam penelitian ini menggunakan kuesioner dengan pernyataan jawaban yang menggunakan skala likert. Pernyataan kuesioner dalam penelitian ini merupakan modifikasi dari pernyataan  dalam  SUS  Asli  oleh  Brooke  (1996)  sebagaimana  yang  ditunjukkan  pada  Tabel  1 dengan skor jawaban sebagaimana yang ditunjukkan pada Tabel 2.  Kuesioner disebarkan melalui salah satu komunitas pensiunan di Kota Malang. Sebanyak 40 kuesioner yang dikembalikan, hanya 34  kuesioner  yang  lengkap  dan  dilanjutkan  ke  tahap  analisis.  Menurut  Nielsen  (2012),  jumlah responden dalam usability test sebanyak 5 – 39 orang dianggap sudah cukup memenuhi.
3. Hasil dan Pembahasan
3.1. Hasil
3.1.1. Aplikasi Taspen Otentikasi
Aplikasi Taspen otentikasi adalah salah satu terobosan layanan digital yang disediakan oleh PT Taspen (Persero) untuk memudahkan. Taspen Otentikasi memudahkan pensiunan melakukan pembuktian fisik pembayaran hak pensiunan hanya dengan mengarahkan kamera smartphone pada wajah peserta, tanpa harus datang ke kantor mitra bayar. Taspen Otentikasi memanfaatkan data biometrik  peserta  yang  bersifat  unik  untuk  setiap  individu  sehingga  pembayaran  hak  pensiun terhindar dari kekeliruan.
Untuk  menggunakan  aplikasi  ini,  calon  pengguna  harus  melakukan  enrollment  atau perekaman biometrik terlebih dahulu yang meliputi wajah, suara dan sidik jari. Sebelum melakukan otentikasi,  pengguna  akan  terlebih  dahulu  mendownload  aplikasi  di  PlayStore.  Setelah  proses enrollment  dan  download  aplikasi  berhasil,  maka  pensiunan  sudah  dapat  melakukan  otentikasi mandiri dengan aplikasi Taspen Otentikasi.
Gambar 5. Tampilan Aplikasi Tasepen Otentikasi
DOI: https://doi.org/10.32487/jshp.v8i2.2098

## Sumber: googleplay (2022)
Otentikasi  mandiri  melalui smartphone dapat  dilakukan  minimal  setiap  bulan  oleh Pensiunan. Langkah-langkah authentikasi sebagaimana pada Gambar 6 dan Gambar 7.
Gambar 6. Proses Autentikasi di Taspen Otentikasi
Sumber: Aida & Pratiwi (2023) 1 2
3
4 5
6
Gambar 7. Penggunaan Aplikasi Taspen Otentikasi Versi 1.6.4
Sumber: Dokumentasi penulis
1. Pengguna  memasukkan  Nomor  Identitas  Taspen  (NOTAS)  dan  meng-klik  menu  otentikasi. Setelah pengguna masuk di menu otentikasi maka aplikasi akan memberikan instruksi untuk mencocokkan data biometrik, dengan langkah pertama mengedipkan mata.
DOI: https://doi.org/10.32487/jshp.v8i2.2098
2. Langkah  kedua,  aplikasi  akan  meminta  pengguna  untuk  "Posisikan  Wajah  pada  Kotak", kemudian tunggu  perintah  berikutnya.  Saat  wajah  dipindai  aplikasi akan  meminta  pengguna untuk mengucapkan huruf A.
3. Langkah  ketiga,  aplikasi  akan  meminta  pengguna  untuk  "Gelengkan  Kepala  pelan-pelan", kemudian tunggu perintah berikutnya.
4. Langkah  keempat,  aplikasi  akan  meminta  pengguna  untuk  "Tatap  Layar",  Kemudian "Anggukan Kepala pelan-pelan.
5. Jika  tidak  berhasil,  maka  pengguna  akan  menerima  notifikasi  ”tidak  berhasil”  dan  dapat mencoba kembali proses otentikasi dari awal.
6. Jika berhasil, maka akan muncul pemberitahuan "Otentikasi Berhasil". Selanjutnya pengguna dapat mengambil dana pensiun bulanan mereka melalui mesin Anjungan Tunai Mandiri (ATM).

## 3.1.2. Analisis Data
Langkah  pertama  dalam  analisis  adalah  menghitung  nilai  dan  skor  SUS  rata-rata  dengan mengikuti aturan perhitungan beberapa langkah.
Tabel 4. Hasil Perhitungan Skor Resp Skor Hasil Hitung Jumlah Nilai Q1 - 1 5 - Q2 Q3 - 1 5 - Q4 Q5 -1 5 - Q6 Q7 - 1 5 - Q8 Q9 - 1 5 - Q10 (Jumlah x 2,5) 1 5 1 5 1 5 1 5 1 5 2,5
1 3 1 2 1 3 2 2 2 3 1 20 50 2 3 1 3 1 3 1 3 1 3 1 20 50 3 4 3 4 1 4 3 3 3 4 1 30 75 4 3 2 3 2 3 3 3 3 3 1 26 65 5 4 1 4 1 3 1 3 2 2 1 22 55 6 3 3 3 1 3 3 3 3 3 1 26 65
7 4
3 4 4 4 3 3 3 4 3 35 87,5 8 3 3 3 3 3 3 3 3 3 1 28 70 9
3 3 3 1 3 3 3 3 3 1 26 65
10 3 3 3 1 3 3 3 3 3 1 26 65 11 3 3 3 3 3 3 3 3 3 1 28 70 12 3 2 3 3 3 2 3 3 3 1 26 65 13 4 3 4 3 4 3 1 3 3 1 29 72,5 14 3 3 3 1 3 1 3 3 3 1 24 60 15 3 1 2 1 3 2 3 1 2 1 19 47,5 16 4 4 4 4 4 4 3 4 4 4 39 97,5 17 4 3 4 0 4 3 1 3 4 0 26 65
18 4 3 4 3 4 3 3 4 4 2 34 85 19 2 1 2 1 2 1 2 1 2 1 15 37,5 20 4 4 4 4 4 0 4 4 4 0 32 80 21 3 4 4 1 3 1 3 4 3 1 27 67,5 22 4 4 4 4 4 0 4 4 4 0 32 80 23 3 3 3 3 3 3 2 3 3 2 28 70
24 4 2 4 3 4 3 2 3 3 2 30 75
25 2 3 2 3 2 3 2 3 2 2 24 60
26 4 4 4 4 4 4 2 4 4 1 35 87,5 27 3 3 3 3 3 3 3 3 3 2 29 72,5 28 2 3 4 3 3 3 1 3 4 3 29 72,5 29 3 3 3 3 3 3 2 1 3 2 26 65 30 4 4 4 4 4 4 4 4 4 0 36 90 31 4 3 4 3 4 3 1 3 4 0 29 72,5 32 3 4 4 2 3 2 3 3 3 1 28 70 33 3 3 3 1 3 3 3 3 3 1 26 65 34 3 1 2 1 3 2 3 1 2 1
19 47,5 Skor Rata-Rata Hasil Akhir 68,31 Sumber: Diolah penulis
DOI: https://doi.org/10.32487/jshp.v8i2.2098
Aturan  perhitungan  tersebut  adalah  (1)  setiap  pertanyaan  bernomor  ganjil  (1,  3,  5,  7,  9), kurangi  1  dari  skor  (Skor  –  1);  (2)  setiap  pertanyaan  bernomor  genap  (2,  4,  6,  8,  10),  kurangi nilainya  dari  5  (5  –  Skor);  (3)  semua  nilai  dari  pernyataan  bernomor  genap  dan  ganjil tersebut dijumlahkan dan kemudian hasil penjumlahan tersebut dikalikan dengan 2,5; (4) Nilai perkalian dengan 2,5 kemudian dijumlahkan dan dirata-ratakan.
Gambar 8. Interpretasi Skor SUS Aplikasi Taspen Otentikasi

## Sumber: Diolah penulis
Hasil  perhitungan  pada  Tabel  4  menunjukkan  jika  skor  rata-rata  SUS  Aplikasi  Taspen Otentikasi  adalah  sebesar  68,31.  Nilai  skor  tersebut  kemudian  diinterpretasikan  dalam  lima pendekatan sebagaimana tercantum pada Gambar 8.

## 3.2. Pembahasan
Berdasarkan interpretasi nilai SUS yang ditunjukkan pada Gambar 7 dapat dilihat bahwa skor 68,31 masuk pada kategori marginal. Dimana skor kurang dari 70 dianggap sebagai produk yang masih memerlukan pengawasan dan perbaikan berkelanjutan, agar mampu diterima dengan baik oleh  pengguna  (Bangor  et  al.,  2008).  Skor  tersebut  diinterpretasikan  menjadi  tiga  macam interpretasi, yang pertama interpretasi acceptability ranges , di mana skor tersebut masuk ke dalam range Marginal . Yang kedua interpretasi grade scale , di mana skor tersebut masuk ke dalam grade C. Dan yang ketiga interpretasi adjective rating , di mana skor tersebut masuk ke dalam rating OK yang hampir mendekati Good . Masalah-masalah yang terjadi dari hasil pengujian yang dilakukan adalah sebagai berikut.
1. Terdapat 26,4% responden yang beranggapan bahwa aplikasi rumit untuk digunakan.
2. Terdapat 41,1% responden yang merasa membutuhkan bantuan orang lain atau teknisi dalam menggunakan aplikasi ini.
3. Terdapat 20,6% responden yang merasa ada banyak hal yang tidak konsisten (tidak serasi) pada aplikasi ini.
4. Terdapat 32,4% responden yang merasa orang sebaya mereka (lansia) tidak akan memahami cara menggunakan aplikasi ini dengan cepat.
5. Terdapat 20,6% responden yang merasa aplikasi ini membingungkan.
6. Terdapat  73,5%  responden  yang  merasa  perlu  membiasakan  diri  terlebih  dahulu  sebelum menggunakan aplikasi ini kedepannya.
DOI: https://doi.org/10.32487/jshp.v8i2.2098
Sebanyak  73,5%  responden  merasa  perlu  membiasakan  diri  terlebih  dahulu  sebelum menggunakan aplikasi ini kedepannya dan 41,1% responden merasa memerlukan bantuan orang lain atau teknisi dalam menggunakan aplikasi ini. Hal ini dapat dikarenakan pengguna aplikasi ini adalah  para  pensiunan  yang  kebanyakan  sudah  berusia  lanjut.  Pengguna  yang  lebih  muda cenderung menilai kegunaan skala SUS lebih tinggi (Vlachogianni & Tselios, 2022) . Bangor et al. (2008) dalam penelitiannya menemukan korelasi negatif yang signifikan di antara skor SUS dan usia. Terakhir, hasil interpretasi dari NPS menunjukkan jika pengguna aplikasi Taspen Otentikasi masih dalam kategori passive yang berarti bahwa para penggunanya cukup puas dengan aplikasi ini namun kurang antusias terhadap pengalaman penggunaan mereka sehingga tidak cukup tergerak untuk merekomendasikan aplikasi ini kepada orang lain yang belum menggunakan.  Hal ini juga dapat  dilihat  dari  jawaban  responden,  dimana  sebanyak  32,4%  responden  merasa  orang  sebaya mereka (lansia) tidak akan memahami cara menggunakan aplikasi ini dengan cepat.
Secara keseluruhan dapat dikatakan bahwa  aplikasi Taspen Otentikasi dapat diterima oleh pengguna,  namun  perlu  dilakukan  pengawasan  dan  perbaikan  berkelanjutan  yang  disesuaikan dengan  penggunanya  yang  kebanyakan  telah  memasuki  usia  lanjut.  Sebuah  penelitian  yang dilakukan  oleh  Wilson  et al.  (2021)  menemukan  bahwa  salah  satu  hambatan  bagi  lansia  dalam menggunakan perangkat digital adalah karena fungsi fisik individu, biasanya penglihatan, sehingga mereka  akan  memilih  perangkat  yang  lebih  besar,  seperti  tablet  daripada  smartphone,  karena ukuran layarnya. Orang lanjut usia mungkin juga mengalami kesulitan dalam melakukan gerakan yang akurat (Cheong et al., 2013). Faktor tersebut bisa jadi dapat mempengaruhi persepsi mereka dalam menilai aplikasi Taspen Otentikasi. Berdasarkan penggalian informasi lebih dalam melalui pertanyaan-pertanyaan  singkat  kebanyakan  responden  terlambat  merespon  instruksi  yang diberikan  oleh  aplikasi  dan  bingung  kenapa  authentikasi  gagal  padahal  mereka  merasa  sudah mengikuti instruksi. Hal tersebut menunjukkan bahwa perbaikan dan pengembangan aplikasi perlu juga memperhatikan kemampuan pengguna dalam menggunakan aplikasi. Sebagaimana Anderson & Perrin (2017) mengemukakan bahwa kebanyakan lansia kurang percaya diri terhadap kemampuan mereka  menggunakan  perangkat  elektronik  dan  memerlukan  bantuan  dalam  mengelola  atau memanfaatkan perangkat tersebut.

## 4. Kesimpulan
Tingkat usability aplikasi Taspen Otentikasi berada pada tingkat penerimaan yang marginal dengan nilai  skor  SUS  sebesar  68,3  maka  tingkat usability aplikasi  ini  Ok  dan  dapat  diterima  (Acceptable), walaupun  dalam  kategori  ini,  dapat  diartikan  bahwa  aplikasi  masih  memerlukan  perbaikan  dan pengembangan lebih lanjut. Hasil penelitian ini juga menunjukkan terdapat 73,5% responden yang merasa perlu  membiasakan  diri  terlebih  dahulu  sebelum  menggunakan  aplikasi  ini  kedepannya  dan  41,1% responden merasa memerlukan bantuan orang lain atau teknisi dalam menggunakan aplikasi ini.  Evaluasi usability dalam  penelitian  ini  hanya  melibatkan  34  orang  responden,  penelitian  selanjutnya  dapat memperluas  populasi  dan sampel  penelitian  untuk  memungkinkan  hasil  yang  lebih  baik.  Penelitian  lebih lanjut dapat menggunakan hasil evaluasi usability ini untuk meneliti lebih lanjut menggunakan pendekatan perilaku,  yaitu  mengenai  faktor  yang  memengaruhi  kemauan  atau  ketidakmauan  pengguna  untuk menggunakan teknologi/ sistem yang telah disediakan, terlepas dari sistem tersebut unggul atau tidak secara teknis.
DOI: https://doi.org/10.32487/jshp.v8i2.2098

## Daftar Pustaka
Aida,  N.  R.,  &  Pratiwi,  I.  E.  (2023).  Cara  Otentikasi  Taspen  Pensiunan  Agar  Gaji  Bisa  Cair. Kompas.Com .
Anderson, M., & Perrin, A. (2017). Tech Adoption Climbs Among Older Adults. Pew Research Center , May , 1–22.
Ardhana,  V.  Y.  P.  (2022).  RESOLUSI :  Rekayasa  Teknik  Informatika  dan  Informasi  Evaluasi
Usability  E-Learning  Universitas  Qamarul  Huda  Menggunakan  System  Usability  Scale (SUS). Media Online , 3 (1). https://djournals.com/resolusi Bangor, A., Kortum, P., & Miller, J. (2009). Determining what individual SUS scores mean; adding an adjective rating. Journal of Usability Studies , 4 (3), 114–123.
Bangor, A., Kortum, P. T., & Miller, J. T. (2008). An empirical evaluation of the system usability scale. International  Journal  of  Human-Computer  Interaction , 24 (6),  574–594. https://doi.org/10.1080/10447310802205776
Brooke, J. (1996). SUS: A “Quick and Dirty” Usability Scale. In Usability Evaluation In Industry (In P. W. J, p. 6). Taylor and Francis.
Brooke, J. (2013). SUS: A Retrospective. Journal of Usability Study , 8 (2), 29–40.
Buana,  W.,  &  Nurina  Sari,  B.  (2022). Analisis  User  Interface  Meningkatkan  Pengalaman Pengguna  Menggunakan  Usability  Testing  pada  Aplikasi  Android  Course . 5 (2),  91–97. http://e-journal.unipma.ac.id/index.php/doubleclick
Cheong, Y., Shehab, R. L., & Ling, C. (2013). Effects of age and psychomotor ability on kinematics of mouse-mediated aiming movement. Ergonomics , 56 (6), 1006–1020. https://doi.org/10.1080/00140139.2013.781682
Devi, P. C., Hanafi, A., & Wardhana, A. C. (2020). Evaluasi Aplikasi My Telkomsel Menggunakan
Metode Usability Testing. Jurnal Jaring SainTek , 5 (1), 29–38.
http://ejurnal.ubharajaya.ac.id/index.php/jaring-saintek29 Dix,  A.,  Finlay,  J.,  Abowd,  G.  D.,  &  Beale,  R.  (2004). Human-Computer  Interaction (Third Edition). Pearson Education Limited.
Faizal,  M.,  Hermawan,  D.,  &  Sulistio,  E.  B.  (2020).  Digitalisasi  Pelayanan  Pensiun  Aparatur Negara pada Taspen (Studi Tentang Taspen Ototentikasi di Pt Taspen (Persero) KCU Kota Bandar Lampung). Administrativa: Jurnal Birokrasi, Kebijakan Dan Pelayanan Publik , 2 (2),
201–214. https://doi.org/10.23960/administrativa.v2i2.33 googleplay. (2020). Taspen Otentikasi Ratings and Reviews . Https://Play.Google.Com/Store/Apps/Details?Id=com.Hisign.Feacapan&hl=en&gl=US. Kesuma, D. P. (2020). Evaluasi Usability Pada Web Perguruan Tinggi XYZ Menggunakan System Usability  Scale  Usability  Evaluation  of  XYZ  University  Website  Using  System  Usability Scale. In JTSI (Vol. 1, Issue 2).
Kurniawan, D., & Yuamita, F. (2023). Usability Testing Penggunaan Menu Kartu Hasil Studi Di Website  Sistem  Informasi  Akademik  Universitas Teknologi  Yogyakarta. Jurnal  Teknologi Dan Manajemen Industri Terapan (JTMIT) , 2 (1), 41–52. https://sia.uty.ac.id/std.
Kuswayati, S. (2019). Gaji ke-13 dan Problem Otentikasi Pensiunan PNS. Https://News.Detik.Com/Kolom/d-4607103/Gaji-Ke-13-Dan-Problem-Otentikasi- Pensiunan-Pns .
Mahardhika,  W.  A.  (2020).  Otentikasi  Pensiunan  Taspen  Selalu  Gagal,  Ini  Solusinya. Https://Money.Kompas.Com/Read/2020/02/07/184702426/Otentikasi-Pensiunan-Taspen- Selalu-Gagal-Ini-Solusinya?Page=all .
DOI: https://doi.org/10.32487/jshp.v8i2.2098
Mahdiyah, A. S., & Tania, K. D. (2022). Evaluasi Usability Pada Knowledge Management System (KMS) Menggunakan Metode System Usability Scale (SUS) (PT. Telekomunikasi Indonesia Witel Sumatera Selatan) (Vol. 3, Issue 3). Nielsen, J. (2012). Usability 101: Introduction to Usability . Http://Www.Nngroup.Com/Articles/Usability-101-Introduction-to-Usability.
Pressman, R. S. (2005). Software Engineering: A Practitioner’s Approach (Fifth Edit). McGraw- Hill Higher Education.
PT Taspen Persero. (2018). CREATING VALUE BUILDING SUSTAINABLE TRUST, LAPORAN TAHUNAN 2018 .
PT  Taspen  Persero.  (2021). Rekap  Data  Peserta  Penerima  Pensiun  Dapem  Desember  2020 . Permintaan  informasi  melalui  layanan@taspen.co.id.  dan  diterima  pada  tanggal  6  Januari 2020.
Rahadi,  D.  R.  (2014).  Pengukuran  Usability  Sistem  Menggunakan  Use  Questionnaire  Pada
Aplikasi Android. Jurnal Sistem Informasi (JSI) , 6 (1), 661–671.
http://ejournal.unsri.ac.id/index.php/jsi/index
Rembulan, G. D., Akhirianto, P. M., Priyono, D., K. Pramudito, D., & Irwan, D. (2023). Evaluation and Improvement of E-Grocery Mobile Application User Interface Design Using Usability Testing and Human Centered Design Approach. Jurnal Sistim Informasi Dan Teknologi , 41– 45. https://doi.org/10.60083/jsisfotek.v5i3.282
Sauro, J. (2018, November 19). 5 Ways to Interpret a SUS Score . Https://Measuringu.Com/Interpret-Sus-Score/.
Vlachogianni, P., & Tselios, N. (2022). Perceived usability evaluation of educational technology using  the  System  Usability  Scale  (SUS):  A  systematic  review. Journal  of  Research  on Technology in Education , 54 (3), 392–409. https://doi.org/10.1080/15391523.2020.1867938 Wilson, G., Gates, J. R., Vijaykumar, S., & Morgan, D. J. (2021). Understanding older adults’ use of social  technology  and  the  factors  influencing  use. Ageing  and  Society ,  222–245. https://doi.org/10.1017/S0144686X21000490