Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 2, Agustus 2024, pp 818-832 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik

## Evaluasi Kepuasan Pengguna Terhadap System Application and Product
Menggunakan Metode SUS dan PIECES Framework
Andronikus Mulyono 1 , Yessica Nataliani 2 1,2 Universitas Kristen Satya Wacana, Salatiga, Indonesia Email: 682020058@student.uksw.edu 1 , yessica.nataliani@uksw.edu 2

## Abstract
User satisfaction with a system is a response to assess the good and bad of a system used in an organization  or  company.  In  addition,  user  satisfaction  is  also  used  as  a  reference  for  system developers  to  improve  the  performance  of  information  systems  that  have  been  built.  PT  XYZ  as  a company engaged in tea management uses System Application and Product (SAP) oriented Enterprise Resources Planning (ERP) in the form of software to carry out various work activities in the company's business  processes.  However,  there  are  still  various  problems  of  dissatisfaction  with  the  use  of  SAP software. Because one of the objectives of using the software is to support operations at the company, it is necessary to evaluate with the aim of measuring user satisfaction with SAP. In this research, two methods are used, namely the System Usability Scale (SUS) and the PIECES framework. Based on the research results, the SUS method has a value of 62.79 with the "Okay" category and Grade D, while the results of the PIECES framework method have a value of 3.90 with the Satisfied category and Grade B. This shows that the PIECES method has a value of 3.90 with the Satisfied category and Grade B. This shows  that  the  PIECES  framework  method  has  a  higher  value  than  the  SUS  method.  Therefore,  the application of SAP at PT. XYZ to users needs to be improved again in terms of SAP development, which can be seen from the results of the SUS method which is still considered low.
Keywords : Evaluation, Software, SAP, SUS, PIECES Framework

## Abstrak
Kepuasan pengguna terhadap sebuah sistem adalah respon untuk menilai baik dan buruknya sebuah sistem yang digunakan pada suatu organisasi atau perusahaan. Selain itu kepuasan pengguna juga digunakan sebagai acuan bagi pengembang sistem untuk meningkatkan kinerja terhadap sistem informasi  yang  telah  dibangun.  PT.  XYZ  sebagai  perusahaan  yang  bergerak  dalam  pengelolaan  teh menggunakan  System  Application  and  Product  (SAP)  berorientasi  pada  Enterprise  Resources Planning  (ERP)  yang  berbentuk  perangkat  lunak  untuk  melakukan  berbagai  aktivitas  pekerjaan  di dalam  proses  bisnis  perusahaan.  Namun,  masih  ditemukan  berbagai  permasalahan  ketidakpuasan terhadap  penggunaan  perangkat  lunak  SAP  tersebut.  Karena  salah  satu  tujuan  penggunaan perangkat  lunak  tersebut  adalah  untuk  menunjang  operasional  pada  perusahaan,  maka  perlu dilakukan  evaluasi  dengan  tujuan  mengukur  kepuasan  pengguna  terhadap  SAP.  Pada  riset  ini digunakan dua metode yaitu System Usability Scale (SUS) dan PIECES framework. Berdasarkan hasil riset  didapatkan  metode  SUS  memiliki  nilai  62,79  dengan  kategori  “Okay”  dan  Grade  D,  sedangkan hasil dari metode PIECES framework memiliki nilai 3,90 dengan kategori Puas dan Grade B. Hal ini menunjukkan  bahwa  metode  PIECES  framework  memiliki  nilai  yang  lebih  tinggi  dibanding  dengan metode SUS. Oleh karena itu, penerapan SAP pada PT. XYZ terhadap pengguna perlu ditingkatkan lagi dalam hal pengembangan SAP, yang dapat dilihat dari hasil metode SUS yang dinilai masih rendah.
Kata kunci : Evaluasi, Perangkat Lunak, SAP, SUS, PIECES Framework

## 1. PENDAHULUAN
Perkembangan  teknologi  di  era  digital  membuat  segala  aktivitas  menjadi lebih  cepat  dan  mudah.  Revolusi  digital  dapat  mengubah  aspek  kehidupan masyarakat  secara  signifikan.  Hal  ini  berdampak  pada  kemudahan  dalam
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 2, Agustus 2024, pp 818-832 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
memperoleh  informasi,  komunikasi  dan  transaksi  yang  sebelumnya  harus dilakukan  secara  tatap  muka  menjadi  virtual  dan  digital.  Cara  ini    digunakan  di berbagai  bidang  perusahaan  [1],  termasuk  PT.  XYZ  yang  bergerak  di  bagian produksi teh.
Teknologi Enterprise Resource Planning (ERP) merupakan sistem yang sangat bermanfaat  untuk  sebuah  bisnis  yang  sedang berkembang dengan  meningkatkan daya  saing  mereka  menggunakan  cara  yang  lebih  efektif.  ERP  merupakan pengawas  atau  kontrol  yang  dapat  dilakukan  di  bagian  keuangan,  HRD,  dan ketersediaan  bahan  baku  [2].  ERP  diyakini  mampu  menyelesaikan  berbagai permasalahan  yang  berkaitan  dengan  operasional  suatu  perusahaan  yang  dapat memberikan keuntungan finansial bagi perusahaan [3].
Evaluasi usability dan  pengalaman  pengguna  harus  dilakukan  untuk menentukan  seberapa  besar  manfaat  dari  sistem  yang  bersangkutan. Usability adalah teknik analisis kualitatif atau sebuah pengevaluasian yang digunakan untuk menentukan seberapa mudah pengguna aplikasi dapat memanfaatkan sebuah fitur yang ada [4]. Ada tiga faktor kegunaan utama pada aspek usability yang berfungsi sebagai penilaian efektivitas suatu sistem yaitu (1) efektivitas, hal tersebut dapat diketahui  dari  seberapa  baik  pengguna  menjalankan  sistem,  (2)  efisiensi  dan kecepatan pengguna dalam meluncurkan aplikasi, (3) kenyamanan dan keamanan pengguna  saat  mengunjungi  sebuah  situs  internet  [5].  Untuk  mengukur  sejauh mana kepuasan user , maka dalam melakukan riset ini digunakan metode SUS dan PIECES yang memiliki karakteristik yang beragam [6].
SUS  sebagai  bagian  instrumen  yang  umum  dipakai  sebagai  alat  hitung kenyamanan user dalam  penggunaan  sistem  interaktif,  didalam  metode  SUS terdapat  sepuluh  butir  pertanyaan  [7].  SUS  sering  digunakan  untuk  menilai keefektifan sistem, karena dalam penggunaannya penerapan SUS memiliki banyak kelebihan. SUS mudah digunakan karena hasilnya berbentuk skor antara 0 hingga 100, perhitungannya sederhana, tidak ada biaya, dan bahkan dengan sampel kecil sekalipun dapat terbukti valid dan bisa diandalkan [8].
PIECES framework adalah sebuah metode yang terdiri dari enam parameter yang digunakan untuk melakukan klasifikasi dan mengatasi masalah terkait dalam suatu sistem [9]. PIECES mengukur lima faktor yaitu seberapa baik sistem tersebut berfungsi,  seberapa  baik  informasi  yang  diberikan,  seberapa  efisien  sistem tersebut dalam hal biaya, bagaimana sistem tersebut dikontrol dan keamanannya, dan  seberapa  baik  pelayanan  yang  diberikan  kepada  pengguna.  Semua  faktor  ini digunakan untuk mengukur seberapa puas pengguna sistem tersebut. PIECES juga dapat  digunakan  untuk  menilai  sejauh  mana  pengguna  sistem  puas. PIECES memiliki  beberapa  kelebihan  dalam  mengevaluasi  sistem  dibandingkan  metode lain,  seperti Technology  Acceptance  Model (TAM),  yang  menggunakan  dua indikator  dalam  penilaiannya  dan End  User  Computing  Satisfaction (EUCS),  yang dalam melakukan penilaiannya menggunakan lima indikator. PIECES menerapkan enam parameter yang benar-benar penting [9].
Penelitian  serupa  yang  membahas  tentang  evaluasi  kepuasan  pengguna, diantaranya  adalah  penelitian  dengan  SUS  untuk  mengukur  tingkat  kepuasan pengguna  sistem  informasi  E-BK  pada  SMKN  1  Banda  Aceh.  Penelitian
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 2, Agustus 2024, pp 818-832 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
menunjukkan  hasil  skor  rata-rata  SUS  sejumlah  71,  berdasarkan  klasifikasi  jenis adjective ratings “ good ”, acceptability ranges “ Acceptable ”, dan range “ high ”. Hasil tersebut termasuk dalam kategori grade scale kelas C, yang menunjukkan bahwa pengguna  telah  menerima  sistem  informasi  E-BK  dan  sistem  tersebut  sudah memenuhi standar umum dalam hal kegunaan yang telah ditetapkan. Metode SUS ini bisa diterapkan sebagai penilaian sejauh mana user sistem puas [10]. Penelitian selanjutnya  dilakukan  untuk  mengukur usability media  pembelajaran  daring dengan  metode  SUS  yang  menunjukkan  hasil  skor  rata-rata  sebesar  69,9.  Hasil tersebut  termasuk  dalam  kategori grade C,  dimana  peringkat  persentasenya berada  dalam  kisaran  52%  yang  termasuk  dalam  kategori  OK  untuk  sifatnya ( adjective ),  kategori  marginal  untuk  tingkat  penerimaannya  ( acceptable ),  dan kategori passive untuk nilai NPS [11].
Penelitian  lain  membandingkan  metode  SUS  dan  PIECES framework untuk menganalisis  kepuasan  pengguna  sistem  informasi  penyewaan  mobil.  Hasil  riset menunjukkan  skor  rata-rata  SUS  sebesar  72  dan  skor  rata-rata  metode  PIECES sebesar  3,845.  Kedua  hasil  tersebut  dapat  dikatakan  memiliki  hasil  yaitu memuaskan  [12].  Selain  itu,  perbandingan  SUS  dan  PIECES juga  dilakukan  untuk mengukur  tingkat  kepuasan  pengguna  pada  aplikasi  kearsipan.  Hasil  penelitian menunjukkan  skor  rata-rata  SUS  sebesar  79  dan  skor  rata-rata  metode PIECES sebesar 3.996. Dengan kedua hasil tersebut bisa disimpulkan memiliki hasil yang memuaskan [13].
Penelitian lainnya yang dilakukan adalah untuk mengukur tingkat kepuasan sistem  informasi  layanan  aplikasi  My  Indihome.  Hasil  penelitian  menunjukkan skor  rata-rata  PIECES Framework sebesar  4,26  dengan  skala  Likert,  yang menunjukkan  bahwa  pengguna  layanan  dikategorikan  puas  terhadap  layanan sistem  informasi  berbasis mobile [14].  Dalam  metode  yang  sama  juga  dilakukan penelitian untuk melakukan evaluasi terhadap tingkat kepuasan pengguna aplikasi Seabank, yang menunjukkan hasil skor rata-rata 4,31, dimana hasil tersebut dapat dikategorikan  puas  [15].  Evaluasi  tingkat  kepuasan  pengguna  sistem  informasi akademik terpadu (SIAKADU) [10] juga dilakukan dengan PIECES.
Dalam  penelitian  ini  penerapan  ERP  pada  PT.  XYZ  akan  dievaluasi,  dimana software yang dipakai  sebagai implementasi terhadap sistem ERP adalah System Application  and  Product (SAP).  Dengan  mengimplementasikan  SAP  dalam perusahaan,  maka  perubahan  pasar  dapat  teranalisis  dengan  cepat  dan  tepat sehingga  peluang  dan  keputusan  dapat  diambil  dengan  cepat.  Penelitian  ini  juga akan  membahas  evaluasi  tingkat  kepuasan  pengguna  SAP  menggunakan  metode SUS  dan  PIECES  pada  PT.  XYZ,  sehingga  diharapkan  penelitian  berguna  bagi  PT. XYZ dalam mengevaluasi kepuasan pengguna terhadap SAP.

## 2. METODOLOGI PENELITIAN
Kerangka  kerja  yang  dipakai  pada  metodologi  penelitian  ini  menjelaskan mengenai  penggunaan  metode  SUS  dan  PIECES  dengan  tujuan  melakukan penilaian  terhadap  tingkat  kepuasan user SAP.  Data  yang  diperoleh  adalah  data primer, yang didapat melalui wawancara secara langsung dan pengisian kuesioner, serta data sekunder yang didapat dari prosedur dan struktur organisasi. Gambar 1
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 2, Agustus 2024, pp 818-832 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
merupakan tahapan-tahapan yang dilakukan dalam penyusunan pendekatan riset yang hendak dijalankan.
Gambar 1. Tahapan Penelitian

## 2.1. Tahap Perencanaan
Melalui  tahap  perencanaan  dilakukan  peninjauan  persoalan,  penentuan target  riset,  studi  literatur,  dan  penentuan  populasi  dan  jumlah  sampel.  (1) Identifikasi masalah dilakukan untuk memahami suatu masalah yang ada, dimana fokus  pada  penelitian  ini  tertuju  pada  kepuasan  pengguna  atau user  satisfaction . Sebelum identifikasi masalah, dilakukan penentuan area penelitian yang bertujuan agar  penelitian  memiliki  batasan  atau  fokus  tertentu  yang  berpengaruh  pada penentuan  masalah.  (2)  Penentuan  tujuan  penelitian  dilakukan  setelah  selesai dilakukan  identifikasi  masalah.    Tujuan  penelitian  digunakan  untuk  menegaskan sasaran  yang  ingin  dituju.  Sasaran  dari  riset  ini  bertujuan  untuk  mengevaluasi tingkat  kepuasan  pengguna  SAP  pada  PT.  XYZ  menggunakan  metode  SUS  dan PIECES.  (3)  Studi  literatur  dilakukan  untuk  mencari  penelitian  yang  membahas topik  serupa,  yaitu  mengenai  evaluasi user  satisfaction ,  dengan  tujuan  mendapat referensi  tentang  informasi  yang  berkaitan  dengan  topik  dan  persoalan  sebuah riset.  (4)  Determinasi  data  uji  dalam  penelitian  ini  dengan  cara  teknik  Slovin. Teknik ini dapat dilakukan jika area penelitian diketahui jumlah populasinya.
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 2, Agustus 2024, pp 818-832 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
Pada PT. XYZ terdapat sebanyak 21 user yang mengoperasikan SAP. Rumus Slovin  digunakan  dengan  batas  toleransi  kesalahan  sampai  10%,  yang  artinya tingkat  akurasi  sampai  90%.  Untuk  mengkalkulasi  data  uji  dengan  Slovin  dapat memakai Rumus (1).
(  (    ))
(1)
dengan n adalah  ukuran  sampel, N adalah  ukuran  populasi,  dan e adalah  batas toleransi  kesalahan.  Dari  Rumus  (1),  untuk  penelitian  ini  didapatkan  hasil
(   ) , sehingga terdapat sebanyak 17 data uji.

## 2.2. Tahap Pengumpulan Data
Langkah  selanjutnya  adalah  pengambilan  informasi.  Pada  penelitian  ini dibutuhkan data utama serta data penunjang. Data utama dalam kajian ini berasal dari observasi dan  wawancara, sedangkan data sekunder didapat dari kuesioner. Pertemuan tatap muka ditempat dengan narasumber, yaitu manajer pengguna SAP pada PT. XYZ. Kuesioner dalam penelitian ini menggunakan kuesioner online atau google  form .  Data  yang  telah  dikumpulkan  dari  hasil  kuesioner  dianalisis menggunakan variabel atau indikator yang terdapat pada metode SUS dan PIECES Framework .  Persyaratan  riset  dianalisis  dengan  skala  likert,  yang  sebagaimana bisa dilihat pada Tabel 1.
Tabel 1. Skala Likert [13] Skala Keterangan 5 Sangat Setuju 4 Setuju 3 Ragu-ragu 2 Kurang Setuju 1 Sangat Kurang Setuju
2.3. Tahap Analisis dan Hasil
Dalam  tahapan  yang  akan  dilakukan,  hasil  dari  riset  akan  dianalisis menggunakan metode SUS dan PIECES Framework . Dalam metode SUS terdapat 10 butir  soal  yang  dijadikan  salah  satu  komponen  utama  dalam  riset  [16].  Menurut metode, masing-masing skor soal nomor gasal dikurangi satu, dan masing-masing skor soal nomor genap, nilainya dikurangi lima, kemudian hasil skornya dikalikan 2,5. Dalam bentuk perubahan kata pertanyaan SUS seperti butir SUS asli merujuk pada “sistem”, tetapi mengubah kata “produk” atau “situs web”, atau menerapkan situs web atau nama produk lain yang aktualnya tidak berdampak pada hasil skor [17].  Tabel  2  merupakan  10  pertanyaan  atau  instrumen  yang  digunakan  pada metode SUS.
Tabel 2. Indikator Pertanyaan SUS [10] Kode Indikator Pertanyaan Q1
Saya berpikir akan sering menggunakan SAP ini
Q2 Saya merasa SAP ini rumit digunakan
Q3 Saya menilai SAP ini mudah digunakan
Q4 Saya membutuhkan bantuan orang lain/teknisi dalam menggunakan SAP ini
Q5 Saya menilai fungsi atau fitur-fitur SAP ini berjalan dengan seharusnya
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 2, Agustus 2024, pp 818-832 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
Kode Indikator Pertanyaan Q6 Saya menilai ada banyak hal yang tidak konsisten pada SAP ini Q7 Saya menilai orang lain akan memahami SAP ini dengan cepat
Q8 Saya menilai SAP ini membingungkan
Q9 Saya merasa tidak ada hambatan dalam menggunakan SAP ini
Q10 Saya perlu membiasakan diri sebelum menggunakan SAP ini
Rumus untuk menghitung skor SUS secara keseluruhan menggunakan Rumus (2).
̅ ∑ (2)
dimana ̅ adalah skor rata-rata, adalah skor SUS, dan n adalah jumlah responden. Berdasarkan  Gambar  2,  dapat  terlihat  beberapa  klasifikasi  penilaian  guna mengetahui  apakah  hasil  uji  termasuk  dalam  kategori  yang  mana.  Pengukuran interpretasi angka pada metode SUS dapat dilihat pada Tabel 3 dan Tabel 4.
Gambar 2. Skor Penilaian SUS [13]
Tabel 3. Pengertian Skor Metode SUS
Skor SUS  Pengertian Skor Acceptability Ranges 0-50,9 Not Acceptable Low 51-70,9 Marginal Low-High 71-100 Acceptable High Tabel 4. Interpretasi Skor Metode SUS Skor SUS Grade Scale  Adjective Ratings 90-100 A Best Imaginable 80-90 B Excellent 70-80 C Good 60-70 D Okay-Good <60 F Awful
Dalam  metode  PIECES  terdapat  enam  parameter  yang  diperlukan  untuk menganalisis  tingkat  kepuasan  pengguna  suatu  sistem  [18].  Tabel  5  merupakan enam parameter PIECES.
Tabel 5. Indikator PIECES Framework Indikator Keterangan Performance (Kinerja) Mengukur  apakah  suatu  sistem  bekerja  dengan  baik  atau  tidak berdasarkan temuan data yang telah diukur Information Mengukur  seberapa  akurat  informasi  dan  seberapa  banyak
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 2, Agustus 2024, pp 818-832 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
Indikator Keterangan (Informasi) informasi yang diberikan Economics (Ekonomi) Mengukur keberhasilan penerapan sistem dari segi finansial dan biaya yang dikeluarkan Control & Security (Kontrol & Keamanan) Mengukur  sejauh  mana  pengawasan  dan  pengendalian dilakukan agar sistem dapat berfungsi secara efektif Efficiency Mengukur efisiensi dari sistem Service Mengukur bagaimana layanan yang dilakukan sudah sesuai bagi pengguna atau belum
Rumus  untuk  menentukan  skor  rata-rata  tingkat  kepuasan  pengguna menggunakan metode PIECES yaitu dengan Rumus (3) [9].
(3)
dengan  RK  adalah  rata-rata  tingkat  kepuasan,  JSK  adalah  jumlah  skor  kuesioner, dan  JK  adalah  jumlah  kuesioner.  Dalam  menentukan  tingkat  kepuasan  pengguna menggunakan  model  Skala  Kaplan  dan  Norton  pada  metode  PIECES Framework , tingkat kepuasan bisa diamati dalam Tabel 6.
Tabel 6. Tingkat Kepuasan PIECES Framework [10] Kriteria Tingkat Kepuasan Grade 4,92 – 5 Sangat puas A 3,4 – 4,91  Puas B 2,6 – 3,39  Cukup puas C 1,8 – 2,59  Tidak puas D 1,00 – 1,79  Sangat tidak puas E

## 2.4. Analisis Hasil Pengujian
Dalam fase analisis atas hasil uji tersebut, diadakan evaluasi kepuasan antara hasil  metode  SUS  dan  hasil  metode  PIECES Framework ,  dengan  tujuan  untuk menentukan  skor  yang  lebih  tinggi  antara  kedua  metode  tersebut.  Setelah  tahap evaluasi  dilakukan  maka  selanjutnya  akan  dijelaskan  keunggulan  dari  masing- masing  metode  dan  juga  kekurangan  dari  masing-masing  metode,  untuk mendapatkan  rekomendasi  yang  dapat  digunakan  oleh  perusahaan.  Hasil  yang telah  didapatkan  dari  evaluasi  menggunakan  kedua  metode  nantinya  akan menghasilkan  hasil  analisis  yang  dapat  digunakan  perusahaan  untuk  melihat kembali apakah software yang digunakan sudah sesuai dengan hasil evaluasi.

## 2.5. Kesimpulan
Kesimpulan  merupakan  tahap  akhir  dari  penelitian  ini,  dapat  disimpulkan bahwa penelitian ini menggunakan metode penelitian survei dengan menyebarkan kuesioner  dengan  pendekatan  kuantitatif  untuk  mendapatkan  data  untuk mengukur tingkat kepuasan pengguna yang disajikan juga pada kesimpulan akhir dari  hasil  penelitian.  Kesimpulan  ini  juga  mencakup  semua  tahapan  yang  telah dilakukan  hingga  mendapatkan  hasil  evaluasi,  supaya  menjadi  suatu  kesimpulan
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 2, Agustus 2024, pp 818-832 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
dan saran yang dapat dipakai oleh perusahaan ke depannya terhadap pemakaian software SAP dapat digunakan lebih baik lagi.

## 3. HASIL DAN PEMBAHASAN 3.1. Hasil Perhitungan System Usability Scale (SUS)
Setelah  dilakukan  pengambilan  data  dari  kuesioner  yang  telah  tersebar, maka  akan  dilakukan  analisis  menggunakan  metode  perhitungan  SUS.  Hasil perhitungan  dapat  dilihat  pada  Tabel  7.  Setelah  dilakukan  analisis  menggunakan metode SUS, didapatkan hasil skor rata-rata 62,79. Berdasarkan Gambar 2, maka nilai  62,79  termasuk  dalam range  Marginal , Low-High , grade  scale D,  dan rating Okay dan mendekati Good.
Tabel 7. Hasil Pengolahan Data SUS
Responden  X1  X2  X3  X4  X5  X6  X7  X8  X9  X10  Jumlah  Nilai = jumlah*2,5
1 4 4 4 1 3 3 3 3 3
1 29 72,5 2 1 3 3 4 4 4 2 2 1 0
24 60
3 4 3 3 2 4 2 2 4 4
1 29 72,5
4 4 2 2 2 4 4 2 2 2 2
26 65
… … … … … … … … … …
… … … 17 4 1 1 3 4 3 1 1 1 1 20 50 Total 427 1067,5 Skor Rata-rata 62,79

## 3.2. Hasil Perhitungan PIECES Framework
Indikator performance digunakan  untuk  mengukur  kecakapan  suatu sistem, terlepas  dari  apakah  sistem  tersebut  sudah  berjalan  dengan  seharusnya  atau belum.  Kecepatan,  ketepatan,  dan  jumlah  temuan  data  yang  ditemukan  adalah kriteria  yang  digunakan  untuk  menghitung  indikator  ini.  Indikator performance bisa  disimak  pada  Tabel  8.  Hasil  pemrosesan  data  untuk  indikator performance dapat  dilihat  pada  Tabel  9.  Berdasarkan  perhitungan  yang  telah  dilakukan terhadap
SAP, maka
untuk aspek
performance didapatkan nilai .  Dari  hasil  tersebut  dapat  dilihat kepuasan  terhadap  SAP  pada  PT.  XYZ  dalam  aspek performance tergolong  dalam klasifikasi PUAS.
Tabel 8. Kuesioner Indikator Performance Kode Indikator Pertanyaan PE1 Software SAP memiliki sistem yang mudah diakses PE2 Software SAP memiliki tampilan login yang mudah dan sederhana PE3 Software SAP  mampu  berfungsi  secara  optimal  untuk  setiap perangkat PE4 Software SAP  mampu  dengan  cepat  merespon  permintaan pengguna seperti membatalkan maupun permintaan PE5 Walaupun  digunakan  secara  bersamaan, software SAP  mampu tetap berjalan secara stabil
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 2, Agustus 2024, pp 818-832 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
Tabel 9. Hasil Pengolahan Data
Performance Responden Indikator Performance PE1  PE2  PE3  PE4  PE5 1 4 4 2 4 2 2 5 5 3 1 4 3 5 5 3 4 3 4 3 5 5 3 5 … … … … … … 17 4 4 2 4 4 Jumlah 66 71 57 59 65 Rata-rata 3,88  4,18  3,35  3,47  3,82
Indikator information digunakan  untuk  menentukan  sebanyak  apa  dan sejelas  apa  informasi  yang  dapat  menghasilkan  informasi  dalam  satu  kali penelusuran. Indikator information dapat dilihat pada Tabel 10. Hasil pengolahan data  untuk  indikator information dapat  dilihat  pada  Tabel  11.  Berdasarkan perhitungan yang dilakukan terhadap SAP pada aspek information didapatkan nilai .  Dari  hasil  tersebut  dapat  terlihat  kepuasan terhadap  SAP  pada  PT.  XYZ  dalam  aspek information tergolong  dalam  klasifikasi PUAS.
Tabel 10. Kuesioner Indikator Information Kode Indikator Pertanyaan IN1 Tutorial  penggunaan software SAP  akan  dapat  membantu  pengguna baru dalam pengoperasian SAP IN2 Software SAP  dapat  dengan  cepat  memproses  dan  menyimpan  data yang telah diinput oleh pengguna IN3 Software SAP memiliki sistem penyajian informasi yang baik IN4 Software SAP dapat menyajikan informasi yang mudah dipahami oleh
user Tabel 11. Hasil Pengolahan Data Information
Responden Indikator Information IN1 IN2  IN3 IN4 1 4 4 4 4 2 2 4 5 4 3 4 5 5 5 4 5 5 5 3
… … … … … 17 4 4 4 4 Jumlah 66 71 74 69 Rata-rata 3,88  4,18  4,35  4,06
Indikator economy mengukur  tingkat  efesiensi  penggunaan  sebuah  sistem tersebut  dipandang  dari  aspek  finansial  dan  biaya  yang  dikeluarkan.  Hasil perhitungan indikator economy bisa disimak pada Tabel 12. Hasil pemrosesan data untuk  indikator economy bisa  disimak  pada  Tabel  13.  Berdasarkan  perhitungan
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 2, Agustus 2024, pp 818-832 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
yang  sudah  dilakukan  terhadap  SAP  pada  aspek economy didapatkan  nilai .  Dari  hasil  itu  maka  dapat  terlihat  kepuasan terhadap  SAP  pada  PT.  XYZ  dalam  aspek Economy tergolong  dalam  klasifikasi PUAS.
Tabel 12. Kuesioner Indikator Economy Kode Indikator Pertanyaan EC1 Apakah  dalam  penggunaan Software SAP  tidak  terlalu  menghabiskan sumber daya lain dalam pemakaiannya EC2 Apakah Software SAP adalah sebuah aplikasi yang memerlukan biaya untuk penggunaannya EC3 Ada  perubahan  yang  signifikan  dalam  proses  produksi  menjadi  lebih teratur dan mudah dengan adanya Software SAP EC4 Software SAP mampu menyelesaikan permasalahan dengan cepat
Tabel 13. Hasil Pengolahan Data Economy Responden Indikator Economy EC1  EC2  EC3  EC4 1 4 4 5 4 2 5 5 4 4 3 3 4 5 4 4 3 5 5 3 … … … … … 17 2 5 4 4 Jumlah 54 69 72 65 Rata-rata 3,18  4,06  4,24  3,82
Indikator control digunakan  untuk  mengetahui  seberapa  jauh  pengawasan dan  pengendalian  yang  dilakukan  sehingga  sistem  tersebut  dapat  beroperasi dengan baik. Hasil perhitungan indikator control bisa disimak pada Tabel 14. Hasil pemrosesan data untuk indikator control bisa disimak pada Tabel 15. Berdasarkan perhitungan  yang  sudah  dilakukan  terhadap  SAP  pada  aspek control didapatkan nilai
. Dari hasil tersebut maka dapat terlihat kepuasan  terhadap  SAP  pada  PT.  XYZ  dalam  aspek control tergolong  dalam klasifikasi PUAS.
Tabel 14. Kuesioner Indikator Control Kode Indikator Pertanyaan CO1 Software SAP memiliki sistem keamanan yang kuat CO2 Sistem keamanan Software SAP mampu menjaga data-data pengguna CO3 Pengontrolan Software SAP  dari  pihak  pengelola  secara  terpusat terhadap penggunaan data
CO4
Software SAP jarang ditemukan masalah error ketika sedang diakses
Tabel 15. Hasil Pengolahan Data Control Responden Indikator Control CO1 CO2 CO3 CO4
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 2, Agustus 2024, pp 818-832 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
Responden Indikator Control CO1 CO2 CO3 CO4 1 4 4 4 4 2 4 4 3 5 3 4 4 4 4 4 5 5 5 3 … … … … … 17 4 4 4 4 Jumlah 72 70 69 64 Rata-rata 4,24 4,12 4,06 3,76
Indikator efficiency digunakan  untuk  mengetahui  seberapa  efisiensi  dari sistem  yang  digunakan.  Hasil  perhitungan  indikator efficiency bisa  disimak  pada Tabel 16. Hasil pemrosesan data untuk indikator efficiency dapat dilihat pada Tabel 17.  Berdasarkan  perhitungan  yang  telah  dilakukan  terhadap  SAP  pada  aspek efficiency
didapatkan nilai
.  Dari  hasil  tersebut  maka  dapat  terlihat kepuasan  terhadap  SAP  pada  PT.  XYZ  dalam  aspek efficiency tergolong  dalam klasifikasi PUAS.
Tabel 16. Kuesioner Indikator Efficiency Kode Indikator Pertanyaan EF1 Software SAP  mempunyai  fitur  pendukung  seperti  notifikasi  ataupun fitur pesan yang tidak dimiliki oleh Software lain EF2 Dengan  adanya Software SAP  menjadikan  kegiatan  produksi  menjadi lebih efektif EF3 Dengan  adanya Software SAP  menjadikan  kegiatan  produksi  menjadi lebih efisien EF4 Software SAP  mampu  menyediakan  kebutuhan  sesuai  dengan keinginan pengguna Tabel 17. Hasil Pengolahan Data Efficiency No Responden Indikator Efficiency EF1 EF2 EF3 EF4 1 4 5 5 4 2 3 2 1 4 3 3 3 3 4 4 3 3 3 5 … … … … … 17 4 4 4 4 Jumlah 59 67 63 68 Rata-rata 3,47 3,94 3,71 4,00
Indikator service dipakai  untuk  mengenali  kinerja  dari software dan  untuk memahami  masalah-masalah  yang  berhubungan  mengenai  layanan.  Hasil perhitungan indikator service bisa disimak pada Tabel 18. Hasil pemrosesan data untuk indikator service dapat dilihat pada Tabel 17. Berdasarkan perhitungan yang telah  dilakukan  terhadap  SAP  pada  aspek service didapatkan  nilai
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 2, Agustus 2024, pp 818-832 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
.  Dari  hasil  tersebut  maka  dapat  terlihat  kepuasan terhadap SAP pada PT. XYZ dalam aspek service tergolong dalam klasifikasi PUAS.
Tabel 18. Kuesioner Indikator Service Kode Indikator Pertanyaan SE1 Software SAP  memiliki  tampilan  UI  yang  mudah  dipahami  oleh pengguna SE2 Tampilan  menu  yang ada pada Software SAP  dapat dipahami dengan baik dan cepat SE3 Informasi  yang  disajikan Software SAP  dapat  melengkapi  kebutuhan pengguna dalam proses produksi SE4 Pada  saat  menggunakan Software SAP  ada  fitur  yang  berguna  bagi pengguna  untuk  membantu  dalam  proses  penginputan  data  atau semacamnya
Tabel 19. Hasil Pengolahan Data Service Responden Indikator Service SE1 SE2 SE3 SE4 1 4 4 4 4 2 3 2 2 3 3 5 5 3 4 4 3 3 4 3 … … … … … 17 4 4 4 4 Jumlah 67 66 65 65 Rata-rata 3,94 3,88 3,82 3,82
Dari  hasil  kalkulasi  terhadap  masing-masing  parameter,  didapatkan  angka rata-rata  tingkat  kepuasan  pengguna  sejumlah  3.90.  Oleh  karena  itu  bisa  ditarik kesimpulan  bahwasanya  tingkat  kepuasan user dengan  metode  PIECES  terhadap software SAP masuk ke dalam kategori PUAS. Hal ini menunjukkan indikasi positif dimana user merasa  puas  terhadap Software SAP  di  PT.  XYZ.  Tabel  20 menunjukkan rata-rata hasil pengolahan data kuesioner.
Tabel 20. Rata-rata Hasil Pengolahan Data Kuesioner Indikator Nilai  Kategori Performance 3,74 Puas Information 4,12 Puas Economic 3,82 Puas Control 4,04 Puas Efficiency 3,78 Puas Service 3,87 Puas Jumlah 23,37 - Rata-rata 3,90 PUAS

## 3.3. Hasil Evaluasi Dengan Penggunaan SUS dan PIECES Framework
Evaluasi  ini  dilaksanakan  agar  dapat  menentukan  nilai  maksimum  antara metode  SUS  dan  PIECES Framework terhadap  pengukuran  tingkat  kepuasan
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 2, Agustus 2024, pp 818-832 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
pengguna Software SAP. Hasil dari pengukuran tingkat kepuasan ini bisa disimak pada Tabel 21.
Tabel 21. Hasil Evaluasi Menggunakan Metode SUS dan PIECES SUS PIECES Skor 62,79 3,90 Kategori  Okay-Good Puas Grade D B
Gambar 3. Hasil Evaluasi Menggunakan Metode SUS
Dari  Tabel  21  dan  Gambar  3  dapat  dilihat  bahwa  dengan  metode  SUS didapatkan  skor  62,79  yang  termasuk  dalam range marginal, range Low-High , masuk ke dalam kategori Okay mendekati Good , dengan grade scale D, sedangkan dengan  PIECES  didapat  nilai  sebesar  3,90  dan  masuk  ke  dalam  kategori  Puas, dengan grade B. Hal ini menunjukkan bahwa dengan metode PIECES didapat hasil yang  lebih  unggul daripada  dengan  metode  SUS.  Berdasarkan  hasil kalkulasi  dan analisis  yang  dilakukan  menggunakan  kedua  metode  tersebut  menunjukkan metode  PIECES Framework mendapat  nilai  yang  Puas  dibandingkan  dengan metode  SUS  yang  memiliki  hasil  tidak  Puas.  Melalui  pengujian  menggunakan metode  SUS  dan  juga  berdasarkan  hasil  perhitungan  dapat  dinyatakan  bahwa software SAP sudah cukup berguna, tetapi masih perlu ditingkatkan lagi dari segi kegunaan untuk user yang ada di PT. XYZ. Untuk pengujian menggunakan metode PIECES  terlihat  dari  segi Performance,  Information,  Economy,  Control,  Efficiency, dan Service sudah baik untuk user yang ada di PT. XYZ.

## 4.  SIMPULAN
Metode  PIECES  dan  SUS  telah  digunakan  untuk  mengevaluasi  tingkat kepuasan  pengguna  SAP  pada  PT.  XYZ.  Adapun  hasil  riset  yang  telah  dijalankan maka  didapatkan  sebuah  kesimpulan  bahwa  dengan  metode  PIECES  didapatkan nilai 3,90 masuk dalam kategori Puas, dan Grade B, sementara itu dengan metode SUS  didapatkan  nilai  62,79  masuk  dalam  kategori  Okay  dan  Grade  D.  Hal  ini menunjukkan  jika  metode  PIECES  mempunyai  hasil  yang  lebih  unggul dibandingkan  dengan  metode  SUS,  dengan  tingkat acceptable menggunakan metode  SUS  pada  skala  marginal  atau  tengah-tengah.  Berdasarkan  kalkulasi  dan interpretasi  hasil  diketahui  bahwa  dengan  metode  PIECES  didapatkan  nilai  Puas, sedangkan metode SUS didapatkan nilai tidak Puas. Kepuasan pengguna terhadap SAP  masih  ada  beberapa  yang  harus  ditingkatkan  dan  dilakukan  pengembangan
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 2, Agustus 2024, pp 818-832 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
lebih  lanjut  melihat  beberapa  aspek  yang  membuat  adanya  ketidakpuasan terhadap  penggunaan  SAP  yaitu  dilihat  dari  metode  SUS  yang  tergolong  masih kurang mencukupi kriteria. Untuk penelitian selanjutnya penggunaan software SAP dapat  dikembangkan  lagi  dari  segi  kepuasan user dan  penerimaan  penggunaan software SAP  tersebut.  Hal  ini  dilakukan  supaya  kebutuhan  proses  bisnis  dapat terus  berjalan  seiring  dengan  pengarahan  kepada user agar  dapat  menggunakan software SAP lebih efisien dan mudah.

## DAFTAR PUSTAKA
[1] M. A. A. Kusumah, R. I. Rokhmawati, and F. Amalia, “Evaluasi Usability Pada Website E-commerce XYZ Dengan Menggunakan Metode Cognitive Walkthrough dan System Usability  Scale  (SUS),” Jurnal  Pengembangan  Teknologi  Informasi  dan  Ilmu Komputer ,  vol.  3,  no.  5,  pp.  4340–4348,  2019,  [Online].  Available:  http://j- ptiik.ub.ac.id
[2] M.  Hafidz  and  R.  Sari,  “Metode  End  User  Computing  Satisfaction  Untuk  Evaluasi Pengukuran  Kepuasaan  Kualitas  System  Application  &  Product  R/3  Fico,” Jurnal INSAN (Journal of Information Systems Management Innovation) , vol. 1, no. 2, 2021, doi: https://doi.org/10.31294/jinsan.v1i2.632.
[3] Suminten,  “Implementasi  Enterprise  Resource  Planning  (ERP)  Pada  Usaha  Pithik Sambel Ndesso Berbasis ODOO,” Jurnal PROSISKO , vol. 6, no. 1, 2019.
[4] S. D. Sebayang, “Analysis of The Effectiveness of The Investment Office Website and One-Door Integrated Licensing Service of Asahan Regency With Webqual Method,” IJIRSE:  Indonesian Journal of Informatic Research and Software Engineering , vol. 2, no. 1, pp. 37–41, 2022, doi: https://doi.org/10.57152/ijirse.v2i1.150.
[5] A. Febriyanthi, M. Nadhif Naufal, M. Rahmatullah, and Islahuddin, “Interface Design Heuristic  Evaluation  Website  Yayasan  Kesehatan  Telkom,” Turkish  Journal  of
Computer and Mathematics Education , vol. 12, no. 4, pp. 852–859, 2021.
[6] V.  Y.  P.  Ardhana,  “Analisis  Usability  Testing  pada  SITIDES  Menggunakan  System Usability  Scale  dan  PIECES  Framework,” Bulletin  of  Informatics  and  Data  Science , vol. 1, no. 2, pp. 89–97, 2022, doi: http://dx.doi.org/10.61944/bids.v1i2.41.
[7] G.  Gronier  and  A.  Baudet,  “Psychometric  Evaluation  of  the  F-SUS:  Creation  and Validation of the French Version of the System Usability Scale,” Int J Hum Comput Interact , vol. 37, no. 16, pp. 1571–1582, 2021, doi:
10.1080/10447318.2021.1898828.
[8] M.  L.  Hamzah,  Ambiyar,  F.  Rizal,  W.  Simatupang,  D.  Irfan,  and  Refdinal, “Development  of  Augmented  Reality  Application  for  Learning  Computer  Network Device,” International Journal of Interactive Mobile Technologies , vol. 15, no. 12, pp. 47–64, 2021, doi: 10.3991/ijim.v15i12.21993.
[9] N. K. A. Putri and A. D. Indriyanti, “Penerapan PIECES Framework sebagai Evaluasi Tingkat  Kepuasan  Mahasiswa  terhadap  Penggunaan  Sistem  Informasi  Akademik Terpadu  (SIAKADU)  pada  Universitas  Negeri  Surabaya,” JEISBI ,  vol.  02,  no.  2,  pp. 78–84, May 2021, [Online]. Available: https://siakadu.unesa.ac.id
[10]  R. Ulfa, “Mengukur Kepuasan Pengguna Sistem Informasi Bimbingan Konseling (E- BK)  Menggunakan  System  Usability  Scale  (SUS)  Di  SMK  Negeri  1  Banda  Aceh,” 2021. [Online]. Available: https://repository.ar-raniry.ac.id/id/eprint/16396
[11]  D. P. Kesuma, “Penggunaan Metode System Usability Scale Untuk Mengukur Aspek Usability  Pada  Media  Pembelajaran  Daring  Di  Universitas  XYZ,” Jurnal  Teknik
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 9, Nomor 2, Agustus 2024, pp 818-832 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
Informatika  dan  Sistem  Informasi ,  vol.  8,  no.  3,  pp.  1615–1626,  Sep.  2021,  doi: https://doi.org/10.35957/jatisi.v8i3.1356.
[12]  R. T. Aldisa, E. Samudra, and R. Sahara, “Perbandingan Metode Pieces Dan System Usability  Scale  Untuk  Menganalisa  Kepuasan  Pengguna  Pada  Sistem  Penyewaan Mobil Berbasis Android,” JURIKOM (Jurnal Riset Komputer) , vol. 9, no. 4, pp. 1094– 1102, Aug. 2022, doi: 10.30865/jurikom.v9i4.4705.
[13]  A.  Muhammad  Nur  Fauzi,  A.  Triayudi,  and  I.  Diana  Sholihati,  “Mengukur  Tingkat Kepuasan  Pengguna  Aplikasi Kearsipan  Menggunakan  System Usability Scale  Dan PIECES Framework,” JIPI (Jurnal Ilmiah  Penelitian dan Pembelajaran Informatika) , vol. 7, no. 1, pp. 231–239, 2022, doi: https://doi.org/10.29100/jipi.v7i1.2452.
[14]  N.  M.  B.  Aditya  and  J.  N.  U.  Jaya,  “Penerapan  Metode  PIECES  Framework  Pada Tingkat  Kepuasan  Sistem  Informasi  Layanan  Aplikasi  Myindihome,” Jurnal  Sistem Komputer  dan  Informatika  (JSON) ,  vol.  3,  no.  3,  pp.  325–332,  Mar.  2022,  doi: 10.30865/json.v3i3.3964.
[15]  N.  Sakir,  J.  N.  U.  Jaya,  and  N.  Wahyuni,  “Penerapan  Metode  Pieces  Framework Sebagai  Evaluasi  Tingkat  Kepuasan  Pengguna  Aplikasi  Seabank  di  Balikpapan,” JURIKOM  (Jurnal  Riset  Komputer) ,  vol.  9,  no.  2,  pp.  344–351,  Apr.  2022,  doi: 10.30865/jurikom.v9i2.4047.
[16]  D.  Pal  and  V.  Vanijja,  “Perceived  usability  evaluation  of  Microsoft  Teams  as  an online  learning  platform  during  COVID-19  using  system  usability  scale  and technology  acceptance  model  in  India,” Child  Youth  Serv  Rev ,  vol.  119,  Dec.  2020, doi: 10.1016/j.childyouth.2020.105535.
[17]  J. R. Lewis and J. Sauro, “Item Benchmarks for the System Usability Scale,” J Usability Stud ,  vol.  13,  no.  3,  pp.  158–167,  May  2018,  [Online].  Available: https://uxpajournal.org/wp- content/uploads/sites/7/pdf/JUS_Lewis_May2018.pdf
[18]  A.  Fatoni,  K.  Adi,  and  A.  P.  Widodo,  “PIECES  Framework  and  Importance Performance  Analysis  Method  to  Evaluate  the  Implementation  of  Information Systems,”  in E3S  Web  of  Conferences ,  EDP  Sciences,  Nov.  2020.  doi: 10.1051/e3sconf/202020215007.