## EVALUASI SISTEM INFORMASI AKADEMIK SATYA WACANA MENGGUNAKAN PIECES FRAMEWORK
Alexander Winandhito Adi 1 , Evi Maria 2
Fakultas Teknologi Informasi ,Universitas Kristen Satya Wacana 682019070@student.uksw.edu 1 evi.maria@uksw.edu 2

## ABSTRAK
Tujuan  penelitian  adalah  melakukan  evaluasi  terhadap  Sistem  Informasi  Akademik  Satya  Wacana (SIASAT) menggunakan PIECES framework. Evaluasi dilakukan dari sisi pengguna, yaitu mahasiswa Universitas  Kristen  Satya  Wacana  (UKSW)  dengan  menilai  enam  variabel,  yaitu performance, information  and  data,  economics,  control  and  security,  efficiency,  dan  service .  PIECES framework terbukti efektif digunakan dalam proses indentifikasi masalah, peluang, dan arah pengembangan sistem di masa yang akan datang. Data penelitian diperoleh dari penyebaran kuesioner. Responden penelitian ini adalah mahasiswa UKSW, dengan total responden sebanyak 202 orang, Data diukur menggunakan skala likert .  Hasil  evaluasi  menemukan  bahwa  mahasiswa  merasa  sangat  puas  ketika  menggunakan SIASAT  jika  dinilai  dari  variabel performance,  efficiency,  dan  service, sedangkan  dari variabel information and data , serta economics , mahasiswa merasa puas. Sedangkan, skor terendah ada pada variabel control and security , mahasiswa dalam kategori netral ketika menilai variabel ini. Penanganan yang  lambat  saat  terjadi  server  down  menjadi  alasan  mengapa  mahasiswa  memberi  skor  terendah, sehingga  pengelola  SIASAT  perlu  melakukan  peningkatan  dari  sisi control  dan  security .  Secara keseluruhan,  skor  rata-rata  kepuasan  pengguna  SIASAT  adalah  sebesar  3,93.  Ini  berarti  bahwa mahasiswa  UKSW  puas  ketika  menggunakan  SIASAT  untuk  menunjang  kegiatan  administrasi akademik selama berkuliah di UKSW.

## Kata kunci: Kepuasan pengguna, PIECES framework, Sistem informasi akademik

## ABSTRACT
The research objective is to evaluate the Satya Wacana Academic Information System (SIASAT) using the  PIECES  framework.  The  evaluation  was  carried  out  from  the  user  side,  namely  Satya  Wacana Christian University (SWCU) students, by assessing six variables: performance, information and data, economics, control, security, efficiency, and service. The PIECES framework has effectively identified problems,  opportunities,  and  future  system  development  directions.  Research  data  was  obtained  by distributing questionnaires. Respondents to this study were SWCU students, with 202 respondents. Data was  measured  using  a  Likert  scale.  The  evaluation  results  found  that  students  felt  delighted  using SIASAT  when  assessed  from  the  performance,  efficiency,  and  service  variables.  While  from  the information and data variables, as well as economics, students feel satisfied. The lowest score is on the control and security variables; students are in the neutral category when assessing this variable. Slow handling when a server down occurs is why students give the lowest score, so SIASAT managers need to improve from the control and security side. Overall, the average score of SIASAT user satisfaction is  3.93.  It  means  that  SWCU  students  are  satisfied  when  they  use  SIASAT  to  support  academic administration activities while studying at SWCU.

## Keywords: Academic information system, PIECES framework, User satisfaction

## 1. PENDAHULUAN
Website digunakan  oleh  organisasi untuk  membagikan  data  serta  informasi pada pihak internal dan eksternal organisasi  [1]  [2]. Website organisasi  di akses  menggunakan  perangkat  lunak browser , seperti Internet Explorer, Mozilla Firefox,  Google  Chrome atau Opera Browser berbasis internet. Website banyak dipakai  di  berbagai  universitas,  tak terkecuali Universitas Kristen Satya Wacana  (UKSW).  Dalam  menunjang proses  bisnis  pendidikan,  UKSW  dibantu oleh  Sistem  Informasi  (SI)  Akademik Satya  Wacana  berbasis website yang terintegrasi dengan beberapa layanan untuk memfasilitasi  dan  mendukung  kegiatan akademik  yang  diberi  nama  SIASAT.  SI akademik  merupakan  sistem  informasi yang bertugas mengumpulkan dan mengolah  data  akademik  di  institusi pendidikan [3]. Dosen meggunakan layanan  SIASAT  untuk  jadwal  mengajar, perwalian,  dan  input  nilai.  Sedangkan, mahasiswa menggunakan layanan SIASAT untuk pendaftaran ulang, pendaftaran mata kuliah, permintaan mata kuliah,  kartu  studi,  hasil  studi,  jadwal perkuliahan,  transkrip  nilai,  informasi tagihan  semester,  pendaftaran  skripsi  atau skripsi,  dan  informasi  peminjaman  buku [4].  SIASAT  dikembangkan  tahun  2005, selama beroperasi belum pernah mengalami pembahuruan.
Penelitian
terdahulu tentang SIASAT sudah dilakukan, namun hanya fokus melakukan analisis  manajemen  keamanan  SIASAT menggunakan  ISO/IEC  27001:2013  [4]. Penelitian untuk mengukur tingkat kepuasan pengguna SIASAT belum pernah dilakukan.  Padahal  analisis  kepuasan pelanggan  dibutuhkan  sebagai  tolak  ukur dalam  menilai  kinerja  informasi,  apakah sudah  melayani  kebutuhan  penggunanya [5][6], sehingga keberhasilan SIASAT dari sisi pengguna masih merupakan pernyataan penelitian.
Penelitian terdahulu tentang kepuasan pengguna  sistem  informasi  akademik  di perguruan  tinggi  sudah  dilakukan,  seperti penelitian  [7],[8]  Peneltian  [7]  membahas kepuasaan  SI  akademik  di  Politeknik Kelapa Sawit Citra Widya Edukasi Bekasi menggunakan  PIECES framework .  Hasil penelitian  menemukan  bahwa  mahasiswa merasa terbantu dalam melakukan berbagai macam  kebutuhan  mahasiswa  dalam berkuliah.  Registrasi  mata  kuliah  dapat dilakukan  lebih  cepat  dan  tidak  dibatasi ruang serta waktu. Penelitian [8] menemukan bahwa penggunaan SI akademik  menciptakan  kepuasan  rata-rata sebesar  59,4  persen  jika  di  evaluasi menggunakan  PIECES framework .    Ini artinya SI akademik yang diterapkan sudah baik. Namun, karakteristik spesifik aplikasi yang  berbeda  antara  perguruan  tinggi membuat  hasil  penelitian  terdahulu,  tidak dapat digunakan untuk melakukan generalisasi bahwa SI akademik di UKSW juga efektif dan efisien seperti SI akademik yang diimplemetasikan di perguruan tinggi lain.  Kondisi  ini  mendorong  analisis kepuasan  pengguna  SIASAT  masih  perlu untuk dilakukan. Penelitian ini menerapkan  PIECES framework ,  sama seperti  penelitian  [7],[8] Framework ini dipilih  karena  telah  terbukti  tidak  hanya berguna bagi evaluasi kepuasan pengguna tetapi  juga  untuk  pengembangan  dan perbaikan sistem [9][10][11][12].
Penelitian ini dilakukan dengan tujuan untuk  mengevaluasi  SIASAT  dari  sisi pengguna, yaitu mahasiswa UKSW dengan menerapkan PIECES framework . Evaluasi dilakukan dengan menilai sisi atai variabel performance, information and data , economics , control and security , efficiency , dan service . Kontribusi penelitian ini, yaitu bagi pengembangan ilmu di bidang sistem informasi dengan cara  menyediakan bukti keefektifan  PIECES framework untuk digunakan  dalam  evaluasi  implementasi dan  pengembangan  sistem  informasi.
Kontribusi  bagi  UKSW,  hasil  riset memberikan  potret  kinerja  SIASAT  dari sisi  mahasiswa  sebagai  penggunanya, sehingga  dapat  menjadi  bahan  untuk dipertimbangkan dalam rangka pengembangan SIASAT di masa depan.
Sistem merupakan kumpulan komponen  terintegrasi  untuk  mencapai tujuan  organisasi,  dimana  input  dilakukan pengolahan  untuk  menghasilkan  keluaran tertentu [13]. Informasi adalah sekelompok data yang mempunyai cipta dan objek serta bisa menyerahkan keterangan akurat yang diperlukan  bagian  dalam  pengumpulan keputusan  [14].  Jadi,  sistem  informasi didefinisikan  sebagai  pengaturan  sumber daya, meliputi orang, data, teknologi untuk melakukan  proses  pengumpulan  data, pengolahan, penempatan, serta penyimpanan  informasi  yang  dibutuhkan oleh  organisasi  [15].  SI  akademik  adalah proses dokumentasi data akademik menggunakan teknologi komputer ( hardware dan software )  [11].  SIASAT adalah sistem informasi akademik berbasis website yang  dimiliki  Universitas  Kristen Satya  Wacana  dalam  menunjang  kegiatan perkuliahaan  mahasiswa.  Fitur  SIASAT membantu  mahasiswa  untuk  melakukan registrasi  mata  kuliah,  pembayaran  uang kuliah  secara  instan  menggunakan  m- Banking,  melihat  kartu  studi,  dan  hasil studi  mahasiswa,  melihat  poin  keaktifan mahasiswa,  dan request mata  kuliah, khusus  bagi  mahasiswa  tidak  kebagian kelas kuliah saat registrasi mata kuliah. PIECES framework merupakan  kerangka kerja  analitik  untuk  klasifikasi  masalah, kemungkinan  dan  arah  dalam  proses analisis  serta  perancangan  suatu  sistem informasi. Framework ini  digunakan sebagai  panduan  untuk  evaluasi  sistem agar  dapat  diidentifikasi  kelebihan  dan kelemahannya,  sehingga  dapat  menjadi
dasar untuk pengembangan sistem di masa depan [8]. PIECES framework mengunakan enam variabel, yaitu Peformance, Information and Data, Economic, Control and Security, Efficiency,  dan  Service [16].  Penjelasan variabel dalam PIECES framework
disajikan sebagai berikut.
a) Performance (kinerja),  yang  menilai sejauh mana sistem/proses dapat mencapai tujuan yang ditetapkan. Variabel  ini  melibatkan  pengukuran jumlah  output  yang  dihasilkan  dalam waktu tertentu, dan waktu yang dibutuhkan  untuk  menyelesaikan  tugas tertentu.
b) Information  and  data (informasi  dan data), yang mengevaluasi  kualitas informasi yang dihasilkan oleh sistem/proses.  Fokus  variabel  ini  ada pada  relevansi,  akurasi,  keandalan, kelengkapan,  dan  ketepatan  waktu penyajian informasi.
c) Economics (ekonomi),  yang  menilai manfaat  dan  biaya  yang  terkait  dengan sistem/proses. Tujuannya, untuk meningkatkan nilai manfaat atau mengurangi biaya penyelenggaraan.
d) Control and  security (pengendalian dan keamanan), yang mengevaluasi
kemampuan
sistem dalam mengendalikan aktivitas dan mendeteksi kesalahan/kecurangan.
e) Eficiency (efisiensi), yang menilai sejauh mana  sistem/proses  mencapai  tujuan dengan penggunaan sumber daya secara optimal.
f) Service (layanan),  yang  mengevaluasi kemampuan  sistem  atau  proses  untuk memberikan  layanan  yang  berkualitas kepada pengguna. Fokus pada peningkatan kualitas layanan.
PIECES framework juga  digunakan dalam penelitian di berbagai bidang usaha dalam  rangka  menilai  tingkat  kepuasan sistem  informasi.  Di  institusi  pendidikan
dilakukan oleh [7] untuk menilai kepuasan pengguna  sistem  informasi  akademik Politeknik  Kelapa  Sawit  Citra  Widya Edukasi  Bekasi,  [11]  kepuasan  pengguna Sistem  Informasi  Akademik  Terpadu (SIAKADU)  pada  Universitas  Negeri Surabaya,  [17]  kepuasan pengguna  sistem informasi perpustakaan, dan [18] kepuasan penguna  sistem  informasi  kepegawaian Universitas  PGRI  Madiun.  Ini  artinya PIECES framework telah teruji keefektifannya  dapat  digunakan  untuk menilai  kinerja  sistem  informasi  secara komprehensif [9][10].

## 2. METODE PENELITIAN
Metode kualitatif digunakan dalam penelitian  ini  karena  tujuan  penelitian  ini adalah  untuk  mengukur  dan  menganalisis tingkat  kepuasan  responden  terhadap implementasi  SIASAT  secara  numerik. Pengumpulan  data  dilakukan  melalui kuesioner terstruktur dengan skala penilaian  yang  terukur.  Harapannya, penelitian  ini  dapat  menyediakan  analisis komprehensif  tentang  tingkat  kepuasan mahasiswa  selaku  pengguna  SIASAT  dan memberikan  masukan  bagi  Universitas Kristen  Satya  Wacana  (UKSW)  dalam upaya  meningkatkan  kualitas  layanan disana.
Populasi  penelitian  ini,  yaitu  mahasiswa UKSW.  Sampel  penelitian  ditetapkan menggunakan  metode purposive sampling
dengan  kriteria:  mahasiswa  aktif  UKSW dan  bersedia  mengisi  kuesioner  dengan lengkap. Penelitian ini menetapkan jumlah sampel  minimum  sebanyak  lima  kali jumlah  pernyataan  dari  indikator  [19]. Hasil  perhitungan  maka  jumlah  minimum responden  adalah  sebanyak  200  (5x22) orang  responden.  Sampel  total  dalam penelitian  ini  berjumlah  202  orang.  Ini artinya  jumlah  sampel  riset  ini  sudah memenuhi  kriteria  sampel  minimum kecukupannya.  Kuesioner  menggunakan google form platform yang disebar melalui pesan e-mail student , mulai dari tanggal 21 Januari 2023 sampai 10 Mei 2023.
2.1. Variabel dan Indikator Penelitian
Pernyataan
kuesioner disusun menggunakan  PIECES framework .  Ada enam variabel , yaitu performance, information  and  data,  economics,  control & security, efficiency, dan service SIASAT yang diteliti. Setiap pernyataan akan diukur menggunakan  skala likert dengan  skor  1 sampai dengan skor 5. Skor 1 untuk respon sangat  tidak  setuju,  skor  2  untuk  respon tidak  setuju,  skor  3  untuk  netral,  skor  4 untuk  setuju,  dan  skor  5  untuk  sangat setuju.  Pengukuran  respon  menggunakan skala likert dipilih digunakan karena telah terbukti  dapat  mengukur  pendapat,  sikap, serta  persepsi  individu  tentang  fenomena sosial  [20].  Variabel  dan  indikator kuesioner, bisa dilihat melalui Tabel 1.
Tabel 1. Variabel dan Indikator Penelitian Variabel Indikator No Pernyataan Pernyataan Performance Performa SIASAT P1 Tampilan SIASAT yang mudah dipahami P2 SIASAT  UKSW  dapat  berfungsi  secara optimal di perangkat mahasiswa. P3 SIASAT UKSW mudah digunakan. P4 Respon cepat atas perintah/permintaan/ pembatalan.
P5 SIASAT  dapat  dioperasikan  dimanapun  dan kapanpun. P6 Kecepatan dalam melakukan registrasi akademik  (registrasi  ulang,  mata  kuliah, pembayaran uang kuliah) terbilang cepat. Information & Data Keluaran dan penyimpana n data P7 Dalam  merespon  suatu  perintah  untuk menampilkan data dilakukan dengan cepat. P8 Data akademik seperti KST, tagihan, transkrip nilai, dan hasil studi mudah untuk didapatkan. P9 Data akademik seperti KST, tagihan, transkrip nilai,  dan  hasil  studi  sudah  tersusun  secara sistematis. P10 Data akademik seperti KST, tagihan, transkrip nilai,  dan  hasil  studi  yang  ditampilkan  sudah akurat. P11 Menu/informasi  akademik  yang  ditampilkan SIASAT mudah dipahami mahasiswa Economics Keekonomis an SIASAT P12 Kualitas  layanan  yang  didapat  dari  SIASAT sepadan dengan biaya yang dibayarkan. P13 Tarif  penggunaan  internet  untuk  mengakses SIASAT terbilang murah. Control & Security Keamanan data dan kontrol sistem SIASAT P14 Keamanan  data  mahasiswa  di  SIASAT terjamin. P15 Pengamanan  SIASAT  terkait  data  mahasiswa dari bentuk kecurangan ataupun kejahatan. P16 Penanganan  cepat  jika  terjadi  server down ketika padat/ramai pengunjung. Efficiency Efisiensi Operasional P17 Penggunaan  SIASAT  membuat  efisiensi waktu, biaya, dan tenaga mahasiswa/i P18 Hadirnya SIASAT sangat membantu
perkuliahan mahasiswa untuk kegiatan registrasi  maupun  administrasi  dimana  dan kapanpun  tanpa  harus  datang  ke  Gedung Administrasi Pusat. P19 Kemudahan  dalam  perolehan  data  (KST, jumlah  tagihan,  dll)  lebih  efisien  dikarenakan mudah diakses dimana dan kapanpun. Service Layanan yang diberikan P20 Layanan  yang  diberikan  SIASAT  sesuai dengan kebutuhan mahasiwa. P21 SIASAT memberikan kepuasan dalam melakukan registrasi maupun perolehan informasi. P22 Tampilan  UI/UX  SIASAT  mudah  dipelajari saat pertama kali digunakan

## 2.2. Metode Analisis
Data penelitian dianalisis dengan dua cara. Pertama,  uji  validitas  dan  reliablititas.  Uji validitas  dilakukan  dalam  rangka  menilai data  yang  diperoleh  dikatakan  valid  apa tidak. Uji ini diilakukan dengan melakukan perhitungan  skor  korelasi  hasil  kuesioner yang didapat dan membandingkan dengan r-tabel, apakah lebih besar atau lebih kecil. Validitas  data  penelitian  ini,  diukur menggunakan  korelasi  koefisien  Karl Pearson  [21].  Sedangkan,  uji  reliabilitas dilakukan menggunakan metode Cronbach Alpha , dengan  cara  menghitung  skor realibilitas Alpha dan menilai apakah nilai Alpha>0,60.  Jika  nilai  Alpha<0,60  maka pernyataan  tidak  reliabel,  dan  sebaliknya. Kedua,  mengukur  tingkat  kepuasaan pengguna SIASAT menggunakan persamaan 1.
𝑅𝐾 = 𝐽𝑆𝐾 𝐽𝐾 (1)
RK: rata-rata Kepuasaan; JSK: jumlah skor kuesioner;  JK:  jumlah  kuesioner.  Nilai kepuasan dikategorikan dalam lima predikat,  yaitu  sangat  tidak  puas,  tidak puas, netral, puas, dan sangat puas seperti yang tersaji di Tabel 2.
Tabel 2. Tingkat Kepuasaan Pengguna
Range Skor Predikat Kepuasaan 1 – 1,79 Sangat Tidak Puas 1,8 – 2,59 Tidak Puas 2,6 – 3,39 Netral 3,4 – 4,19 Puas 4,20 – 5,00 Sangat Puas 3. HASIL DAN PEMBAHASAN
3.1. Profil Responden
Pada  penelitian  ini,  mahasiswa  yang  aktif di  UKSW  dilibatkan  sebagai  responden dan menggunakan SIASAT sebagai bagian dari  kegiatan  mereka selama  masa kuliah. Total  jumlah  responden  mencapai  202 orang  yang  mewakili  beragam  fakultas,
angkatan,  dan  jenis  kelamin.  Profil responden  riset  disajikan  pada  Tabel  3. Fakultas  yang  terlibat  mencapai  14 fakultas,  dengan  Fakultas  Teknologi Informasi memiliki 150 responden, Fakultas  Bahasa  dan  Seni  2  responden, Fakultas Keguruan dan Ilmu Pendidikan 6 responden, Fakultas Ekonomika dan Bisnis 2 responden, Fakultas Hukum 3 responden, Fakultas Ilmu Sosial dan Ilmu Komunikasi 8 responden, Fakultas Biologi 5 responden, Fakultas Kedokteran 1 responden, Fakultas Pertanian dan Bisnis 5 responden, Fakultas Teologi  2  responden,  Fakultas  Sains  dan Matematika 5 responden, Fakultas Psikologi  5  responden,  Fakultas  Teknik Elektronika  dan  Komputer  5  responden, dan  Fakultas  Interdisiplin  3  responden. Dalam hal angkatan, responden terdiri dari 100  orang  dari  angkatan  2019,  92  orang dari  angkatan  2020,  dan  10  orang  dari angkatan  2021.  Mengenai  jenis  kelamin, responden perempuan berjumlah 85 orang, sementara  responden  laki-laki  berjumlah 117 orang.

## 3.2. Hasil Uji Validitas & Reliabilitas
Tabel 4 menyajikan hasil uji validitas dan reliabilitas penelitian ini. Berdasarkan hasil uji  validitas,  ditemukan  22  pernyataan kuesioner  penelitian  ini  semua  memiliki nilai  korelasi  hitung>r  tabel  (0,163).  Ini artinya  semua  item  pernyataan  kuesioner riset ini dinyatakan valid. Sedangkan, hasil uji  reliabilitas  menemukan  bahwa  seluruh variabel riset ini memiliki nilai Cronbach’s Alpha >0,60,  sehingga  semua  pernyataan kuesioner dinyatakan reliabel dan pengujian  selanjutnya,  yaitu  pengujian kepuasan pengguna SIASAT, yaitu mahasiswa menggunakan
PIECES
framework dapat dilanjutkan.
Tabel 3. Profil Responden
Informasi Kriteria Total Fakultas Fakultas Teknologi Informasi 150 Fakultas Bahasa dan Seni 2 Fakultas Keguruan dan Ilmu Pendidikan 6 Fakultas Ekonomika dan Bisnis 2 Fakultas Hukum 3 Fakultas Ilmu Sosial dan Ilmu Komunikasi 8 Fakultas Biologi 5 Fakultas Kesehatan dan Ilmu Kedokteran 1 Fakultas Pertanian dan Bisnis 5 Fakultas Teologi 2 Fakultas Sains dan Matematika 5 Fakultas Psikologi 5 Fakultas Teknik Elektronika dan Komputer 5 Fakultas Interdisiplin 3 Angkatan 2019 100 2020 92 2021 10 Jenis Kelamin Perempuan 85 Laki-laki 117 Total Responden 202 Sumber: data primer diolah (2023) Tabel 4. Hasil Uji Validitas dan Reliabilitas Kuesioner Variabel No. Pernyataan Skor Korelasi Hitung Kuesioner Keterangan Cronbach’s Alpha Keterangan Performance P1 0,474 Valid
0,844 Reliabel P2 0,659 Valid P3 0,640 Valid P4 0,695 Valid P5 0,776 Valid P6 0,769 Valid Information & Data
P7 0,610 Valid 0,861 P8 0,720 Valid P9 0,717 Valid Reliabel P10 0,709 Valid P11 0,663 Valid Economics P12 0,502 Valid 0,652 Reliabel P13 0,444 Valid Control & Security P14 0,446 Valid 0,734 P15 0,461 Valid Reliabel P16 0,323 Valid Efficiency P17 0,648 Valid 0,848 P18 0,704 Valid Reliabel P19 0,697 Valid
Service P20 0,641 Valid 0,852 P21 0,656 Valid Reliabel P22 0,625 Valid Sumber: data primer diolah (2023) 3.3. Analisis Tingkat Kepuasaan Pengguna SIASAT menggunakan
PIECES Framework
Bagian ini menyajikan hasil perhitungan  rata-rata  tingkat  kepuasan pengguna  SIASAT,  yaitu  mahasiswa Universitas  Kristen  Satya  Wacana,  dari enam variabel PIECES framework . Adapun enam variabel tersebut, antara lain performance, information and data , economics , control and security , efficiency , dan service beserta  pembahasannnya  per variabel.  Hasil  perhitungan  kepuasan pengguna  SIASAT  disajikan  dari  Tabel  5 sampai  dengan  Tabel  10.  Sedangkan, analisis kepuasan keseluruhan dari pengguna  SIASAT  menggunakan  bobot rata-rata disajikan pada Tabel 11.
a. Variabel
Performance (Kinerja)

## SIASAT
Tabel 5. Hasil Perhitungan Skor Variabel
Performance No. Pernyat aan Nilai Indikator Jawaban STS 1 TS 2 N 3 S 4 SS 5 P1 2 0 2 123 75 P2 1 1 2 82 116 P3 2 1 1 84 114 P4 10 21 12 61 98
P5 4 15 7 72 104 P6 10 18 10 72 92 Jumlah 29 56 34 494 599
𝑅𝐾  = (29.1)+(56.2)+(34.3)+(494.4)+(599.5) (29+56+34+414+490)
RK = 29+112+102+1976+2995 1212 𝑅𝐾  = 5214 1212 RK  = 4,30
Hasil perhitungan pada Tabel 5,
menunjukkan  bahwa  tingkat  kepuasan pengguna  SIASAT,  yaitu  mahasiswa UKSW untuk variabel performance diperoleh  nilai  sebesar  4,30.  Mahasiswa UKSW  sangat  puas  terhadap  kinerja aplikasi SIASAT untuk mendukung kegiatan  administrasi  perkuliahan  di UKSW.  Pengguna  menilai  tiga  hal  yang membuat kinerja SIASAT dianggap sangat memuaskan.  Pertama,  tampilan  UI/UX SIASAT  dinilai  sangat  baik.  Mahasiswa menilai antarmuka sistem mudah dipahami dan  tidak  memerlukan  waktu  lama  untuk mempelajari lebih lanjut. Kedua, optimasi SIASAT  juga  mendapatkan  penilaian positif  karena  dapat  dioperasikan  di berbagai  perangkat,  dan  di  desain  sebagai website .  Kemudahan  aksesibilitas  sistem ini  memungkinkan  mahasiswa  untuk menggunakannya  kapan  saja  dan  di  mana saja.  Ketiga,  respon  sistem  juga  dinilai baik.
Mahasiswa mendapatkan
pengalaman yang memuaskan saat menggunakan  SIASAT  untuk  kegiatan registrasi  akademik,  pemilihan  mata kuliah,  dan  pembayaran  uang  kuliah.  Jadi dari sisi kinerja, SIASAT telah memenuhi harapan  mahasiswa,  sehingga  mahasiswa merasa sangat puas menggunakan aplikasi ini.
b. Variabel Information dan Data

## SIASAT
Tabel 6. Hasil Perhitungan Skor Variabel Information & Data No. Pernyataan Nilai Indikator Jawaban STS 1 TS 2 N 3 S 4 SS 5 P7 7 19 12 105 59 P8 3 4 4 91 100 P9 3 5 1 97 96 P10 3 4 7 84 104 P11 4 2 0 86 110 Jumlah 20 34 24 463 469 𝑅𝐾  = (20.1)+(34.2)+(24.3)+(463.4)+(469.5) (20+34+24+463+469)
𝑅𝐾  = 20+68+72+1852+2345
1010
𝑅𝐾  = 4357 1010
RK =   4,18
Hasil perhitungan pada Tabel 6, menunjukkan  bahwa  tingkat  kepuasan pengguna  SIASAT,  yaitu  mahasiswa UKSW untuk variabel information & data diperoleh  nilai  sebesar  4,18.  Analisis menunjukkan  bahwa  mahasiswa  UKSW merasa  puas  menggunakan  aplikasi  ini untuk  mendukung  kegiatan  administrasi perkuliahan.  Mahasiswa  menilai  bahwa SIASAT  memberikan  keakuratan  dan kecepatan  respon  yang  baik  dalam menampilkan  informasi  yang  mereka butuhkan.  Sistem  ini  dapat  dengan  cepat dan akurat menampilkan informasi, seperti tagihan,  KST  (Kartu  Studi  Tetap), informasi akademik perkuliahan, transkrip nilai, dan hasil studi perkuliahan. Mahasiswa merasa bahwa SIASAT memberikan kemudahan akses dan kenyamanan dalam mendapatkan informasi  yang  relevan  dengan  kegiatan akademik mereka. Jadi dari sisi penampilan  informasi,  SIASAT  berhasil memenuhi  harapan  mahasiswa  dalam  hal
keakuratan  dan kecepatan respon  perintah dalam  menampilkan  informasi,  sehingga mahasiswa merasa puas untuk menggunakan aplikasi ini.
c. Variabel Economics
Tabel 7. Hasil Perhitungan Skor Variabel
Economics No. Pernyata an Nilai Indikator Jawaban STS 1 TS 2 N 3 S 4 SS 5 P12 33 25 18 81 45 P13 5 2 4 89 102 Jumlah 38 27 22 170 147 𝑅𝐾 = (38.1)+(27.2)+(22.3)+(170.4)+(147.5) (38+27+22+170+147) 𝑅𝐾 = 38+54+66+680+735
404
𝑅𝐾 = 1573
404
RK= 3,89
Hasil perhitungan pada Tabel 7, menunjukkan  bahwa  tingkat  kepuasan pengguna  SIASAT,  yaitu  mahasiswa UKSW untuk variabel economics diperoleh  nilai  sebesar  3,89.  Analisis menunjukkan  bahwa  mahasiswa  UKSW merasa  puas  dengan  layanan  yang disediakan  aplikasi  SIASAT  dari  sisi ekonomis.  Mahasiswa  menilai  bahwa kualitas  layanan  yang  mereka  terima sepadan  dengan  biaya  yang  mereka bayarkan. Layanan SIASAT telah memenuhi  harapan  mahasiswa  sebagai pengguna  dan  memberikan  manfaat  yang sesuai  dengan  biaya  yang  dikeluarkan. Selain  itu,  mahasiswa  juga  menganggap tarif penggunaan internet yang ditawarkan oleh universitas ini ekonomis dan terjangkau. Hal ini memberikan kesempatan kepada mahasiswa untuk dapat mengakses  internet  dengan  biaya  yang terjangkau, yang penting dalam mendukung  aktivitas  akademik  dan  riset
mereka.  Jadi  dari  sisi  ekonomis,  SIASAT berhasil  memenuhi  harapan  mahasiswa, sehingga  mahasiswa  merasa  puas  untuk menggunakan aplikasi ini.
d. Variabel Control & Security
Tabel 8. Hasil Perhitungan Skor Variabel
Control & Security No. Pernyata an Nilai Indikator Jawaban STS 1 TS 2 N 3 S 4 SS 5 P14 16 22 68 82 14 P15
13 24 84 51 30 P16
123 59 5 5 10 Jumlah 152 105 157 138 54 𝑅𝐾 = (152.1)+(105.2)+(157.3)+(138.4)+(54.5)
(152+105+157+138+54)
𝑅𝐾 = 152+210+471+552+270
606
𝑅𝐾 = 1655 606
RK= 2,73
Hasil perhitungan pada Tabel 8, menunjukkan  bahwa  tingkat  kepuasan pengguna  SIASAT,  yaitu  mahasiswa UKSW  untuk  variabel control  &  security diperoleh  nilai  sebesar  2,73.    Analisis menunjukkan  bahwa  mahasiswa  UKSW mengungkapkan  perasaan  netral  dalam variabel Control  &  Security .  Dalam  hal penanganan  ketika  terjadi server  down yang disebabkan oleh padatnya pengunjung. Ini menyebabkan skor kepuasan pada variabel Control & Security cenderung  rendah.  Namun,  dalam  hal pengamanan  data,  mayoritas  mahasiswa merasa  netral.  Mereka  tidak  memiliki pandangan  yang  kuat  terkait  dengan pengamanan  data  di  universitas.  Data  ini mengindikasikan  bahwa  ada  kebutuhan untuk  meningkatkan  penanganan  saat terjadi  masalah  pada  server  agar  dapat memberikan  pengalaman  yang  lebih  baik bagi  mahasiswa.  Selain  itu,  perlu  juga
dilakukan  evaluasi  dan  perbaikan  pada aspek  keamanan  data  guna  meningkatkan kepercayaan  dan  kepuasan  mahasiswa terkait  dengan  pengamanan  informasi mereka. Dengan demikian, dapat disimpulkan bahwa dalam variabel control & security , mahasiswa UKSW mengungkapkan  perasaan  netral  terhadap variabel  tersebut  ketika  menggunakan aplikasi  SIASAT.  Kondisi  ini  perlu menjadi  perhatian  pimpinan  universitas untuk  meningkatkan  pengendalian  dan keaaman dari aplikasi SIASAT.
e. Variabel Efficiency
Tabel 9. Hasil Perhitungan Skor Variabel
Efficiency No. Pernyataa n Nilai Indikator Jawaban STS 1 TS 2 N 3 S 4 SS 5 P17 1 3 5 118 75 P18 2 10 3 96 91 P19 6 11 7 89 89 Jumlah 9 24 15 303 255 𝑅𝐾 = (9.1)+(24.2)+(15.3)+(303.4)+(255.5) (9+24+15+303+255)
𝑅𝐾 = 152+210+471+552+270 606 𝑅𝐾 = 2589
606
𝑅𝐾 =  4,27
Hasil perhitungan pada Tabel 9, menunjukkan  bahwa  tingkat  kepuasan pengguna  SIASAT,  yaitu  mahasiswa UKSW untuk variabel efficiency diperoleh nilai sebesar 4,27.    Analisis  menunjukkan bahwa  mahasiswa  UKSW  merasa  sangat puas  dengan  efisiensi  dalam  variabel efficiency .  Pertama,  dalam  hal  efisiensi waktu,  biaya,  dan  tenaga.  Mahasiswa merasa terbantu dengan kehadiran SIASAT  yang  memungkinkan  mereka untuk melakukan pembayaran administrasi tanpa  harus  menghabiskan  waktu  dan
tenaga  datang  ke  gedung  administrasi pusat. Hal ini memberikan kemudahan dan penghematan  dalam  melakukan  tugas- tugas  administratif.  Kedua,  dalam  hal fleksibilitas  perolehan  data.  SIASAT menyediakan layanan yang memungkinkan  mahasiswa  untuk  dengan mudah  mengakses  dan  memperoleh  data penting  seperti  KST  (Kartu  Studi  Tetap), tagihan,  dan  informasi  akademik  lainnya. Mahasiswa tidak perlu menghadapi kesulitan atau kebingungan dalam mendapatkan  informasi  ini  pada  waktu yang dibutuhkan. Dengan adanya SIASAT, proses perolehan data menjadi lebih efisien dan  efektif  bagi  mahasiswa.  Dengan demikian, dapat disimpulkan bahwa dalam variabel efficiency ,  mahasiswa  UKSW merasa  sangat  puas  dengan  keberhasilan SIASAT  dalam  menyediakan  efisiensi waktu,  biaya,  tenaga,  serta  fleksibilitas dalam perolehan data.

## f. Variabel Service
Tabel 10. Hasil Perhitungan Skor Variabel
Service No. Pernyata an Nilai Indikator Jawaban STS 1 TS 2 N 3 S 4 SS 5 P20 3 4 16 103 76 P21 6 6 5 98 87 P22 6 6 9 89 92 Jumlah 15 16 30 290 255 𝑅𝐾 = (15.1)+(16.2)+(30.3)+(290.4)+(255.5) (15+16+30+290+255)
𝑅𝐾 = 15+32+90+1160+255
606 RK = 2572 606 RK = 4,24 Hasil perhitungan pada Tabel 10,
menunjukkan  bahwa  tingkat  kepuasan pengguna  SIASAT,  yaitu  mahasiswa UKSW  untuk  variabel service diperoleh nilai  sebesar  4,24.  Analisis  menunjukkan
bahwa  mahasiswa  UKSW  merasa  sangat puas  dengan  layanan  yang  disediakan dalam variabel service . Mahasiswa mengungkapkan kepuasan mereka terhadap  layanan  yang  diberikan  oleh SIASAT. Layanan tersebut meliputi proses registrasi administrasi, perolehan informasi akademik,  dan  informasi  lainnya  yang mendukung  kegiatan  perkuliahan  mereka. Mahasiswa merasa bahwa SIASAT memberikan layanan yang efektif, efisien, dan  mudah  diakses.  Proses  registrasi administrasi  yang  dilakukan  melalui SIASAT dianggap memudahkan mahasiswa  untuk  menyelesaikan  proses administratif  dengan  cepat  dan  tanpa hambatan.  Selain  itu,  layanan  perolehan informasi akademik dan informasi lainnya juga dinilai baik, karena  mahasiswa dapat dengan  mudah  mendapatkan  informasi yang  mereka  butuhkan  untuk  menunjang kegiatan  perkuliahan  mereka.  Dengan demikian, dapat disimpulkan bahwa dalam variabel  Service,  mahasiswa  UKSW merasa  sangat  puas  dengan  layanan  yang disediakan  oleh  SIASAT  dalam  hal registrasi administrasi, perolehan informasi akademik,  dan  informasi  lainnya  yang mendukung kegiatan perkuliahan.
Tabel  11  menyajikan  ringkasan  skor kepuasan dari pengguna SIASAT menggunakan framework PIECES.  Hasil perhitungan  secara  keseluruhan  variabel dalam framework diperoleh  nilai  rata-rata kepuasan  pengguna,  yaitu  mahasiswa sebesar 3,93. Skor ini memiliki arti bahwa secara  keseluruhan,  pengguna  SIASAT, yaitu  mahasiswa  merasa  puas  ketika menggunakan SIASAT  untuk  mendukung kegiatan akademik dan administrasi perkuliahan di UKSW.
Tabel 11. Perolehan Skor Kepuasaan
Variabel Skor Kepuasan Keteranga n Perfomance 4,30 Sangat Puas Information & Data 4,18 Puas Economics 3,89 Puas Control & Security 2,73 Netral Efficiency 4,27 Sangat Puas Service 4,24 Sangat Puas Total 3,93 Puas

## 4. KESIMPULAN
Penelitian ini dilakukan untuk menerapkan PIECES framework untuk  menganalisis tingkat kepuasan mahasiswa UKSW ketika menggunakan  Sistem  Informasi  Akademik Satya  Wacana  (SIASAT)  dalam  kegiatan administrasi  perkuliahan  di  sana.  Menurut PIECES framework ,  penilaian  kepuasan pengguna  SIASAT  dievaluasi  dari  enam variabel. Hasil evaluasi menemukan bahwa mahasiswa  UKSW  merasa  sangat  puas ketika  menggunakan  SIASAT  jika  dinilai dari  sisi performance , efficiency ,  dan service .  Mahasiswa  hanya  memberikan nilai  puas  dari  sisi information dan data, serta economics ,  sedangkan  skor  terendah ada di sisi control dan security , mahasiswa merasa  netral  jika  menilai  SIASAT  dari aspek ini. Penilaian mahasiswa rendah dari sisi control dan security karena penanganan yang  lambat  saat  terjadi server  down , sehingga  pengelola  SIASAT  perlu  untuk melakukan  pengawasan  ekstra  dalam pengelolaan SIASAT. Meskipun demikian, efisiensi  SIASAT  dalam  hal  penggunaan waktu,  tenaga,  dan  proses  registrasi administrasi  dinilai  cukup  baik  oleh mayoritas  mahasiswa.  Secara  keseluruhan, dapat  disimpulkan  bahwa  mahasiswa UKSW puas ketika menggunakan SIASAT untuk  menunjang  kegiatan  akademiknya selama berkuliah di UKSW.
Karakteristik responden menjadi keterbatasan dalam penelitian ini. Meskipun  responden  penelitian  ini  sudah melibatkan 14 fakultas yang ada di UKSW, namun  jumlah  responden terbanyak,  yaitu 74,  26  persen  merupakan  mahasiswa Fakultas  Teknologi  Informasi,  sehingga sebaran responden belum mewakili populasi.  Penelitian  di  masa  depan  dapat memperhatikan ukuran sampel dan keterwakilan populasi, agar bisa memperoleh  hasil  evaluasi  yang  lebih akrurat  dan  berguna  bagi  pengembangan aplikasi SIASA di masa yang akan datang.

## DAFTAR PUSTAKA
[1] N.  Cahyono  and  J.  N.  U.  Jaya, “Analisis  Kepuasan  Penggunaan Aplikasi Classroom
pada Pembelajaran  di  Masa  Pandemic Covid-19  Menggunakan  Metode Pieces,” J. Inf. Syst. Res. , vol. 3, no.
3, pp. 300–305, 2022, doi: 10.47065/josh.v3i3.1542. [2] H.  O.  L.  Wijaya,  “Implementasi Metode Pieces Pada Analisis Website  Kantor  Penanaman  Modal Kota
Lubuklinggau,” JUSIM (Jurnal Sist. Inf. Musirawas) , vol. 3, no.  1,  pp.  46–55,  2018,  doi: 10.32767/jusim.v3i1.289.
[3] E. Nuzila, H. Arum, M. Sekolah, T. Multi, M. " Mmtc, and "
Yogyakarta, “Analisis Sistem Informasi  Akademik  Universitas Sunan Giri Surabaya Menggunakan Metode Pieces
Analysis of Academic  Information  Systems  At the  University  of  Sunan  Giri Surabaya Using the Pieces Method,” J. Ilm. Manaj. Inf. dan Komun. , vol. Vol.  5  Nom,  pp.  1–15,  2021, [Online].
Available: www.gtmetrix.com,
[4] A.  R.  Tanaamah  and  F.  J.  Indira,
“Analysis of Information Technology  Security  Management UKSW  SIASAT  Using  ISO/IEC
27001:2013,” IJITEE (International J. Inf. Technol. Electr. Eng. , vol. 5, no. 2, p. 68, 2021, doi:
10.22146/ijitee.65670.
[5] A.  Saputra  and  D.  Kurniadi, “Analisis Kepuasan Pengguna Sistem Informasi E-Campus Di Iain Bukittinggi  Menggunakan  Metode
Eucs,” Voteteknika (Vocational Tek.
Elektron. dan Inform. , vol. 7, no. 3, p. 58,
2019, doi: 10.24036/voteteknika.v7i3.105157. [6] Ł.  Radliński,  “Stability  of  User Satisfaction  Prediction  in  Software Projects,” Procedia  Comput.  Sci. , vol. 176, pp. 2394–2403, 2020, doi: https://doi.org/10.1016/j.procs.2020 .09.308.
[7] N.  Huda  and  M.  Megawaty,
“Analisis  Kinerja  Website  Dinas
Komunikasi dan Informatika Menggunakan  Metode  Pieces,” J. Sisfokom (Sistem Inf. dan Komputer) , vol. 10, no. 2, pp. 155– 161, Jul. 2021, doi: 10.32736/sisfokom.v10i2.1018.
[8] I. Yunianto, H. D. Purnomo, and S. Y.  J.  Prasetyo,  “Analisa  Sistem
Informasi  Akademik  Menggunakan WebQual dan PIECES Frameworks Pada  Universitas  XYZ,” J.  Media
Inform. Budidarma , vol. 5, no. 3, p. 995, Jul. 2021, doi: 10.30865/mib.v5i3.3046.
[9] J.  L.  Whitten  and  L.  D.  Bentley, System Analysis and Design Methods ,  Seventh  Ed.  New  York: McGraw Hill, 2007.
[10]  G.  Natalie  and  E.  Maria,  “Analysis of  User  Satisfaction  of  Mysooltan
Application as Single Digital Touch using Pieces Framework,” JURTEKSI(Jurnal Teknol. dan Sist. Informasi) , vol. IX, no. 2, pp. 319–
328, 2023.
[11]  N.  Kinanti,  A.  Putri1,  and  A.  Dwi, “Penerapan  PIECES  Framework sebagai Evaluasi Tingkat  Kepuasan Mahasiswa  terhadap  Penggunaan Sistem Informasi Akademik Terpadu (SIAKADU) pada
Universitas  Negeri  Surabaya,” J. Emerg. Inf. Syst. Bus. Intell. , vol. 2, no.  2,  pp.  78–84,  2021,  [Online]. Available: https://ejournal.unesa.ac.id/index.ph p/JEISBI/article/view/39730%0Aht tps://ejournal.unesa.ac.id [12]  C.  Choriah  and  E.  Nurmiati, “Analisis Kepuasan Pengguna Whatsapp sebagai Media
Knowledge  Sharing  meggunakan Metode  PIECES,” J.  Teknol. ,  vol. 14,  no.  1,  pp.  61–68,  2022,  doi: 10.24853/jurtek.14.1.61-68.
[13]  M.  Lestari,  E.  Haryani,  and  T. Wahyono,  “Analisis  Kelayakan Sistem Informasi Akademik Universitas  Menggunakan  PIECES dan  TELOS,” J.  Tek.  Inform.  dan Sist.  Inf. ,  vol.  7,  no.  2,  Aug.  2021, doi: 10.28932/jutisi.v7i2.3612.
[14]  A. W. Utama, “Evaluasi Kinerja dan
Kepuasan Pengguna Sistem Informasi Akademik (SIAK) dengan
Metode  PIECES  dan  EUCS,” J. Citra  Widya  Edukasi ,  vol.  8,  no.  1, pp. 18–32, 2016.
[15]  W.  Widiati,  “Pengukuran  Tingkat Kepuasan Mahasiswa Dalam Penggunaan Sistem Informasi
Akademik  Menggunakan  PIECES Framework  (Studi  Kasus :  STMIK Nusa  Mandiri  kampus  Depok),” J. Komput. dan Inform. , vol. 18, no. 2, pp. 81–88, 2018.
[16]  J.  Wetherbe  and  N.  P.  Vitari, Systems  Analysis  and  Design : Traditional  ,  Best  Practices,  4th Edition .  St.  Paul,Manhattan:  West Publishing, 1994.
[17]  P.  L.  Lokapitasari  Belluano,  I. Indrawati,  H.  Harlinda,  F.  A.  .
Tuasamu, and D. Lantara, “Analisis Tingkat Kepuasan Pengguna Sistem Informasi Perpustakaan Menggunakan PIECES Framework,” Ilk. J. Ilm. , vol. 11, no. 2,  pp.  118–128,  Sep.  2019,  doi: 10.33096/ilkom.v11i2.398.118-128.
[18]  H.  A.  Mumtahana  and  S.  Riyanto, “Evaluasi  Kebergunaan  Sistem Informasi Kepegawaian Universitas PGRI Madiun dengan Pieces Framework  dan  Usability  Testing,” in Seminar  Nasional  Teknologi Informasi dan Komunikasi
(SENATIK) , 2018, pp. 1–7.
[19]  J.  F.  Hair,  B.  J.  Babin,  R.  E. Anderson,  and  W.  C.  Black, Multivariate  Data  Analysis ,  8th Editio.  United  Kingdom:  Annabel Ainscow, 2018.
[20]  D.  S.  Canta,  “Analisis  Kepuasan
Penggunaan Aplikasi Grab Customer  dengan  Menggunakan PIECES  Framework  Pada  UKM
IT,” j-sim  J. Sist. Inf. , vol. 3, pp. 19–
23, 2019.
[21]  Miftachul  Ulum, Uji  Validitas  dan Uji  Reliabilitas ,  1st  ed.  Malang, Jawa  Timur.:  Stikeswch  Malang,
2016. [Online]. Available:
www.stikeswch-malang.ac.id