## Evaluasi Kepuasan Pengguna Tata Naskah Dinas Elektronik Menggunakan Analisis PIECES Framework
Evaluation of User Satisfaction in Electronic Service Manuscripts Using

## PIECES Framework Analysis
1 Reza Hikmatulloh, 2 Qurrotul Aini, 3 Muhammad Qomarul Huda, 4 Evy Nurmiati*, 5 Nida’ul Hasanati
Sistem Informasi, UIN Syarif Hidayatullah Jakarta Jl. Ir. H. Juanda No. 95, Ciputat, Tangerang Selatan, Banten
*e-mail: evy.nurmiati@uinjkt.ac.id
( received : 2 Oktober 2021, revised : 21 November 2021, accepted : 19 Februari 2022)

## Abstrak
Dokumen dinas dari sebagai keluaran aktivitas Kementerian Pekerjaan Umum dan Perumahan Rakyat (PUPR)  semakin  banyak  kuantitasnya,  sehingga  penanganannnya  perlu  mendapat back-up dengan sebuah sistem administrasi yang mumpuni, yaitu: sebuah sistem komputerisasi agar lebih efisien dan efektif dalam pengelolaan naskah dinas yang disebut Sistem Tata Naskah Dinas Elektronik (TNDE) di Kementerian  PUPR.  Namun  banyak  pengguna  ketika  mengakses  sistem  TNDE,  sering  mengalami kendala. Rata-rata pengguna pernah mengalami lambatnya proses ( loading ) saat sistem sedang diakses. Permasalahan  tersebut  biasanya  terletak  pada  jaringan server yang  tidak  merespon  sehingga mengganggu jalannya sistem. Penulis menginvestigasi kepuasan pengguna pada sistem TNDE dengan menggunakan framework PIECES kepada 74 responden. Hasil analisis menyatakan bahwa nilai rata- rata pada domain Performance adalah 3,82, Information and data 3,93, Economic 4,18, Control and Security 3,49, Efficiency 4,09,  dan Services pada  skor  3,9.  Hal  ini  mengisyaratkan  bahwa  pengguna sudah merasa puas dalam menggunakan sistem TNDE.
Kata kunci: Naskah Dinas, Tata Naskah Dinas Elektronik, Kepuasan Pengguna, PIECES Framework .

## Abstract
Official  documents  as  a  result  of  the  Ministry  of  Public  Works  and  Public  Housing  (PUPR)  of  the activities  are  increasing in  quantity,  therefore, to handle  this  needs  to  be  backed  up  with  a  capable administrative system, namely: a computerized system to be more efficient and effective in managing official documents that called the System Electronic Service Manuscripts (TNDE) at the Ministry of PUPR.  However,  many  users  when  accessing  the  TNDE  system,  often  experience  problems.  The average  user  has  experienced  slow  processing  (loading)  when  the  system  is  being  accessed.  The problem usually lies in the server network that does not respond, hence it interferes with the running of the system. The authors investigate user satisfaction on TNDE system using the PIECES framework to 74 respondents. The results of the analysis state that the average value in the Performance domain is 3.82, Information and data is 3.93, Economic is 4.18, Control and Security is 3.49, Efficiency is 4.09, and Services is at a score of 3.9. This indicates that the user is satisfied in using TNDE system.
Keywords: Official Manuscripts, Electronic Service Manuscripts, User Satisfaction, PIECES Framework.

## 1 Pendahuluan
Beragam  implementasi  teknologi  informasi  telah  menjadi  konsumsi  utama  para  pelaku  bisnis seperti  instansi  pendidikan,  lembaga  perbankan,  manufaktur  hingga  lembaga  pemerintah  sebagai lembaga  publik  yang  mengedepankan  layanan  prima  pada  masyarakat.  Bagi  lembaga  pemerintahan, usaha ini akan berimplikasi pada keluaran atau layanan dengan kualitas lebih baik. Instansi yang tidak mampu  memanfaatkan  penggunaan  teknologi  informasi  dengan  baik  akan  kalah  bersaing  dengan instansi lainnya dalam melakukan pelayanan terhadap masyarakat. Oleh karena itu, diperlukan suatu penerapan teknologi informasi yang baik dan sesuai dengan fungsi dari teknologi tersebut.
Menurut  Peraturan  Presiden  Nomor  135  Tahun  2018,  Kementerian  Pekerjaan  Umum  dan Perumahan  Rakyat  Republik  Indonesia  adalah  instansi  resmi  pemerintah  Indonesia  yang  menaungi bidang pekerjaan umum dan perumahan rakyat dan bertanggung jawab sebagai penyelenggara bidang eksekutif  membantu  Presiden.  Dalam  upaya  pemanfaatan  teknologi  informasi  untuk  meningkatkan transparasi, kontrol, akuntabilitas pemerintah dalam rangka penerapan Good Corporate Governance , diluncurkan  beberapa  aplikasi  yang  salah  satunya  adalah  aplikasi  Tata  Naskah  Dinas  Elektronik (TNDE). Sistem tersebut dibangun bertujuan mempercepat proses birokrasi administrasi dan jalannya informasi tata naskah dinas di lingkungan Kementerian Pekerjaan Umum dan Perumahan Rakyat.
Penerapan  teknologi  baru  dalam  bisnis  sulit  dilakukan  karena  mempengaruhi  seluruh  lembaga, khususnya  pada  operatornya.  Komponen  pemakai  amat  esensial  untuk  dipertimbangkan  selama rekayasa  struktur  baru  mengingat  kecakapan  pemakain  untuk  mengadopsi  aplikasi  baru  mempunyai dampak signifikan pada apakah sistem berhasil atau tidak [1]. Pengoperasian sebuah sistem informasi memerlukan tool atau alat bantu software dan hardware serta operator yaitu: sumber daya manusianya. Ketiga  elemen  tersebut  harus  saling  mendukung  dan  sebagai  persyaratan  utama  agar  aktifitas  pada sistem TNDE dapat berjalan baik dan lancar. Namun seiring banyaknya pengguna yang memakai sistem TNDE,  timbul  kendala-kendala  yang  sering  dialami  oleh  penggunanya.  Rata-rata  pengguna  pernah mengalami  lambatnya  proses  ( loading )  saat  sistem  sedang  diakses  oleh  banyak  pengguna. Permasalahan  tersebut  biasanya  terletak  pada  jaringan server yang  tidak  merespon  sehingga mengganggu  proses  dalam  sistem.  Dari  uraian  tersebut  dapat  disimpulkan  bahwa  dalam  penerapan suatu sistem informasi, kualitas sistem yang dihasilkan dapat mempengaruhi kepuasan pemakai akhir untuk  mengoperasikan  aplikasi  tersebut.  Untuk  memperoleh  fakta  bahwa  aplikasi  TNDE  mampu berjalan seperti harapan/ekspektasi dan pengguna merasa puas dengan berjalannya sistem, maka perlu dievaluasi terhadap kinerja dari sistem informasi tersebut.
Salah satu metode yang dapat digunakan untuk mengevaluasi sistem adalah dengan menggunakan framework PIECES. Bingkai kerja PIECES adalah salah satu kerangka evaluasi sistem informasi untuk mengelompokkan permasalahan/kendala, opportunities , dan arahan yang terdapat pada bagian analisis scope definition dan perancangan sistem [2]. PIECES memiliki enam variabel yang digunakan untuk mengevaluasi  sistem  seperti Performance , Information , Economic , Control , Efficiency ,  dan Services [3].
Terdapat  berbagai  penelitian  sejenis  yang  menggunakan Framework PIECES.  Pengukuran kepuasan  dengan framework PIECES  diterapkan  pada  sistem  informasi  perpustakaan  Bina  Sarana Informatika  dan  hasilnya  menyatakan  bahwa  sistem  informasi  perpustakaan  tersebut  sudah  mampu memberikan kepua-san terhadap pengguna. Penelitian tersebut dilakukan agar pengguna atau customer dapat  memahami  tingkat  keefektifan  dan  efisiensi  setelah  mengakses  atau  mengoperasikan  sistem informasi  [4].  Penelitian  berikutnya  bertujuan  untuk  mendapatkan  level  kepuasan  dan  kepentingan sistem informasi Universitas Muhammadiyah Malang, memperoleh kekurangan dan keunggulan serta mengolah item apa saja yang harus diperbaiki atau improvisasi untuk kualitas layanannya. Keluaran penelitian ini menyatakan bahwa sistem informasi Universitas Muhammadiyah Malang telah mampu melayani pemakainya beserta fitur-fitur yang menghadirkan kepuasan pada pemakainya, namun juga terdapat  beberapa  item  layanan  yang  perli  diperbaiki  kualitasnya  [5].  Mengacu  pada  beberapa  riset tersebut,  tujuan  penelitian  ini  adalah  menginvestigasi  dan  mendapatkan  nilai  status  atau  tingkat kepuasan pengguna TNDE dengan menggunakan analisis framework PIECES.

## 2 Tinjauan Pustaka

## Evaluasi
Evaluasi  merupakan  salah  satu  proses  dari  sistem  manajemen  yang  mendeskripsikan  sebagai umpan balik proses sebelumnya. Dapat dikatakan, evaluasi menitikberatkan pada penyelesaian kendala dengan  mempertimbangkan  alternatif  implikasi  atau  dampak.  Minus  penilaian,  tidak  akan  diperoleh keadaan  objek  penilaian  dalam  desain,  pengoperasiannya  serta  keluarannya.  Istilah  evaluasi  sudah menjadi  kosa  kata  dalam  bahasa  Indonesia,  yang  berarti  proses  mendapatkan  nilai  layanan  sesuai kebutuhan  konsumen.  Juga  sebagai  kata  serapan  dari  bahasa  Inggris  yaitu: evaluation yang  berarti penilaian atau penaksiran [6].

## Kepuasan Pengguna
Mengukur  kepuasan  pelanggan  sangat  penting  bagi  perusahaan  yang  berfokus  pada  pelanggan, terutama  jika  perusahaan  ingin  meningkatkan  atau  meningkatkan  daya  saingnya  [7].  Kepuasan merupakan perilaku atau sikap pengguna terhadap sebuah aplikasi komputer tertentu dimana seseorang melakukan akses ke aplikasi secara langsung tanpa mengalami kendala berarti [8]. Kepuasan pengguna berarti bagaimana sebuah aplikasi atau sistem dapat memberikan layanan dan sudah melebihi keinginan pemakainya [9]. Ada pemahaman lain tentang kepuasan pengguna akhir sistem informasi merupakan evaluasi yang cekatan tentang pengalamannya dalam mengoperasikan aplikasi atau  sistem informasi [10]. Ref. [11] mengelompokkan grup kepuasan pemakai informasi berkaitan dengan layanan informasi seperti  integrasi  dan  akurasi  data,  waktu,  hambatan,  dan  improvisasi  secara  teratur.  Pengertian  lain kepuasan pengguna adalah upaya menilai yang bersifat individu yang tentunya dipengaruhi pengalaman pribadi  dan  keinginannya  [12].  Mengacu  pada  beberapa  definisi  tersebut  peneliti  mengikhtisarkan bahwa  kepuasan  pemakai  akhir  adalah  tingkat  penilaian  pemakai  akhir  ketika  menjalankan  sistem informasi,  sesuai  harapan/ekspektasinya  atau  tidak.  Metode  evaluasi  diperlukan  untuk  menentukan sejauh mana sistem yang dibangun dapat dianggap berhasil. Ada banyak pendekatan yang tersedia saat ini untuk menentukan keberhasilan suatu sistem [13].
End User Computing Satisfaction (EUCS) Model  TAM (Technology  Acceptance  Model), TTF (Task  Technology  Fit), HOT (Human Organization Technology) Fit , dan End User Computing Satisfication (EUCS) adalah beragam referensi yang dapat diutilisasi sebagai penilaian suatu aplikasi atau perangkat lunak informasi. Representasi End User  Computing  Satisfication (EUCS)  merupakan  salah  satu  metode  untuk  menentukan  kepuasan pengguna terhadap suatu sistem informasi. Kepuasan pengguna terhadap sistem informasi dapat diukur dengan menggunakan model EUCS. Sistem informasi organisasi dapat dipercaya jika berkualitas tinggi dan memenuhi kebutuhan penggunanya. Penerimaan sistem informasi yang digunakan dalam organisasi akan ditentukan oleh kesenangan pengguna. Kepuasan pemakai akhir (user satisfaction) adalah sebagai atribut kesuksesan improvisasi sistem informasi [14].

## Framework PIECES
Framework PIECES  adalah  bingkai  kerja  yang  diterapkan  untuk  pengelompokkan  sebuah permasalahan,  kesempatan,  arahan  pada  bagian  analisis  untuk  definisi  cakupan  serta  desain  sistem. Keluaran dari bingkai kerja ini, memberikan item baru sebagai referensi dalam memperbaiki sebuah sistem  agar  menjadi  lebih  baik  secara  kualitas  [15].  Kerangka  PIECES  mencakup  enam  hal  untuk mengukur kepuasan pengguna sistem informasi, yaitu: [5]
Performance (kehandalan).  Salah  satu  item  performa  sebuah  aplikasi,  yang  beroperasi  sesuai semestinya  atau  bukan.  Item  ini  bisa  dinilai  dari  banyaknya  data  keluaran  yang  dibangkitkan  serta kecepatan diperolehnya.
Information  and  Data .  Item  ini  bermula  dari  sebuah  temuan  data  yang  diolah  menjadi  sebuah informasi  yang  dapat  divisualisasikan.  Item  ini  sebagai  pengolah  data  yang  berguna  dalam  skala kuantitas maupun kejelasan hasil data yang diolah tersebut ketika diperlukan oleh pengguna.
Economics (nilai ekonomis). Item ini menjadi acuan untuk analisis sistem dari perspektif finansial atau cost. Hal ini dirasa perlu, karena sistem yang dibangun untuk pengguna memerlukan banyak fitur sehingga berdampak ketika membangun sistem ini melibatkan finansial yang cukup atau tidak.
Control and Security (pengendalian dan pengamanan). Pengendalian atau pengawasan sangat perlu dalam sebuah sistem agar sistem tetap berjalan sesuai asas kemanfaatannya. Dengan item ini, sistem selalu terjaga kerahasiaan pengguna serta selalu berjalan dalam koridornya.
Efficiency (efisiensi). Efisiensi dan efektivitas sebuah sistem menjadi syarat mutlak dari performa sebuah sistem. Karena dengan dibangunnya sistem untuk mengatasi kendala awal seperti efisiensi dan efektifitas. Bila dihubungkan dengan otomasi, sistem menjadi lebih diperlukan, untuk mempermudah kerja pengguna dan kegiatan rutin menjadi lebih mudah dan cepat. Analisis ini dapat dilakukan dengan menginput masukan dan apakah output yang dihasilkan memenuhi kriteria pengguna.
Service (pelayanan). Sistem sebagai alat bantu, menjadi signifikan keberadaannya. Sistem dapat memangkas proses yang tidak diperlukan bagi pengguna, sehingga mempercepat proses di dalamnya. Kecepatan  dan  keakuratan  menjadi  komponen  utama  dari  sebuah  layanan.  Sistem  yang
diimplementasikan  dapat  beroperasi  dengan  baik  memberikan  item  layanan  sebagai  analisis performanya.

## Tata Naskah Dinas Elektronik (TNDE)
Pengelolaan lembaga negara yang profesional ( good governance ) dan pembaruan tata kerja pada area Kementerian PUPR memicu sebuah tindakan yang berdampak dengan digunakannya sistem yang terintegrasi  memanfaatkan  teknologi  informasi  sebagai  penghubung  antar  unit  atau  bidang  dalam institusi ataupun pihak eksternal. Berlaku juga dengan naskah dinas elektronik di Kementerian PUPR, sebagai perwujudan layanan tercepat dan terdepan. Adapun Gambar 1 menunjukkan tampilan halaman TNDE Kementerian PUPR.

## Gambar 1. Halaman TNDE

## 3 Metode Penelitian
Penelitian ini merupakan penelitian deskriptif kuantitatif yang bertujuan untuk mendeskripsikan suatu kondisi dari beberapa item sebagai kerangka evaluasinya, di mana permasalahan di lingkungan Kementerian  PUPR  dengan  objek  penelitian  adalah  sistem  TNDE  dan  pengguna  akhirnya  adalah operator sistem TNDE.

## Pengumpulan Data
Pengumpulan data pada penelitian ini melalui beberapa cara, yaitu: Studi pustaka dengan mengkaji teori seperti kerangka PIECES, pengukuran kepuasan pengguna, EUCS  dan  penelitian  sejenis  yang  telah  dilakukan  sebelumnya  yang  dapat  mendukung  pemecahan masalah penelitian. Terdapat 15 referensi utama seperti terlihat pada Referensi. Sumber pustaka dari buku dan sebagian besar artikel jurnal yang menginvestigasi pengukuran kepuasan pengguna khususnya dengan kerangka PIECES. Adapun kajian penelitian sejenis, dapat dimanfaatkan untuk mendapatkan informasi  evaluasi  performa  kepuasan  pengguna, tool ,  variabel  yang  digunakan,  keunggulan, kelemahan, serta kontribusi penelitian.
Studi  lapangan,  peneliti  dalam  mendapatkan  data  dengan  menggunakan  dua  tahap,  yaitu: pengamatan ( observation ), peneliti mendatangi langsung Kementerian PUPR untuk mendapatkan data- data yang dibutuhkan. Peneliti juga melakukan tanya jawab pada staf dan pihak yang terkait langsung dengan pengoperasian sistem TNDE.
Berikutnya, peneliti melakukan penyebaran kuesioner, yang bertujuan menggali informasi  tentang layanan  dan  sistem  yang  sedang  berjalan,  yang  berguna  sebagai  masukan  beragam    permasalahan persepsi  pemakai  akhir  aplikasi.  Kuesinoner  dikerjakan  melalui  mendistribusikan list soal  lalu  hasil dievaluasi memperoleh nilai dari tiap variabel kerangka PIECES, jadi memungkinkan diperoleh tingkat kepuasan pengguna dalam mengoperasikan TNDE.

## Pengukuran Kepuasan Pengguna
Penilaian  dari  keluaran  dari  pengolahan  kuesioner  TNDE  diperlukan  sebuah  skema  tertentu. Adapun skala penilaian dari kuesioner pada beragam soal atau statement pada pengguna menggunakan
Skala Likert. Skala Likert dinyatakan dalam singkatan SS atau Sangat Setuju, hingga STS atau Sangat Tidak Setuju, dengan skor 5 hingga 1 berturut-turut. Penjelasan skala Likert ditunjukkan pada Tabel 1.
Tabel 1. Skala Likert Jawaban Akronim Skor Sangat Setuju SS 5 Setuju S 4 Ragu-ragu RG 3 Tidak Setuju TS 2 Sangat Tidak Setuju STS 1
Untuk mengetahui tingkat kepuasan sistem TNDE, digunakan rumus menurut metode skala likert yaitu:  [11]
JK JSK RK  (1)
dengan  RK  adalah  rata-rata  kepuasan/kepentingan,  JSK  adalah  jumlah  skor  kuesioner  dan  JK adalah jumlah kuesioner.

## Tabel 2. Karakteristik Penilaian
Range Nilai Predikat Kepuasan 1,00 – 1,79 Sangat Tidak Puas 1,80 – 2,59 Tidak Puas 2,60 – 3,39 Cukup Puas 3,40 – 4,19 Puas 4,2 – 5,00 Sangat Puas

## Analisis Data
Model framework PIECES  merupakan  kerangka  yang  dipakai  untuk  mengelompokkan permasalahan,  kesempatan  atau  tantangan  dan  arahan  yang  terdapat  pada  bagian  analisis scope definition dan  desain  sistem.  Kerangka  ini  membuat  keluaran  baru  berupa  item  sebagai  dasar pertimbangan  perbaikan  sistem.  PIECES  sendiri  tersusun  atas Performance,  Information  and  Data, Control or Security, Efficiency , dan Services . Penyusunan kuesioner, pada studi ini melingkupi 31 soal yang  disusun  mengacu  pada  kerangka PIECES.  Soal  disesuaikan  dengan  variabel-variabel  yang terdapat  dalam  kerangka PIECES.  Pengumpulan  sampel  dan  penyebaran  kuesioner,  dengan  jumlah populasi yang didapat dalam wawancara pada Biro Umum dan Pusdatin pada tanggal 4 Februari 2019, jumlah  karyawan  pada  Biro  Umum  dan  Pusdatin  yang  memakai  sistem  TNDE  sebanyak  90  orang. Penyebaran kuesioner disebarkan kepada 90 orang, namun, jumlah responden yang mengisi kuesioner hanyak  sebanyak  74  orang.  Hal  ini  disebabkan  karena  saat  penyebaran  kuesioner  dilakukan,  ada beberapa  orang  yang  sedang  melakukan  dinas  di  luar  kota  sehingga  tidak  bisa  mengisi  kuesioner tersebut.  Dengan  jumlah  sampel  sebanyak  74  orang,  tingkat  kesalahan  dalam  pengambilan  sampel sebesar  5%,  sedangkan  teknik  pengambilan  sampel  ketika  distribusi  kuesioner  penulis  menerapkan teknik cluster sampling dan convience sampling .
Uji validitas dan reliabilitas, sebelum melakukan perhitungan kuesioner, penulis menerapkan uji validitas dan reliabilitas untuk memperoleh kevalidan dan kehandalan soal kuesioner yang selanjutnya dapat didistribusikan ke seluruh sampel yang bisa diketahui data demografi dan olahan data mengacu pada kerangka PIECES. Uji validitas diatur pada taraf kepercayaan 0,05, yang berarti sebuah variabel dinyatakan  valid  bila  memliki  hubungan  signifikan  terhadap  skor  keseluruhan.  Di  samping  itu, reliabilitas  pada  penelitian  ini  penulis  menggunakan  formula  Alpha  Cronbach.  Alat  bantu  penulis manfaatkan agar terhindar dari human error , adalah perangkat lunak SPSS versi 20.0. Adapun tolok ukur  untuk  menginterpretasikan  derajat  validitas  dan  reliabilitas  instrumen  yang  didapatkan  sesuai dengan Tabel 3.
Tabel 3. Interpretasi Validitas dan Reliabilitas
Koefisien Korelasi Kriteria 0,81 < r ≤ 1,00 Sangat tinggi 0,61 < r ≤ 0,80 Tinggi 0,61 < r ≤ 0,80 Cukup 0,21 < r ≤ 0,40 Rendah 0,00 < r ≤ 0,21 Sangat Rendah

## 4 Hasil dan Pembahasan

## Uji Validitas
Mulanya,  mengukur  nilai  validitas  data  kuesioner,  penulis  menggunakan  komputasi tool SPSS versi  20.0  untuk  mengetahui  hasil  jawaban  kuesioner.  Dalam  penelitian  ini,  pengujian  validitas dilakukan terhadap 74 responden. Berdasarkan tabel interpretasi validitas, data dapat dikatakan valid jika nilai r hitung lebih besar dari r tabel dengan nilai r tabel adalah 0,2287. Hasil uji dapat dilihat pada Tabel 4.
Tabel 4. Uji Validitas Jumlah Pertanyaan Domain Kriteria 5 Performance Valid 6 Information Valid 4 Economics Valid 4 Control Valid 4 Efficiency Valid

## Uji Reliabilitas
Pada  penelitian  ini,  pengujian  kehandalan  item  dengan  menghitung  nilai  koefisien  Cronbach’s Alpha. Hasil komputasi memakai SPSS, diperoleh skor koefisien Cronbach’s Alpha dan nilai tersebut diinterpretasikan dengan standar nilai reliabilitas. Hasil interpretasi nilai reliabilitas pada penelitian ini dapat dilihat pada Tabel 5.

## Tabel 5. Uji Reliabilitas
Cronbach’ Alpha N of Items Interval Reliabilitas Kategori 0,900 31 0,81 < r ≤ 1,00 Sangat Tinggi
Uji reliabilitas ini dilaksanakan melalui inputan seluruh keluaran jawaban dari semua list soal  yang terpercaya  berjumlah  31  item  dan  skor  Cronbach’s  Alpha  menyatakan  0,900.  Merujuk  pada  skala reliabilitas Cronbach’s Alpha yang telah dijelaskan pada Tabel 2, maka skor 0,900 terletak pada rentang 0,81  < r ≤  1,00,  hasil  dari  pengujian  menunjukkan  bahwa  reliabilitas  dari  kuesioner  bernilai  sangat tinggi.  Jadi  komponen  pernyataan  serta  jawaban  dari  kuesioner  dapat  dinyatakan  reliable  sehingga pengolahan data lebih lanjut dapat dilaksanakan.

## Hasil Analisis Data
Berdasarkan  hasil  penyebaran  kuesioner  kepada  74  orang  karyawan  yang  terdiri  atas  2  unit organisasi yang berbeda yaitu Biro Umum dan Pusdatin pemakai aplikasi TNDE, untuk memperoleh level  kepuasan  pemakai  dalam  mengoperasikan  aplikasi  TNDE,  selanjutnya  hasil  kuesioner direkapitulasi dan dikalkulasi menggunakan skala likert (persamaan 1), kemudian dinilai berdasarkan karakteristik  masing-masing  variabel  kerangka PIECES.  Selanjutnya  dijelaskan  hasil  komputasi
kuesioner terkait level kepuasan pemakai akhir aplikasi TNDE. Hasil komputasi dan interpretasi data terhadap domain Performance meliputi 5 poin pertanyaan terkait TNDE. Hasil kalkulasi atas tiap  item ditunjukkan di Tabel 6.
Tabel 6. Domain Performance Pilihan Jawaban F Total Skor Sangat Tidak Setuju 0 0 Tidak Setuju 12 24 Ragu-Ragu 68 204 Setuju 238 952 Sangat Setuju 52 260 Total 370 1.440
Mengacu pada kalkulasi skor rerata variabel Performance , diperoleh skor 3,89 dan sesuai Tabel 2, maka terletak pada rentang ‘puas’, hal ini menunjukkan isyarat positif bahwa pengguna sudah merasa ‘puas’ terhadap performa TNDE. Berikutnya, hasil kalkulasi dan olahan data pada variabel Information and Data meliputi 6 poin soal terkait TNDE. Hasil kalkulasi tiap soal kuesioner ditunjukkan Tabel 7.
Tabel 7. Domain Information Pilihan Jawaban F Total Skor Sangat Tidak Setuju 1 1 Tidak Setuju 10 20 Ragu-Ragu 87 261 Setuju 268 1.072 Sangat Setuju 78 390 Total 444 1.744
Mengacu  pada  nilai  kalkulasi  rata-rata  variabel Information  and  Data ,  diperoleh  skor  3,92  dan berdasarkan Tabel 2, karakteristik penilaian pada kategori ‘puas’, isyarat positif bahwa pemakai akhir sudah  ‘puas’  pada  informasi  dan  data  yang  dihasilkan  oleh  TNDE.  Selanjutnya,  hasil  kalkulasi  dan olahan  data  pada  variabel Economic yang  mencakup 4  poin  pertanyaan  terkait  sistem  TNDE.  Hasil perhitungan pada masing-masing pernyataan dapat dilihat pada Tabel 8.
Tabel 8. Domain Economic Pilihan Jawaban F Total Skor Sangat Tidak Setuju 0 0 Tidak Setuju 1 1 Ragu-Ragu 34 102 Setuju 186 744 Sangat Setuju 75 375 Total 296 1.222
Mengacu  pada  hasil  kalkulasi  nilai  rata-rata  variabel Economic ,  diperoleh  skor  4,12  dan  sesuai Tabel  2,  terletak  di  rentang  ‘puas’.  Interpretasi  nilai  ini  bersifat  positif  bahwa  pemakai  akhir  sudah merasa ‘puas’ pada implikasi ekonomi dari aplikasi TNDE. Selanjtunya, pada hasil kalkulasi dan olahan data pada  variabel Control  and  Security yang  mencakup  4  poin  pertanyaan  terkait TNDE.  Keluaran kalkulasi pada tiap soal dapat dilihat pada Tabel 9.
http://sistemasi.ftik.unisi.ac.id
Tabel 9. Domain Control Pilihan Jawaban F Total Skor Sangat Tidak Setuju 2 2 Tidak Setuju 23 46 Ragu-Ragu 64 192 Setuju 108 432 Sangat Setuju 11 55 Total 208 727
Berdasarkan  hasil  kalkulasi  skor  rerata  variabel Control  &  Security ,  diperoleh  skor  3,49  serta mengacu Tabel 2, terletak pada rentang ‘puas’, yang memperlihatkan isyarat positif bahwa pemakai akhir  ‘puas’  pada  keamanan  dan  pengawasan  dalam  TNDE.  Hasil  kalkulasi  serta  olahan  data  pada variabel Efficiency yang meliputi 4 poin soal terkait TNDE dan keluaran kalkulasi tiap soal kuesioner terlihat pada Tabel 10.
Tabel 10. Domain Efficiency Pilihan Jawaban F Total Skor Sangat Tidak Setuju 0 0 Tidak Setuju 3 6 Ragu-Ragu 24 72 Setuju 132 528 Sangat Setuju 49 245 Total 208 851
Mengacu pada hasil kalkulasi skor rerata variabel Efficiency , diperoleh skor 4,09 serta sesuai Tabel 2,  maka  penilaian  dalam  rentang  ‘puas’,  yang  mengisyaratkan  positif  bahwa  pemakai  akhir  TNDE ‘puas’ pada implikasi efisiensi dan efektivitas. Hasil kalkulasi dan olahan data pada variabel Services mencakup 8 poin soal terkait TNDE. Hasil kalkulasi tiap soal terlihat pada Tabel 11.
Tabel 11. Domain Services Pilihan Jawaban F Total Skor Sangat Tidak Setuju 0 0 Tidak Setuju 9 18 Ragu-Ragu 65 195 Setuju 301 1.204 Sangat Setuju 41 205 Total 416 1.622
Mengacu pada hasil kalkulasi skor rerata pada variabel services , diperoleh skor 3,9 serta sesuai Tabel 2, berada pada  rentang ‘puas’, yang  menunjukkan tanda  positif ternyata  pemakai akhir ‘puas’ pada performa yang ditampilkan TNDE. Rekapitulasi keseluruhan variabel sesuai kalkulasi dan olahan data, list soal yang didistribusikan pada responden yang merupakan staf karyawan Kementerian PUPR bagian Biro Umum dan Pusdatin yang mengoperasikan Tata Naskah Dinas Elektronik (TNDE) pada variabel Performance, Information & Data, Economic, Control & Security, Efficiency, dan Services , keseluruhan nilai pada rentang 3,4 hingga 4,18 yang mengisyaratkan bahwa pemakai akhir ‘puas’ dalam penggunaan TNDE. Namun, TNDE harus ditingkatkan dan diperbaiki agar sistem tersebut tetap pada rentang baik. Hasil rekapitulasi keseluruhan terlihat pada Tabel 12.
Volume 11, Nomor 2, Mei 2022: 307-316
Tabel 12. Rekapitulasi Keseluruhan Domain Domain Rerata Kategori Performance 3,82 PUAS Information 3,93 PUAS Economics 4,18 PUAS Control 3,49 PUAS Efficiency 4,09 PUAS Services 3,9 PUAS

## 5 Kesimpulan
TNDE Kementerian PUPR adalah bagian sistem dari perkantoran elektronik di Kementerian PUPR yang  ditingkatkan  pada  implementasi  teknologi  berbasis  jaringan  komputer  dan  aplikasi web  based yang  mampu  mengolah data dokumen dinas pada bidang manajemen basis data. Pada penelitian ini, dilakukan evaluasi terhadap sistem TNDE dengan implementasi analisis framework PIECES dengan menyebarkan  kuesioner  kepada  74  responden  yang  berasal  dari  Unit  Organisasi  Biro  Umum  dan Pusdatin Kementerian PUPR. Sebelum dilakukan analisis lebih lanjut, data yang diterima dari kuesioner dilakukan  pengujian  validitas  dan  reliabilitas. Output menyatakan  seluruh  hasil  kuesioner  dikatakan valid  dan  handal.  Hasil  kalkulasi  menggunakan  kerangka  PIECES  diperoleh  skor  rata-rata  pada Performance 3,82, Information and Data 3,93, Economic 4,18, Control and Security 3,49, Efficiency sebesar  4,09,  dan Services 3,9  dimana  menunjukkan  bahwa  pengguna  sudah  merasa  puas  dalam menggunakan sistem TNDE.
Adapun keterbatasan penelitian ini adalah data yang dikumpulkan tidak dalam jumlah yang besar dan hanya berada di lingkup kerja unit organisasi Pusdatin dan Biro Umum. Tentunya akan berbeda bila  data  yang  diolah  lebih  banyak  dan  mencakup  semua  unit  organisasi  yang  ada  di  Kementerian PUPR. Untuk pengembangan penelitian selanjutnya, pengukuran tingkat kepuasan dapat dibandingkan dengan  kerangka  lain  seperti  EUCS, TAM, atau  DeLone  &  McLean  agar  mendapatkan skor  kinerja terbaik.

## Referensi
[1]  S.  Ramadhani  and  W.  A.  Kusuma,  “PIECES Framework untuk  Analisa  Tingkat  Kepuasan Pengguna dan Kepentingan Sistem Informasi,” J. Teknol. Manaj. Inform. , vol. 4, no. 2, pp. 209– 214, 2018.
[2]  J. W. Satzinger, R. B. Jackson, and S. D. Burd, Systems analysis and design in a changing world . Cengage learning, 2011.
[3]  A. Supriyatna, “Analisis dan Evaluasi Kepuasan Pengguna Sistem informasi Perpustakaan dengan Menggunakan PIECES Framework,” J. Pilar , vol. XI, pp. 41–50, 2015.
[4]  R. D. Kristy and W. A. Kusuma, “Analisis Tingkat Kepuasan Dan Tingkat Kepentingan Penerapan Sistem  Informasi  Universitas  Muhammadiyah  Malang,” SISTEMASI ,  vol.  2,  no.  1,  pp.  17–24, 2018.
[5]  J. M. Echols and H. Shadily, An English-Indonesian Dictionary . Cornell University Press, 1975.
[6]  W. J. Doll and G. Torkzadeh, “The measurement of end-user computing satisfaction,” MIS Q. , pp. 259–274, 1988.
[7]  A.  I.  Jiménez-Zarco,  I.  González-González,  F.  Saigí-Rubió,  and  J.  Torrent-Sellens,  “The  co- learning process in healthcare professionals: Assessing user satisfaction in virtual communities of practice,” Comput. Human Behav. , vol. 51, pp. 1303–1313, 2015.
[8]  W.  Chin  and  M.  Lee, “A proposed  model and  measurement  instrument  for the  formation  of  IS satisfaction: the case of end-user computing satisfaction,” ICIS 2000 Proc. , p. 57, 2000.
[9]  K. Amoako-Gyampah, “ERP implementation factors: A comparison of managerial and end-user perspectives,” Bus. Process Manag. J. , vol. 10, no. 2, pp. 171–183, 2004.
[10] Y.  Arshad,  M.  Azrin,  and  S.  N.  Afiqah,  “The  influence  of  information  system  success  factors towards user satisfaction in universiti teknikal Malaysia Melaka,” ARPN J. Eng. Appl. Sci. , vol.
e-ISSN:2540-9719
http://sistemasi.ftik.unisi.ac.id
10, no. 23, pp. 18155–18164, 2015.
[11] A. Fitriansyah and I. Harris, “Pengukuran kepuasan pengguna situs web dengan metode End User Computing Satisfaction (EUCS),” Query: Journal of Information Systems , vol. 2, no. 1, pp. 1-8, 2018.
[12] A. S. Damayanti, Y. T. Mursityo, and A. D. Herlambang, “Evaluasi Kepuasan Pengguna Aplikasi Tapp  Market  Menggunakan  Metode  EUCS  (End  User  Computing  Satisfaction),” Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer , vol. 2, no. 11, pp. 4833-4839, 2018.
[13] E. Sorongan, H. Hilmansyah, and H. Hadiyanto, “Pengaruh Variabel Kualitas Sistem  Informasi Terhadap Kepuasan Pengguna Sistem Informasi Model EUCS,” Jurnal RESTI (Rekayasa Sistem dan Teknologi Informasi) , vol. 3, no. 1, pp. 23 - 28, 2019.
[14] Z. Niqotaini and B. Budiman, “Analisis Penerimaan Google Classroom Menggunakan Pendekatan Technology  Acceptance  Model  (TAM)  dan  End-User  Computing  Satisfaction  (EUCS)  (Studi Kasus: Universitas Informatika dan Bisnis Indonesia). Sistemasi: Jurnal Sistem Informasi , vol. 10, no. 3, pp. 637-661, 2021.
[15] A.  Supriyatna,  "Analisis  dan  Evaluasi  Penerapan  Aplikasi  Ujian  Berbasis  Web  dengan Menggunakan Metode PIECES Framework," SWABUMI , vol. III, no. 1, pp. 1–15, 2015.