Indonesia, 7 (3). E-ISSN: 2548-1398 Published by: Ridwan Institute
Syntax  Literate:  Jurnal  Ilmiah  Indonesia  p–ISSN:  2541-0849 e-ISSN: 2548-1398 Vol. 7, No. 3, Maret 2022
EVALUASI  PROGRAM  PELATIHAN  KEPEMIMPINAN  PENGAWAS  DI PUSAT  PENDIDIKAN  DAN  PELATIHAN  KEMENTERIAN  RISET  DAN TEKNOLOGI/BADAN RISET DAN INOVASI NASIONAL
Roma Mantin, Sholeh Hidayat, Nurul Anriani, Sudi Aryanto, Siti Aminah Universitas Sultan Ageng Tirtayasa, Indonesia Email: 7782200022@untirta.ac.id, nurul_anriani@untirta.ac.id, sholeh.hidayat@untirta.ac.id, sudi004@brin.go.id, amimah0263@gmail.com

## Abstrak
Penelitian  ini  merupakan  penelitian  evaluasi  program  terhadap  pelaksanaan pelatihan kepemimpinan pengawas  (PKP) yang dilaksanakan di Pusat Pendidikan dan Pelatihan Kementerian Riset dan Teknologi/Badan Riset dan Inovasi Nasional dengan  menggunakan  model five  level  ROI  framework oleh  Jack  Phillips  yang terdiri  dari  lima  tahapan  evaluasi.  Penelitian  ini  merupakan  penelitian  evaluasi program  dengan  menggunakan  pendekatan  deskriprif  kualitatif.  Penelitian  yang dilakukan  fokus  pada  tahapan  evaluasi  level  reaksi (reaction) dan  proses pembelajaran (learning) yang dianalisis dari saat pelaksanaan pelatihan. Pelatihan diikuti  oleh  37  peserta  yang  terdiri  dari  21  peserta  angkatan  VI  dan  16  peserta angkatan  VII.  Evaluasi  pada  level  reaksi  menunjukkan  bahwa  hasil  evaluasi peserta  terhadap  penyelenggara  menunjukkan  nilai  rata-rata  layanan  terhadap peserta adalah sebesar 74.9  termasuk dalam kategori cukup baik pada angkatan VI sedangkan  pada  angkatan  VII  sebesar  81.3  termasuk  dalam  kategori  baik berdasarkan  skala  penilaian  0  –  100  (0  –  60.00  =  buruk,  60.01  –  70.00  =  kurang baik, 70.01 – 80.00 = cukup baik, 80.01 – 90.00 = baik, 90.01 - 100 = sangat baik). Hasil  evaluasi  peserta  terhadap  fasilitator  menunjukkan  indeks  kepuasan  84.12 dan  86.56  pada  angkatan  VI  dan  VII.  Evaluasi  pada  level  proses  pembelajaran dapat disimpulkan  bahwa terdapat perubahan pengetahuan dari peserta PKP yang ditunjukkan dengan tingginya kenaikan  rata-rata nilai pre-test dan post-test pada 13 mata pelatihan sesuai dengan kurikulum PKP.
Kata Kunci: pelatihan  kepemimpinan  pengawas; level  reaksi; level  proses pembelajaran

## Abstract
This  research  is  a  program  evaluation  research  on  the  implementation  of supervisory leadership training (PKP) carried out at the Education and Training Center  of  the  Ministry  of  Research  and  Technology/National  Research  and Innovation  Agency  using  the  five-level  ROI  framework  model  by  Jack  Phillips which consists of five stages of evaluation. This research is a program evaluation research  using  a  qualitative  descriptive  approach.  The  research  that  was conducted focused on the stages of evaluating the reaction level and the learning process  which  were  analyzed  from  the  time  of  the  training  implementation.  The
training was attended by 37 participants consisting of 21 participants from class VI and 16 participants from class VII. Evaluation at the reaction level shows that the  results  of  the  participants    evaluation  of  the  organizers  shows  the  average value  of  service  to  participants  is  74.9  which  is  included  in  the  fairly  good category  in  class  VI  ,  while  in  class  VII  ,  81.3  is  included  in  the  good  category based on a rating scale of 0  – 100 (0 –  60.00 = bad, 60.01  – 70.00 = not good, 70.01 – 80.00 = quite good, 80.01 – 90.00 = good, 90.01 - 100 = very good). The results  of  the  participants'  evaluation  of  the  facilitators  showed  a  satisfaction index  of  84.12  and  86.56  for  batches  VI  and  VII.  Evaluation  at  the  level  of  the learning process can be concluded that there is a change in the knowledge of the PKP  participants  as  indicated  by  the  high  increase  in  the  average  pre-test  and post-test scores in 13 training subjects according to the PKP curriculum.
Keywords: supervisor leadership training; reaction level; learning process level
Received: 2022-02-20; Accepted: 2022-02-05; Published: 2022-03-14

## Pendahuluan
Revolusi  industri  4.0  menuntut  Sumber  Daya  Manusia  (SDM)  yang  kompeten untuk  ikut  serta  mewujudkan  negara  yang  maju  dan  siap  bersaing  ditengah  maraknya globalisasi.  Pengembangan  kompetensi  Aparatur  Sipil  Negara  (ASN)  sebagai penyelenggara  tugas-tugas  pemerintahan  dan  memberikan  pelayanan  publik  harus dilakukan  terus  agar  ASN  dapat  melaksanakan  tugas  jabatan  secara  proporsional. Pengembangan  kompetensi  yang  dimaksud  adalah  upaya  untuk  pemenuhan  kebutuhan kompetensi ASN dengan standar kompetensi jabatan dan rencana pengembangan karier sebagai amanat Undang Undang ASN Nomor 5 Tahun 2015 (Undang Undang Republik Indonesia,  2014) .  Implementasi  kebijakan  tersebut  diharapkan  dapat  menciptakan aparatur birokrasi yang berkualitas yang memiliki kompetensi dan profesionalisme yang tinggi dalam menjalankan tugas dan jabatannya.
SDM merupakan aspek penting pada organisasi, sebagaimana posisi ASN dalam lingkup  pemerintahan,  oleh  karena  itu  harus  diberdayakan  semua  sumber  yang  ada dalam diri individu baik dari segi pengetahuan, keahlian dan atau kemampuan lainnya. Menurut  Sutrisno (2016:  13) ,  SDM  merupakan  satu-satunya  sumber  daya  yang memiliki  akal,  perasaan,  keinginan,  keterampilan,  pengetahuan,  dorongan,  daya,  dan karya (rasio, rasa, dan karsa).
Dikemukakan  juga  oleh  Badriyah (2015:  15) bahwa  SDM  merupakan  aset organisasi  yang  sangat  vital,  sehingga  peran  dan  fungsinya  tidak  bisa  digantikan  oleh sumber  daya  lainnya.  SDM  yang  ada  harus  dikelola  sebaik-baiknya  dengan  terus mengembangkan  kemampuannya,  yakni  dalam  manajemen  SDM  yang  baik. sebagaimana  pendapat  Fahmi (2016:  1) bahwa  manajemen  SDM (human  resource management) adalah  rangkaian  aktivitas  organisasi  yang  diarahkan  untuk  menarik, mengembangkan, dan mempertahankan tenaga kerja yang efektif.
Salah  satu  cara  pengembangan  SDM  yang  dilakukan  di  lingkungan pemerintahan  adalah  dengan  memberikan  hak  dan  kesempatan  untuk  mengembangkan
kompetensi  ASN  antara  lain  melalui  pendidikan  dan  pelatihan,  seminar,  kursus,  dan penataran. Semua hal tersebut harus dievaluasi agar dapat digunakan sebagai salah satu dasar  dalam  pengangkatan  jabatan  dan  pengembangan  karier.   Hal  ini  dipertegas  pada Peraturan  Pemerintah  Nomor  17  tahun  2020 (Peraturan  Pemerintah,  2020) tentang manajemen  Pegawai  Negeri  Sipil  (PNS)  dan  Peraturan  Lembaga  Administrasi  Negara (LAN)  Nomor  10  tahun  2018 (Per  LAN  Nomor  10,  2018) tentang  pengembangan kompetensi  PNS.  Dinyatakan  bahwa  ASN  berhak  memperoleh  pengembangan kompetensi yang dilakukan paling sedikit 20 JP (Jam Pelajaran) dalam satu tahun.
Pemerintah  membentuk  lembaga  pelatihan  sebagai  sarana  penyedia  pelatihan yang  merupakan  proses  dalam  mengisi  kekurangan  dan  perbedaan  kebutuhan kompetensi (gap) dalam  pekerjaan  dan  juga  dalam  upaya  pengembangan  kompetensi (competency-based training), kompetensi manajerial, kompetensi teknis maupun sosial kultural.  Selain  lembaga  pelatihan  pemerintah,  ada  banyak  lembaga  pelatihan  swasta menawarkan program pelatihan sebagai bagian dari pendidikan nonformal diluar sistem sekolah yang berfungsi untuk mengembangkan potensi SDM sebagaimana  disebutkan Sholeh (Hidayat,  Ruhiat,  &  Syafrizal,  2017) “Non-formal  Education  (NFE)  activities can  serve  to  develop  the  potential  of  learners  with  an  emphasis  on  the  mastery  of knowledge  and  functional  skills  and  the  development  of  professional  attitude  and personality”.
Pusat Pendidikan dan Pelatihan Kementerian Riset dan Teknologi / Badan Riset dan Inovasi Nasional  (Pusdiklat Kementerian Ristek/BRIN) adalah salah satu lembaga yang  mengelola  dan  menyelenggarakan  pelatihan  dalam  rangka  pengembangan  SDM yakni  ASN  di  lingkungan  Kementerian  Ristek/BRIN.    Dalam  hal  ini,  Pusdiklat menyelenggarakan  diklat  dengan  menganut  nilai-nilai  KIP-KISS  yaitu Komitmen- Integritas-Profesional-Kerjasama-Inovasi-Sinergi ,  sebagaimana  dituangkan  dalam Rencana Strategis Tahun 2020-2024 (Rencana Strategis, 2020) .
Pusdiklat  Kementerian  Ristek/BRIN  memberikan  layanan  penyelenggaraan pelatihan  jabatan  fungsional,  administrasi,  dan  juga  penyelenggaraan  diklat  teknis. Diklat  administrasi  diselenggarakan  di  Kampus  Pusdiklat  Kementerian  Ristek/BRIN setelah  mendapat  akreditasi  dari  LAN  sebagai  instansi  pembina  yang  memberikan penjaminan  kualitas  penyelenggaraan  diklat yaitu  Pelatihan  Dasar  Calon  Pegawai Negeri  Sipil  (Latsar  CPNS),  dan  Diklat  Kepemimpinan  yang  terdiri  dari  Pelatihan Kepemimpinan  Pengawas  (PKP),  Pelatihan  Kepemimpinan  Administrator  (PKA)  dan Pelatihan  Kepemimpinan  Nasional  (PKN)  yang  diselenggarakan  dengan  pola kerjasama.
Penelitian  ini  dilakukan  pada  program  PKP  yang  merupakan  penyempurnaan dari  Diklat  Kepemimpinan  Tingkat  4  untuk  pegawai  yang  sudah  menjabat  dan  akan menjabat  pada  Eselon  IV.  PKP  bertujuan  untuk  mengembangkan  kompetensi menajemen pada jabatan pengawas. PKP adalah proses penyelenggaraan pembelajaran untuk mencapai persyaratan kompetensi kepemimpinan aparatur pemerintah yang sesuai dengan  jenjang  jabatan  struktural  Eselon  IV  yang  tercantum  dalam  pedoman penyelenggaraan PKP (Per LAN Nomor 13, 2019) .
Pelatihan kepemimpinan termasuk salah satu pelatihan dalam jabatan PNS yang merupakan  bagian  integral  dari  pengembangan  ASN.  Hal  ini  diatur  dalam  Peraturan Pemerintah  Nomor  101  Tahun  2000 (Peraturan  Pemerintah,  2000) tentang  Pendidikan dan Pelatihan Jabatan PNS. Ditegaskan bahwa sasaran diklat adalah untuk mewujudkan PNS  yang  memiliki  kompetensi  sesuai  dengan  persyaratan  jabatan  masing  masing, untuk  diklat  kepemimpinan  maupun  diklat  teknis  dan  fungsional.  PKP  sebagai  bagian dari  salah  satu  pelatihan  kepemimpinan  telah  mengalami  perubahan  nomenklatur  dari pendidikan  dan  pelatihan  kepemimpinan  tingkat  4,  yang  kemudian  diubah  kembali menjadi pelatihan kepemimpinan pola baru. Perubahan ini dilaksanakan untuk mencapai persyaratan kompetensi kepemimpinan aparatur pemerintah yang sesuai dengan jenjang jabatan  struktural.  Pelatihan  ini  merupakan  salah  satu  syarat  yang  harus  dipenuhi  bagi PNS  untuk  dapat  diangkat  dalam  jabatan  struktural  selain  syarat  lainnya  yang ditentukan. Pelatihan ini bersifat selektif dan harus diikuti atas dasar penugasan karena jabatan  tidak  dapat  diminta  atau  dituntut.  Hakekatnya  jabatan  bukan  hak  pegawai, namun  merupakan  amanah,  kepercayaan,  penghormatan,  dan  penugasan  kepada pegawai
(Pembukaan Diklat PKP TA 2020, https://www.kemhan.go.id/badiklat/2020/09/10/pembukaan-diklat-pkp-ta-2020.html ,  29
Oktober 2021).
PKP  yang  merupakan  bagian  dari  diklat  kepemimpinan  bertujuan  membentuk pemimpin  perubahan (reform  leader,  agent  of  change,  adaptive  leader) yang  mampu menetapkan suatu perubahan sesuai batasan area jabatannya. Hal ini dilakukan sebagai perwujudan dari visi Indonesia Maju dalam pembangunan SDM dan reformasi birokrasi yang  menghendaki  adanya  perubahan  dalam  pelayanan  publik.  Diharapkan  adanya perubahan layanan, menjadi lebih baik, lebih cepat dan lebih murah (better, faster, and cheaper) sesuai dengan amanat Peraturan Menteri Pendayagunaan Aparatur Negara dan Reformasi  Birokrasi  Nomor  38  Tahun  2017 (Peraturan  Menpan  RB,  2017) tentang Standar Kompetensi Jabatan ASN.
Dasar kebijakan penyelenggaraan PKP  adalah UU Nomor 5 tahun 2014 tentang manajemen  ASN,  PP  Nomor  11  tahun  2017  tentang  manajemen  PNS  dan  Permenpan Reformasi  Birokrasi  Nomor  38  tahun  2017  tentang  standar  kompetensi  jabatan  ASN (Peraturan  Menpan  RB,  2017) disebutkan  bahwa  tujuan  PKP  adalah  menyiapkan kompetensi pimpinan sesuai levelnya, mengaktualisasikan kepemimpinan melayani dan menjadi  agen  perubahan  dalam  peningkatan  kualitas  pelayanan  publik  sesuai  dengan standar  kompetensi  yang  diamanatkan.  PKP  lebih  menyasar  pada  pelayanan  publik dengan kompetensi untuk mewujudkan sosok pemimpin yang melayani untuk menjamin terlaksananya akuntabilitas jabatan pengawas.
Penyelenggaraan PKP dapat dilaksanakan secara klasikal atau nonklasikal sesuai kebutuhan  dan  kondisi,  sepanjang  tidak  mengurangi  esensi  pelatihan.  Komponen penyelenggaraan  PKP  terdiri  dari  penyelenggara,  widyaiswara,  sarana  dan  prasarana, kurikulum  pembelajaran  dan  peserta  pelatihan.  PKP  dapat  diselenggarakan  oleh  LAN maupun  lembaga  pelatihan  lain  yang  sudah  terakreditasi.  Pelaksanaan  secara  klasikal dilakukan  dengan  ketentuan  para  peserta  di  asramakan  dan  diberikan  kegiatan
penunjang secara langsung, sementara pelaksanaan melalui jalur nonklasikal dilakukan dengan  pembelajaran e-learning di  tempat  masing-masing,  secara  langsung ( synchronous) dan  secara  tidak  langsung  ( asynchronous ).  Pada  pembelajaran asynchronous ,  pelatihan  dilakukan  dengan LMS (Learning  Management  system) yang telah  disediakan  oleh  penyelenggara  termasuk  juga  difasilitasi  dengan  pemanfaatan google  form oleh  pengajar.  Pengajar  dalam  hal  ini  sangat  terbantu  dalam  menyajikan materi  ajar  sebagaimana  menurut  Nurul (Anriani,  Hidayat,  &  Setiani,  2020) , pemanfaatan google  form mampu  meningkatkan  kemampuan  dalam  membuat  media pembelajaran  sebagaimana  dalam  artikel  berjudul  “Digitalisasi  Pembelajaran  di  Era New Normal” .
Program  PKP  diselenggarakan  Pusdiklat  Kementerian  Ristek/BRIN  dengan menerapkan  pendekatan  andragogi  yang  membuat  peserta  pelatihan  dipacu  berperan secara  aktif  berinteraksi  dengan  cara  saling  asah,  saling  asih  dan  saling  asuh  dengan pengajar  maupun  diantara  para  peserta.  Pada  penyelenggaraan  PKP,  di  Pusdiklat Kementerian  Ristek/BRIN  sendiri  telah  dilakukan  evaluasi  pelatihan  yaitu  berupa evaluasi  pembelajaran.  Berdasarkan  pengamatan  terhadap  hasil  evaluasi  yang  telah dilaksanakan, sampai dengan saat ini pelaksanaan evaluasi yang dilakukan belum dapat menunjukkan  evaluasi  program  sesungguhnya,  yang  merupakan  sebuah  proses sistematis dan berkelanjutan untuk mengumpulkan, mendeskripsikan dan menginterpretasikan  serta  menyajikan  informasi  untuk  dapat  digunakan  sebagai  dasar pembuatan keputusan.
Kegiatan  evaluasi  program  sesungguhnya  tak  dapat  berdiri  sendiri,  evaluasi dilakukan  secara  berkesinambungan  dari  mulai  perencanaan  pelatihan,  saat penyelenggaraan pelatihan, bahkan sampai kepada setelah selesainya kegiatan pelatihan (Mahirah,  2017:  59) .  Senada  dengan  pendapat  Purwanto  dan  Suparman (1999:  31) bahwa  evaluasi  merupakan  salah  satu  mata  rantai  dalam  sistem  diklat  yang  harus dilaksanakan  mulai  dari  awal  proses  perencanaan,  proses  pelaksanaan  dan  pada  akhir penyelenggaraan diklat sampai dengan setelah peserta diklat itu berada di tempat kerja. Sebagai  suatu  tahapan  dalam  pengelolaan  program  diklat,  peran  evaluasi  sangat menentukan  karena  evaluasi  menjadi  alat  bagi  pengelola  diklat,  pimpinan  pengambil keputusan,  maupun  pembina  kepegawaian  sebagai  pengguna  untuk  dapat  mengetahui apakah diklat yang dilaksanakan sudah mencapai tujuan atau tidak.
Digambarkan  bahwa  selama  ini,  evaluasi  sering  hanya  dipahami  terbatas  pada penilaian  saja  yaitu  formatif  dan  sumatif.  Menurut  Munthe (2015:  1) ,  pemahaman  ini dirasa  kurang  tepat  karena  tidak  sesuai  dengan  tujuan  evaluasi  program  yakni memberikan  pertimbangan  sebelum  adanya  keputusan    dari  pemilik  kebijakan. Pelaksanaan penilaian cenderung hanya melihat capaian tujuan pembelajaran saja (hasil pre-test dan post-test ), padahal dalam proses pendidikan tersebut bukan hanya nilai saja, perlu  diketahui  bahwa  ada  banyak  faktor  lain  yang  membuat  berhasil  atau  tidaknya sebuah program pelatihan dan penilaian hanya bagian kecil dari evaluasi.
Pelatihan  yang  diselenggarakaan  sangat  memungkinkan  masih  meninggalkan pertanyaan  meskipun  kelihatannya  program  pelatihan  berjalan  dengan  lancar  dan
optimal. Pertanyaan yang begitu banyak dapat diselesaikan dengan melakukan evaluasi program.  Pada  jurnal  Puslatwas,  Siringoringo (2015:  42) mengingatkan  bahwa  ada banyak hal yang dapat diukur dan ada banyak pendekatan yang dapat digunakan untuk mengukur dan mengevaluasi aktivitas SDM termasuk didalamnya aktivitas pelatihan.
Penjabaran  dari  hal  tersebut  diatas,  yang  kemudian  melatarbelakangi  penulis melakukan  penelitian  terhadap  salah  salah  satu  jenis  program  pelatihan  administrasi yang  diselenggarakan  di  Pusdiklat  Kementerian  Ristek/BRIN  yaitu  PKP  dengan menggunakan  model five  level yang ROI  framework berbasis  manajemen.  Model five level  ROI  framework oleh  Jack  Phillips  ini  terdiri  dari  lima  tahapan  evaluasi  dan  ini merupakan  metode  yang  paling    luas  digunakan  untuk  mengevaluasi  pelatihan (Widoyoko,  2017) .    Jack  Phillips  melengkapi  model  empat  level  evaluasi  Kirkpatrick dengan pengukuran level 5 yaitu dengan melakukan evaluasi pelatihan dari sisi tingkat pengembalian  biaya  pelatihan.  Level  5  yaitu Return  on  Investment  (ROI) atau  dikenal juga  dengan  istilah Return  on  Training  Investment  (ROTI) digunakan  untuk mengukur manfaat  pelatihan  dibandingkan  dengan  biaya (Soemohadiwidjojo,  2018:  79) . Selanjutnya,  penelitian  ini  dilakukan  dengan  model  evaluasi five  level  ROI  framework karena  nilai  perhitungan  ROI  akan  menjawab  pertanyaan, “Apakah  investasi  ini, ekuivalen dengan biaya yang dikeluarkan untuk penyelenggaraan PKP?”
Penelitian ini merupakan studi pendahuluan bagi penelitian berikutnya sehingga dalam penelitian ini juga banyak melakukan kajian literatur (literatur review) dan h asil penelitian ini  diharapkan  dapat  memberikan  gambaran  bagi  pelaksanaan  evaluasi atas penyelenggaraan pelatihan lainnya. Yudi Agusta (Agusta, 2007) mengatakan Literature Review is a critical analysis of the research conducted on a particular topic or question in  the  field  of  science yang  artinya Literature  Review merupakan  analisa  kritis  dari penelitian  yang  sedang  dilakukan  terhadap  topik  khusus  atau  berupa  pertanyaan terhadap  suatu  bagian  dari  keilmuan.  Sebagai  studi  pendahuluan,  penelitian  ini  fokus pada  pembahasan  dua  tahapan  awal  pada  Model five  level  ROI  framework yaitu evaluasi reaction dan evaluasi learning yang dianalisis dari saat pelaksanaan PKP.
Tujuan penelitian, yakni tujuan  evaluasi program yang juga merupakan bagian dari  program  PKP  dapat  dirumuskan  dengan  menjawab  pertanyaan  penelitian  yaitu bagaimana  tahapan  model five  level  ROI framework pada  PKP  level  reaksi (reaction) dan level proses pembelajaran (learning).
Beberapa kajian literatur dari penelitian terdahulu, akan menunjukkan kebaruan penelitian seperti digambarkan pada tabel 1.

## Tabel 1 Matriks Hasil Penelitian yang Relevan
Judul Penelitian, Peneliti, Tahun Hasil  dan  Temuan Penelitian Relevansi Perbedaan Judul : Measuring  Results of  Training  with ROI  Method:    an Application  in a  5- Penelitian ini menggabungkan metode  Kirkpatrick dan metode Phillips ROI yang Evaluasi menggunakan ROI dalam menghitung pengembalian Evaluasi program menggunakan perhitungan  ROI untuk mengetahui
Star    Hotel    in Antalya  Region  of Turkey Peneliti: A.  Akin  Aksu  dan Sevcan Yildiz Tahun: 2011 dikonversikan dalam bentuk keuangan. Hasil penelitian memperkirakan investasi yang dikeluarkan perusahaan akan kembali dalam waktu 4,5 bulan investasi peningkatan kinerja peserta pelatihan dan dampaknya terhadap organisasi. Judul: “Evaluasi  program Diklatpim  IV  pada Balai Diklat Keagamaan Makasar dengan model Kirkpatrik”. Peneliti: Firman Basyir Tahun: 2013 Penelitian dilakukan menggunakan model evaluasi kirkpatrick dan hasil penelitian adalah  bahwa  BDK Makassar perlu memperbaiki temuan  yang  masih kurang memuaskan Penelitian dilakukan untuk mengevaluasi program  diklat kepemimpinan tingkat IV (yang  saat  ini berubah  nama menjadi PKP) Penelitian dilakukan dengan model evaluasi yang berbeda karena pada penelitian ini digunakan  model pengembangan five  level  ROI framework. Judul: “ Measuring  Return on investment (ROI)  and  risk  in training –A Business  Training Model For managers and leader” Peneliti: C.C.  Jasson  & C.M.
Govender Tahun: 2017 Kesimpulan dari penelitian dengan menggunakan pengukuran ROI adalah bahwa meskipun  evaluasi kepuasan peserta pelatihan, pembelajaran, penerapan,  dampak dan ROI sangat penting  dan  harus diukur. Penelitian ini sama-sama menggunakan perhitungan ROI tetapi menggunakan tahapan evaluasi yang dikembangkan oleh Kirkpatrick Penelitian ini akan dilakukan dengan menggunakan tahapan pengembangan yang dikembangkan oleh Jack Phillips yaitu  model five level ROI framework. Judul : “Evaluasi Program Pendidikan dan Pelatihan Kepemimpinan Tingkat IV Pemerintah Provinsi Nusa Tenggara Barat” Peneliti: Muslihin Tahun: 2017 Evaluasi program dilakukan    untuk menjelaskan kualitas dan efektivitas penyelenggaraan Diklat Kepemimpinan Tingkat  IV  dengan temuan bahwa efektivitas  program dengan presentasenya  pada tiap level Penelitian dilakukan untuk mengevaluasi program  diklat kepemimpinan tingkat IV (yang  saat  ini berubah  nama menjadi PKP) Penelitian dilakukan dengan model evaluasi yang berbeda karena pada penelitian ini digunakan  model pengembangan five  level  ROI framework. Judul: “Analisis dan Peneliti  menghitung nilai ROI untuk Model  evaluasi yang  digunakan Pada penelitian ini dilakukan
Evaluasi Peningkatan Efisiensi  Training
Menggunakan
ROTI Analysis dan KirkPatrick  Four Level  Pada  Seksi RKC 1-2 PT Semen Indonesia (Persero)”. Peneliti: Rendy Herda Achmadi Tahun: 2017 mendapatkan monetary values, untuk melihat kelayakan dan tingkat pengembalian modal.  Berdasarkan perhitungan ROI disimpulkan  bahwa pelatihan tersebut mampu meningkatkan performansi individu  dan  unit secara komprehensif. sama yaitu model  evaluasi kirkpatrick  dan menghitung nilai ROI tahapan model evaluasi five level ROI framework dengan tidak memisahkannya dengan level evaluasi pada model kirkpatrick

## Metode Penelitian
Penelitian  ini  merupakan  satu  jenis  penelitian  evaluasi  sesuai  dengan  tujuan yakni  menunjukkan  efektivitas  program  dengan  rumusan  tahapan  evaluasi  dan instrumen  evaluasi  yang  merupakan  bentuk  pengembangan  dari model  five  level  ROI framework berbasis  manajemen . Hal  ini  didasari  pada  pertimbangan  bahwa  penelitian evaluasi  yang  dilakukan  adalah  proses  kajian  terhadap  perilaku  dan    aktivitas  pada penyelenggaraan PKP.
Model  evaluasi  program  yang  digunakan  sesuai  dengan  analisis  permasalahan penelitian adalah model five level ROI framework yang terdiri dari lima tahapan yaitu:

## Gambar 1 Tahapan Evaluasi pada model five level ROI framework
Penelitian ini menggunakan five level ROI framework yang dikembangkan oleh Jack  Phillips  dengan  lima  tahapan  evaluasi  yang  dikelompokkan  dalam  empat  bagian yaitu Evaluation Planning , Data Collection, Data Analysis dan Reporting.
Penelitian  bertempat  di  Pusdiklat  Kementerian  Ristek/BRIN  dengan  alamat kantor  Jalan  M.H.  Thamrin  Nomor  8  Jakarta  Pusat  dan  lokasi  kampus  di  Komplek
Puspiptek  Muncul,  Kecamatan  Setu,  Kota  Tangerang  Selatan  Propinsi  Banten,  dan penelitian dilakukan pada Oktober 2021 s.d. Januari 2022.
Pengumpulan  data  pada  penelitian  dilakukan  dalam  kondisi  yang  alamiah (natural  setting )  yaitu  dengan  observasi,  wawancara  dan  dokumentasi,  seperti  kata Catherine  Marshall  dan  Gretchen  B.  Rossman  dalam  Sugiono (2013:  309) ”the fundamental  methods  relied  on  by  qualitative  researchers  for  gathering  information are,  participation  in  the  setting,  direct  observation,  in-depth  interviewing,  document review”. Pada  penelitian  ini,  teknik  pengumpulan  data  dilakukan  agar  diperoleh informasi  terkait  implementasi  program  PKP  dan  mendapatkan  gambaran  secara  utuh tentang penyelenggaraannya.
Pengumpulan  data  pada  penelitian  ini  akan  banyak  menggunakan  panduan penyelenggaraan PKP, undang-undang dan regulasi terkait PKP dan juga dokumen lain seperti  foto-foto  saat  penyelenggaraan  PKP.    Pada  penelitian  ini,  teknik  pengumpulan data yang digunakan adalah observasi, wawancara, dokumentasi dan triangulasi.
Kerangka  pemikiran  pada  penelitian  ini  merupakan  sintesis  dari  berbagi  teori dan hasil penelitian lain yang menunjukkan lingkup variabel evaluasi, yang dinyatakan dalam suatu diagram yang menjelaskan secara garis besar alur logika berjalannya proses penelitian.  Evaluasi  program  difokuskan  pada  peninjauan  kembali  proses  pelatihan, menilai  hasil  pelatihan  serta  dampak  pelatihan  yang  dikaitkan  dengan  kinerja  ASN, alumni peserta pelatihan. Tujuan evaluasi menurut Djuju Sudjana (2006: 246) yaitu: 1) Memberikan  masukan  untuk  perencanaan  program.  2)  Memberikan  masukan  untuk kelanjutan,  perluasan  dan  penghentian  program.  3)  Memberikan  masukan  untuk memodifikasi  program.  4)  Memperoleh  informasi  tentang  faktor  pendukung  dan penghambat program. 5) Memberikan masukan untuk motivasi dan pembina pengelola dan  pelaksanaan  program.  6)  Memberikan  masukan  untuk  memahami  landasan keilmuan bagi evaluasi program.
Evaluasi program dilakukan untuk memberikan informasi bahwa pelatihan yang dilaksanakan  memang  memberikan  manfaat  dan  dampak  positif  baik  bagi  individu maupun  bagi  bagi  organisasi.  Salah  satu  investasi  SDM  yang  dilakukan  dengan mendaftarkan  pegawai  ke  dalam  suatu  pelatihan/seminar/workshop  yang  perlu dievaluasi  keberlanjutannya.  PKP  sebagai  salah  satu  program  pelatihan  kepemimpinan dengan  kompetensi  yang  dingin  dibangun  adalah  jiwa  kepemimpinan  melayani (Lembaga  Administrasi  Negara  RI,  2020) .  Pada  penyelenggaraan  PKP,  peserta  juga dituntut untuk dapat menunjukkan kinerjanya dalam merancang suatu perubahan di unit kerjanya dan memimpin perubahan tersebut hingga menimbulkan hasil yang signifikan. Selanjutnya  diharapkan  PKP  akan  menghasilkan  alumni  yang  tidak  hanya  memiliki kompetensi, tetapi juga mampu menunjukkan kinerjanya sebagai memimpin perubahan (agent of change).
Berdasarkan kerangka teori dan konsep tersebut, maka pada kerangka pemikiran dapat  dibagi  menjadi  empat  bagian  yaitu:  perencanaan  evaluasi,  pengumpulan  data, analisis data dan pelaporan. Pada evaluasi Reaction, Learning, Behaviour, Result, akan
dilakukan  dengan  menggunakan  instrumen  evaluasi  sementara  tahap Return  on Investment akan dilakukan dengan perhitungan sesuai dengan rumus.

## Hasil Dan Pembahasan
PKP  sebagai  salah  satu  diklat  administrasi,  diklat  dalam  jabatan  adalah  upaya peningkatan kompetensi dan profesionalisme yang dilaksanakan bagi ASN khususnya PNS  yang  akan  atau  telah  menduduki  jabatan  struktural.  Sebelum  menjelaskan  hasil evaluasi,  terlebih  dahulu  digambarkan  karakteristik  responden  penelitian  yaitu  SDM yang terlibat dalam pelaksanaan PKP.
PKP daksanakan oleh Pusdiklat Kementerian Ristek/Brin bekerja sama dengan LAN  sebagai  instansi  pembina.  Pelatihan  diikuti  oleh  37  peserta  dari  berbagi unit/satuan kerja di lingkungan kementerian Ristek/Brin yang terdiri dari dua angkatan yaitu  angkatan  VI  dan  angkatan  VII.  Angkatan  VI  berjumlah  21  orang,  terdiri  dari  8 laki-laki  dan  13  perempuan  sementara  pada  angkatan  VII  berjumlah  16  orang,  terdiri dari 4 laki-laki dan 12 perempuan.

## Gambar 2 Karakteristik peserta PKP angkatan VI dan angkatan VII
Penelitian  Evaluasi  Program  PKP  dilakukan  untuk  menghasilkan  informasi bagi  manajemen  terutama  bagi  pengambil  keputusan  terkait  dengan  keberlanjutan program.    Evaluasi  yang  dilakukan  terdiri  lima  tahapan  yaitu Reaction , Learning, Behaviour, Result, dan Return on Investment (ROI).
1. Evaluasi Reaksi (Reaction)
Evaluasi  reaksi  merupakan  tahapan  bagi  evaluator  untuk  melihat  efektivitas dan  efisiensi  program  PKP  dengan  tujuan  untuk  mendapatkan  informasi  dan masukan  berdasarkan  pendapat  peserta. Evaluasi  pada  level  reaksi  dilakukan  pada saat  penyelenggaraan  PKP.  Ada  dua  jenis  evaluasi  yang  dilakukan  yaitu  evaluasi peserta  terhadap  layanan  penyelenggara  dan  evaluasi  peserta  terhadap  fasilitator dengan aspek penilaian masing-masing dan indikator sebagaimana pada tabel 2.
Jenis evaluasi yang digunakan dan indikator pada level reaksi Jenis Evaluasi Aspek Penilaian Indikator Peserta terhadap penyelenggara Informasi penyelenggara program PKP 1. Informasi tentang peneyelenggaraan pelatihan 2. Informasi  tentang  tata  tertib    selama  mengikuti pelatihan 3. Informasi tentang hak dan kewajiban peserta 4. Informasi tentang penceramah 5. Informasi  tentang  tata  tertib  selama  mengikuti pelatihan 6. Informasi tentang hak dan kewajiban peserta 7. Informasi  tentang  penceramah,  coach  dan penguji Pelayanan panitia  selama program PKP 1. Respon  dan  tindak  lanjut  yang  diberikan  panitia terkait penyelenggaraan program PKP 2. Keramahan  dan  keperdulian  panitia  dalam meberikan pelayanan selama program PKP Peserta terhadap fasilitator Media pembelajaran PKP 1. Ketersediaan bahan ajar yang digunakan sebagai alat bantu pembelajaran 2. Kualitas  bahan  tayang  yang  digunakan  sebagai alat bantu pembelajaran 3. Kualitas studi kasus yang digunakan sebagai alat bantu pembelajaran 4. Kesesuaian  games/simulasi  yang  digunakan sebagai alat bantu pembelajaran 5. Kesesuaian film pendek yang digunakan sebagai alat bantu pembelajaran 6. Ketersediaan  dan  kualitas  data  statistik  yang digunakan sebagai alat bantu pembelajaran 7. Lokus studi lapangan yang dikunjungi. Penilaian selama  proses pembelajaran 1. Penguasaan materi 2. Sistematika penyajian dan cara menyajikan 3. Ketepatan waktu dan kehadiran 4. Penggunaan metode dan sarana pelatihan 5. Sikap dan perilaku 6. Kerapihan berpakaian 7. Cara menjawab pertanyaan dari peserta 8. Penggunaan bahasa 9. Pemberian motivasi kepada peserta
a. Jenis evaluasi peserta terhadap penyelenggara
Hasil  evaluasi  peserta  PKP  angkatan  VI  terhadap  penyelenggara sebagaimana pada gambar 3.

## Gambar 3 Hasil evaluasi peserta terhadap penyelenggara pada angkatan VI
Hasil evaluasi penyelenggaraan diklat PKP Angkatan  VI diketahui bahwa nilai  rata-rata  layanan  terhadap  peserta  adalah  sebesar  74.9  dengan  kategori cukup  baik  berdasarkan  skala  penilaian  0  –  100  (0  –  60.00  =  buruk,  60.01  – 70.00 = kurang baik, 70.01 – 80.00 = cukup baik, 80.01 – 90.00 = baik, 90.01 - 100 = sangat baik).
Aspek  informasi  memperoleh  nilai  73.50  dengan  kategori  cukup  baik, aspek media belajar memperoleh nilai 77.50 dengan kategori cukup baik, aspek panitia  memperoleh  nilai  73.7  dengan  kategori  cukup  baik.  Aspek  dengan penilaian  terendah  adalah  informasi.  Hal  yang  dapat  melatarbelakangi  nilai terendah  pada  informasi  adalah  penyampaian  informasi  yang  sangat  mendadak dan pembelajaran secara daring selama pandemi sangat mempengaruhi penilaian peserta  terhadap  penyelenggaraan  diklat.  Hasil  evaluasi  peserta  PKP  angkatan VII terhadap penyelenggara sebagaimana pada gambar 4.
Gambar 4
Hasil Evaluasi Peserta Terhadap Penyelenggara Pada Angkatan VII
Hasil evaluasi penyelenggaraan diklat PKP Angkatan VII diketahui bahwa nilai rata-rata layanan terhadap peserta adalah sebesar 81.3 dengan kategori baik berdasarkan skala penilaian 0 – 100 (0 – 60.00 = buruk, 60.01 – 70.00 = kurang baik,  70.01  –  80.00  =  cukup  baik,  80.01  –  90.00  =  baik,  90.01  -  100  =  sangat baik).
Aspek  informasi  memperoleh  nilai  79.50  dengan  kategori  cukup  baik, aspek media belajar memperoleh nilai 85.00 dengan kategori baik, aspek panitia memperoleh  nilai  79.3  dengan  kategori  cukup  baik.  Aspek  dengan  penilaian terendah  adalah  panitia.  Hal  yang  dapat  melatarbelakangi  nilai  terendah  pada panitia  adalah  panitia  seringkali  kurang  responsif  terhadap  pertanyaan- pertanyaan peserta.
b. Jenis evaluasi peserta terhadap fasilitator
Fasilitator yang menyampaikan materi pada pelatihan ini merupakan SDM yang  kompeten  dalam  bidangnya  sesuai  dengan  kepakaran  dan  keahlian  yang dimiliki.  Hasil  penilaian  peserta  terhadap  para  pengajar  dan  penceramah sebagaimana pada gambar 5 dan gambar 6.
Gambar 5
Hasil Evaluasi Peserta Terhadap Fasilitator Pada Angkatan VI
Gambar 6
Hasil Evaluasi Peserta Terhadap Fasilitator Pada Angkatan VII

## 2. Evaluasi Proses Pembelajaran (Learning)
Pada  level  proses  pembelajaran,  diungkap  tujuan  dari  penyajian  materi pelatihan  dan  sejauh  mana  daya  serap  peserta  atau  tingkat  penguasaan  peserta terhadap  materi  pelatihan.  Pada  awal  dan  akhir  pembelajaran  dilakukan  penilaian melalui pre test dan post test pada 13 mata pelatihan sebagaimana pada tabel 3.

## Tabel 3

## Daftar nama mata pelatihan pada PKP
No. Nama Mata Pelatihan 1 Etika dan integritas kepemimpinan Pancasila 2 Bela negara kepemimpinan Pancasila
3 Diagnosa organisasi
4 Berpikir kreatif dalam pelayanan
5 Membangun tim efektif
6 Teknik komunikasi publik
7 Penyusunan RKA pelayanan publik
8 Pelayanan publik digital
9 Manajemen mutu 10 Manajemen pengawasan
11 Pengendalian pelaksanaan kegiatan
12 Kepemimpinan dalam pelaksanaan pekerjaan
13 Perencanaan kegiatan pelayanan publik
Selanjutnya,  peneliti  mendapatkan  rekapitulasi  penilaian  melalui  dokumen penilaian  dari  panitia  penyelenggara  termasuk    materi  yang  diujikan.  Tampak dengan jelas perubahan pengetahuan dari peserta PKP dengan tingginya selisih rata- rata nilai pre-test dan post-test pada tiap mata pelatihan.

## Kesimpulan
Kompetensi  yang  telah  dibangun  selama mengikuti  PKP,  adalah  meningkatkan kemampuan  pejabat  pengawas  dalam  hal  manajerial  dan  sebagai  pengendali  kegiatan layanan publik sesuai standar operasional prosedur. Peserta dituntut untuk menunjukkan kepemimpinan  melayani  melalui  pendalaman  terhadap  Kepemimpinan  Pancasila  dan Bela Negara, Kepemimpinan Pelayanan, dan Pengendalian Pekerjaan.
Penelitian  pendahuluan  ini,  fokus  pada  pembahasan  dua  tahapan  awal  pada Model five  level  ROI  framework yaitu  evaluasi (reaction) dan  evaluasi  proses pembelajaran (learning) yang dianalisis dari saat pelaksanaan PKP.
Berdasarkan  hasil  dan  pembahasan  penelitian,  evaluasi  reaksi  terdiri  dari evaluasi peserta terhadap penyelenggara dan evaluasi peserta terhadap fasilitator.  Hasil evaluasi  peserta  terhadap  penyelenggara  menunjukkan  nilai  rata-rata  layanan  terhadap peserta  adalah  sebesar  74.9    termasuk  dalam  kategori  cukup  baik  pada  angkatan  VI sedangkan  pada  angkatan  VII  sebesar  81.3  termasuk  dalam  kategori  baik  berdasarkan skala penilaian 0 – 100 (0 – 60.00 = buruk, 60.01 – 70.00 = kurang baik, 70.01 – 80.00 = cukup baik, 80.01 – 90.00 = baik, 90.01 - 100 = sangat baik). Hasil evaluasi peserta terhadap  fasilitator  menunjukkan  indeks  kepuasan  84.12  dan  86.56  pada  angkatan  VI dan VII.
Pada  evaluasi  proses  pembelajaran  dapat  disimpulkan  bahwa  terdapat perubahan pengetahuan dari peserta PKP yang ditunjukkan dengan tingginya kenaikan rata-rata nilai pre-test dan post-test pada 13 mata pelatihan.
Selanjutnya, penelitian ini kemudian akan  dilanjutkan pada tahapan selanjutnya sesuai dengan kerangka pemikiran yang mengacu pada model five level ROI framework.

## BIBLIOGRAFI
Agusta,  Y.  (2007).  K-means–penerapan,  permasalahan  dan  metode  terkait. Jurnal Sistem Dan Informatika , 3 (1), 47–60. Google Scholar
Anriani,  N.,  Hidayat,  S.,  &  Setiani,  Y.  (2020).  Digitalisasi  Pembelajaran  Di  Era  New Normal. Prosiding  Seminar  Nasional  Pendidikan  FKIP , 3 (1),  390–393. Google Scholar
Badriyah, M. (2015). Manajemen Sumber Daya Manusia. Bandung: CV Pustaka Setia.
Erlina UT.Pdf. (n.d.).
Fahmi,  I.  (2016). Manajemen  Sumber  Daya  Manusia  Teori  dan  Aplikasi. Bandung: Alfabeta. Google Scholar
Fitriyani,    cici.  (2020). Sistem  Manajemen  Pegawai  Negeri  Sipil .  (023819). https://doi.org/10.31219/osf.io/ys2j3
Geologi, B. (2000). Peraturan Pemerintah No. 101 Tahun 2000 tentang Pendidikan dan Pelatihan Jabatan PNS . Jakarta.
Hidayat, S., Ruhiat, Y., & Syafrizal, S. (2017). Mentoring and Curriculum Development Model  to  Improve  Quality  of  Non-Formal  Education  (NFE)  in  Banten  Province . 88 (Nfe 2016), 246–248. https://doi.org/10.2991/nfe-16.2017.64 Google Scholar
Lembaga  Administrasi  Negara  RI.  (2020). Peraturan  Lembaga  Administrasi  Negara Republik  Indonesia  Nomor  6  6  Tahun  2020  Tentang  Perubahan  Atas  Peraturan Lembaga  Administrasi  Negara  Nomor  15  Tahun  2019  Tentang  Pelatihan Kepemimpinan Pengawas.
Mahirah, B. (2017). Evaluasi belajar peserta didik (siswa). Idaarah: Jurnal Manajemen Pendidikan , 1 (2). Google Scholar
Menpan RB. (2017). Peraturan Menteri Pendayagunaan Aparatur Negara dan Reformasi Birokrasi  Nomor  38  Tahun  2017  Tentang  Standar  Kompetensi  Jabatan  Aparatur Sipil Negara. Jakarta: Sekretariat Negara , 108.
Munthe,  A.  P.  (2015).  Pentingnya  evaluasi  program  di  institusi  pendidikan:  sebuah pengantar,  pengertian,  tujuan  dan  manfaat. Scholaria:  Jurnal  Pendidikan  Dan Kebudayaan , 5 (2), 1–14. Google Scholar
Per LAN 10 tahun 2018.pdf . (n.d.).
PerLAN 13.pdf . (n.d.).
Purwanto & Suparman, A. (1999). Evaluasi: Program Diklat . STIA-LAN Press.
Republik  Indonesia.  (2014). Undang-undang  Republik  Indonesia  No.5  tahun  2014 tentang Aparatur Sipil Negara . 1–104. Google Scholar
Riset,  K.,  Tinggi,  D.  A.  N.  P.,  Pendidikan,  P.,  &  Pelatihan,  D.  A.  N.  (2019). Kementerian  riset,  teknologi,  dan  pendidikan  tinggi  pusat  pendidikan  dan pelatihan . (8), 18–20.
Siringoringo, R. H., & Madya, W. (2015). Evaluasi Pendidikan dan Pelatihan . 2 (1), 1– 8.
Soemohadiwidjojo,  A.  T.  (2018). SOP  &  KPI  Untuk  UMKM  &  Start  Up .  Raih  Asa Sukses. Google Scholar
Soetrisno, E. (2016). Manajemen sumber daya manusia . Kencana. Google Scholar
Sudjana,  D.  (2006). Evaluasi  Program  Pendidikan  Luar  Sekolah. Bandung:  Remaja Rosdakarya. Google Scholar
Sugiyono,  D.  (2013). Metode  penelitian  pendidikan  pendekatan  kuantitatif,  kualitatif dan R&D . Alfabeta: Indonesia Google Scholar
Widoyoko,  E.  P.  (2017). Evaluasi  Program  Pelatihan. Yogyakarta:  Pustaka  Pelajar. Google Scholar

## Copyright holder:
Roma Mantin, Sholeh Hidayat, Nurul Anriani, Sudi Aryanto, Siti Aminah (2022)

## First publication right:
Syntax Literate: Jurnal Ilmiah Indonesia
This article is licensed under: