Jurnal Evaluasi Pendidikan Vol. 4, No. 2, Oktober 2013, 132 - 145

## THE PROGRAM EVALUATION OF EDUCATION AND TRAINING LEADERSHIP IV AT MAKASSAR EDUCATION AND TRAINING RELIGIOUS CENTER USING KIRKPATRICK MODEL
Firman Basir Widyaiswara di BDK Makassar Jl. Sultan Alauddin No. 105 Makassar firkhina@yahoo.co.id

## Abstract
This  research  aimed  to  know  the  effectiveness  of  the  education  and  training leadership  IV at  Makassar Education and Training Religious  Center using the four-level evaluation  of  Kirkpatrick  Models,  namely:  reaction,  learning,  behavior,  and  result.  The evaluation  results  on  reaction  level  which  have  not  satisfied  the  participants  were  the mastery of the materials and the ability of the trainers to use case samples according to participants’ duties and functions, the relevance of materials to participants’ duties and functions,  assigned  tasks,  dorm  comforts,  learning  facilities,  sports  and  recreation center, food service and hospitality, as well as the appearance of the waiter in the dining room.  There  was  an  improvement  of  learning  outcomes  on  the  evaluation  results  on learning level. The less satisfactory evaluation results on behavior level was the ability of the  education  and  training  alumni  to  develop  a  solid  working  team  and  making decisions.  On  the  result  level  was  the  quality  of  service  of  educnation  and  training alumni. To improve the service quality of the education and training  leadership  IV, the Makassar  Religious  Training  Center  should  manage  the  findings  which  were  less satisfactory on every aspect mentioned above.
Keywords : Kirkpatrick model evaluation, education and training leadership IV

## EVALUASI PROGRAM DIKLATPIM IV PADA BALAI DIKLAT KEAGAMAAN MAKASSAR DENGAN MODEL KIRKPATRICK

## Firman Basir
Widyaiswara di BDK Makassar Jl. Sultan Alauddin No. 105 Makassar firkhina@yahoo.co.id

## Abstrak
Penelitian  ini  bertujuan  melihat  efektivitas  penyelenggaraan  Diklatpim  IV  pada BDK  Makassar  dengan  menggunakan  model  evaluasi  empat  level  Kirkpatrick  yaitu reaction , learning , behavior ,  dan result .  Hasil  evaluasi  level  reaksi  yang  belum memuaskan  bagi  peserta  adalah  penguasaan  materi  dan  kemampuan  widyaiswara mengangkat contoh kasus sesuai dengan tugas fungsi peserta, relevansi materi dengan tugas  fungsi  peserta,  tugas  latihan  yang  diberikan,  kenyamanan  asrama,  kelengkapan sarana pembelajaran, ketersediaan sarana olahraga/rekreasi, kecukupan konsumsi dan keramahan  serta  penampilan  pelayan  di  ruang  makan.  Hasil  evaluasi  level learning terdapat  peningkatan  hasil  pembelajaran.  Hasil  evaluasi  level behavior yang memperoleh  penilaian  kurang  baik  adalah  kemampuan  alumni  diklat  membangun  tim kerja yang solid dan membuat keputusan dan pada level result adalah kualitas layanan alumni  diklat.  Untuk  meningkatkan  kualitas  penyelenggaraan  Diklatpim  IV,  BDK Makassar  perlu  memperbaiki  temuan  yang  masih  kurang  memuaskan  atau  penilaian kurang baik pada setiap aspek yang dikemukakan di atas.
Kata Kunci: evaluasi model Kirkpatrick, Diklatpim IV

## PENDAHULUAN
Pendidikan  dan  Latihan  Kepemimpinan  Tingkat  IV  (Diklatpim  IV) diselenggarakan  dengan  tujuan  untuk  meningkatkan  kompetensi  pejabat struktural  eselon  empat  dalam  melaksanakan  tugas  dan  jabatannya  secara profesional dengan berlandaskan pada kepribadian dan etika pegawai negeri sipil di  luar  sistem  pendidikan  formal  yang  dilaksanakan  dalam  waktu  singkat. Wirawan  (2011:  218)  dan  Siagian  (2004:  185)  menegaskan  bahwa  diklat merupakan  aktivitas Human  Resources  Development (HRD)  dengan  tujuan mengembangkan  pengetahuan,  keterampilan,  dan  sikap  serta  perilaku  dalam rangka  meningkatkan  kompetensi  pegawai  agar  dapat  melaksanakan  pekerjaan atau  tugas  yang  sedang  dilaksanakannya.  Peningkatan  kompetensi  tersebut, menurut Hamalik (2008: 77) dilakukan dalam bentuk tindakan pengulangan dan pemantapan  terhadap  hasil  belajar  berupa  pengetahuan,  sikap,  dan keterampilan yang sudah dimiliki serta sebagai usaha perluasan ke tingkat yang lebih  terampil  bahkan  sampai  kepada  tingkat  mahir.  Diklat  dilakukan  sebagai solusi atas persoalan kinerja suatu organisasi, sehingga diklat hanya bermanfaat dalam  situasi  dimana  para  pegawai  kekurangan  kecakapan  dan  pengetahuan,
Jurnal Evaluasi Pendidikan Vol. 4, No. 2, Oktober 2013, 132 - 145
artinya  diklat  dilakukan  karena  adanyakesenjangan  antara  kompetensi  yang dimiliki dengan kompetensi yang dipersyaratkan (Gomes, 2003: 198-199).
Pencapaian  tujuan  penyelenggaraan  Diklatpim  IV  memerlukan kemampuan memberdayakan sumber-sumber daya yang tersedia secara efektif dan  efisien,  yang  disertai  dengan  kemampuan  memanfaatkan  kekuatan  dan peluang  yang  ada  dengan  meminimalisir  kelemahan  dan  tantangan  yang dihadapi.  Penyelenggaraan  diklat  berbasis  pada  kebutuhan  peserta  dan dilaksanakan  secara  profesional  dan  proporsional  dengan  memperhatikan  dua hal  pokok  yaitu  proses  pelaksanaan  diklat  dan  penerapan  hasil  diklat  (pasca diklat).    Moeheriono  (2009:  63)  dan  Fitzpatrick  dan  kawan-kawan  (2004:  5) mempertegas  bahwa  evaluasi  terhadap  program  diklat  pada  hakikatnya  untuk membandingkan antara hasil yang dicapai dengan hasil yang seharusnya dicapai menurut target dan standar yang telah ditentukan.
Kegiatan  membandingkan  antara  hasil  yang  diperoleh  dengan  standar yang  telah  ditetapkan  membutuhkan  informasi  yang  akurat  melalui  evaluasi menyeluruh  terhadap  komponen  utama  kegiatan  diklat  yaitu:  reaksi  peserta, pembelajaran,  perubahan  perilaku  kerja  alumni  diklat,  dan  peningkatan  kinerja instansi.  Evaluasi  yang  menyeluruh  terhadap  komponen-komponen  utama tersebut  oleh  Arikunto  (2004:  7)  dan  Barker  (Royse,  dkk,  2006:  2)  dinyatakan sebagai  penerapan  prosedur  yang  sistematis  untuk  mengetahui  tingkat keterlaksanaan  suatu  program  dengan  mengkaji  efektifitas  dari  masing-masing komponen.  Model  evaluasi  program  yang  cocok  diterapkan  untuk  kepentingan tersebut  menurut  Widoyoko  (2011:  186-187)  adalah  model  evaluasi  program yang dikembangkan oleh Kirkpatrick yang terdiri dari empat level yaitu: 1) level reaction ,  2)  level learning ,  3)  level behavior ,  dan  4)  level result ,  karena  dapat mengevaluasi  secara  detail  bagaimana  tingkat  kepuasan  peserta  terhadap penyelenggaraan  diklat,  pemerolehan  pengetahuan,  perubahan  perilaku  kerja alumni  diklat,  dan  peningkatan  kinerja  instansi  sebagai  dampak  perubahan perilaku kerja dari alumni diklat.
Tingkat kepuasan terhadap penyelenggaraan diklat menjadi motivasi bagi peserta dalam mengikuti proses pembelajaran. Pemerolehan pengetahuan melalui proses pembelajaran sangat berpengaruh  terhadap  perubahan  perilaku  kerja  alumni  diklat  dan  perubahan  perilaku  kerja alumni diklat memberi dampak terhadap peningkatan kinerja instansi. Kirkpatrick dan Kirkpatrick (2005: 21-22) menjelaskan bahwa evaluasi level reaction sangat penting sebab tingkat kepuasan peserta  diklat  mempengaruhi  berhasil  tidaknya  suatu  program  diklat.  Hal  senada  dikemukakan oleh  Silberman  (2006:  318-319)  bahwa  kualitas  diklat  dapat  diukur  melalui  tingkat  kepuasan pesertanya.  Keduanya  berbanding  lurus,  semakin  bagus  pelaksanaan  suatu  diklat  akan  semakin tinggi respon kepuasan peserta terhadap penyelenggaraan diklat.
Pentingnya dilakukan evaluasi level learning agar diperoleh informasi berkaitan dengan pemerolehan  pengetahuan  bagi  peserta.  Tingkat  pemerolehan  pengetahuan  bagi  peserta  akan memberi  pengaruh  terhadap  perubahan  perilaku  kerjanya  pasca  diklat.  Kirkpatrick  dan Kirkpatrick (2007: 47-48) mengemukakan bahwa hasil pembelajaran yang baik akan berkontribusi secara positif terhadap behavioral change’s alumni diklat.
Evaluasi  level behavior dilakukan  untuk  mengetahui  sampai  sejauhmana alumni  diklat  mengimplementasikan  pengetahuan  yang  telah  diperoleh  dalam bentuk perubahan perilaku kerja. Menurut Davis (2005: 332-338) tujuan evaluasi
level behavior adalah untuk menilai apakah alumni diklat telah menerapkan hasil pembelajarannya  dalam  bentuk job  behavior pada  tempat  kerjanya  masing- masing,  dan  yang  terakhir  adalah  evaluasi  level result. Evaluasi  pada  level  ini dilakukan  dengan  tujuan  untuk  mengetahui  peningkatan  kinerja  (layanan) instansi  sebagai  dampak  dari  perubahan  perilaku  kerja  alumni  diklat. Moeheriono  (2009:  60)  menjelaskan  pentingnya  evaluasi  level result dengan asumsi bahwa kinerja pegawai tidak dapat dipisahkan dari kinerja instansi dalam upaya  mencapai  tujuan  instansi.  Artinya,  peningkatan  kinerja  pegawai  akan memberi dampak berupa peningkatan kinerja instansi.
Evaluasi yang bersifat eksternal dan menyeluruh terhadap program Diklat PIM-IV  yang  diselenggarakan  pada  Balai  Diklat  Keagamaan  belum  menjadi perhatian  utama  dan  umumnya  masih  dilaksanakan  secara  parsial.  Berangkat dari kenyataan tersebut, penelitian evaluatif ini fokus terhadap empat level yang dievaluasi yaitu: 1) tingkat kepuasan peserta terhadap penyelenggaraan diklat, 2) pemerolehan  pengetahuan  peserta  diklat,  3)  perubahan  perilaku  kerja  alumni diklat,  dan  4)  peningkatan  kinerja  instansi  sebagai  dampak  perubahan  perilaku kerja alumni diklat.

## METODE PENELITIAN
Penelitian evaluasi ini bertujuan untuk melihat keefektifan penyelenggaraan  Diklatpim  IV  angkatan  XVIII  pada  Balai  Diklat  Keagamaan Makassar  dengan  jumlah  peserta  sebanyak  30  orang  yang  dilaksanakan  selama 40 hari, dari tanggal 01 Maret sampai dengan 09 April 2011. Penelitian evaluasi ini  dilakukan  dengan  menggunakan  model  empat  level  Kirkpatrick  yakni:  dua level  pertama  yaitu  level reaction dan  level learning dilaksanakan  pada  saat penyelenggaraan  diklat  berlangsung  dan  dua  level  berikutnya  yaitu  level behavior dan level result dilaksanakan kurang lebih tiga bulan pasca diklat.
Prosedur  pengumpulan  data  dalam  penelitian  evaluasi  ini  dilakukan dengan  menggunakan  angket,  wawancara,  observasi,  dan  dokumentasi.  Untuk menjaga  keabsahan  data,  data  kuantitatif  yang  dikumpulkan  dengan menggunakan  angket  yang  telah  dikalibrasi  baik  melalui  validasi  teoritik  dan validasi empirik. Keabsahan data kualitatif dilakukan melalui trianggulasi waktu, sumber, dan metode. Analisis data yang digunakan adalah analisis kuantitatif dan kualitatif.  Analisis  kuantitatif  disajikan  dalam  bentuk  tabel  dan  grafik,  analisis kualitatif  dengan  dua  cara  yaitu  analisis  selama  pengumpulan  data  dengan mengembangkan  catatan  lapangan,  mendeskripsikan  hasil  wawancara  dan observasi. Analisis setelah data terkumpul dengan memaparkan data yang telah dianalisis  untuk  setiap  level  dan  penarikan  kesimpulan.  Untuk  lebih  jelasnya prosedur pengumpulan data dilihat pada gambar 1.

## Program Diklat PIM-IV BDK Makassar
Level Reaction Aspek: - WI/narasumber, Panitia, Materi diklat, Jadwal diklat, Sarana/prasarana, dan Pengumpulan data: - Angket - Wawancara Data dianalisis dan dideskripsikan Kesimpulan dan Rekomendasi Hasil Level Reaction
26 indikator, 9 indikator tidak
Jurnal Evaluasi Pendidikan Vol. 4, No. 2, Oktober 2013, 132 - 145
Gambar 1. Prosedur Pengumpulan Data

## HASIL PENELITIAN
Hasil Evaluasi Level Reaction
Hasil  evaluasi  pada  level reaction yang  diukur  dengan  menggunakan  26 indikator, terdapat sembilan indikator yang tidak sesuai dengan kriteria evaluasi yaitu minimal 80% peserta memberi penilaian cukup baik. Kesembilan indikator tersebut  adalah  1)  penguasaan  widyaiswara  terhadap  materi  yang  diajarkan, 2)  kemampuan  widyaiswara  dalam  mengangkat  contoh  kasus  yang  sesuai dengan  tugas  dan  fungsi  peserta,  3)  relevansi  materi  yang  dipelajari  dengan tugas dan fungsi peserta, 4) tugas dan latihan yang diberikan membantu peserta diklat dalam memahami materi, 5) kenyamanan asrama, 6) kelengkapan sarana pembelajaran,  7)  ketersediaan  sarana  olahraga/rekreasi,  8)  konsumsi  yang disediakan  cukup  untuk  setiap  peserta,  dan  9)  pelayan  yang  bertugas  di  ruang
makan  ramah  dan  berpenampilan  menarik.  Untuk  lebih  jelasnya  dapat  dilihat pada  gambar 2.
Gambar 2. Diagram Batang Hasil Evaluasi Level Reaksi
Hasil Evaluasi Level Learning
Hasil  evaluasi  level learning diukur  dengan  menggunakan tes  pada  akhir sesi  pembelajaran.  Hasil  evaluasi  tersebut,  menunjukkan  23,3%  peserta  yang memperoleh  skor  lebih  besar  dari  70.  Hasil  evaluasi  ini  tidak  sesuai  dengan kriteria  evaluasi  yang  telah  ditetapkan  yaitu  minimal  80%  peserta  diklat  yang memperoleh skor minimal pada kategori sedang atau memperoleh skor minimal 70.

## Hasil Evaluasi Level Behavior
Terdapat  empat  aspek  yang  diukur  pada  evaluasi  level behavior yaitu aspek  perilaku  alumni  diklat  dalam:  1)  melaksanakan  fungsi  manajemen  yang
Jurnal Evaluasi Pendidikan Vol. 4, No. 2, Oktober 2013, 132 - 145
terdiri  dari  empat  indikator,  2)  pendelegasian  tugas  yang  terdiri  dari  lima indikator,  3)  Kordinasi  yang  terdiri  dari  tiga  indikator,  dan  4)  pengambilan keputusan yang terdiri daritiga indikator.
Gambar 3. Diagram Batang Hasil Evaluasi Level Behavior
Berdasarkan hasil evaluasi pada level behavior sebagaimana pada gambar 3,  terdapat  dua  aspek  dan  dua  indikator  yang  tidak  sesuai  dengan  kriteria evaluasi  yang  telah  ditetapkan  yaitu  minimal  80%  peserta  memperoleh  nilai minimal cukup memuaskan. Adapun aspek dan indikator yang dimaksud adalah: 1)  aspek  perilaku  alumni  diklat  dalam  melakukan  kordinasi  pada  indikator  11 (kemampuan  membangun  tim  kerja  yang  solid)  hanya  73,3%  peserta  yang memperoleh  skor  sesuai  dengan  kriteria  evaluasi  dan  2)  aspek  perilaku  alumni diklat  dalam  pengambilan  keputusan  pada  indikator  13  (kemampuan  membuat keputusan  yang  tepat  sesuai  dengan  informasi  dan  masukan  yang  ada)  hanya 73,3% peserta yang memperoleh skor sesuai dengan kriteria evaluasi.

## Hasil Evaluasi Level Result
Hasil  evaluasi  pada  level result yang  diukur  dengan  dua  aspek  dan  12 indikator, terdapat satu aspek yang terdiri dari enam indikator yang tidak sesuai
dengan  kriteria  evaluasi  yaitu  minimal  80%  peserta  memperoleh  skor  pada kategori cukup baik yaitu aspek dampak kualitas layanan alumni diklat terhadap kualitas layanan instansi hanya 69% peserta yang memperoleh skor cukup baik.

## PEMBAHASAN
Level Reaction
Evaluasi  level reaction bertujuan  untuk  mengetahui  tingkat  kepuasan peserta  terhadap  penyelenggaraan  diklat  yang  turut  menentukan  motivasi  dan antusias  peserta  dalam  mengikuti  seluruh  rangkaian  kegiatan  diklat.  Widoyoko (2011:  174)  mengemukakan  pentingnya  mengevaluasi  level reaction yang  pada hakikatnya  mengukur  kepuasan  peserta  diklat  ( costumer  satisfaction ).  Program diklat  dianggap  efektif  jika  prosesnya  dapat  memuaskan  peserta,  kepuasan menjadi motivasi bagi peserta untuk mengikuti diklat lebih lanjut.
Silberman  (2006:  318-319)  mengemukakan  bahwa  evaluasi  level reaction ini  merupakan  evaluasi  terhadap  proses  diklat  itu  sendiri.  Kualitas  proses  atau pelaksanaan  suatu  diklat  dapat  diukur  melalui  tingkat  kepuasan  pesertanya. Keduanya  berbanding  lurus.  Semakin  bagus  pelaksanaan  suatu  diklatakan semakin  bagus  pula  respon  kepuasan  peserta  terhadap  penyelenggaraan  suatu diklat.
Hasil  evaluasi  untuk  level reaction, indikator  yang  tidak  sesuai  dengan kriteria evaluasi yang telah ditetapkan adalah indikator penguasaan widyaiswara terhadap  materi  yang  diajarkan.  Beberapa  peserta  menyampaikan  bahwa  ada materi  yang  diajarkan  oleh  widyaiswara  tidak  sesuai  dengan  modul  dan kurikulum serta silabus yang telah ditentukan. Ada beberapa penjelasan konsep materi  yang  berkaitan  dengan  materi  aktualisasi  yaitu  materi  Kertas  Kerja Perorangan (KKP), Kertas Kerja Kelompok (KKK), dan Kertas Kerja Angkatan (KKA) tidak  sinkron  atau  sedikit  bertentangan  antara  satu  widyaiswara  dengan widyaiswara yang lain.
Indikator kemampuan widyaiswara dalam mengangkat contoh kasus sesuai tugas dan fungsi peserta, dari 30 orang peserta 18 orang diantaranya merupakan kepala  Kantor  Urusan  Agama  (KUA).  Mereka  memberi  komentar  bahwa widyaiswara  yang  mengajar  tidak  pernah  mengangkat  contoh  kasus  yang  ada dan  pernah  terjadi  di  Kantor  Urusan  Agama.  Umumnya,  mereka  hanya mengangkat  contoh-contoh  yang  bersifat  umum  yang  sulit  untuk  diterapkan  di lingkungan kerjanya.
Indikator  relevansi  materi  dengan  tugas  fungsi  perserta  dan  tugas  latihan yang  diberikan  membantu  peserta  memahami  materi.  Beberapa  peserta megemukakan  bahwa  widyaiswara  dalam  memaparkan  materi,  mereka  kurang mengaitkan  konsep  dan  mengangkat  contoh  kasus  yang  relevan  dengan  tugas dan  fungsi  peserta  sebagai  bahan  latihan  dalam  pemecahan  masalah  dan pengambilan keputusan.
Jurnal Evaluasi Pendidikan Vol. 4, No. 2, Oktober 2013, 132 - 145
Indikator  kenyamanan  asrama,  kelengkapan  sarana  pembelajaran,  dan ketersediaan sarana olahraga/rekreasi. Komentar dari peserta bahwa pasokan air bersih  di  asrama  sering  tidak  mencukupi,  WC  tersumbat,  dan  terkadang  ada aroma yang kurang sedap. Kursi yang disediakan di ruang kelas kurang nyaman diduduki untuk waktu lama, mikrofon untuk peserta disediakan hanya pada saat seminar,  dan  ukuran  ruang  kelas  agak  sempit  sehingga  sulit  menata  meja  kursi dengan formasi “U”, ada peserta peserta yang harus duduk di belakang peserta yang  lainnya.  Sarana  olahraga  yang  tersedia  hanya  lapangan  bulutangkis sehingga,  yang  hobi  jenis  olahraga  yang  lain  misalnya volley  ball ,  futsal  merasa tidak terfasilitasi, sedangkan sarana rekreasi sederhana sama sekali belum ada.
Indikator  kecukupan  konsumsi  yang  disediakan  untuk  peserta.  Peserta berkomentar  bahwa  jika  mereka  terlambat  ke  ruang  makan  misalnya  harus shalat  lebih  dahulu,  maka  sering  tidak  kebagian  lauk-pauk  dan  pelayan  yang bertugas  hanya  menyampaikan  bahwa  persediaan  sudah  habis.  Indikator keramahan serta penampilan pelayan yang bertugas di ruang makan. Komentar peserta  bahwa  pelayan  yang  bertugas  kurang  ramah  terhadap  peserta  dan terkadang hanya menggunakan sandal jepit/tidak rapih.
Peserta  mengakui  bahwa  persoalan  makanan  merupakan  suatu  hal  yang sensitif, sehingga peserta mengharapkan pelayan yang bertugas di ruang makan harus  bersikap  ramah  terhadap  peserta.  Bahkan  Kirkpatrick  dan  Kirkpatrick (2007: 23-30) menyarankan bahwa penataan ruang makan peserta diklat diatur seperti restoran.
Level reaction bertujuan mengukur tingkat kepuasan peserta diklat. Tingkat kepuasan  peserta  diklat  sangat  mempengaruhi  keberhasilan  level-level berikutnya.  Jika  peserta  merasa  puas  terhadap  cara  mengajar  widyaiswara, pelayanan panitia, disediakan fasilitas asrama yang nyaman, fasilitas belajar yang lengkap  dan  ruang  belajar  kondusif,  sarana  olahraga  yang  memadai,  maka mereka akan temotivasi atau antusias pada proses pembelajaran (level learning ). Anggraini  (2013)  menyimpulkan  bahwa  tingkat  kepuasan  peserta  diklat  pada level reaction berpengaruh positif terhadap motivasi belajar dan perilaku peserta dalam  mengikuti  diklat,  serta  hasil  diklat  (pasca  diklat)  berupa  perubahan perilaku  kerja  alumni  diklat.  Hal  senada  dikemukakan  oleh  Putri  (2008:  85-91), yang mengimplementasikan dua level dari empat level model evaluasi program Kirkpatrick  yaitu  level reaction dan  level learning, yang  menyimpulkan  bahwa terdapat  pengaruh  positif  antara  tingkat  kepuasan  peserta  terhadap penyelenggaraan  diklat  dengan  pemerolehan  hasil  belajar  bagi  peserta  pasca diklat.
Level Learning
Hasil  evaluasi  pada  level learning yaitu  pemerolehan  pengetahuan  bagi peserta diklat tidak sesuai dengan kriteria evaluasi yang telah ditetapkan. Salah satu  hal  yang  mungkin  menjadi  penyebab  tidak  tercapainya  kriteria  tersebut bahwa,    peserta  Diklatpim  IV  adalah  pembelajar  orang  dewasa.  Pembelajaran orang dewasa menurut Riansyah (2009) harus menerapkan prinsip belajar orang
dewasa  diantaranya  menyajikan  materi  yang  relevan  dengan  tugas  dan  fungsi peserta.  Berdasarkan  hasil  evaluasi  untuk  level reaction untuk  indikator kemampuan  widyaiswara  menyajikan  materi  atau  mengangkat  contoh  kasus yang relevan dengan tugas dan fungsi peserta tidak memenuhi kriteria evaluasi yang diduga merupakan salah satu penyebab sehingga peserta sulit memahami materi  diklat.  Adapun  aspek  lain  yang  juga  turut  mempengaruhi  kenyamanan peserta  dalam  mengikuti  seluruh  sesi  materi  diklat  dalam  level  pembelajaran adalah sarana ruang belajar yang belum kondusif yang meliputi kursi yang kurang nyaman  untuk  diduduki,  formasi  meja  kursi  yang  menyebabkan  peserta  yang duduk  di  belakang  pandangannya  terhalang,  dan  mikrofon  bagi  peserta  yang tidak  permanen  sebagaimana  yang  dikemukakan  dalam  hasil  evaluasi  level reaksi.

## Level Behavior
Tujuan mengevaluasi level behavior adalah untuk mengetahui perubahan perilaku kerja alumni diklat setelah mereka kembali ke tempat tugasnya masing- masing.  Yang  menjadi  fokus  penilaian  dalam  evaluasi  level behavior adalah perubahan  perilaku  kerja  apa  yang  terjadi  di  tempat  kerja  setelah  peserta mengikuti  diklat.  Dengan  kata  lain,  apakah  peserta  merasa  senang  setelah mengikuti  diklat  dan  bagaimana  mereka  mentransfer  pengetahuan  yang  telah diperoleh di tempat kerjanya masing-masing.
Indikator  kemampuan  membangun  tim  kerja  yang  solid.  Komentar  dari sumber  informasi  bahwa  kondisi  kantor  yang  mereka  tempati  belum  defenitif bahkan  mereka  menumpang  di  kantor  lain.  Selain  itu,  mereka  berada  di lingkungan  yang  minoritas  dan  sulit  diakses  sehingga  kurang  aktivitas,  serta jumlah  staf  yang  sangat  terbatas.  Indikator  kemampuan  membuat  keputusan yang tepat, faktor yang mempengaruhi sehingga indikator tersebut tidak tercapai sesuai dengan informasi yang diperoleh bahwa alumni diklat jarang mengadakan rapat/pertemuan yang sifatnya formal.

## Level Result
Bagiyono  (2012:  322)  evaluasi  terhadap  leval  akhir  ( result ) , difokuskan pada hasil akhir ( final result ) yang terjadi sebagai impact dari program diklat yang telah diikutinya, dan tidak semua impact dari sebuah program dapat diukur dan kalaupun bisa diukur seringkali membutuhkan waktu yang lama.
Rendahnya  penilaian  masyarakat  terhadap  aspek  kualitas  layanan disebabkan oleh beberapa hal, diantaranya adalah alumni Diklatpim IV Angkatan XVIII  pada  Balai  Diklat  Keagamaan  Makassar  yang  paling  banyak  berhubungan langsung  dengan  masyarakat  adalah  mereka  yang  bertugas  di  Kantor  Urusan Agama  (Kepala  KUA).  Terdapat  18  orang  alumni  diklat  yang  bertugas  di  Kantor Urusan  Agama.  Keluhan  masyarakat  terhadap  layanan  beberapa  KUA  tersebut adalah  waktu  pelayanan  ada  yang  buka  hanya  dua  hari  seminggu,  masyarakat kurang  pemahaman  tentang  informasi  prosedur  pengurusan  misalnya
Jurnal Evaluasi Pendidikan Vol. 4, No. 2, Oktober 2013, 132 - 145
pencatatan nikah, surat nikah yang seharusnya diserahkan pada saat selesai akad nikah, namun ada yang beberapa minggu kemudian baru dapat memperolehnya, dan  mereka  tidak  mengetahui  standar-standar  biaya  yang  harus  dikeluarkan. Informasi  terkait  kegiatan-kegiatan  KUA  dalam  mengadakan  penyuluhan- penyuluhan  ke  masyarakat  pada  umumnya  mereka  menyatakan  tidak  pernah. Kualitas  layanan  publik  tercermin  dari:  1)  transparansi  yaitu  pelayanan  yang bersifat  terbuka,  mudah,  dapat  diakses  oleh  semua  pihak  yang  membutuhkan dan disediakan secara memadai, serta mudah dimengerti, 2) akuntabilitas adalah pelayanan  yang  dapat  dipertanggungjawabkan  sesuai  dengan  ketentuan peraturan  perundang-undangan,  3)  kondisional  adalah  pelayanan  yang  sesuai dengan kondisi dan kemampuan pemberi dan penerima pelayanan dengan tetap berpegang  pada  prinsip  efisien  dan  efektivitas,  4)  partisipasi  adalah  pelayanan yang  dapat  mendorong  peran  serta  masyarakat  dalam  penyelenggaraan pelayanan  publik  dengan  memperhatikan  aspirasi  kebutuhan  dan  harapan masyarakat, 5) kesamaan hak yaitu pelayanan yang tidak melakukan diskriminasi dilihat  dari  aspek  apapun  khususnya  suku,  ras,  agama,  golongan,  status  sosial, dll, 6) keseimbangan hak dan kewajiban yaitu pelayanan yang mempertimbangkan aspek keadilan antara pemberi dan penerima.

## SIMPULAN DAN REKOMENDASI
Tingkat kepuasan peserta Diklatpim IV terhadap penyelenggaraan diklat yang dievaluasi pada level reaksi yang diukur dengan 26 indikator, diperoleh hasil sembilan  indikator  yang  tidak  sesuai  dengan  kriteria  yaitu  indikator:  1) penguasaan  widyaiswara  terhadap  materi  yang  diajarkan,  2)  kemampuan widyaiswara dalam mengangkat contoh kasus sesuai tugas dan fungsi peserta, 3) relevansi materi dengan tugas dan fungsi peserta, 4) tugas latihan yang diberikan membantu  peserta  memahami  materi,  5)  kenyamanan  asrama,  6)  kelengkapan sarana  pembelajaran,  7)  ketersediaan  sarana  olahraga/rekreasi,  8)  kecukupan konsumsi  yang  disediakan  untuk  peserta,  dan  9)  keramahan  serta  penampilan pelayan yang bertugas di ruang makan.
Pemerolehan  pengetahuan  bagi  peserta  setelah  mengikuti  Diklat  PIM-IV yang dievaluasi pada level learning dapat disimpulkan bahwa terjadi peningkatan pemahaman  peserta  diklat  berkaitan  dengan  materi  yang  telah  dipelajarinya berdasarkan  skor  tes  akhir,  meskipun  untuk  hasil  evaluasi  level learning tidak sesuai dengan kriteria evaluasi yang telah ditetapkan yaitu minimal 80% peserta diklat  yang  memperoleh  skor  tes  akhir  minimal  pada  kategori  sedang  atau memperoleh  skor  minimal  70  ke  atas  karena  hanya  23,3%  peserta  yang memperoleh skor minimal 70.
Perubahan  perilaku  kerja  alumni  Diklat  PIM-IV  Angkatan  XVIII  yang diterapkan  ke  dalam  tugas  fungsinya  masing-masing  yang  dievaluasi  pada  level behavior diperoleh  hasil  sebagai  berikut  :a)  aspek  perilaku  alumni  diklat  dalam melaksanakan fungsi manajemen yang dievaluasi dengan empat indikator sesuai
dengan  kriteria  evaluasi,  b)  aspek  perilaku  alumni  diklat  dalam  pendelegasian tugas  dievaluasi  dengan  lima  indikator  sesuai  dengan  kriteria  evaluasi, c)  aspek perilaku  alumni  diklat  dalam  melakukan  kordinasi  dievaluasi  dengan  tiga indikatorterdapat  satu  indikator  yang  tidak  sesuai  dengan  kriteria  evaluasi,  dan d) aspek perilaku alumni diklat dalam pengambilan keputusan dievaluasi dengan tiga indikator terdapat satu indikator yang tidak sesuai dengan kriteria evaluasi.
Peningkatan  kinerja  instansi  sebagai  dampak  perubahan  perilaku  alumni
Diklatpim  IV  angkatan  XVIII  pada  Balai  Diklat  Keagamaan  Makassar  yang dievaluasi  pada  level result yang  diukur  dengan  dua  aspek  yaitu  aspek  dampak prestasi  kerja  alumni  diklat  terhadap  kinerja  instansi  hasilnya,aspek  ini memenuhi  kriteria  evaluasi  yaitu  minimal  80%  alumni  diklat  yang  memperoleh skor total pada kategori minimal cukup baik. Aspek kualitas layanan alumni diklat yang  berdampak  pada  kualitas  layanan  instansi,  aspek  ini  tidak  memenuhi kriteria evaluasi.
Berdasarkan  temuan  evaluasi,  direkomendasikan  upaya  perbaikan  pada setiap  level.  Level reaction yaitu:  1)  aspek  widyaiswara,  sebelum  mengajar sebaiknya  terlebih  dahulu  mengidentifikasi  karakterisitk  peserta  diklat berdasarkan  jabatan  dan  tugas  fungsinya  masing-masing  yang  menjadi  acuan dalam  mengembangkan  materi  yang  akan  diajarakan.  Widyaiswara  harus memperhatikan kemampuan awal peserta untuk dijadikan dasar merekonstruksi materi  agar  materi  yang  telah  dikuasai  oleh  peserta  tidak  perlu  dibahas  lagi secara teoretis, langsung pada aplikasinya.
Balai  Diklat  Keagamaan  Makassar  perlu  melakukan  perbaikan-perbaikan terkait  dengan  sarana  dan  prasarana  yang  dikeluhkan  yaitu:  kapasitas  ruang belajar  ditambah  agar  penerapan  model  pembelajaran  lebih  efektif, sound system dipasang  secara  permanen  pada  masing-masing  meja  peserta  agar aktivitas  diskusi  semakin  efektif,  pasokan  air  bersih  harus  dikontrol kecukupannya, memperbaiki kondisi kamar mandi yang sering mandek agar tidak menimbulkan  aroma  yang  kurang  sedap,  dan  sarana  olahraga  serta  sarana rekreasi (hiburan) dilengkapi agar peserta tidak jenuh mengikuti diklat selama 40 hari.  Aspek  konsumsi  diklat;  Balai  Diklat  Keagamaan  Makassar  melakukan:  1) menyeleksi  secara  ketat  rekanan  yang  akan  menangani  catering  selama  diklat berlangsung, 2)  menunjuk  salah  seorang panitia  yang  berkompeten  pada  aspek ini  untuk  bertugas  memantau  kualitas  makanan,  kualitas  penyajian,  kualitas pelayanan, dan suasana ruang makan, dan 3) merekrut satu orang yang berlatar belakang  pendidikan  formal  tata  boga  yang  akan  bertanggung  jawab  penuh berkaitan dengan aspek konsumsi.
Level learning yaitu  melakukan  ujian  secara  berkala  terhadap  materi- materi  substantif  yang  harus  dikuasai  oleh  peserta  diklat  dalam  bentuk  ujian- ujian  blok,  mengontrol  sekuensi  materi  dan  relevansi  antara  materi  yang diajarkan  oleh  widyaiswara/narasumber  dengan  kurikulum  dan  silabus  serta modul  yang  dijadikan  acuan  agar  pemahaman  peserta  tidak  terganggu,  dan
Jurnal Evaluasi Pendidikan Vol. 4, No. 2, Oktober 2013, 132 - 145
membagikan  modul  kepada  peserta  pada  saat chek-in agar  peserta  sudah memperoleh gambaran umum berkaitan dengan materi yang akan dipelajarinya.

## DAFTAR PUSTAKA
Anggraini, Renita. (2013). “Evaluasi Efektivitas Pelaksanaan Diklat PIM-III dengan
Pendekatan Kirkpatrick pada Departemen Perindustrian dan
Perdagangan  Jakarta.” Google.com. http://lontar.ui.ac.id/opac/themes /green/detail.Jsp.
Arikunto,  Suharsimi.  (2004). Evaluasi  Program  Pendidikan. Jakarta:  PT.  Bumi Aksara.
Bagiyono.  (2012).  “Evaluasi  Pelatihan  Teknik  Mengajar  Berdasarkan  Model Empat  Level  Evaluasi  Pelatihan  Kirkpatrick . ” Prosiding  Elektronik Seminar  Nasional  SDM  Teknologi  Nuklir:  Pusat  Pengembangan Informatika Nuklir (PPIN)-BATAN Yogyakarta.
Davis,  Eddie.  (2005). Buku  Wajib  Para  Manager  Bagaimana  Menyelenggarakan Training, terjemahan Ramelan. Jakarta: PT. Buana Ilmu Populer.
Fitzpatrick,  Jody  L.,  James  R.  Sanders,  dan  Blaine  R.  Worthen.  (2004). Program Evaluation  Alternative  Approaches  and  Practical  Guidelines .  Boston:
Pearson Education.
Gomes,  Faustino  Cardoso.  (2003). Manajemen  Sumber  Daya  Manusia.
Yogyakarta: Andi.
Hamalik, Oemar. (2008). Kurikulum dan Pembelajaran . Jakarta: PT. Bumi Aksara.
Kirkpatrick,  Donald  L.,  dan  James  D.  Kirkpatrick.  (2005). Evaluating  Training Program the Four Levels . San Fransisco: Barrett-Koehler Publisher, Inc.
________.  (2007). Implementing  the  Four Levels:  A  Practical  Guide  for Effective Evaluation  of  Training  Programs. San  Fransisco:  Barrett-Koehler Pubilsher, Inc.
Moeheriono.  (2009). Pengukuran  Kinerja  Berbasis  Kompetensi. Bogor:  Ghalia Indonesia.
Putri,  Ratu  Ilma  Indra.  (2008).  “Efek  Potensial  Pelatihan  PMRI  terhadap  Guru- guru  Matematika  di  Palembang.” Jurnal  Pendidikan  Matematika, Vol. 3(2).
Riansyah,  Jaati.  (2009).  “Pendekatan  Andragogi  dalam  Diklat.” Google.com. http://diklat-jaati.blogspot.com/2009/09/pendekatan-andragogi-dalam- diklat.html.
Royse,  David,  Bruce    A.  Thyer,  Deborah  K.  Padgett,  dan  T.  K.  Logan.  (2006).
Program Evaluation: An Introduction. Belmont: Thomson Brooks/Cole.
Siagian, Sondang P. (2004). Manajemen Sumber Daya Manusia. Jakarta: PT. Bumi Aksara.
Silberman, Melvin  L.  (2006). Active  Training:  AHandbook  of  Technique,  Designs, Case Examples, and Tips. San Fransisco: Pfeiffer an Inprint of Wiley.
Widoyoko,  S.  Eko  Putro.  (2011). Evaluasi  Program  Pembelajaran:  Panduan Praktis Bagi Pendidik dan Calon Pendidik. Yogyakarta: Pustaka Pelajar.
Wirawan.  (2011). Evaluasi:  Teori,  Model,  Standar,  Aplikasi,  dan  Profesi. Jakarta: Rajawali Pers.