Jurnal Evaluasi Pendidikan, Vol. 2, No. 1, Maret 2011, 42-53 http://doi.org/10.21009/JEP

## PROGRAM EVALUATION ON TRAINING FOR ECHELON III IN MINISTRY OF RELIGIOUS AFFAIRS OF THE REPUBLIC OF INDONESIA

## Syaukani
Fakultas Tarbiyah IAIN Sumatera Utara Jl. IAIN No.1 Medan, Sumatera Utara syaukani@gmail.com
DOI: doi.org/10.21009/JEP.021.04

## Abstract
This is an evaluation study on the training program for the echelon III leader at the Ministry of Religious Affairs. This study utilizes the four levels of  Kirkpatrick’s evaluation modelreaction, learning, behavior, and results. There are 30 respondents in this study; All of them are the echelon III leaders at the Ministry of Religious Affairs all over Indonesia. The finding of the study shows  that the  23 rd training  program  conducted  by  the  center for  education  and  training  of  the  Ministry  of  Religious  Affairs  can  be  categorized  well performed,  since  85%  of  the  projected  program  can  be  utilized,  the  substances  of  the training can be understood and applied at the participants’ work environment. However, this  study  also  finds  some  parts  of  the  training  program  that  ought  to  be  reformed  in order to get a better result or outcomes in the future training program. The data informs us  that  the  use  of  the  outsider  tutors  is  still  important  in  order  to  get  a  broader knowledge  for  those  who  participate  in  the  training  and  the  facilities  to  support  the training should be improved.
Keywords :  Kirkpatrick’s  model  of  evaluation,  the  echelon  III  training  program,  training program effectivity

## EVALUASI PROGRAM PENDIDIKAN DAN PELATIHAN PIMPINAN ESELON III DI LINGKUNGAN KEMENTRIAN AGAMA RI

## Syaukani
Fakultas Tarbiyah IAIN Sumatera Utara Jl. IAIN No.1 Medan, Sumatera Utara syaukani@gmail.com

## Abstrak
Penelitian  ini  merupakan  penelitian  evaluasi  yang  difokuskan  pada  program pendidikan  dan  pelatihan  pejabat  eselon  III  di  lingkungan  Kementerian  Agama  RI. Penelitian ini menggunakan model evaluasi Kirkpatrick yang terdiri dari evaluasi: reaksi, pembelajaran,  perilaku,  dan  hasil/dampak.  Penelitian  menggali  informasi  dari  30 responden  sebagai  pejabat  eselon  III  di  Kementerian  Agama  seluruh  Indonesia  pada pendidikan  dan  pelatihan  angkatan  ke  23  tahun  2008.  Hasil  penelitian  menunjukkan bahwa baru 85% program pelatihan yang dapat dikatakan efektif. Ada beberapa bagian pelatihan yang perlu diperbaiki atau di reformasi agar pencapaian target pelatihan dapat lebih baik dan efektif.
Kata  kunci :  model  Evaluasi  Kirkpatrick,  pendidikan  dan  pelatihan  pejabat  eselon  III, efektivitas program pelatihan

## PENDAHULUAN
Peraturan Pemerintah Nomor 101 Pasal 2 tahun 2000 tentang pendidikan dan  pelatihan  bagi  pimpinan  (diklatpim) tingkat  III  bertujuan:  (a)  meningkatkan pengetahuan,  keahlian,  keterampilan,  dan  sikap  untuk  dapat  melaksanakan tugas jabatan struktural eselon III secara professsional, (b) menciptakan aparatur yang mampu berperan sebagai pembaharu dan perekat persatuan dan kesatuan bangsa,  (c)  memantapkan  sikap  dan  semangat  pengabdian  yang  berorientasi pada  pelayanan,  pengayoman,  dan  pemberdayaan  masyarakat,  dan  (d) menciptakan  kesamaan  visi  dan  dinamika  pola  pikir  dalam  melaksanakan  tugas pemerintahan  umum  dan pembangunan  demi  terwujudnya  pemerintahan  yang baik.
Tingkat  ketercapaian  tujuan  program  diklatpim  eselon  III  belum  banyak diketahui  atau  belum  terdapat  adanya  laporan  khusus  tentang  efektivitas program.  Efektivitas  program  ini  diketahui  dengan  cara  melaksanakan  evaluasi terhadap keseluruhan aspek internal maupun eksternal program. Evaluasi diklat dapat membantu pelaksana diklat dalam menentukan bagaimana melaksanakan pendidikan dan pelatihan dengan efektif. Menurut Ayers (2007: 1) ada empat hal yang  perlu  dicermati,  yakni:  1) planning :  menentukan  domain  (topik-topik, keseluruhan isi) dari pendidikan dan pelatihan, tujuan utamanya, dan objektifnya secara  detail,  2) programming :  menentukan  prosedur  pelaksanaan  pendidikan
Jurnal Evaluasi Pendidikan, Vol. 2, No. 1, Maret 2011, 42-53 http://doi.org/10.21009/JEP
dan  pelatihan,  widyaiswara,  fasilitas,  keuangan,  dan  sumber-sumber  lain  yang diperlukan, 3) pelaksanaan pendidikan dan pelatihan: menetapkan aktivitas yang menjamin  terlaksananya pendidikan  dan  pelatihan, dan  4)  merubah  pendidikan dan  pelatihan:  tentukan  kapan  dan  mengapa  untuk  dilanjutkan,  dievaluasi, diubah, atau diakhiri aktivitas pendidikan dan pelatihan tersebut.
Penelitian  ini  bertujuan  untuk  mengetahui:  (1)  reaksi  ( reaction )  peserta pendidikan dan latihan pimpinan eselon eselon III Kementerian Agama angkatan ke  XXIII  terhadap  keseluruhan  pelaksanaan  pendidikan  dan  pelatihan,  (2) peningkatan  pengetahuan,  perubahan  perilaku/behavior,  dan  peningkatan skill peserta, (3) perilaku ( behavior ) alumni pendidikan dan latihan pimpinan eselon III terhadap  kerja  pada  organisasi  dimana  mereka  bertugas,  dan  (4)  hasil akhir/dampak ( result ) dari pendidikan dan latihan pimpinan eselon III yang dapat dilihat dari segi profesionalisme mereka sebagai pimpinan unit kerja.
Kegunaan  penelitian  ini  adalah  untuk  mendeskripsikan  program pendidikan dan pelatihan dari aspek reaksi serta learning nya, dalam proses dan metode yang dipakai untuk men transfer knowledge ; menetapkan apakah tujuan program dapat tercapai; dan  menetapkan nilai atau keuntungan dari tujuan.
Pada tataran praktis banyak pihak yang dipandang memiliki kepentingan terhadap  informasi  akademis  yang  berkenaan  dengan  evaluasi  program pendidikan dan pelatihan pimpinan. Evaluasi program menurut Joint Committee yang  dikutip  Brinkerhoff  (1986:  15)  adalah  aktivitas  investigasi  yang  sistematis tentang  sesuatu  yang  berharga  dan  bernilai  dari  suatu  objek.  Evaluasi  program mengukur sesuatu sampai sejauhmana tujuan yang berharga dan bernilai dapat direalisasikan dengan baik. Menurut Herman dalam Tayibnapis (2000: 6) evaluasi program  adalah  segala  sesuatu  yang  anda  lakukan  dengan  harapan  akan mendatangkan hasil atau manfaat.
Evaluasi  program  merupakan  suatu  proses  penilaian  terhadap  suatu program atau kegiatan. Secara eksplisit terlihat bahwa evaluasi mengacu kepada pencapaian  tujuan,  sedangkan  secara  implisit  evaluasi  harus  membandingkan apa yang telah dicapai oleh program dengan apa yang seharusnya dicapai sesuai standar yang telah ditentukan.
Penelitian evaluasi  model yang dipilih ini dibangun atas empat tingkatan evaluasi  ( four  levels  of  evaluation ).  Pada  setiap  tingkatan  evaluasi didasari  atau dibangun  dari  tingkatan  sebelumnya.  Evaluasi  harus  selalu  dimulai  dari  level pertama  reaksi  ( reaction ),  lalu  dilanjutkan  ke  level  berikutnya  secara  bertahap yakni  ke  level  pembelajaran  ( learning ),  kemudian  level  tiga  perilaku  ( behavior ), dan  level  empat  yakni  hasil  ( results ).  Informasi  yang  diperoleh  dari  setiap tingkatan merupakan dasar bagi pelaksanaan evaluasi pada tingkatan berikutnya. Jadi setiap level di atasnya merepresentasikan ukuran efektivitas yang lebih tepat tentang training tersebut,  tapi pada  waktu  yang bersamaan  mengharuskan  kita untuk menganalisanya.
Penjelasan tentang hubungan setiap level tersebut dikemukakan sebagai berikut:
Evaluasi Reaksi ( Reactions )
Tahap ini diukur dengan cara menyebarkan questionnaire kepada peserta pada  saat  kegiatan  hampir  selesai.  Tahap  ini  mencoba  menjawab  pertanyaan berkenaan  dengan  persepsi  peserta,  apakah  mereka  menyukai  program tersebut? Apakah materinya relevan dengan bidang tugas mereka? Jenis evaluasi ini  disebut  oleh  Kirkpatrick  (1994:  3)  sebagai  “ smilesheet ”.  Menurutnya,  setiap program,  minimum  harus  dievaluasi  hingga  tahap/level  ini  untuk  menyiapkan perbaikan ( improvement ) program tersebut. Reaksi peserta memiliki konsekuensi penting bagi tahap berikutnya, yakni tahap pembelajaran (learning level) . Reaksi yang  negatif  sering  sekali  dapat  dikurangi.  Birnbrauer  (1987:  53)  mengatakan evaluasi  ini  dilaksanakan  melalui  pengisian  pertanyaan  dari  angket  yang diberikan.
Penilaian  pada  level  ini  bergerak  dari  kepuasan  peserta  kemudian mencoba untuk menilai kemajuan perkembangan skill , pengetahuan, atau sikap peserta. Pengukuran pada level ini dilakukan dengan cara yang beragam dari tes yang    formal  ke  nonformal  baik  dalam  bentuk    penilaian  tim  atau  penilaian perseorangan ( team assessment and self-assessment ).
Evaluasi Perilaku ( Behavior )
Pengukuran  pada  tahap  ini  dilakukan  dengan  cara  menyebarkan  angket kepada  staf  peserta  pendidikan  dan  pelatihan  dan  kepada  peserta/alumni pendidikan dan pelatihan serta diperkuat dengan wawancara baik kepada atasan langsung  maupun  kepada  alumni.  Pertanyaan  tersebut  intinya  adalah  tentang penambahan  pengetahuan  dan  perubahan  perilaku  terhadap  tugas-tugas  di kantor.
Evaluasi Hasil ( Results )
Penggalian  data  dan  informasi  dalam  penelitian  ini  dilakukan  terhadap 100  orang  pejabat  eselon  II  pemerintah  daerah  peserta  diklatpim  tingkat  II angkatan  VII  yang  diselenggarakan  oleh  Lembaga  Administrasi  Negara.  Dalam penelitian  tersebut  terungkap  bahwa  pelatihan  dan  materi training memiliki hubungan  yang  erat  dengan  kompetensi  kepemimpinan  pada  tingkat  daerah. Lebih  jauh  lagi  hasil  penelitian  menunjukkan  bahwa  setiap  peserta  dapat mengembangkan  berbagai  macam  kompetensi  kepemimpinan  mereka. Selanjutnya  pada  tahun  2005  Litbang  Departemen  Agama  melakukan  evaluasi program  diklat  guru-guru  Pendidikan  Agama  Sekolah  Menengah  Atas.  Dalam laporan hasil  evaluasi  Diklat  terungkap  bahwa penyusunan  tujuan  dan program diklat belum melibatkan pakar dan praktisi pendidikan dan input seleksi peserta tidak ketat. Hal ini dikemukakan karena usia dan pangkat peserta diklat ada yang belum memenuhi kriteria yang telah ditentukan.
Crohn  dan  Lee  dari  University  of  California  Los  Angeles  melakukan penelitian  tentang Evaluation  of  Youth  Leadership  Academy  Pilot  Program
Jurnal Evaluasi Pendidikan, Vol. 2, No. 1, Maret 2011, 42-53 http://doi.org/10.21009/JEP
January  2005  –  June  2005 .  Penelitian  ini  bertujuan  untuk  mengetahui  tingkat efektivitas  program  tersebut.  Program  tersebut  adalah  program  pelatihan keahlian  dalam  kepemimpinan  ( leadership  skill ).  Hasil  penelitian  menunjukkan bahwa  program  ini  cukup  efektif  karena  dapat  meningkatkan  kemampuan leadership peserta dari sebelumnya.
Seksi  kajian  mutu  pendidikan  LPMP  DIY  telah  mengadakan  evaluasi dampak  diklat  tindak  lanjut  uji  kompetensi  bagi  Guru  SMA  Propinsi  D.I. Yogyakarta. Dari kegiatan ini diperoleh hasil bahwa:
1. Diklat  tindak  lanjut  uji  kompetensi  guru  SMA  Propinsi  DIY  Tahun  2005 berdampak sangat baik terhadap alumni diklat.
2. Komponen  dampak  diklat  terhadap  institusi  yang  masih  perlu  ditingkatkan adalah peran guru dalam pengembangan sekolah.
3. Diklat  tindak  lanjut  uji  kompetensi  guru  SMA  Propinsi  DIY  Tahun  2005 berdampak sangat baik terhadap diri pribadi alumni diklat.
4. Komponen  dampak  diklat  terhadap  pribadi  guru  yang  masih  perlu ditingkatkan adalah kemampuan guru dalam kreativitas dan inovasi.
5. Diklat  tindak  lanjut  uji  kompetensi  Guru  SMA  Propinsi  DIY  Tahun  2005 berdampak  baik  terhadap  kegiatan  belajar  mengajar  (KBM)  yang  dilakukan oleh guru alumni diklat.
6. Komponen  dampak  diklat  terhadap  kegiatan  belajar  mengajar  yang  masih perlu ditingkatkan adalah kemampuan guru dalam melakukan evaluasi proses pembelajaran,  tindak  lanjut  evaluasi  pembelajaran,  dan  kemampuan  guru dalam menggunakan alat bantu dan media pembelajaran.
Studi  yang  telah  dilakukan  mengenai  efek  pelatihan  terhadap implementasi  program  studi  kasus  pelatihan  sanitarian  di  propinsi  Bali  tahun 2007  menunjukkan  bahwa  efektifitas  program  diklat  sangat  ditentukan  oleh pelaksana  program  dan  seluruh  staf  pengajar.  Selanjutnya  peningkatan pengetahuan peserta pelatihan menunjukkan hasil yang signifikan demikian juga dengan pemahaman materi sesudah pelatihan.
Dari  hasil  penelitian  dan  survey  tersebut  disadari  bahwa  perlu  adanya evaluasi  yang  terus  menerus  bagi  program  pelatihan  atau  diklat  untuk mendapatkan  hasil  sesuai  yang  diinginkan  atau  ditargetkan  dari  program  yang dilaksanakan. Penelitian ini merupakan penelitian evaluatif yang difokuskan pada program pendidikan dan pelatihan pejabat eselon III di  lingkungan Kementerian agama RI, dengan menggunakan model evaluasi Kircpatrick.

## METODE PENELITIAN
Kajian penelitian ini dilakukan dengan pendekatan riset evaluatif dengan menggunakan  model  evaluasi  yang  dikemukan  oleh  Kircpatrick  yakni  evaluasi reaksi, pembelajaran, perilaku, dan dampak/hasil.
Penelitian  ini  dilaksanakan  di  Pusat  Pendidikan  dan  Pelatihan  Pegawai Negeri  Sipil  Kementerian  Agama  RI  di  Ciputat.  Waktu  pelaksanaan  evaluasi dilaksanakan pada bulan Juli sampai Agustus 2008. Kemudian untuk melihat hasil
dari  diklat  pimpinan  tersebut  tiga  bulan  setelah  pelaksanaan  diklat  penelitian dilanjutkan,  yakni  pada  bulan  Desember  2008  di  kantor  tempat  tugas  para alumni diklat.
Pengumpulan data dilakukan dengan cara: 1) penyebaran angket kepada pejabat  yang  mengikuti  diklatpim  dan  angket  kepada  staf  mereka,  2) inventory checklist , 3) wawancara kepada atasan langsung dan alumni pendidikan dan pe- latihan pimpinan, dan 4) studi dokumen dan melihat hasil tes peserta pendidikan dan  pelatihan pimpinan. Sumber data diperoleh dari: peserta pelatihan, alumnus pendidikan, atasan, dan pelaksana.
Gambar 1. Desain Penelitian

## HASIL PENELITIAN DAN PEMBAHASAN
Berdasarkan  hasil  observasi  lapangan  diketahui  bahwa  peserta  cukup aktif  setiap  sesi.  Namun  masih  ada  sebagian  kecil  peserta  yang  kelihatannya mengantuk  dalam  beberapa  sesi  penyajian  materi.  Hasil  wawancara menunjukkan  bahwa  peserta  pada  umumnya  cukup  antusias  dalam  mengikuti diklat  pimpinan  eselon  III.  Menurut  beliau  peserta  selalu  hadir  pada  setiap  sesi dan mereka aktif dalam mengikuti sesi penyajian materi.
Sebanyak  71,66%  peserta  diklat  merasa kondisi  asrama  belum  memuas- kan, sebanyak 73,33% peserta diklat merasa kenyamanan kelas belum memadai, dan  sebanyak  60%  peserta  diklat  merasa  ketersediaan handout kurang memuaskan.  Jadi  berdasarkan  evaluasi  reaksi  peserta  terhadap  lingkungan pelatihan  dapat  dikatakan  efektif  karena  peserta  merasa  lingkungan  kondusif untuk pelatihan. Namun masalah kenyamanan asrama dan ruangan kelas belum dapat  dikatakan  baik  atau  kondusif.  Begitu  juga  dengan  ketersediaan handout malah hampir mendekati kriteria tidak kondusif.
Peserta Reaksi Waktu Tempat Materi Sarana Nara sumber Pembelajaran
Aplikasi Pengetahuan
Perilaku
Skill
Kualitas kerja, Efisiensi kerja, Kepemimpinan,
Inovasi kerja, Sikap terhadap pekerjaan, Atmosphir kerja Reaksi Pembelajaran dan sikap Hasil ( Result ) Sit ua si P rior ita s P rogr am da n Ou tc ome Evaluasi Program Diklatpim III
Fokus-Pengumpulan Data-Analisa dan Interpretasi Data-Laporan
Jurnal Evaluasi Pendidikan, Vol. 2, No. 1, Maret 2011, 42-53 http://doi.org/10.21009/JEP
Sebanyak  71,66%  peserta  diklat  dapat  dikatakan  kurang  aktif  dalam mengikuti sesi penyajian materi di kelas, sebanyak 56,3% responden mengatakan bahwa  widyaiswara  menarik  perhatian  mereka  dalam  penyajian  materi, sebanyak  30%    responden  mengatakan  penyajian  widyaiswara  sangat  menarik, sebanyak  13,3%  responden  yang  menyatakan  bahwa  widyaiswara  kurang menarik  dalam  penyajian  materi.  Namun  kalau  diberikan  skoring  terhadap penampilan widyaiswara di kelas memperoleh persentase 75,83%.
Relevansi materi  yang disajikan relevan dengan tugas-tugas kantor. Skor yang  diperoleh  adalah  95  dari  skor  maksimum  120,  dan  jika  dipersentasikan kedalam  skor  maksimum  maka  relevansi  materi  dengan  bidang  tugas  adalah sebanyak  79,1%  responden  menyatakan  bahwa  relevansi  materi  yang  disajikan relevan dengan tugas-tugas kantor. Sebesar  20% responden menyatakan bahwa materi  pelatihan  kurang  relevan  dengan  tugas.  Selanjutnya  75,8%  responden mencapai tujuan pembelajaran.  Tentang kebermanfaatan ilmu dari diklat, diper- oleh 79,1% dari persentasi skor maksimum. Ada 2 responden yang menyatakan materi diklat kurang bermanfaat. Hal ini diketahui bahwa sebagian materi yang disampaikan sudah mereka ketahui atau pelajari sebelumnya.
Sebanyak  94%  responden  mengatakan  bahwa  kemampuan  komunikasi antar  staf  dan  pimpinan  atau  kemampuan  verbal  mereka  lebih  baik.  Sebanyak 100% responden, merasa senang jika saran diberikan oleh stafnya. Terdapat tiga responden  yang  menyatakan  sangat  senang  jika  saran  diberikan  oleh staf/bawahannya.
Sebanyak  64%  responden  mengatakan  bahwa  mereka  merasa  mudah dalam  pengendalian  emosi  setelah  diklatpim.  Selebihnya  29%  responden mengatakan  bahwa  mereka  agak  mudah  dalam  pengendalian  emosi  di  tempat tugas. Ini artinya diklat kurang memberikan perubahan perilaku dalam hal emosi pada  alumni  diklat  terutama  pada  saat  yang  genting  dan  rumit.  Dan  ada  satu responden yang mengatakan diklat pimpinan kurang dapat merubah emosinya.
Mengenai  kemampuan team  work ternyata  cukup  baik.  Dari  penyataan yang  disampaikan  ternyata  mayoritas  responden  menjawab  adanya  terjadi perubahan  kemampuan  kerja  tim  setelah  diklat  pimpinan,  dimana  dinyatakan ”kerjasama antara saya dan staf sebagai suatu tim yang utuh lebih baik”. Hal ini juga  dikatakan  oleh  atasan  mereka  dalam  wawancara  bahwa  kerja  tim  sudah cukup baik.
Sebanyak 82% responden mengatakan mereka tidak mengalami kesulitan dalam  mentransfer  pengetahuan  kepada  staf,  dan  tiga  responden  mengatakan bahwa  mereka  sangat  mudah  dalam  mentransfer  ilmu  pengetahuan  yang diperoleh selama diklat kepada staf. Namun dalam hal kemampuan pemahaman bawahan  terhadap  arahan  pimpinan  tampaknya  ada  kendala.  Dari  data  yang terkumpul tampak bahwa tidak sepenuhnya ilmu yang ditransfer dapat dipahami oleh staf.
Sebanyak  77,7%  responden  mengatakan  pekerjaan  kantor  dapat diselesaikan sebelum batas waktu. Ini berarti diklat memberikan dampak positif
terhadap  tugas-tugas  kantor.  Temuan  ini  juga  didukung  beberapa  penelitan terdahulu  yang  menyatakan bahwa training atau  pelatihan bagi  karyawan  akan dapat menghasilkan produktivitas kerja yang lebih baik.
Sebanyak 58% responden mengatakan bahwa pengetahuan yang mereka dapatkan  ketika  diklat  dapat  dipertahankan  dengan  baik  yakni  sebanyak  90%. Lima responden mengatakan ilmu yang dapat dipertahankan antara 80% sampai 75% saja dan satu responden mengatakan ilmu yang dapat dipertahankan sekitar 70%  saja.  Sebagian  besar  pengetahuan  yang  diperoleh  selama  diklat  dapat ditransfer kepada bawahan.
Evaluasi  perilaku  dari  peserta  pelatihan  setelah  kembali  ke  kantor penilaian dapat dikatakan sudah baik kecuali pada beberapa bidang masih perlu perbaikan  yakni  dalam  hal  penerapan  ilmu  kepada  staf,  mempertahankan  ilmu yang didapat dan kemampuan staf dalam memahami arahan pimpinan.
Pada  level  keempat,  level  hasil/ result ada  dua  bagian  yang  ditinjau  dari tahapan  hasil  ini,  yakni  hasil  secara  langsung  dan  tak  langsung.  Hasil  secara langsung yang dilihat adalah kualitas kerja ( quality ), ketuntasan kerja, efektivitas waktu ( time effectiveness ), dan efisiensi biaya ( budget efficiency ). Hasil secara tak langsung yang dilihat adalah kebiasaan kerja, iklim kerja, gaya kerja, perilaku ter- hadap pekerjaan, dan inisiatif.
Sebanyak 92% responden menyatakan bahwa dapat menyelesaikan tugas kantor  dengan  maksimal.  Oleh  karenanya  menurut  mereka  tugas  kantor  dapat diselesaikan  lebih  efektif,  yakni  pekerjaan  dapat  diselesaikan  tepat  waktu. Sebanyak    (35%)  responden  saja  yang  mengatakan  mereka  sedikit  mengalami kendala dalam mentransfer pengetahuan kepada staf.
Dalam hal pelaksanaan tugas-tugas dari keputusan yang sudah ditetapkan pimpinan,  para  staf  kelihatannya  tidak  selalu  mengalami  kendala,  karena sejumlah 5 responden (29,4%) mengatakan staf tidak mengalami masalah sama sekali  dalam  melaksanakan  keputusan  yang  sudah  ditetapkan.  Sebanyak  10 responden  (58,8%)  mengatakan  staf  menghadapi  sedikit  masalah  dalam melaksanakan  ke-putusan  yang  dibuat.  Dua  responden  yang  mengatakan  staf mengalami masalah dalam melaksanakan keputusan yang dibuat.
Dilihat  dari  segi  peningkatan  kemampuan  kerja  ( work  capability ) menunjukkan  peningkatan  yang  cukup  baik.  14  responden  mengatakan  bahwa kemampuan  pemecahan  masalah  dinas  bertambah,  bahkan  2  responden mengatakan kemampuan pemecahan masalah mereka sangat bertambah setelah mengikuti  diklat  tersebut.  Hanya  satu  responden  mengatakan  kemampuan pemecahan masalahnya tetap seperti sebelumnya, dalam artian sudah baik. Selain itu, kemampuan dalam memberikan feedback kepada atasan juga terjadi  penambahan.  Semua  responden  (100%)  mengatakan  bahwa  mereka memberikan feedback kepada  atasan  dalam  pelaksanaan  tugas-tugas  kantor. Kemampuan dalam memberikan feedback konstruktif kepada hasil kerja staf juga mengalami penambahan. Tiga belas responden mengatakan kemampuan dalam memberikan feedback konstruktif kepada hasil kerja staf meningkat, bahkan satu
Jurnal Evaluasi Pendidikan, Vol. 2, No. 1, Maret 2011, 42-53 http://doi.org/10.21009/JEP
responden  mengatakan  sangat  meningkat.  Hanya  dua  responden  yang mengatakan  kemampuan  dalam  memberikan feedback konstruktif  kepada  hasil kerja staf kurang bertambah dan satu responden mengatakan tidak bertambah.
Dari  aspek  kepemimpinan,  data  menunjukkan  bahwa  keterbukaan seorang  pimpinan  terhadap  saran  yang  diberikan  staf  menunjukkan  adanya penambahan.  Semua  responden  mengatakan  bahwa  mereka  terbuka  dalam menerima  saran  dari  staf  yang  berkenaan  dengan  bidang  tugas.  Selain  dari  itu para  alumni  juga  menunjukkan  sebagai  pemimpin  yang  baik  dalam  hal pemberian penghargaan kepada staf yang berprestasi dalam tugas-tugasnya.
Berdasarkan  evaluasi  terhadap  hasil  ( result )  dari  diklatpim  III  dapat disimpulkan  bahwa  diklatpim  telah  dapat  memberikan  dampak  atau  hasil  yang baik  terhadap  lingkungan  kerja  dan  penampilan  kerja  ( work  performance )  para alumni diklatpim eselon III angkatan ke XXIII tahun 2008. Namun ada satu bidang yang masih perlu perhatian yakni komunikasi dalam bahasa Inggris yang dituntut sebagai pimpinan eselon III.
Rekruitmen  peserta  diklat  yang  tidak  berdasarkan  tes,  tapi  berdasarkan kuota  dan  usulan  atasan.  Hal  ini  mengakibatkan  peserta  pelatihan  tidak  sama atau  lebih  kurang  sama  pengetahuan  dan  kemampuannya  dalam  berbagai  hal. Selanjutnya  hal  ini  berdampak  pada  persepsi  masing-masing  perserta  tehadap diklat akan beragam.  Pada akhirnya akan mempengaruhi bagi panitia pelaksana dalam menentukan materi yang relevan dengan kemampuan peserta. Untuk itu perlu  dipertimbangkan  beberapa  hal:  a)  seleksi  peserta  dilakukan  berdasarkan tingkat kelulusan tes yang dibuat secara baku oleh Lembaga Administrasi Negara (LAN), b) mayoritas peserta adalah mereka yang akan menduduki jabatan eselon III,  dan  c)  peserta  adalah  mereka  yang  memiliiki  bidang  tugas  yang  sama  atau paling tidak banyak kesamaan tugasnya.
Untuk  mengetahui  sejauhmana  ketercapaian  pembelajaran  pada  suatu pelatihan  atau  diklat  biasanya  dilakukan pretest dan posttest terhadap peserta. Menurut  Kirkpatrick  harus  dilaksanakan  tes  sebelum  ( pretest )  dan  tes  sesudah diklat  ( posttest ).  Dengan  demikian  dapat  diketahui  kemajuan  yang  dicapai  dari aspek pengetahuan, skill dan sikap.
Namun  kenyataan  di  lapangan  bahwa  tidak  dilaksanakan pretest ketika peserta  sudah  terpilih  menjadi  peserta  diklat  pimpinan  eselon  III.  Pihak penyelenggara hanya  melaksanakan  tes pada  akhir program  saja,  yakni  tes  dari aspek  sikap  dan  perilaku  kepemimpinan  serta  aspek  akademik/penguasaan materi  diklat.  Panitia  penyelenggara  seharusnya  sudah  menyiapkan  materi pretest atau  kalau  belum  punya  bahan pretest dapat  meminta  pada  Lembaga Administrasi  Negara.  Oleh  karena  itu  pada  penyelenggaraan  diklat  berikutnya seharusnya pretest dilakukan  pada  awal  setiap  diklat  apapun  tingkatannya. Dengan  adanya pretest dan postest maka  dapat  diketahui  sejauhmana keterserapan  materi diklat  oleh peserta diklat  yang pada  akhirnya dapat  dilihat perbedaan pengetahuan, kemampuan dan skill peserta pendidikan dan pelatihan pimpinan. Dan ini berimplikasi pada peningkatan pelaksanaan diklat kedepan.
Pada  pendidikan  dan  pelatihan  pimpinan  kedepan  perlu  adanya widyaiswara  dari  tenaga  professional  seperti  dari  perguruan  tinggi  pada  mata ajar  manajemen  bukan  hanya  mengandalkan  tenaga  widyaiswara  yang  ada  di Kementerian agama saja.
Peserta  diklat  yang  terdiri  dari  bidang  kerja  atau  tugas  yang  heterogen, menimbulkan  kekurangefektifan  dalam  penyajian  materi.  Oleh  karenanya penetapan  dan  pengelompokan  peserta  pada  pendidikan  dan  pelatihan pimpinan yang berikut hendaknya terdiri dari pejabat calon pejabat atau eselon III yang memiliki bidang tugas yang sejenis, sehingga penyampaian materi dapat lebih terfokus dan kebermanfaatannya juga lebih tepat.
Bedasarkan  data  yang  terkumpul  dan  hasil  pengamatan  transfer pengetahuan  sudah  cukup  baik.  Namun,  seperti  dikemukakan  oleh  atasan peserta  diklat,  Direktur  Pendidikan  Tinggi  Islam  dan  Kepala  Pusat  Litbang Kementerian  agama,  tidak  dapat  mengetahui  secara  pasti  apakah  terjadi perubahan  sikap  ka-rena  diklat  atau  bukan,  dan  sebenarnya  sulit  menetapkan kapan  perubahan  sikap  itu  terjadi.  Untuk  mengetahui  hal  tersebut  lembaga kepegawaian  perlu  melakukan  penilaian  terhadap  kinerja/ performance para pejabat yang telah pernah mengikuti pendidikan dan pelatihan pimpinan.
Hasil  atau result dalam  bentuk  unjuk  kerja  ( work  performance )  atau sumbangsih  pada  unit  kerja  merupakan  tolok  ukur  bagi  keberhasilan penyelenggaraan  program  diklat  pimpinan  eselon  III  angkatan  ke  XXIII  ini.  Hal yang  perlu  diperhatikan  dalam  pelaksanaan  diklat  pimpinan  eselon  III  kedepan dan  untuk  mendapatkan  hasil  lebih  baik,  maka  proses  pembelajaran  perlu disesuaikan  de-ngan  kemampuan  peserta,  dalam  artian  peserta  memiliki keahlian  dan  bidang  tugas  yang  sama,  bukan  dari  mereka  yang  bekerja  pada bidang yang jauh berbeda dengan peserta pelatihan lainnya.

## SIMPULAN
Pada tahapan reaksi ( reaction ), peserta merasa antusias, penuh perhatian untuk  mengikuti  diklat  dan  merasa  rugi  serta  kesal  jika  meninggalkan  sesi pelatihan.  Persentasi  skor  maksimum  rata-rata  adalah  88,3%  dengan  skor  rata- rata adalah 106. Terkait dengan masalah kenyamanan asrama dan ruangan kelas belum  bisa  dikatakan  baik  atau  kondusif  karena  rata-rata  skor  yang  diberikan untuk bidang ini adalah 88 dengan persentasi skor maksimumnya 73,3%. Namun ketersediaan  handout  masih  dianggap  kurang  kondusif  karena  skor  yang diperoleh sebanyak 72 dan persentasi skor maksimumnya adalah 60%. Menurut Kirkpatrick kondisi seperti ini tentu berdampak pada keberhasilan diklat. Reaksi keaktifan  peserta  terhadap  sesi  pelatihan  dapat  dikatakan  aktif  walaupun persentase kesiapan mereka hanya 71,6% saja, namun keseriusan mereka sudah sangat  baik  (85%).  Reaksi  peserta  terhadap  penampilan  widyaiswara  dapat dikatakan baik dalam berbagai hal yang diberi penilaian yakni: penyajian materi, penguasaan  materi,  penggunaan  metode  dan  bahasa  serta  usaha  pemberian motivasi kepada peserta dan evaluasi reaksi peserta terhadap kesesuaian materi
Jurnal Evaluasi Pendidikan, Vol. 2, No. 1, Maret 2011, 42-53 http://doi.org/10.21009/JEP
dengan  tugas-tugas  kantor  dapat  dikatagorikan  efektif  karena  skor  rata-rata persentase maksimum adalah 78,7%.
Pada  tahapan  pembelajaran  ( learning ),  karena  tidak  dilaksanakan  tes sebelum  diklat  ( pretest )  maka  tidak  tampak  perbedaan  pengetahuan  yang diperoleh dari diklat. Sedangkan tes sesudah diklat ( posttest ) menunjukkan hasil yang amat baik dengan nilai rata-rata 87. Nilai tertinggi peserta adalah 93,15 dan terendah  adalah  81,21.  Penilaian  ini  adalah  penilaian  dari  aspek  sikap  dan perilaku  kepemimpinan  sebesar  45%,  dan  dari  aspek  akademik/penguasaan materi sebesar 55%.
Kaitannya  dengan  keterpakaian  materi  diklat,  mayoritas  peserta mengatakan bahwa materi diklat relevan dengan tugas-tugas pejabat eselon III. Dan  ini  berdampak  pada  terjadinya  peningkatan  pengetahuan  yang  dirasakan peserta  adalah  dalam bidang  kepemimpinan  ( leadership ),  pengetahuan  tentang organisasi  kerja,  tata  kelola  dan  pengetahuan  tentang  pemecahan  masalah ( problem  solving ).  Ini  semua  tentu  memberikan  andil  yang  cukup  besar  pada pening-katan professionalisme pimpinan eselon III di Kementerian agama.
Tahapan  perilaku  ( behavior )  menunjukkan  terjadinya  peningkatan loyalitas  terhadap  pekerjaan/tugas  di  kantor  dan  adanya  peningkatan kemampuan  berkomunikasi,  kepercayaan  diri,  keterbukaan  terhadap  saran  dari staf  dan  kritikan  dari  atasan,  kemampuan  pengendalian  emosi  pada  saat  yang rumit,  dan  kemampuan team  work yang  meningkat,  serta  kesediaan  untuk mentransfer  pengetahuan  kepada  staf.  Namun  ada  beberapa  hal  yang  perlu dihatikan  oleh  alumni  diklatpim  III  yakni  dalam  hal  penerapan  dan mempertahankan  ilmu,  pengendalian  emosi  dan  kejelasaan  dalam  pemberian arahan kepada staf masih dalam katagori belum baik.
Pada  tahap  hasil/ result kualitas  kerja  alumni  menurut  penilaian  staf, atasan dan mereka sendiri, terjadi peningkatan yang cukup baik dan ketuntasan kerja  juga  dapat  lebih  efektif  dengan  waktu  yang  tidak  melebihi  batas  waktu ( timelimit )  yang  ditetapkan.  Hal  ini  berdampak  pada  efisiensi  kerja  serta  dapat mengurangi  pembiayaan.  Berdasarkan  evaluasi  terhadap  hasil  ( result )  dari diklatpim  III  dapat  disimpulkan  bahwa  diklatpim  telah  dapat  memberikan dampak  atau  hasil  yang  baik  terhadap  lingkungan  kerja  dan  penampilan  kerja ( work  performance )  para  alumni  diklatpim  eselon  III  angkatan  ke  XXIII  tahun 2008. Namun ada satu bidang yang masih perlu perhatian yakni kemampuan dan frekuensi  berkomunikasi  dalam  bahasa  Inggris  yang  dituntut  sebagai  pimpinan eselon III.

## DAFTAR PUSTAKA
Ayers,  Jerry  B.  (2008).  “Evaluating  Workshops  and  Institutes.”  Tennessee Technological University Practical Assessment, Research & Evaluation , Vol. 1 (8). http://pareonline.net/getvn.asp?v=1&n=8.
Birnbrauer,  H.  (1987).  ”Evaluation  Techniques  that  Work”. Training  and Development Journal . Vol. 41 (7). pp. 53-55.
Brinkerhoff, Robert O., et al . (1986). Program Evaluation: A Practitioner’s Guide for Trainers and Educators . Boston: Kluwer Nijhoff Publishing, 1986.
Fitzpatrick,  J.  L.,  James  R.  Sanders,  dan  Elaine  R.  Worthen.  (2004). Program Evaluation:  Alternative  Approaches  and  Practical  Guidelines .  Library  of Congress Cataloging in Publication Data.
Keputusan  Kepala  Lembaga  Adminstrasi  Negara  Nomor  54/2001.  (2001).
Pedoman  Penyelenggaraan  Pendidikan  Dan  Pelatihan  Kepemimpinan Tingkat III. Jakarta: Lembaga Adminstrasi Negara.
Kirkpatrick, Donald. (2006). Evaluating Training Programs. San Francisco: Berrett- Koehler Publishers, Inc., 2006.
Tayibnapis, F. Yusuf. (2000). Evaluasi Program . Jakarta: Rineka Cipta.
Peraturan Pemerintah Nomor 101 Tahun 2000 tentang Pendidikan dan Pelatihan Jabatan Pegawai Negeri Sipil. http://http://www.lan.go.id/doc/001.pdf.