Vol 9 No. 2 April 2023 p-ISSN : 2442-9511, e-2656-5862 DOI: 10.58258/jime.v9i1.5083/http://ejournal.mandalanursa.org/index.php/JIME
The New World Kirkpatrick Model ( NWKM) pada Pelatihan Mandiri Implementasi Kurikulum Merdeka (IKM) Melalui Platform Merdeka Mengajar (PMM)
Sussi Widiastuti 1 , Bachtiar S. Bachri 2 , Irena Y. Maureen 3

## Doktoral Teknologi Pendidikan, Universitas Negeri Surabaya
Article Info Abstrak Article history: Accepted: 14 April 2023 Publish: 17 April 2023 Indonesia  telah  mengalami  krisis  belajar  sebagaimana  ditunjukkan  oleh  berbagai  kajian  nasional dan  internasional.  Banyak  anak  Indonesia  yang  tidak  mampu  memahami  bacaan  sederhana  atau menerapkan  konsep  matematika  dasar.  Temuan  ini  juga  menunjukkan  kesenjangan  pendidikan yang  tajam  antara  daerah  dan  kelompok  sosial  di  Indonesia.  Hal  itu  diperparah  dengan  adanya pandemi Covid-19. Untuk mengatasi krisis dan berbagai tantangan tersebut, diperlukan perubahan sistemik  melalui  kurikulum.  Kementerian  Pendidikan  dan  Kebudayaan  mengembangkan Kurikulum  Merdeka  sebagai  bagian  penting  dari  upaya  pemulihan  pembelajaran  dari  krisis  yang dialami  sejak  lama.  Kurikulum  Merdeka  merupakan  kurikulum  dengan  berbagai  pembelajaran intrakurikuler  yang  isinya  akan  lebih  optimal  sehingga  siswa  memiliki  waktu  yang  cukup  untuk menggali konsep dan memperkuat kompetensi. Pendekatan utama dalam mendukung Implementasi Kurikulum  Merdeka  (IKM)  adalah  melalui  penggunaan  Platform  Merdeka  Mengajar  (PMM) secara mandiri dan bukan dengan rangkaian bimbingan teknis yang dilakukan secara bertahap dari kementerian ke sekolah (cascading system). PPM adalah platform teknologi yang disediakan untuk mendukung  guru  agar  dapat  mengajar  dengan  lebih  baik  menggunakan  Kurikulum  Merdeka,
meningkatkan  kompetensi,  dan  mengembangkan  karir.  Pembinaan  mandiri  IKM  melalui  PMM sebagai  program  yang  harus  dievaluasi  keberhasilan  dan  kemajuannya.  New  World  Kirkpatrick Model (NWKM) adalah versi baru dari model evaluasi Kirkpatrick yang digunakan sebagai model evaluasi  untuk  pelatihan  ini.  NWKM  lebih  ramah  konteks  dan  proses.  Model  ini  berakar  pada pendekatan  reduksionis  yang  menganggap  bahwa  kesuksesan  atau  kegagalan  dapat  dijelaskan secara sederhana dengan mereduksi program menjadi elemen-elemennya dan mengujinya.
Keywords:
Implementation of Kurikulum Merdeka Platform Merdeka Mengajar The New World Kirkpatrick Model
Article Info
Abstract Article history: Diterima: 14 April 2023 Terbit: 17 April 2023 Indonesian  has  experienced  a  learning  crisis  as  shown  by  various  national  and  international studies.  Many  Indonesian  children are  unable  to  understand  simple  reading or  apply  basic  math concepts. The findings also show the steep educational gap between regions and social groups in Indonesia.  This  was  exacerbated  by  the  Covid-19  pandemic.  To  overcome  the  crisis  and  various challenges,  systemic changes  are  needed  through  the  curriculum.  The  Ministry of  Education and Culture developed Kurikulum Merdeka as an important part of efforts to recover learning from the crisis that has been experienced for a long time. Kurikulum Merdeka is a curriculum with various intra-curricular learning where the content will be more optimal so that students have enough time to  explore  concepts  and  strengthen  competence.  The  main  approach  in  supporting  the Implementasi  Kurikulum  Merdeka  (IKM)  is  through  the  use  of  the  Platform  Merdeka  Mengajar (PMM)  independently and  not with  a  series  of  technical  guidance  carried  out  in  stages  from  the ministry to schools (cascading system). PPM is a technology platform provided to support teachers so  they  can teach using the  Kurikulum  Merdeka better,  improve their competencies, and develop careers.  IKM  self-training  through  PMM  as  a  program  whose  success  and  progress  must  be evaluated.  The  New  World  Kirkpatrick  Model  (NWKM)  is  a  new  version  of  the  Kirkpatrick evaluation  model  which  is  used as an evaluation  model  for this  training. NWKM is  more  context and  process  friendly.  This  model  is  rooted  in  the  reductionist  approach  which  can  presume  that success  or  failure  can  be  explained  simply  by  reducing  the  program  to  its  elements  and  testing them.
This is an open access article under the Lisensi Creative Commons Atribusi-BerbagiSerupa 4.0 Internasional
Corresponding Author: Name of Corresponding Author, Sussi Widiastuti Universitas Negeri Surabaya Email : wsussie75@gmail.com

## 1. PENDAHULUAN
Selama lebih dari dua dekade, istilah “ e-learning ” telah dikenal oleh banyak orang, dimana ciri  utama  dari e-learning adalah  penggunaan  teknologi  sebagai  sarana  dalam  pembelajaran. Namun  tidak  banyak  sekolah  yang  menggunakan  metode  pembelajaran  tersebut  dan  tidak banyak  pula  yang  benar-benar  memberikan  perhatian  pada  pembelajaran  berbasis  teknologi hingga krisis pandemi. Pandemi global COVID-19 pada Maret 2020 mengharuskan penutupan sekolah  yang  merupakan  salah  satu  upaya  dalam  mencegah  penyebaran  virus  Corona. Penutupan  sekolah  yang  tidak  direncanakan  dengan  baik  dapat  menyebabkan  timbulnya berbagai  masalah  bagi  siswa,  guru,  orang  tua,  dan  masyarakat.  Minat  akademik  dan  performa
siswa  menjadi  berkurang.  Kualitas  pembelajaran  yang  menurun  tentu  saja  akan  berpengaruh pada  pencapaian  akademik  yang  menyebabkan  ketertinggalan  pembelajaran  ( learning  loss ) yang berbeda-beda pada ketercapaian kompetensi peserta didik. Keadaan ini merupakan puncak gunung  es  dari  krisis  pembelajaran  ( learning  crisis )  yang  dialami  Bangsa  Indonesia.  Berbagai studi nasional maupun internasional menunjukkan bahwa banyak dari anak-anak Indonesia yang tidak mampu memahami bacaan sederhana atau menerapkan konsep matematika dasar. Temuan tersebut  juga  memperlihatkan  kesenjangan  pendidikan  yang  curam  di  antarwilayah  dan kelompok sosial di Indonesia (Kemendikbudristek, 2021).
Untuk  mengatasi  krisis  dan  berbagai  tantangan  tersebut,  maka  diperlukan  perubahan  yang sistemik,  salah  satunya  melalui  kurikulum.  Kurikulum  dapat  melancarkan  proses  belajar mengajar  (Nasution,  2012).  Menurut  Saylor,  Alexander,  dan  Lewis  (1999)  kurikulum  dapat menstimulus  belajar  peserta  didik,  baik  belajar  di  dalam  kelas,  di  halaman  sekolah,  maupun ketika  berada  di  luar  sekolah. Kurikulum  menentukan  materi  yang  diajarkan  di  kelas. Kurikulum  juga  mempengaruhi  kecepatan  dan  metode  mengajar  yang  digunakan  guru  untuk memenuhi  kebutuhan  peserta  didik.  Kemendikbudristek  mengembangkan  Kurikulum  Merdeka sebagai  bagian  penting  dalam  upaya  memulihkan  pembelajaran  dari  krisis  yang  sudah  lama dialami  (Kemendikbudristek,  2021).  Kurikulum  Merdeka  adalah  kurikulum  dengan pembelajaran intrakurikuler yang beragam di mana konten akan lebih optimal agar peserta didik memiliki cukup waktu untuk mendalami konsep dan menguatkan kompetensi (Kemendikbudristek,  2021).  Guru  dapat  memilih  berbagai  perangkat  ajar  sehingga pembelajaran dapat disesuaikan dengan kebutuhan belajar dan minat peserta didik. Profil Pelajar Pancasila  yang merupakan perwujudan pelajar  Indonesia sebagai  pelajar sepanjang hayat  yang memiliki kompetensi  global dan berperilaku sesuai  dengan nilai-nilai  Pancasila dikembangkan melalui projek dan terintegrasi dalam pelajaran (BSKAP, 2022).
Pelatihan  mandiri  IKM  melalui  PMM  diperuntukkan  bagi  satuan  pendidikan  yang menerapkan  Kurikulum  Merdeka  secara  mandiri.  Satuan  pendidikan  memilih  opsi  IKM: Mandiri  Belajar,  Mandiri  Berubah,  atau  Mandiri  Berbagi.  Pendekatan  utama  dalam  dukungan Implementasi  Kurikulum  Merdeka  (IKM)  melalui  penggunaan  Platform  Merdeka  Mengajar (PMM)  secara  mandiri  dan  bukan  dengan  serangkaian  bimbingan  teknis  (bimtek)  yang dilakukan berjenjang dari pusat hingga sekolah ( cascading system ) (Direktorat SD, 2022). PPM adalah  platform  teknologi  yang  disediakan  untuk  mendukung  para  guru  agar  dapat  mengajar menggunakan  Kurikulum  Merdeka  dengan  lebih  baik,  meningkatkan  kompetensinya,  dan berkembang  secara  karier  (Kemendikbudristek,  2022).  PMM dibangun  untuk  menunjang IKM  agar  dapat membantu  guru  dalam  mendapatkan  referensi,  inspirasi,  dan pemahaman  yang  mendalam  tentang  Kurikulum  Merdeka. Platform  ini  juga  menjadi teman  penggerak  bagi  guru  dan  kepala  sekolah  dalam  mengajar,  belajar,  dan  berkarya (Pusat Informasi Kemdikbud, 2022).
Pelatihan mandiri IKM melalui PMM merupakan sebuah program karena memenuhi syarat- syarat  definisi  suatu  program.  Menurut  Suharsimi  Arikunto  dan  Cepi  Safruddin  (2018) pengertian program secara umum adalah rencana, sedangkan pengertian program secara khusus adalah suatu unit atau kesatuan kegiatan yang merupakan realisasi atau implementasi dari suatu kebijakan,  berlangsung  dalam  proses  yang  berkesinambungan,  dan  terjadi  dalam  suatu organisasi  yang  melibatkan  sekelompok  orang.  Menurut  Hans  Hochholzer  dalam  E  Hetzer (2012) program adalah kumpulan kegiatan nyata, sistematis, dan terpadu untuk mencapai tujuan dan  sarana  yang  telah  ditetapkan.  Definisi  lain  dikemukakan  oleh  Tayibnapis  (2000)  yang mengartikan  program  sebagai  segala  sesuatu  yang  dilakukan  seseorang  dengan  harapan  akan mendatangkan hasil atau pengaruh. Terdapat tiga pengertian dalam menentukan program  yaitu merupakan  realisasi  dan  implementasi  dari  suatu  kebijakan;  terjadi  dalam  kurun  waktu  yang relatif  lama;  bukan  kegiatan  tunggal,  tapi  jamak  berkesinambungan;  dan  terjadi  dalam organisasi yang melibatkan sekelompok orang.
Keberhasilan  dan  kemajuan  suatu  program  dapat  diketahui  dengan  melaksanakan  evaluasi program.  Stufflebeam  dan  Shinkfield  dalam  Widoyoko  (2009),  menyatakan  bahwa  evaluasi
adalah  proses  delinasi,  perolehan,  dan  pemenuhan  deskriptif  dan  informasi  keputusan  tentang nilai  dan kemampuan tujuan, desain,  implementasi,  dan dampak untuk  memandu pengambilan keputusan,  melayani  kebutuhan  untuk  akuntabilitas  dan  mempromosikan  fenomena  yang berlangsung. Fitzpatrick, Sanders, dan Worthen menulis pengertian, langkah-langkah, dan arah evaluasi.  Evaluasi  merupakan  proses  identifikasi,  klarifikasi,  dan  aplikasi  kriteria  yang  kuat untuk menentukan nilai evaluan (keberhargaan atau manfaatnya) berdasarkan kriteria. Evaluasi meliputi:
1) pembuatan standar untuk menilai kualitas dan memutuskan apakah standar tersebut bersifat relatif atau absolut,
2) pengumpulan informasi yang relevan, dan
3) penerapan standar untuk menentukan nilai, kualitas, manfaat, efektivitas, atau signifikansi.
Arah  evaluasi  adalah  memberikan  rekomendasi  untuk  mengoptimalkan  evaluan  sesuai dengan  tujuan-tujuan  evaluan  atau  untuk  membantu  pihak-pihak  terkait  ( stakeholder ) memutuskan  apakah  evaluan  akan  diperbaiki,  dilanjutkan,  atau  dikembangkan  (Jody,  et  al, 2004).  Berdasarkan  pengertian  di  atas,  satu  hal  yang  mencirikan  evaluasi  adalah  pengambilan keputusan.  Keputusan  ini  berkenaan  dengan  nilai  dan  manfaat  evaluan.Banyaknya  metode evaluasi,  seperti  model  evaluasi Blackbox Tyler,  Teoritik  Taylor,  Mac  Guire,  Sistem  Alkin, Countenance Stake,  CIPP,  dan  Kirkpatrick,  maka  evaluasi  ini  fokus  pada  model  evaluasi Kirkpatrick  versi  baru.  Dalam  menerapkan  model-model  evaluasi,  evaluator  harus menggunakan  strategi  yang  umum,  yaitu  mulai  dari  identifikasi  komponen  dan  indikator (Arikunto dan Safrudin, 2018). The New World Kirkpatrick Model (NWKM) adalah versi baru dari  model  evaluasi  Kirkpatrick  yang  digunakan  sebagai  model  evaluasi  terhadap  pelaksanaan pelatihan  mandiri  IKM  melalui  PMM  di  SMKN  1  Ngasem  Kabupaten  Kediri.  Model  evaluasi Kirkpatrick  dipilih  karena  dianggap  dapat  mewakili  setiap  tahapan  pelatihan  yang  telah dilaksanakan secara spesifik dan mampu memberikan hasil output yang maksimal dengan item: (1) evaluasi terhadap reaksi ( reaction evaluation ), (2) evaluasi terhadap belajar ( learning evaluation ),
(3) evaluasi terhadap perilaku ( behavior evaluation ), dan (4)  evaluasi  hasil  ( result  evaluation )  (Kirkpatrick,  2016). The  New  World  Kirkpatrick  Model (NWKM) adalah versi baru dari model Kirkpatrick yang lebih ramah terhadap konteks dan proses.  Model  ini  berakar  dari  pendekatan  reduksionis  yang  dapat  menduga  bahwa kesuksesan  atau  ketidaksuksesan  dapat  diterangkan  secara  sederhana  melalui  reduksi program menjadi elemen-elemen dan mengujinya (Gandomkar, 2018).

## 2. THE NEW WORLD KIRKPATRICK MODEL
Kirkpatrick  (1998)  mengemukakan  “ learning  can  be  defined  as  the  extend  to  which participans  change  attitudes,  improving  knowledge,  and/or  increase  skill  as  a  result  of attending  the  program ”.  Peserta  pelatihan  dikatakan  telah  belajar  apabila  pada  dirinya  telah mengalami  perubahan  sikap,  perbaikan  pengetahuan,  dan  peningkatan  keterampilan.  Transfer pembelajaran ke perilaku terjadi ketika peserta pelatihan menerapkan apa yang telah dipelajari ke  dalam  pekerjaan  mereka.  Kefektifan  program  dalam  kondisi  keterbatasan  waktu,  dana,  dan sumber  daya  dapat  dicapai  melalui  model  sederhana  dan  tahan  uji  menggunakan The  New World Kirkpatrick Model (NWKM) seperti pada gambar 1 yang terdiri atas empat level: level 4 result , level 3 behavior , level 2 learning , dan level 1 reaction (Kirkpatrick, 2021).
Gambar 1. New World Kirkpatrick Model (NWKM)
Level  1: Reaction (reaksi). Reaction (reaksi)  adalah  level  dimana  peserta  menemukan pelatihan  yang  menyenangkan,  menarik,  dan  relevan  dengan  pekerjaan  mereka.  Level  1 memiliki  tiga  dimensi  yaitu customer  satisfaction (kepuasan  pelanggan),  keterlibatan,  dan relevansi.  Dr  Kirkpatrick,  Sr.,  menyebut customer  satisfaction (kepuasan  pelanggan)  sebagai pengukuran  terhadap  kepuasan  pelanggan. Engagement (keterlibatan)  mengacu  pada  level  di mana  peserta  secara  aktif  terlibat  dan  berkontribusi  terhadap  pengalaman  belajar.  Tingkat keterlibatan berhubungan langsung dengan tingkat pembelajaran yang dicapai. Tanggung jawab pribadi  dan  minat  merupakan  faktor  dalam  pengukuran  keterlibatan  peserta.  Tanggung  jawab pribadi  berkaitan  dengan  seberapa  besar  kehadiran  dan  perhatian  peserta  selama  pelatihan. Relevance (relevansi)  adalah  level  dimana  peserta  pelatihan  akan  memiliki  kesempatan  untuk menggunakan atau menerapkan apa yang telah mereka pelajari dalam pelatihan di tempat kerja. Relevansi  penting  untuk  menilai  pelatihan  karena  bahkan  pelatihan  terbaik  pun  hanya membuang-buang sumber daya jika peserta tidak  menerapkan  dalam  pekerjaan mereka sehari- hari.
Level  2: Learning (pembelajaran) . Learning (pembelajaran)  adalah  level  dimana  peserta memperoleh  pengetahuan,  keterampilan,  sikap,  percaya  diri,  dan  komitmen  berdasarkan keikutsertaan mereka dalam kegiatan pembelajaran. Pada Kirkpatrick versi baru keyakinan dan komitmen ditambahkan ke level 2 untuk membantu mengatasi kesenjangan antara pembelajaran dan  perilaku  dan  mencegah  siklus  pemborosan  saat  pelatihan  diulang  untuk  orang-orang  yang memiliki  pengetahuan  dan  keterampilan  yang  diperlukan  tetapi  gagal  melakukan  pekerjaan dengan  tepat. Knowledge (pengetahuan)  adalah  level  dimana  peserta  mengetahui  informasi tertentu,  seperti  yang  dicirikan  oleh  frasa,  "Saya  tahu  itu”. Skill (keterampilan)  adalah  level dimana  peserta  mengetahui  bagaimana  melakukan  sesuatu  atau  melakukan  tugas  tertentu, seperti diilustrasikan dengan frasa, "Saya bisa melakukannya sekarang."
Attitude (sikap)  didefinisikan  sebagai  level  dimana  peserta  percaya  bahwa  apa  yang  dipelajari selama pelatihan  akan bermanfaat  di  tempat kerja. Sikap  ini  ditandai dengan ungkapan,  “Saya percaya ini akan bermanfaat” (melakukan ini dalam pekerjaan saya). Confidence (kepercayaan diri) didefinisikan sebagai  level  dimana  peserta  pelatihan berpikir  bahwa  mereka  akan mampu melakukan  apa  yang  mereka  pelajari  selama  pelatihan  di  tempat  kerja,  seperti  yang  dicirikan oleh  ungkapan,  “Saya  pikir  saya  bisa  melakukannya  pada  pekerjaan."  Mengatasi  kepercayaan diri  selama  pelatihan  akan  membawa  peserta  didik  lebih  dekat  ke  pekerjaan  yang  diinginkan. Commitment (komitmen)  didefinisikan  sebagai  level  dimana  peserta  mempunyai  niat  untuk menerapkan  pengetahuan  dan  keterampilan  yang  dipelajari  selama  pelatihan  dalam  pekerjaan mereka.  Hal  ini  ditandai  dengan  ungkapan,  "Saya  akan  melakukannya  di  tempat  kerja." Komitmen  berhubungan  dengan  motivasi  pembelajar  dengan  mengakui  bahwa  meskipun pengetahuan  dan  keterampilan  telah  dikuasai,  masih  diperlukan  upaya  untuk  menggunakan informasi atau melakukan keterampilan
Level  3: Behavior (perilaku). Level  3  adalah  level  dimana  peserta  menerapkan  apa  yang mereka  pelajari  selama  pelatihan,  yang  terdiri  atas  tiga  komponen: critical  behavior (perilaku kritis), required  drivers (penggerak  yang  dibutuhkan),  dan on-the-job  learning . Critical behavior (perilaku  kritis)  adalah  beberapa  tindakan  spesifik,  yang  jika  dilakukan  secara konsisten  di  tempat  kerja,  akan  memiliki  dampak  besar  pada  hasil  yang  diinginkan.  Mungkin ada  ribuan  perilaku  yang  dilakukan  oleh  karyawan  tertentu  di  tempat  kerja;  perilaku  kritis adalah  perilaku  yang  telah  diidentifikasi  sebagai  yang  paling  penting  untuk  mencapai kesuksesan organisasi. Required drivers (penggerak yang dibutuhkan) adalah proses dan sistem yang  memperkuat,  memonitor,  mendorong,  dan  memberi  penghargaan  kinerja  pada  perilaku kritis di tempat kerja. Organisasi yang diperkuat dengan implementasi pelatihan yang didukung dengan  akuntabilitas  dan  sistem  pendukung  yang  baik  mempunyai  tingkat  keberhasilan  85%. Sebaliknya,  perusahaan  yang  hanya  mengandalkan  acara  pelatihan  saja  untuk  menciptakan prestasi  kerja  yang baik,  tingkat keberhasilannya  hanya  15%  (Brinkerhoff, 2006). On-the-Job- Learning adalah  bagian  dari  level  3  yang  merupakan  rekognisi  dua  fakta  dunia  kerja  modern meliputi  (1)  70%  pembelajaran  diterapkan  di  dunia  kerja;  (2)  Tanggung  jawab  personal  dan motivasi adalah partner kunci dukungan luar dan upaya penguatan untuk kinerja yang optimal. Level  4: Result (hasil). Level  ini  mengacu  pada  capaian  yang  ditargetkan  sebagai  hasil  dari pembelajaran. Kesalahan  yang sering terjadi adalah evaluator menentukan hasil dalam lingkup kecil  bukan  berskala  global  untuk  keseluruhan.  Ini  menciptakan  wilayah  kekuasaan  yang kontraproduktif bagi efektivitas organisasi. Kejelasan hasil pada level 4 sangat penting. Menurut definisi,  hasil  adalah  kombinasi  antara  tujuan  dan  misi  organisasi.  Pada  perusahaan for-profit , artinya memberikan produk atau layanan  yang menguntungkan ke pasar. Pada perusahaan not- for-profit ,  pemerintah  atau  organisasi  militer,  berarti  menyelesaikan  misi  dalam  sumber  daya yang  telah  dialokasikan. Leading  indicators (indikator  utama)  membantu  menjembatani kesenjangan  antara  inisiatif  dan  upaya  individu,  dan  hasil  organisasi.  Indikator  utama didefinisikan  sebagai  pengamatan  dan  pengukuran  jangka  pendek  untuk  menciptakan  dampak positif  terhadap  hasil  yang  diinginkan.    Pada  umumnya  indikator  utama  meliputi:  kepuasan pelanggan, keterlibatan karyawan, volume penjualan, pengendalian biaya, kualitas, dan saham. Ketika  indikator  utama  dibuat  acuan  pengukuran  yang  penting  maka  harus  seimbang  dengan hasil.
Tabel 1. Kelebihan dan Kelemahan Model Evaluasi Kirk patric Versi Lama dan Versi Baru
( The New World Kirkpatrick Model ) No Kelebihan Kelemahan Model evaluasi Kirkpatrick versi lama 1 Sederhana, menyajikan informasi deskriptif dan evaluatif, serta merupakan  pendekatan  praktis  (Bates, 2004). Kecenderungan digunakan pada pendidikan tingkat rendah, kaku (mengesampingkan  aspek  penting  lainnya dari evaluasi), dan kurangnya bukti tentang rantai  sebab-akibat  di  antara  level-level tersebut (Cahapay, 2021). 2 Seluruh level penting dalam penentuan keefektifan program. Berorientasi
pada outcome dan  tujuan  serta  fokus pada penentuan hasil program (Reio et al., 2017). Merupakan model evaluasi sumatif, mengevaluasi  setelah  program  selesai  dan memberikan ringkasan hasil laporan untuk dipertimbangkan  kelanjutannya  dan/atau ditingkatkan (Reio et al., 2017)
3 Meskipun  tidak  memuat  evaluasi formatif,  tujuannya  adalah  untuk keefektifan keseluruhan program (Miller, 2018: 17) Tidak didesain untuk mengevaluasi perencanaan  dan  penciptaan  program kepemimpinan,  tetapi  hanya  hasil  akhir. Ketika  menggunakan  model  ini,  harus menilai  empat  level  untuk  memastikan oucomes paling  akurat.  Kesimpulannya:
No Kelebihan Kelemahan “keterbatasan  evaluasi  pada  satu  level tidak  akan  memberikan  gambaran  yang memadai  pada  keseluruhan outcomes pelatihan” (Reio et al., 2017).
4 Lebih komprehensif; karena mencakup hard skill dan soft skill , objek evaluasi tidak  hanya  hasil  belajar  semata  tapi juga  mencakup  proses,  output,  dan outcomes ; dan mudah untuk diterapkan (Yunus, 2021). Kurang  memperhatikan  input  dan  sulit mengukur dampak (Yunus, 2021).
Kelebihan  model  evaluasi  Kirkpatrick  versi  baru  ( The  New  World  Kirkpatrick Model /NWKM) (Kirkpatrick, 2021)
1 Level  4  dimulai  terlebih  dahulu  agar  evaluator  dapat  mengorganisasikan  pekerjaan mereka, ketika merencanakan program dan mengambil inisiatif organisasi.
2 Penambahan  elemen  baru  pada  level  4  yaitu  akuntabilitas  dan  penambahan  dua elemen baru pada level 2 yaitu kepercayaan diri dan komitmen.
3 Terdapat proses memonitor dan menyesuaikan pada level 3 dan 4.
4 Memuat proses memonitor, memperkuat, mendorong, dan memberikan penghargaan pada level 3.

## 3. METODE PENELITIAN
Model  evaluasi  program  ini  menggunakan The  New  Workd  Kirkpatrick  Model (NWKM) yang  terdiri  atas  empat  level  yaitu  level  4: result (hasil) , level  3: behavior (perilaku) , level  2: learning (pembelajaran),  dan  level  1: reaction (reaksi)  sebagai  sebuah  sekuen  dalam  rangka menjawab pertanyaan-pertanyaan seperti disajikan pada tabel 2.

## Tabel 2. NWKM pada Evaluasi Pelatihan Mandiri Implementasi Kurikulum Merdeka (IKM) Melalui Platform Merdeka Mengajar (PMM)
Result (Hasil) Behavior (Perilaku) Learning (Pembelajaran) Reaction (Reaksi) Apakah yang menjadi desired outcomes yang menjadi acuan
leading indicators
(indikator utama)?
1) Apakah yang menjadi critical behaviors (perilaku-perilaku kritis)? 2) Apakah yang menjadi required drivers (penggerak yang dibutuhkan)? 3) Apakah 70% pembelajaran sudah diterapkan? 4) Perilaku  apa  yang terjadi pada on-the- job learning ? 1. Bagaimana pengetahuan  dan keterampilan peserta saat pembelajaran? 2. Bagaimana  sikap peserta saat kegiatan pembelajaran? 3. Bagaimana kepercayaan  diri peserta saat kegiatan pembelajaran? 4. Bagaimana komitmen peserta saat kegiatan pembelajaran? 1. Bagaimana kepuasaan peserta?
2. Bagaimana keterlibatan
peserta?
3. Bagaimana relevansi  pelatihan dan pekerjaan?
4. HASIL PENELITIAN DAN PEMBAHASAN
4.1. Hasil Penelitian
Program pelatihan mandiri IKM melalui PMM adalah sebuah sistem yang terdiri atas komponen-komponen  guru,  kurikulum  PMM,  sarana  prasarana,  dan  lingkungan.  Analisis kebutuhan  adalah  kegiatan  yang  dilaksanakan  sebelum  melaksanakan  evaluasi. M enurut Anderson, dkk analisis kebutuhan adalah suatu proses yang dilakukan oleh seseorang untuk mengidentifikasi kebutuhan sekaligus menentukan prioritas. Dalam konteks pendidikan dan program  pembelajaran,  kebutuhan  diartikan  sebagai  suatu  kondisi  yang  memperlihatkan adanya  kesenjangan  antara  keadaan  nyata  dengan  kondisi  yang  diharapkan.  Kebutuhan tersebut dapat terjadi pada individu, kelompok, atau lembaga (Arikunto dan Safrudin, 2018). Berdasarkan  analisis  kebutuhan  pada  komponen  kurikulum  perlu  adanya  aktivitas  guru dalam mengunduh, install , dan masuk PMM serta mempelajari 25 topik yang terdapat pada PMM.  Kebutuhan  juga  nampak  pada  komponen  lingkungan  di  mana  lingkungan  sekolah yang  telah  memilih  opsi  IKM  Mandiri  Berubah  perlu  didukung  dengan  lingkungan pembelajaran yang mendukung IKM melalui aktivitas guru di kelas. Hal ini sejalan dengan Kementerian  Pendidikan,  Kebudayaan,  Riset  dan  Teknologi  (Kemendikbudristek)  yang terus  berupaya  mensukseskan  IKM.  Enam    strategi  yang  sudah  dirancang  oleh Kemendikbudristek sebagai dukungan terhadap IKM adalah guru dan kepala sekolah harus belajar mandiri melalui PMM, guru dan kepala sekolah belajar Kurikulum Merdeka dengan mengikuti  seri  webinar,  guru  dan  kepala  sekolah  belajar  Kurikulum  Merdeka  di  dalam komunitas  belajar,  guru  dan  kepala  sekolah  belajar  praktik  baik  melalui  narasumber  yang sudah  direkomendasikan,  guru  dan  kepala  sekolah  memanfaatkan  pusat  layanan  bantuan ( helpdesk )  untuk  mendapatkan  informasi  lebih,  guru  dan  kepala  sekolah  bekerja  sama dengan  mitra  pembangunan  unntuk  IKM  (Direktorat  SD,  2022). Hasil  evaluasi  pelatihan mandiri  IKM  melalui  PMM  menggunakan The  New  World  Kirkpatrick  Model (NWKM) adalah sebagai berikut:
Level  1: reaction (Reaksi). Level  1  adalah  level  dimana  peserta  menemukan  kebaikan ( kebermanfaatan ),  keterlibatan,  dan  relevansi  pelatihan  dengan  pekerjaan  mereka.  Level  1 memiliki tiga dimensi yaitu kepuasan peserta, keterlibatan peserta, dan relevansi. Kepuasan mengacu  pada  pengukuran  kepuasaan  peserta  terhadap  pelatihan  mandiri  IKM  melalui PMM.  Keterlibatan  peserta  adalah  level  peserta  secara  aktif  terlibat  dan  kontribusi  dalam pengalaman  belajar.  Keterlibatan  peserta  berhubungan  dengan  level  pembelajaran  yang dicapai.  Tanggung  jawab  personal  dan  minat  peserta  adalah  dua  faktor  dalam  pengukuran keterlibatan  peserta.  Relevansi  didefinisikan  sebagai  level  peserta  pelatihan  mempunyai kesempatan  untuk  menggunakan  dan  menerapkan  apa  yang  telah  dipelajari  pada pembelajaran. Keseluruhan guru yang berjumlah 120 orang, hanya 24 orang yang membaca topik  pada  PMM  dengan  kecepatan  belajar  yang  berbeda-beda.  Kuesioner  untuk pendalaman disajikan pada tabel 6.
Tabel 6. Level 1: Reaction (reaksi) No Elemen Persentase Kepuasan Peserta 1 Anda  puas  dengan  pelatihan  mandiri IKM melalui PMM Sangat Setuju = 5,3% Setuju = 67% Ragu-ragu = 27,7% Keterlibatan Peserta 2 Tanggung jawab personal Anda mempunyai tanggung jawab terhadap penuntasan topik PMM Sangat Setuju = 8,3% Setuju = 62,5% Ragu-ragu = 4,2% 3 Anda berminat untuk mempelajari berbagai topik di PMM Sangat Setuju = 20,8% Setuju = 50%
No Elemen Persentase Tidak setuju = 4,2% Relevansi 4 Anda memiliki kesempatan untuk menerapkan  topik-topik  PMM  pada pembelajaran Anda Sangat Setuju = 20,8% Setuju = 41,7% Ragu-ragu = 8,3% Tidak setuju = 4,2%
Level  1  dan  2  menyediakan  data  untuk  pelatihan  yang  efektif.  Level  ini  berguna  untuk mengukur  kualitas  pelatihan  dan  level  dampak  pelatihan  terhadap  pengetahuan  dan keterampilan . Level 3 dan 4 menyediakan data tentang keefektifan program yang mengukur kinerja on-the-job learning . Data keefektifan pelatihan adalah kunci untuk mendemonstrasikan value pelatihan yang bermanfaat bagi stakeholder (Kirkpatrick, 2021). Level  2: learning (pembelajaran) . Level  2  adalah  level  dimana  peserta  mendapatkan pengetahuan,  keterampilan,  sikap,  kepercayaan  diri,  dan  komitmen  berdasarkan  partisipasi dalam pembelajaran. Kepercayaan diri dan komitmen ditambahkan pada level 2 pada Model Kirkpatrick  versi  baru  (NWKM)  untuk  membantu  menutup  kesenjangan  antara pembelajaran  dan  perilaku. Learning terdiri  atas  pengetahuan  dan  keterampilan,  sikap, kepercayaan diri, dan komitmen yang dapat ditunjukkan oleh frasa-frasa pada tabel 5. Tabel 5. Hasil Level 2: Learning (Pembelajaran) No Elemen Persentase Pengetahuan 1 Saya  mengetahui  berbagai  topik  pada PMM Sangat Setuju = 5,3% Setuju = 67% Ragu-ragu = 27,7% Keterampilan 2 Saya  dapat  menerapkan  berbagai  topik pada PMM Sangat Setuju = 5,3% Setuju = 72,3% Ragu-ragu = 17% Tidak setuju = 5,3% Sikap 3 Saya percaya berbagai topik pada PMM adalah berharga Sangat Setuju = 33% Setuju = 67% Kepercayaan Diri 4 Saya  berpikir  bahwa  saya  dapat menerapkan  berbagai  topik  di  PMM pada pembelajaran saya Setuju = 72,3% Ragu-ragu = 27,7% Komitmen 5 Saya  akan  menerapkan  berbagai  topik di PMM pada pembelajaran saya Sangat Setuju = 5,3% Setuju = 72,3% Ragu-ragu = 22,3%
Level  3: behavior (perilaku) .  Level  3  adalah  level  dimana  peserta  menerapkan  apa  yang telah  dipelajari  selama  pelatihan  ketika  mereka  kembali  ke  pekerjaan  mereka.  Level  3 mempunyai tiga komponen: critical behaviors, required drivers, dan on-the-job learning.
a. Critical Behaviors
Perilaku  kritis  yang  diturunkan  dari leading  indicators adalah  penuntasan  topik-topik dalam  modul  PMM.  Menurut  Kirkpatrick  (2021) critical  behaviors adalah  sedikit, tindakan spesifik, dan ditunjukkan secara konsisten tapi mempunyai dampak besar.
b. Required Drivers
Required drivers adalah sebuah sistem yang dapat digunakan untuk meninjau pekerjaan guru  yaitu learning  management  system (LMS)  monitoring  dan  evaluasi  PMM. Kirkpatrick (2021) mengatakan bahwa required drivers adalah proses dan sistem yang dapat memperkuat, memonitor, mendorong, dan penghargaan kinerja critical behaviors pada pembelajaran. Contoh nyatanya adalah work review (ulasan kerja) agar pekerjaan dapat  diselesaikan  dengan  baik. Required  drivers adalah  kunci  pencapaian desired outcome yang berwujud  penerapan pada kegiatan on-the-job .  Hasil work review salah satu peserta disajikan pada gambar 2.
Gambar 2. Work Review pada Menu “Aksi Nyata” PMM

## c. On-the-Job Learning (OJL)
OJL  adalah  bagian  dari  level  3  yang  merupakan  rekognisi  dua  fakta  pada  dunia  kerja modern dengan indikator 70% penerapan pada dunia kerja dan tanggung jawab personal dan motivasi  yang merupakan dukungan  eksternal  dan upaya penguatan  untuk  kenerja yang optimal (Kirkpatrick, 2021). Berdasarkan data monitoring PMM di LMS sekolah, diperoleh data seperti pada tabel 4.
Tabel 4. Penuntasan Topik PMM No Struktur Kurikulum PMM Ketercapaian 1 Mengunduh, install, dan masuk PMM 120 guru mengunduh, install , dan masuk PMM 2 0 topik 96 guru 3 1  topik 16 guru 4 2  topik 2 guru 5 3  topik 3 guru 6 5  topik 1 guru 7 8  topik 1 guru 8 10  topik 1 guru
Seluruh guru melaksanakan kegiatan unduh, install , dan masuk PMM. Namun hanya 24 guru (20%) yang mengerjakan topik yang dapat diartikan bahwa 96 guru (80%) belum mempunyai tanggung jawab personal dan motivasi.
Level 4: result (hasil). Desired outcome ( outcome yang diinginkan) adalah hasil akhir yang terjadi  setelah  peserta  mengikuti  program  pelatihan  mandiri  IKM  melalui  PMM  yaitu pemahaman guru terhadap IKM. Desired outcome kemudian diterjemahkan menjadi leading
indicators (indikator-indikator utama). Leading indicators adalah observasi dan pengukuran jangka pendek  yang dapat menduga critical behaviors berada di jalur  yang benar sehingga dapat  menciptakan  dampak  terhadap  hasil  yang  diinginkan  (Kirkpatrick,  2021).  Pada evaluasi  ini leading  indicators berupa  kepuasan  peserta,  keterlibatan  peserta,  dan  kualitas. Evaluator  melakukan  observasi  dan  pengukuran  jangka  pendek  yang  dapat  memberikan informasi  tentang leading  indicators .  Berdasarkan  observasi  oleh  evaluator,  SMKN  1 Ngasem  Kediri  menerapkan  Mandiri  Berubah  pada  tahun  ajaran  2022/2023.  Informasi  ini menjadi dasar untuk mengevalusi kepuasan peserta, keterlibatan peserta, dan kualitas peserta dalam IKM.
Terdapat tiga  pilihan  IKM  jalur  mandiri  yang  bisa  diaplikasikan,  yakni  Mandiri  Belajar, Mandiri  Berubah,  dan  Mandiri  Berbagi. Implementasi Mandiri  Berubah  adalah satuan pendidikan  yang  menggunakan  struktur  Kurikulum  Merdeka  dalam  mengembangkan kurikulum  satuan  pendidikannya  dan menerapkan  prinsip-prinsip  Kurikulum Merdeka  dalam  melaksanakan  pembelajaran  dan  asesmen. Berdasarkan  analisis kebutuhan yang telah dilakukan lebih dahulu, pemahaman guru terhadap IKM dan PMM masih  sangat  minim.  Informasi  ini  berkenaan  dengan  kualitas outcome pelatihan.
Kualitas ini juga didukung oleh  pemerintah yang berusaha merancang PMM untuk dapat diakses  dan  digunakan  dengan  mudah  oleh  pihak  sekolah  dan  PMM  akan  terus melakukan  pembaruan  versi  dengan  penambahan  fitur-fitur  baru  (kemendikbud.go.id). Kemudahan  aksesbilitas  PMM  dan  kemudahan    mempelajari  PMM  akan  mempengaruhi kualitas outcome .  Evaluator  melakukan  studi  dokumen  struktur  kurikulum  PMM  yang memiliki  25  topik  berisi  94  modul  dengan  estimasi  membaca  modul  103,75  jam.  Sebaran topik berdasarkan bidangnya disajikan pada tabel 3.
Tabel 3 . Sebaran Topik PMM No Bidang Topik 1 Filosofi Kurikulum Merdeka 1, 2 2 Pembelajaran dan Asesmen 3, 4, 5, 6, 7, 8, 12, 13, 14, 16, 17 3 Satuan Pendidikan 9,  10,  11,  18,  19,  20,  21, 22, 23, 25 4 Bimbingan Konseling 1
Evaluator  mengidentifkasi leading  indicators berupa  kepuasan  peserta  terhadap  pelatihan mandiri  IKM  melalui  PMM,  keterlibatan  peserta  dalam  PMM,  dan  kualitas outcome yaitu penuntasan topik-topik PMM. Menurut Yunus (2021: 64) tidak semua dampak dari sebuah program  dapat  diukur  dan  kalaupun  dapat  diukur  seringkali  membutuhkan  waktu  yang cukup lama.
4.2. Pembahasan
Hasil  evaluasi  pelatihan  mandiri  Implementasi  Kurikulum  Merdeka  (IKM)  melalui Platform Merdeka Mengajar (PMM) di SMKN 1 Ngasem  Kabupaten Kediri menggunakan The  New  World  Kirkpatrick  Model (NWKM)  adalah  sebagai  berikut: Level  3  dan  4 menyediakan data tentang keefektifan program yang mengukur kinerja on-the-job learning . Data  keefektifan  pelatihan  adalah  kunci  untuk  mendemonstrasikan value pelatihan  yang bermanfaat  bagi stakeholder .    Program  pelatihan  mandiri  IKM  melalui  PMM  tidak  efektif dengan indikator hanya 20% guru yang menuntaskan satu/lebih topik di PMM dikarenakan belum ada tanggung jawab personal dan motivasi internal.  Hal ini dapat dijelaskan melalui laman  kemdikbud.go.id  bahwa pelatihan  mandiri  tidak  bersifat  wajib.  Namun  pelatihan mandiri  dapat  membantu  meningkatkan  kompetensi  dan  mengembangkan  potensi  guru
sebagai  pendidik  (kemdikbud.go,id).  Karena  bukan  merupakan  kewajiban  sehingga diperlukan kemandirian belajar yang dapat dikelola melalui self-regulated learning. Bandura  mengungkapkan  bahwa  pengertian self-regulated  learning adalah  suatu  keadaan dimana  individu  yang  belajar  sebagai  pengendali  aktivitas  belajarnya  sendiri,  memonitor motivasi  dan  tujuan  akademik,  mengelola  sumber  daya  manusia  dan  benda,  serta  menjadi perilaku  dalam  proses  pengambilan  keputusan  dan  pelaksana  dalam  proses  belajar (Langlima,  2017). Self-regulated  learning juga  berarti  tingkatan  dimana  partisipan  secara aktif  melibatkan  metakognisi,  motivasi,  dan  perilaku  dalam  proses  belajar  (Pare,  2012). Definisi  yang  lainnya  adalah  bentuk  belajar  individual  dengan  bergantung  pada  motivasi belajar,  yang  secara  otonomi  mengembangkan  pengukuran  (kognisi,  metakognisi,  dan perilaku) dan memonitor kemajuan belajarnya (Novak, 2006).
Pembentukan  komunitas  penggerak  di  sekolah  untuk  membersamai  guru-guru  dalam IKM  melalui  PMM  merupakan  cara  untuk  menggerakkan  para  guru  agar  memanfaatkan PMM sebagai sumber belajar. Strategi untuk meregulasi perilaku adalah suatu uasaha untuk membuat perencanaan ketika akan belajar dan mengatur waktu dan jadwal belajar. Strategi perilaku  merupakan  salah  satu self-regulated  learning yang  dapat  dilakukan  melalui kegiatan: effort  regulation,  time  study  environment ,  dan help  seeking Zimmerman  (1989, 329). Effort regulation adalah mengelola usaha dalam memanfaatkan PMM sebagai sumber belajar. Time  study  environment dilakukan  dalam  mengatur  waktu  secara  berkala  belajar PMM  dan  membuat  jadwal  belajar  bersama  komunitas  di  sekolah. Help  seeking adalah upaya  untuk  mendapatkan  bantuan  dari  teman  sejawat  yaitu  memaksimalkan  peran  guru- guru penggerak di sekolah.
Berdasarkan  data  para  guru  yang  telah  menuntaskan  satu  atau  lebih  topik  PMM  (24 guru), guru yang merasa puas dengan PMM 70,8%; guru yang mempunyai tanggung jawab personal  70,8%;  guru  yang  mempunyai  minat  terhadap  PMM  70,8%;  dan  guru  yang merasakan relevansi antara PMM dan pembelajaran adalah 62,5%. Dari 24 guru terebut, 20 guru  (83,3%)  mengungkapkan  bahwa  PMM  berdampak  pada  pembelajaran,  sedangkan empat  guru  (16,7%)  berpendapat  bahwa  PMM  tidak  berdampak  pada  pembelajaran. Dampak  PMM  terhadap  pembelajaran  antara  lain    semakin  bervariasinya  pembelajaran (30%),  meningkatkan  aktivitas  siswa  (25%),  menumbuhkan  literasi  digital  (15%), pembelajaran dan asesmen (15%), meningkatnya akses pendidikan (5%), pembuatan modul (5%),  dan  kegiatan  refleksi  (5%).  PMM  adalah  sebuah  program  pelatihan  mandiri berkualitas  bagus  dalam  mendampingi  IKM  guru  dan  berdampak  pada  pembelajaran  bagi guru  yang  mempunyai  kemandirian  belajar.  Namun  bagi  guru  yang  tidak  mempunyai kemandirian belajar, PMM tidak efektif.

## 5. KESIMPULAN
Berdasarkan temuan pembahasan evaluasi program pelatihan IKM melalui PMM di SMKN 1 Ngasem Kabupaten Kediri, maka dapat disusun kesimpulan evaluasi sebagai meliputi (1) The New Wolrd Kirkpatrick Model (NWKM) yang diterapkan pada program pelatihan mandiri IKM melalui PMM mampu memberikan gambaran tentang capaian guru dalam memanfaatkan PMM; (2) PMM adalah sebuah program pelatihan mandiri berkualitas bagus dalam mendampingi IKM guru  dan  berdampak  pada  pembelajaran  bagi  guru  yang  mempunyai  kemandirian  belajar;  (3) PMM  adalah  program  pelatiahan  mandiri  yang  tidak  efektif  bagi  guru  yang  tidak  mempunyai kemandirian dalam belajar.

## 6. REKOMENDASI
Berdasarkan temuan pembahasan dan kesimpulan evaluasi program pelatihan IKM melalui PMM  di  SMKN  1  Ngasem  Kabupaten  Kediri,  maka  dapat  disusun  rekomendasi  evaluasi meliputi (1) Perlu membentuk komunitas penggerak di sekolah untuk membersamai guru-guru dalam  IKM  melalui  PMM;  (2)  Perlu  memaksimalkan  peran  guru  penggerak  di  sekolah  dalam membersamai IKM melalui PMM.

## 7. DAFTAR PUSTAKA
Arikunto,  Suhaesimi  dan  Safrudin,  Cepi.  (2018).  Evaluasi  Program  Pendidikan,  Pedoman Teoritis  Bagi  Mahasiswa  dan  Praktisi  Pendidikan.  Edisi  Kedua.  Jakarta:  Bumi Aksara.
Bates,  R.  (2004).  A  critical  analysis  of  evaluation  practice:  the  Kirkpatrick  Model  and  the principle  of  beneficence. Evaluation  and  Program  Planning .  27,  341-347. https://doi.or g/10.1016/j.evalprogplan.2004.04.011.
Cronbach, Lee J. (1982). Designing Evaluations of Educational and Social Progress .
D.L Kirkpatrick. (2016). Effective Training, System, Strategies and Practices . New Jersey (US): Pearson Prentice Hall.
Direktorat  Jenderal  SD.  (2022). Enam  Strategi  Sukseskan  Implementasi  Kurikulum  Merdeka Secara  Mandiri . https://ditpsd.kemdikbud.go.id/artikel/detail/6-strategi-sukseskan- implementasi-kurikulum-merdeka-secara-mandiri
Djaali dan Pudji Muljono. (2004). Pengukuran dalam Bidang Pendidikan. Jakarta: Grasindo. Gandomkar,  Roghayah.  (2018).  Comparing  Kirpatrick’s  original  &  New  Model  With  CIPP
Evaluation Model. Journal of Advances in Medical Education & Professionalism . 6 (2).
Hetzer, E. (2012). Central and Regional Government . Jakarta: Gramedia. Jody  L.  Fitzpatrick,  James  R.  Sanders,  dan  Blaine  R.  Worthen.  (2004). Program  Evaluation: Alternative Approaches and Practical Guidelines . Boston: Pearson Education, Inc. Joint Committee. (1991). Ukuran Baku untuk Evaluasi Program, Proyek dan Materi Pendidikan. Terjemahan Rasdi Ekosiswoyo. Semarang: IKIP Semarang Press. Kementerian Pendidikan Kebudayaan Riset Teknologi. (2021). Buku Saku Kurikulum Merdeka . Kementerian  Pendidikan  Kebudayaan  Riset  Teknologi.  (2021). Platform  Merdeka  Mengajar . kemdikbud.go.id
Kementerian  Pendidikan  Kebudayaan  Riset  Teknologi.  (2022). Badan  Standar  Kurikulum  dan Asesmen Pendidikan . Kirkpatrick,  D.  L.  (1998). Evaluating  Training  Programs:  The  Four  Levels .  San  Francisco: Berrett-Koehler Publisher, Inc.
Kirkpatrick,  Jim  &  Kirkpatrick,  WK.  (2021). An  Introduction  to  The  New  World  Kirkpatrick Model .
Langlima  dan  Dangwai,  K.  L.  (2017).  Blended  Learning.  An  Innovative  Approach. Universal Journal of Educational Research . Leavy, Patricia. (2014). The Oxford Handbook of Qualitative Research . Oxford University Press. Mahmudi, Ihwan. (2011). CIPP: Suatu Model Evaluasi Program Pendidikan . Nasution, S. (1999). Kurikulum dan Pengajaran . Jakarta: Bumi Aksara Novak,  J.  D  and  Gowin,  D.  B.  (2006). Learning  How  to  Learning .  21 st .  Cambridge,  England: Cambridge University.
Owen,  John  M.  (1993). Program  Evaluasi:  Forms  and  Approaches .  St.  Leonards:  Allen  & Unwin Pty Ltd.
Pare, Dian. (2012). Menimbang Metode Sokratik . Koran Tempo. Patton, Michael Quinn. (2000).  Overview: Language Matters”. New Directions for Evaluation
2000 (86). Diunduh dari http://www3.interscience.wiley.com/journal/109752023/
Reio,  T.  J.,  Rocco,  T.  S.,  Smith,  D.  H.,  &  Chang,  E.  (2017).  A  critique  of  Kirkpatrick's Evaluation  Model. New  Horizons  In  Adult  Education  &  Human  Resource Development . 29 (2), 35-53. Saylor, J. G, Alexander, W. M, Lewis, J. (1999). Curriculum Planning for Better Teaching and Learning . Tokyo: Holt-Sanders. Scriven,  Michael.  (1976). The  Intellectual  Dimensions  of  Evaluation  Research .  Makalah  yang dipresentasikan  dalam  Northwest  Research  and  Evaluation  Conference.  Seattle.
Diunduh  dari  http://  w  w  w  .googl  e  .co.id  /  Micha  e  l.Sc  r  i  v  e  n /The.Intellectual.Dimensionsof.Evaluation+Research.
Smith, M. F. (2004). Evaluation Utilization Revisited. New Directions for Program Evaluation . 1988 (39). Diunduh dari (http://www3.interscience.wiley.com/journal/109751386). Tayibnapsis, Farida Yusuf. (2000). Evaluasi Program . Jakarta: Rineka Cipta Widoyoko, E.P. (2009). Evaluasi  Program Pembelajaran: Panduan Praktis Bagi Pendidik dan Calon Pendidik . Yogyakarta: Pustaka Pelajar. Wiersma,  William,  dan  Stephen  G.  Jurs.  (1990). Educational  Measurement  and  Testing . Massachusetts.
Yunus,  Reny.  (2021). Evaluasi  Model  Kirkpatrick  Terhadap  Pelaksanaan  Diklat  Penguatan Pengawas  Sekolah  Berbasis  Best  Practice,  HOTS,  dan  Pembelajaran  Orang Dewasa di Indonesia (Disertasi Tidak Diterbitkan),  Universitas Islam Raden Inta, Lampung.
Zimmerman,  B.  J.  1989.  A  Social  Cognitive  View  of  Self-Regulated  Academic  Learning. Journal of Educational Psychology. No.81, hal 329-339.