PMEL Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran Toolkit CHOICE Untuk Organisasi yang Dipimpin Orang Muda
2 | Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran | 3 DAFTAR ISI DAFTAR SINGKATAN PENDAHULUAN MENGAPA KITA PERLU PMEL? APA ITU PMEL? PERENCANAAN MONITORING DAN EVALUASI PEMBELAJARAN BAGAIMANA MEMBANGUN SISTEM PMEL DI ORGANISASIMU REFERENSI MATERI LANJUTAN 2 3 5 6 7 11 16 20 39
4 | Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran | 5 DAFTAR SINGKATAN HKSR: Hak Kesehatan Seksual dan Reproduksi M&E: Monitoring dan Evaluasi MYP: Meaningful Youth Participation (Partisipasi Orang Muda yang Bermakna) OH: PMEL: Outcome Harvesting Planning, Monitoring, Evaluation, and Learning (Perencanaan, Pemantauan, Evaluasi, Pembelajaran) PKRS: Pendidikan Kesehatan Reproduksi dan Seksualitas SETARA: SEmangat duniA RemajA, modul PKRS Rutgers ToC: YAP: YLOs: Indonesia Theory of Change (Teori Perubahan) Youth-Adult Partnership (Kemitraan Orang Muda dan Orang Dewasa) Youth-Led Organizations (Organisasi yang Dipimpin Orang Muda)
6 | Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran PENDAHULUAN Selamat datang di alat bantu (toolkit) perencanaan, pemantauan, evaluasi, dan pembelajaran (Planning, Monitoring, Evaluation, and Learning - PMEL) untuk Organisasi yang Dipimpin Orang Muda (Youth-Led Organizations - YLOs)! Memiliki sistem PMEL dapat sangat bermanfaat bagi setiap organisasi dan program - tetapi apa sebenarnya PMEL itu? Kamu mungkin agak gugup saat mendengar singkatan asing ini, tetapi apakah kamu tahu seluk beluk artinya sebenarnya? Apakah kamu ingin mengetahui lebih lanjut tentang cara membangun sistem PMEL yang solid untuk organisasimu? Atau apakah kamu penasaran untuk mempelajari lebih lanjut tentang bagaimana ini dapat membantumu memahami dan meningkatkan hasil program? Apapun kebutuhanmu, toolkit ini akan dapat membantu. Ditujukan secara khusus untuk profesional muda seperti kamu, toolkit ini akan membantumu menjawab pertanyaan-pertanyaan berikut: 1. APA ITU PMEL? 2. MENGAPA PMEL PENTING? 3. APA SAJA ELEMEN PMEL YANG BERBEDA? 4. LANGKAH APA YANG DAPAT KAMU LAKUKAN UNTUK MENGEMBANGKAN KERANGKA KERJA PMEL UNTUK ORGANISASI ATAU PROGRAMMU? Jadi, mari kita mulai. Saat ini, PMEL adalah norma bagi sebagian besar organisasi nirlaba, dan sering menjadi bagian dari persyaratan pendanaan. Hal Ini karena PMEL membantumu merancang tindakan yang akan berkontribusi pada visi yang sudah terdefinisi dengan baik. PMEL juga memfasilitasi penilaian tingkat efektivitas tindakan yang kamu rancang. Secara sederhana, PMEL membantumu menghasilkan aktivitas yang Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran | 7 sukses dan efektif yang akan membuat kamu lebih mungkin mencapai pencapaian visimu. Dan karena setiap organisasi berbeda, setiap organisasi/program memerlukan kerangka kerja PMEL yang spesifik. Kerangka kerja ini akan mendukung proses perencanaan organisasi/ program, memantau kemajuan, dan mengevaluasi hasil. Dan hal terbaik dari semuanya - kamu juga dapat belajar dari semua informasi ini! PMEL juga merupakan cara untuk menjaga akuntabilitas terhadap mitra, donor, penerima manfaat, dan pemangku kepentingan lainnya. Ini membantumu menunjukkan pekerjaan yang telah kamu lakukan untuk mencapai tujuan dan berkontribusi pada visimu. Kamu juga akan terbantu untuk bersikap transparan tentang strategimu, apa saja hal-hal yang berhasil dan yang tidak. Meskipun jelas bahwa ada banyak keuntungan memiliki sistem PMEL, tidak dapat disangkal bahwa ini bukan sistem yang sederhana! Tapi tidak perlu khawatir - inilah mengapa CHOICE mengembangkan toolkit ini! Untuk mendukung CHOICErs, partner, dan semua orang muda untuk lebih memahami dan menerapkan sistem PMEL di organisasi/ programnya. Toolkit ini dimulai dengan menyelami apa itu PMEL, tujuan dari setiap empat komponennya, dan mengapa hal itu penting bagi sebuah organisasi/program. Kami kemudian akan membagikan panduan langkah demi langkah untuk membantumu mengembangkan sistem PMEL organisasi/program kamu. Dan bahkan jika mengembangkan sistem PMEL bukanlah tujuanmu, panduan ini masih dapat berguna bagimu dengan membuat kamu lebih memahami cara kerja sistem PMEL dan berkontribusi lebih baik pada diskusi PMEL dalam organisasi/programmu. Mari kita mulai!
8 | Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran MENGAPA KITA PERLU PMEL? Akuntabilitas Ke donor dan penerima manfaat Visibilitas dan penggalangan dana Keberlangsungan organisasi Mempromosikan proses Pembelajaran Mengarahkan Setiap level manajemen Menstimulasi dialog Di antara para organisasional pemangku kepentingan Sistem PMEL dapat sangat berguna untuk menangani masalah organisasi nirlaba. Menggunakan PMEL adalah cara yang fantastis untuk menentukan jalanmu ke depan, menyediakan mekanisme untuk membantumu memastikan bahwa kamu menuju ke arah yang benar, dan memberimu cukup ruang untuk menyesuaikan strategi saat dibutuhkan. Selain itu, ada beberapa keuntungan lain menggunakan sistem PMEL : 1. Mempromosikan pembelajaran: berdasarkan proses evaluasi, seperti yang disebutkan di atas, kamu dapat mengidentifikasi tanda-tanda bahaya. Ini membantumu mempelajari apa yang berhasil dan apa yang tidak dalam hal dampak. 2. Akuntabilitas: menggunakan hasil-hasil organisasi dapat membantu organisasi bertanggung jawab kepada donor dan penerima manfaat mereka. Kerangka kerja Pemantauan & Evaluasi dapat memberimu semua informasi relevan yang diperlukan untuk ini. 3. Mengarahkan: seperti disebutkan di atas, berdasarkan hasil evaluasi, organisasi dapat mengubah arah strategi mereka untuk menyesuaikan dengan hasil yang tidak diharapkan atau untuk memperkuat strategi yang berhasil. 4. Visibilitas dan penggalangan dana: pemantauan dan evaluasi adalah alat yang hebat untuk menunjukkan hasilmu kepada dunia. 5. Menstimulasi dialog: di dalam organisasi atau di antara organisasi lain di sektor kamu, mengenai ToC, strategi, dan hasil-hasil yang beraneka. Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran | 9 PERHATIKAN BAHWA ADA KEMUNGKINAN TIDAK SETIAP TUJUAN PMEL RELEVAN DENGAN ORGANISASI ATAU PROGRAMMU. KARENA ITU, SE -BAGAI BAGIAN DARI PROSES PERENCANAAN PENTING UNTUK MENGKLARIFIKASI: MENGAPA KITA INGIN MENGGUNAKAN PMEL? DAN BAGAIMANA KITA INGIN MELAKSANAKANNYA DI TAHUN-TAHUN YANG AKAN DATANG? ALASAN MENGAPA MENGGUNAKAN PMEL HARUS DITENTUKAN SEBELUM MEMULAI PROSES PENETAPAN INDIKATOR, KARENA INI AKAN MENDUKUNG PROSES PENETAPAN DEFINISI OPERASIONAL. APA ITU PMEL? Seperti yang mungkin sudah kamu ketahui, PMEL adalah singkatan dari Planning, Monitoring, Evaluation and Learning atau Perencanaan, Pemantauan, Evaluasi, Pembelajaran. Cukup banyak ya! PMEL adalah proses organisasi yang bertujuan merangsang pembelajaran, meningkatkan strategi organisasi, dan memastikan bahwa kita menuju ke arah yang benar. Semuanya dilakukan sambil membantu mengidentifikasi apa yang membuat pendekatan kita unik. Ini berarti bahwa PMEL tidak hanya berguna untuk pembelajaran bagi organisasi, tetapi juga merupakan kesempatan untuk menunjukkan kemajuan dan potensi pekerjaan kita kepada para donor dan pemangku kepentingan . Untuk lebih memahami PMEL, mari kita gali elemen-elemennya: Perencanaan Menetapkan tujuan (goal), strategi, dan aktivitas Evaluasi Menilai apakah tujuan sudah tercapai, dan bagaimana caranya Pemantauan Memantau pelaksanaan strategi dan aktivitas Gambar 10: Siklus PMEL Pembelajaran Berbagi dan me- manfaatkan hasil-hasil pemantauan dan evaluasi 1. Sistem PMEL programatik yang melibatkan banyak mitra biasanya ditentukan bersama. Bisa juga terjadi bahwa sistem PMEL sudah terbangun jika kamu bergabung dengan program di tahap-tahap akhir atau organisasi utama sudah menye- diakan panduan-panduan PMEL.
10 | Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran Perencanaan Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran | 11 Secara sederhana, teruslah memeriksa rencana awal untuk memastikan kamu berada di jalur yang benar seraya menyempurnakannya jika perlu.
12 | Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran PERENCANAAN Proses PMEL dimulai dengan perencanaan. Hal ini biasanya dilakukan ketika organisasi menetapkan strategi jangka panjang mereka, Teori Perubahan (Theory of Change - ToC) dan rencana tahunan mereka. Meskipun proses perencanaan ini terjadi pada awal siklus organisasi, atau pada awal program, proses ini dimaksudkan untuk diulang pada seluruh siklus PMEL. Karena, begitu kamu melewati momen pemantauan atau evaluasi, kamu harus meninjau kembali rencanamu dan menilai apakah perlu penyesuaian strategi atau rencana untuk menciptakan dampak yang lebih besar. Sederhananya, teruslah memeriksa rencana awal untuk memastikan kamu berada di jalur yang benar seraya menyesuaikannya sembari jalan jika perlu. Tidak ada yang kaku! Salah satu langkah pertama yang mungkin kamu ambil adalah membuat rencana strategis multi-tahunan (jangka panjang) untuk organisasimu. Ini mungkin terdengar menakutkan, tetapi pada dasarnya adalah mendefinisikan visi dan misi bersama untuk organisasi dan/atau program, dan menetapkan prioritas dan kegiatan-kegiatan inti untuk tahun-tahun mendatang.2 Apa yang ingin kamu capai dan bagaimana kamu akan mencapainya. Biasanya, rencana strategis dibuat selama 3-5 tahun dan harus ditinjau dan disesuaikan setiap 2-2,5 tahun. Tinjauan ini akan memungkinkanmu untuk memperbarui dan menyelaraskan prioritas jika diperlukan, juga mengingat kemungkinan perubahan konteks eksternal (contoh besar dari hal ini adalah pandemi COVID 19). Seiring dengan rencana strategismu, kamu mungkin ingin menyusun atau menyempurnakan Teori Perubahan (ToC). Setiap organisasi dan program dikemas dengan keyakinan, asumsi, dan hipotesis tentang bagaimana perubahan terjadi - tentang cara manusia, atau organisasi, atau sistem politik bekerja. ToC mengartikulasikan asumsi-asumsi yang mendasari bagaimana perubahan akan terjadi dalam suatu organisasi atau program.3 Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran | 13 ToC juga dapat menjadi peta dari jalur yang telah dipilih organisasi untuk diikuti demi mencapai apa yang mereka inginkan di masa depan (dalam 4-5 tahun, tergantung pada organisasi). Inilah sebabnya mengapa ini juga terkait dengan strategi jangka panjangmu, sebagaimana diuraikan dalam rencana strategis. Dalam hal program pembangunan, ToC biasanya merupakan momen awal perencanaan karena akan menetapkan arah strategi dan kegiatan yang berlangsung pada jalan menuju visi yang telah ditetapkan. Jika kamu ingin lebih mendalami bagaimana bekerja dengan ToC dan mempelajari cara membuatnya sendiri, bacalah Panduan "How to Work with A Theory of Change" di sini. Pada toolkit ini, kamu akan mempelajari lebih lanjut tentang ToC dalam penjabaran langkah-langkah untuk mengembangkan kerangka kerja PMEL. 2. Jika kamu bergabung dengan program yang sudah mendapatkan pendanaan, biasanya ToC berikut visi program sudah ada. 3. Vogel, Isabel (2012) Review of the use of Theory of Change, in international development 2 Hivos (2015) Hivos ToC Guide- lines: Theory of Change Thinking in Practice resource/hivos_toc_guide- lines_final_nov_2015.pdf)
14 | Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran APA ITU LUARAN, HASIL DAN DAMPAK? Mari kita membongkar jargon. Luaran (output) adalah apa yang diperoleh sebagai hasil dari pekerjaan/aktivitas tertentu (input). Output adalah hasil yang segera dan diharapkan. Hasil (outcome), di sisi lain, adalah sesuatu yang berpotensi tercapai setelah output tercapai. Outcome adalah alasan mengapa penerima manfaat membutuhkan proyek atau mengapa penerima manfaat diminta untuk mengambil tindakan tertentu. Terakhir, dampak (impact) merupakan tujuan utama dari suatu program/organisasi. Kamu dapat menganggap impact sebagai mimpi yang ingin kamu capai dengan pekerjaan yang kamu lakukan. Dalam pengertian ini, output adalah bagian dari apa yang dikenal sebagai lingkup kendali (sphere of control): sesuatu yang dapat kita kendalikan sepanjang kita mampu melakukan pekerjaan dan kegiatan yang direncanakan. Outcome di sisi lain, adalah bagian dari lingkup pengaruh (sphere of influence), karena kita hanya dapat melakukan bagian kita saja, bukan seluruh pekerjaan/kegiatan yang dibutuhkan untuk outcome terjadi. Terakhir, impact atau visi program ini merupakan bagian dari lingkup perhatian (sphere of concern), yang kita impikan terjadi saat melakukan pekerjaan kita. Ambil contoh Perumpamaan Kuda (Gambar 3). Dalam perumpamaan tersebut, lingkup kendali kita hanya sampai ke titik di mana kuda yang haus berada di depan air mancur. Kuda itu mungkin, atau mungkin tidak, memilih untuk meminum air itu. Hal ini menjadikan outcome sebagai bagian dari lingkup pengaruh kita, bukan lingkup kendali. Kita hanya bisa memberikan kesempatan dan mendorong kuda untuk minum. Di situlah pengaruh kita berakhir. Jika kuda meminum air dan menjadi kuda yang bahagia, impact akan tercapai. Meskipun demikian, kita tidak dapat mengendalikan jumlah air yang diminum kuda, atau pengaruh jumlah tersebut terhadap kesehatan kuda, oleh karena itu kuda yang bahagia berada pada lingkup perhatian kita. Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran | 15 SITUASI/KONDISI ISTILAH PMEL KETERANGAN Kuda yang bahagia Impact Overall Objective Pentingnya program/proyek untuk masyarakat Kuda tidak kehausan lagi Outcome Specific Objective Pemanfaatan output, alasan mengapa penerima manfaat membutuhkan program/proyek Kuda berada di pancuran air Output Expected Results Apa yang akan dihasilkan program/ proyek Menuntun kuda ke pancuran air Aktivitas Apa yang para pemangku kepen- tingan dan penerima manfaat akan lakukan Pancuran air dan pemilik kuda Sumber daya Input yang dibutuhkan untuk melakukan aktivitas Kuda kehausan Analisis kebutuhan Situasi/kondisi awal Gambar 1. Perumpamaan Kuda Sumber: Pelatihan dan Konsultasi MDF
16 | Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran Setelah kamu memiliki ToC untuk organisasi atau program, sekarang saatnya untuk membuat rencana tahunan yang lebih rinci untuk tahun implementasi yang akan datang. Rencana tahunan ini membantumu menetapkan tujuan jangka pendek dan pencapaian yang ingin kamu capai pada akhir tahun. Ini juga membantumu menjadwalkan kegiatan sesuai dengan prioritasmu (misalnya, per kuartal atau per bulan), membuat anggaran yang ditetapkan untuk melaksanakan kegiatan, dan mendelegasikan peran dan tanggung jawab yang jelas di antara rekan kerja. Pastikan untuk bersikap realistis saat merencanakan, baik secara finansial maupun dalam hal kapasitas manusia yang tersedia. Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran | 17 Pastikan untuk bersikap realistis saat merencanakan, baik secara finansial maupun dalam hal kapasitas manusia yang tersedia.
18 | Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran Pemantauan dan evaluasi Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran | 19 PMEL adalah proses organisasi yang bertujuan untuk merangsang pembelajaran, meningkatkan strategi organisasi, dan memastikan bahwa kita menuju ke arah yang benar.
20 | Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran PEMANTAUAN DAN EVALUASI (P&E) Setelah ToC dan rencana strategis ditetapkan, kita sampai pada langkah berikutnya: Pemantauan dan Evaluasi, atau "M&E" (singkatan dari Bahasa Inggris "Monitoring & Evaluation"). Pemantauan adalah proses di mana kita menilai kemajuan yang dicapai dalam penerapan ToC dan kegiatan-kegiatan terkait dalam rencana tahunan. Dengan kata lain, proses ini memberikan informasi yang berkaitan dengan perubahan yang direncanakan. Evaluasi adalah penilaian kinerja proyek, dibuat dengan mengukur tujuan yang ditetapkan pada titik waktu yang berbeda (di awal/baseline, di tengah/midline, atau di akhir/endline) dan membandingkan temuan-temuannya. Informasi lain mengenai proyek juga digunakan untuk membuat kesimpulan dan rekomendasi. Biasanya, organisasi mengacu pada sistem PMEL mereka ketika berbicara tentang pemantauan dan evaluasi. Seperti yang telah kita lihat, PMEL jauh melampaui dua komponen itu saja. Namun, membangun sistem P&E yang baik sangat penting untuk kerangka kerja PMEL-mu. Sistem P&E-mu harus dikembangkan berdasarkan ToC dari organisasi atau program, karena dalam ToC juga tertera perubahan yang ingin kamu capai dan hasil yang kamu harapkan sebagai konsekuensi dari pekerjaanmu. Namun, kamu mungkin tidak perlu memonitor semua hasil atau tidak semua hasil relevan untuk mengetahui apa yang ingin kamu ketahui. Inilah sebabnya mengapa prioritas yang kamu tetapkan dalam strategi dan ToC penting. Tanyakan pertanyaan-pertanyaan ini: perlukah saya mengukur seluruh hasil pekerjaan saya? Atau cukup sebagian saja? Apakah hasil X menunjukkan dampak pekerjaan saya dan jika demikian, apakah itu relevan untuk para pemangku kepentingan dan untuk menunjukkan pentingnya pekerjaan saya? Pertanyaan-pertanyaan ini dapat membantu mempersempit area pemantauanmu. Bersikaplah kritis tentang informasi apa saja yang kamu butuhkan untuk mengukur perubahan terencana yang kamu harapkan dapat terlihat sebagai bagian dari kerjamu. Dalam menentukan area pemantauan, penting untuk tidak Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran | 21 membatasi pemantauan pada output saja. Memantau berbagai jenis indikator yang relevan akan memungkinkan kamu belajar dari hal yang tidak terduga. Membuat kamu tetap waspada. Contoh dari praktik pemantauan ini dapat mencakup memeriksa berapa banyak orang muda yang telah mendapatkan materi yang terdapat dalam modul pendidikan seksualitas komprehensif seperti SETARA, untuk mengetahui apakah kamu mencapai target program. Ini juga berarti bahwa pemantauan adalah proses berkelanjutan yang terjadi selama pelaksanaan rencana kerja programatik atau Strategi Multi-Tahunan organisasimu. Ketika kita memilih bidang pekerjaan atau organisasi yang ingin kita monitor, kemungkinan besar kita akan dipengaruhi oleh pemangku kepentingan utama kita. Ini dapat mencakup donor, mitra dan komunitas yang bekerja denganmu, dan kelompok penerima manfaat utama dari pekerjaanmu. Misalnya, seperti yang terlihat dalam ToC CHOICE di bawah (Gambar 4), kelompok penerima manfaat utama kami adalah orang muda! Mengidentifikasi pemangku kepentingan juga membantu kamu mengarahkan upaya pemantauan ke arah yang benar. Dengan prioritas area pemantauan yang jelas, dan pemangku kepentingan yang telah kamu identifikasi, kamu dapat memutuskan indikator apa yang akan kamu gunakan untuk mengukur dampak dan capaian target, dan dengan demikian, mengukur kemajuanmu. Penting juga untuk memantau di luar lingkup kendalimu untuk meningkatkan kualitas atau pengaruh kegiatanmu bagi para peserta. Misalnya, kamu dapat menindaklanjuti dengan mensurvei sejauh mana mereka telah mengalami perubahan setelah pelatihan. Berdasarkan hasil ini, kamu dapat menyesuaikan konten atau teknik pelatihan agar mencapai hasil yang lebih baik di tingkat outcome. Dari segi kualitas, perlu diingat bahwa sistem pemantauan dibuat sebelum implementasi dimulai. Libatkan orang-orang yang akan bekerja dengan sistem sejak awal, dengarkan umpan balik dan masalah mereka. Diskusikan dan kritisi hasil pemantauan dan bangun fleksibilitas untuk penyesuaian agar sistem pemantauan tumbuh bersama program.
22 | Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran Evaluasi yang dilakukan dengan benar akan mempertanyakan validitas dan relevansi indikator- indikator yang dirancang, serta memberi ruang refleksi lebih lanjut atas strategi yang digunakan dalam implementasi ToC, yang menjadi landasan bagi pengalaman- pengalaman pembelajaran. Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran | 23 Evaluasi yang dilakukan dengan benar akan mempertanyakan validitas dan relevansi indikator-indikator yang dirancang, serta memberi ruang refleksi lebih lanjut atas strategi yang digunakan dalam implementasi ToC, yang menjadi landasan bagi pengalaman-pengalaman pembelajaran. MEMAHAMI APA ITU INDIKATOR Indikator adalah karakteristik atau kondisi yang dapat diamati yang berguna untuk menunjukkan kemajuan. Dalam hal indikator program/organisasi, indikator digunakan untuk mengukur apakah pekerjaan yang dilakukan telah menghasilkan output atau outcome yang tepat. Contoh indikator output adalah: jumlah orang muda yang dilatih tentang MYP oleh CHOICE. Contoh indikator outcome adalah: jumlah inisiatif yang dilakukan oleh orang muda yang telah dilatih tentang MYP oleh CHOICE. Evaluasi menjadi bagian dari siklus program berupa penilaian baseline, midline dan endline. Evaluasi akan membantu kita melihat capaian-capaian kita pada saat tertentu yang telah ditentukan sebelumnya, untuk memastikan kita dapat mengukur perubahan, baik yang direncanakan maupun yang tidak direncanakan. Berbeda dengan pemantauan yang hanya memberikan informasi terkait dengan perubahan yang direncanakan saja. Evaluasi yang dilakukan dengan benar akan mempertanyakan validitas dan relevansi indikator-indikator yang dirancang, serta memberi ruang refleksi lebih lanjut atas strategi yang digunakan dalam implementasi ToC, yang menjadi landasan bagi pengalaman-pengalaman pembelajaran. Misalnya, penilaian evaluasi akhir dari sebuah program yang dilaksanakan oleh CHOICE mungkin akan mencakup wawancara dengan anggota masyarakat, pemimpin politik dan orang muda. Ini akan memungkinkan kita untuk memahami sejauh mana mereka telah dipengaruhi oleh strategi program, serta saran menarik apa yang mereka miliki untuk program di masa depan berdasarkan pengalaman mereka. Evaluasi akhir kemungkinan juga akan mencakup beberapa refleksi dari tim pelaksana, rekomendasi dan praktik baik mereka, serta refleksi akhir dari pencapaian atas outcome-outcome yang tertera dalam ToC program.
24 | Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran Pembelajaran Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran | 25 PMEL adalah proses organisasi yang bertujuan merangsang pembelajaran, meningkatkan strategi organisasi, dan memastikan bahwa kita menuju ke arah yang benar.
26 | Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran PEMBELAJARAN Masih bersama kami? Kita sekarang telah sampai pada komponen terakhir: pembelajaran. Pembelajaran adalah proses dimana kita mengumpulkan informasi dan pengetahuan yang diperoleh selama pelaksanaan kegiatan melalui langkah-langkah P&E di atas. Kita dapat menggunakan informasi ini untuk meningkatkan kualitas program, menilai kembali prioritas organisasi, atau bahkan untuk menyesuaikan sistem PMEL itu sendiri. Pembelajaran adalah elemen terakhir dari siklus PMEL, dan dengan itu kita akan memperoleh wawasan sejauh mana ToC atau rencana kerja berkontribusi pada visi kita. Contoh pembelajaran adalah refleksi laporan tengah semester. Laporan tengah semester merupakan salah satu bentuk evaluasi dalam siklus PMEL. Laporan ini membantu kita untuk menilai kemajuan yang telah kita capai terhadap target yang ditetapkan, dan sejauh mana ToC kita mencerminkan realitas masalah yang kita tangani. Refleksi laporan tengah semester adalah proses dimana organisasi-organisasi yang terlibat dalam penerapan ToC akan melihat hasil-hasil secara cermat dan menilai hal-hal apa yang perlu disesuaikan dalam perencanaan. Jika laporan mengandung "red flags" (tanda bahaya) terkait dampak dari upaya-upaya yang sedang kita usahakan terhadap visi, maka kita perlu menyesuaikan ToC dan perencanaan. Waktu evaluasi adalah waktu yang sangat penting untuk memastikan bahwa kita sedang bergerak ke arah yang memberikan dampak paling besar. Pembelajaran juga dapat dikaitkan dengan isu-isu lain yang berhubungan dengan program/organisasi yang, walaupun tidak secara langsung berdampak pada tujuan, dapat berpengaruh pada kemanjuran pekerjaanmu. Tanda bahaya terkait ketidakseimbangan tata kelola, keuangan, dan kekuasaan adalah beberapa contoh masalah yang juga dapat diangkat saat evaluasi, yang dapat membantumu mengarahkan program/organisasi ke arah yang akan berkontribusi lebih baik pada visi. Akhirnya, banyak pembelajaran tertanam dalam apa yang biasanya kita lakukan dalam siklus program. Misalnya, penguatan kapasitas Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran | 27 bersama, sharing pengetahuan, refleksi dalam rapat staf, atau pada tingkat tata kelola global, pelaporan tahunan, pertemuan linking and learning, percontohan, perencanaan, pemantuan, evaluasi, penelitian, sesi-sesi tinjauan (review), pembelajaran melalui kolaborasi dalam Technical Working Groups, Community of Practice, dsb. Dengan kata lain, pembelajaran adalah bagian dari semua hal yang kita lakukan. Bagaimanapun cara kamu melakukan pembelajaran, mendedikasikan sumber daya waktu dan anggaran untuk pembelajaran dalam organisasi atau tim programmu sangat penting. Hal penting lainnya yang perlu dilakukan adalah mengidentifikasi apa pertanyaan-pertanyaan pembelajaran untuk program dan/atau organisasimu dan bagaimana menjawabnya, misalnya melalui riset operasional, evaluasi atau konsultasi informal. Selanjutnya, kamu dapat memulai kembali siklus PMEL dengan pengetahuan yang diperoleh dari evaluasi seraya menyesuaikan perencanaan dan pemantauanmu untuk evaluasi berikutnya. Beberapa aktivitas relevan yang dapat dilakukan sebagai bagian dari kerangka kerja P&E: Analisis konteks: analisis ini penting menjadi bagian dalam proses pengembangan ToC karena, seperti yang disebutkan sebelumnya, mengetahui masalah yang ingin kamu fokuskan dapat membantu menggambarkan hubungan kausalitas (sebab dan akibat). Hubungan kausalitas ini terjadi secara spesifik hanya pada konteks di mana kamu akan menerapkan ToC-mu saja. Lokakarya perumusan ToC: lokakarya ini terjadi di awal dengan tujuan mengembangkan atau menyempurnakan ToC dalam upaya menangkap sudut pandang para pemangku kepentingan, berdasarkan pengalaman atau keahlian/pengetahuan mereka. Lokakarya ini juga merupakan cara untuk menghindari ToC menjadi dokumen yang kamu kembangkan berdasarkan pengalaman atau pengetahuan kamu sendiri. Berproses bersama para pemangku kepentingan akan membantu menguji asumsi-asumsi yang kamu gunakan dalam ToC. Jika kamu ingin mengimplementasikan sebuah program dalam konteks yang berbeda dari konteks yang kamu kuasai, sangat penting untuk melibatkan aktor- aktor lokal sedari awal.
28 | Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran Baseline: ini adalah titik awal program yang akan membantu kamu melacak/menunjukkan kemajuan dengan mengukur indikator-indikator berdasarkan posisi awal saat memulai program. Pelacakan kemajuan: melacak kemajuan kamu adalah aktivitas berkelanjutan yang relevan untuk mengetahui apakah kamu bergerak ke arah yang diinginkan. Pelaporan (internal dan kepada donor atau pemangku kepentingan lainnya): ini dilakukan bersama dengan pelacakan kemajuan untuk menunjukkan kepada donor dan penerima manfaat apa yang telah kamu lakukan sejauh ini. Tinjauan ToC: berdasarkan pelacakan/pelaporan kemajuan, idealnya, kamu harus melihat ToC-mu untuk memeriksa apakah strategi yang kamu gunakan membawamu ke arah yang benar, atau apakah kamu perlu menyesuaikannya. ToC tidak boleh digunakan sebagai dokumen yang kaku, karena keadaan berubah sehingga mungkin ada jalur perubahan (pathway of change) dan/atau strategi yang perlu disesuaikan. Studi dampak: ini adalah cara yang bagus untuk menunjukkan kemajuanmu dan dampak kegiatan-kegiatanmu dalam pencapaian visi. Studi dampak adalah penilaian yang bertujuan untuk menunjukkan dampak dari intervensi baru atau bahkan aturan hukum baru dalam masyarakat. Studi dampak dapat menunjukkan sejauh mana program/ organisasimu telah mengubah pemikiran masyarakat terkait dengan isu tertentu. Studi dampak juga dapat dilakukan bertahun-tahun setelah program berakhir. Studi kasus: studi ini melihat lebih dekat dampak program/organisasimu terhadap kehidupan kelompok orang tertentu, komunitas kecil atau sejenisnya, tergantung pada siapa/apa targetmu. Studi ini bertujuan untuk lebih memahami bagaimana kegiatan-kegiatan yang berbeda atau proyek hadir secara bersama-sama untuk membuat perubahan yang berarti. Evaluasi eksternal tengah semester dan final: momen evaluasi ini berfungsi sebagai pemeriksaan eksternal terhadap strategimu dan merupakan sumber informasi terpercaya yang dapat kamu gunakan untuk unjuk karya. Refleksi dan pembelajaran: salah satu alasan utama melakukan PMEL. Dengan menggunakan semua informasi yang dikumpulkan di seluruh kerangka kerja P&E-mu, tetapkanlah saat-saat untuk merefleksikan Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran | 29 BAGAIMANA MEMBANGUN SISTEM PMEL DI ORGANISASIMU hasil dan mempelajarinya bersama-sama dengan semua pihak yang menerapkan ToC. Pada bagian ini, kita akan mempelajari langkah demi langkah cara membangun sistem PMEL di organisasmu. Siap? Kita mulai! LANGKAH 0: KEMBANGKAN ATAU PERBARUI TOC Pastikan ToC-mu disusun dan diperbarui dengan mempertimbangkan keadaan organisasimu saat ini, konteks pekerjaan yang kamu lakukan, atau konteks masalah yang ingin kamu targetkan. Seperti disebutkan sebelumnya, ToC adalah definisi kamu sendiri tentang perubahan yang kamu bayangkan di dunia dengan indikasi yang jelas mengenai lingkup kendali, lingkup pengaruh, dan lingkup perhatianmu.
30 | Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran | 31 contoh Di sini kamu dapat melihat Visi: ToC CHOICE dan S e m u t e a o n t a n a g k g m u d a m e m i l iki kekuatan untuk membuat keputu e h i d u p a n s e k s ual, reproduksi, dan asmara m s a ere n O R G ANISASI YANG BEKERJA DI ISU H K S R OR ANG MUDA secara efektif m e n angani kebutuhan para orang muda k a. elemen-elemen yang menyusunnya. alah mitra m proses pengambilan R S K n H d A a D U a s utu p e k G M ala tara d N A R O e s a d R a g a li n n s K n H a a k a j u d S K R U H A D I I S n d n ju t a m e g m S R J O R G A N I S A S I YANG BEKERJA DI ISU HKSR ORANG MUDA m e n g i n tegrasikan MYP dan kemitraan orang m u d a & orang dewasa (YAP) dalam organisasi dan seluruh kerja mereka E K se c ara b erk ela terh u b u n g u n t u k m Y L O Y A b e k erja a k tif m Y L O Y b a n h al strat e d a n m G B terb a n g u n k a p 1. Y L O Y A u ntu k k e sta b ila su n d a n m R E G B ui k m e n g e ta h 2. Y L O Y A g d m a sin k e s e G B E a N u ora n R S U H e l a n k a si d o r a a n is, d n K a t n j u a l a m h n n f n A D I I S a l - s i a l J k R a E y a u o la n k g is, t e K a E p G B g b n e N A 1 . O R G ANISASI YANG BEKERJA DI ISU HKSR OR ANG MUDA mengetahui dan memahami MYP dan YAP k u g U H K S R m e n y u t e g i a t s t u r n k u n s m e A D I I S u t n a u a y s i k s n t a e s i a l d m p l e n n f n k J R E a sit a g i m r K r n t E 2 . O R G ANISASI YANG BEKERJA DI I S U H KSR ORANG MUDA memiliki k a p a sitas untuk bekerja dengan o r ang muda secara bermakna a N U H K S R A D I I S - g s i n n m a n h li a t a p a a d n e n m e r t u n b a t a u h e t a g n e e d a n p a e n J KSR dvokasi H ereka untuk ermakna ara b k m c A m a e n h si s a a d tisip ar p r e b a k K E r e a k N a n a a l a m n p emahami hak- asi secara bermakna ngetahuan dan KSR dan hak n m ermakna ar d asi H artisip miliki p d a A s erp ara b D k b A m U c M e u si s t G n u N a tisip A k R e O r e m . 1 k a h a m g n p a g n e D U a a e G M k e r e m k o v d a g n e k m N A R O e D U M G N A R O . 2 a u t n u s a t i s a p a k r a p r e b Secara struktural, P dan peluan untuk YLO yan DA N A m enye dia k E N g ya g b e a n s Y A n g d u N D m b A a e p N r k PEN at erja di is G d dia YA a y beragam bentuk p uda, dala YLO yan N a D k s A e N u G D m s H K A N S R A b m ran e ere n d ks a gka p kerja di is n p a erim g ra a n y a g b e e e n n d n d a n 1. PENYA N a e a n b n m g a h a erk u H n o r a D ela A K n N S nju t R G D g 2. PEN dan m e 2. PEN dan m e m en A a g N YA e n A n ai m D e M A n N Y g G D m P aha e t a pendanaan ya A h mi b N u A i era m e oran g n a g m n e b g m u g ra t a e n t u h 1 . d m u i a a k P h d . i i l i i M G N M m i m T U i p H S K A P U e r m a b N y b e v a n h U S d A N m u y a n g a k n a n a g m a o r a n g v a n i j a k a n . m a k m e n n g e t a h u a d a l a m m H K g S a R m b s e i l a n a r a G A M K M U P d A N H K m S R p e o o k a v a e n a n s g n Gambar 4: Impact Outcomes Outputs Outputs Outcomes Impact CHOICE Theory of Change
32 | Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran contoh Seperti yang kamu lihat pada Gambar 4, ToC biasanya terdiri dari empat elemen utama: visi dan/atau dampak (impact), hasil (outcome), dan luaran (output). Visi adalah dunia yang ingin kita berikan kontribusi, baik sebagai organisasi atau sebagai program. Untuk berkontribusi terhadap visi menyeluruh ini, organisasi menggunakan misi mereka sendiri (tujuan inti organisasi) untuk merefleksikan bagaimana cara mereka berkontribusi bersama pemangku kepentingan lainnya. Untuk menentukan impact, outcome, dan output, kita perlu memahami berbagai cara mencapai visi ini dan bagaimana kita dapat berkontribusi untuk itu. Untuk melakukan ini, kamu dapat menggunakan penelitian dan/atau pengalamanmu. Kembali ke ToC CHOICE dalam contoh, kamu dapat melihat bahwa visinya adalah "semua orang muda memiliki kekuatan untuk membuat keputusan tentang kehidupan seksual, reproduksi, dan asmara mereka." Dalam hal ini, kami mengetahui dari keahlian organisasi kami bahwa, untuk mencapai tujuan ini, ada lima hal yang perlu dilakukan (impact atau long-term outcome): 1. Orang muda adalah mitra setara dalam proses pengambilan keputusan HKSR; 2. Organisasi yang Dipimpin Orang Muda atau Youth-Led Organization (YLO) yang bekerja di isu HKSR ada secara berkelanjutan dan saling terhubung untuk memajukan HKSR orang muda; 3. Organisasi yang bekerja di isu HKSR orang muda secara efektif menangani kebutuhan para orang muda; 4. Secara struktural, penyandang dana menyediakan sumber daya dan peluang yang dapat diakses untuk YLO yang bekerja di isu HKSR; dan 5. Pengambil keputusan yang relevan mengintegrasikan MYP dan HKSR orang muda secara struktural dalam proses penyusunan peraturan dan kebijakan. Kami tahu bahwa lima elemen inilah yang dapat mewujudkan visi kami karena kami memiliki sumber pengetahuan yang kuat yang membuktikan hal itu, atau karena pengalaman kami di sektor ini. Bagaimanapun, pengetahuan ini adalah dasar pengembangan ToC, karena membantu kami menarik Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran | 33 hubungan sebab akibat yang memungkinkan kami menentukan jalan menuju perubahan. Setelah level impact, logika yang sama dapat diterapkan pada outcome dan output. Artinya, untuk setiap impact, berdasarkan pengetahuan atau pengalamanmu, kamu perlu menjelaskan hal-hal apa yang perlu terjadi yang memungkinkan impact tersebut tercapai. Setiap level akan membawa lebih banyak tindakan nyata yang dapat kamu sumbangkan. Begitulah cara mendefinisikan ToC. Pada langkah berikutnya, kamu akan mempelajari lebih lanjut tentang asumsi dalam ToC dan mengapa hal ini relevan untuk kerangka kerja PMEL-mu. Saat melihat tingkat kendali yang kamu miliki pada berbagai level ToC, semakin dekat dengan visi, semakin kecil kendali yang kamu miliki. Umumnya, level impact dalam ToC dianggap sebagai level atau lingkup perhatian; level outcome dianggap sebagai level pengaruh; dan level output dianggap sebagai level kendali. Level atau tingkat yang berbeda ini penting untuk dipahami untuk memahami sejauh mana, dan bagaimana, kita berkontribusi pada visi. Lebih penting lagi, hal ini membantu kita mengetahui apa yang menjadi tanggung jawab kita dan apa yang harus kita ukur. Memakai contoh ToC CHOICE yang kami berikan, kami dapat dimintai pertanggungjawaban atas tingkat kesadaran dan pemahaman yang dimiliki orang muda tentang hak mereka untuk berpartisipasi secara bermakna (output no. 1 pada pathway 1), karena kami dapat memberikan pelatihan tentang hal ini. Namun kami tidak dapat mengendalikan apakah orang muda mengadvokasi HKSR mereka dan hak mereka untuk berpartisipasi secara bermakna (level outcome pada pathway 1), berdasarkan pengetahuan ini. Bahkan lebih sulit untuk berbicara tentang sejauh mana orang muda menjadi mitra setara dalam proses pengambilan keputusan HKSR (level impact pada pathway 1). Meskipun kami dapat mengukur sejauh mana kontribusi kami pada level outcome dan impact, hal tersebut tidak semudah kami mengukur output. Oleh karena itu, pemantauan harus fokus pada tingkat output sedangkan evaluasi pada tingkat outcome dan impact.
34 | Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran Untuk mempelajari lebih lanjut tentang ToC dan langkah-langkah untuk membuatnya sendiri, bacalah Panduan "How to Work with A Theory of Change" di sini. LANGKAH 1: ASUMSI DAN PERTANYAAN PEMBELAJARAN Mendefinisikan ToC membutuhkan penggunaan asumsi hubungan sebab-akibat antara peristiwa, berdasarkan pengetahuanmu (penelitian, dokumentasi) atau pengalamanmu sendiri di lapangan. Asumsi adalah fakta yang kita anggap benar atau berlaku ketika mendefinisikan jalan menuju perubahan (pathway of change). Contoh Lihatlah ToC CHOICE, Pathway 1 yang lengkap berbunyi sebagai berikut: "orang muda adalah mitra setara dalam proses pengambilan keputusan HKSR" hanya jika "orang muda mengadvokasi HKSR dan hak mereka untuk berpartisipasi secara bermakna," yang hanya akan terjadi jika: Orang muda menyadari hak mereka untuk berpartisipasi secara bermakna Orang muda memiliki kapasitas untuk mengadvokasi HKSR mereka dan hak untuk berpartisipasi secara bermakna. Oleh karena itu, kami mengasumsikan di sini bahwa orang muda mampu mengatasi faktor eksternal (kurangnya pendapatan, kurangnya waktu, kewajiban keluarga, norma dan budaya, keamanan) yang mungkin membatasi kemungkinan mereka untuk berpartisipasi secara bermakna. Selain itu, kami berasumsi bahwa dengan meningkatkan kesadaran dan kapasitas mereka tentang HKSR dan MYP, orang- orang muda ini akan menjadi advokat aktif untuk hak-hak mereka. Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran | 35 Asumsi-asumsi tersebut merupakan hasil penelitian dan pengalaman. Menuliskannya setelah kamu memiliki ToC memungkinkan kamu untuk memahami apa dasar pemikiranmu. Jika asumsimu adalah hasil dari pengetahuan yang kamu miliki dari pengalaman sebelumnya atau dari penelitian yang telah kamu lakukan atau baca, maka kamu siap melakukannya. Namun, asumsi seringkali sebenarnya didasarkan pada harapan. Ini berarti kamu tidak memiliki dasar untuk membuktikan mengapa kamu memutuskan untuk mengambil pathway tertentu di ToC-mu. Ini tidak sepenuhnya salah, tetapi itu berarti kamu perlu mengambil langkah ekstra dalam mengevaluasi ToC yang disusun. Untuk ini, kamu perlu memisahkan asumsi-asumsi mana yang perlu diuji dan menentukan pertanyaan pembelajaran yang dapat dijawab melalui penelitian, selama implementasi ToC. Contoh Dalam kasus kami, dengan mempertimbangkan asumsi-asumsi kami, kami telah mendefinisikan beberapa pertanyaan pembelajaran berikut: Faktor/hambatan eksternal apa yang dihadapi orang muda yang membatasi kemungkinan mereka untuk berpartisipasi secara bermakna? Bagaimana orang muda dapat mengatasi faktor/hambatan eksternal yang membatasi kemungkinan mereka untuk berpartisipasi secara bermakna? Faktor eksternal mana yang memungkinkan partisipasi bermakna orang muda? Apa yang memotivasi orang muda untuk menjadi advokat aktif untuk hak- hak mereka? Untuk menjawab pertanyaan-pertanyaan pembelajaran di atas, kami merencanakan kegiatan penelitian dalam rencana kerja, agar kegiatan tersebut dapat dianggarkan dan masuk dalam tabel waktu pelaksanaan program.
36 | Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran LANGKAH 2: MENDEFINISIKAN TUJUAN SISTEM PMEL Kami telah menyebutkan bahwa mungkin ada tujuan yang berbeda untuk sistem PMEL, bukan? Berikut ini tujuannya: 1. Mendorong pembelajaran 2. Menjaga akuntabilitas 3. Memberikan arah 4. Visibilitas dan penggalangan dana 5. Menstimulasi dialog Kami juga telah menjelaskan bahwa tidak semua tujuan ini dapat bermanfaat bagi organisasi/programmu. Inilah sebabnya, sebelum terjun ke pengembangan sistem PMEL, penting bagimu dan tim untuk menentukan tujuan mana yang dibutuhkan organisasi/program. Kejelasan ini dapat membantu mengarahkan upaya PMEL-mu ke arah yang tepat. LANGKAH 3: MENDEFINISIKAN INDIKATOR Indikator adalah penanda apakah perubahan tertentu telah terjadi. Saat merumuskan indikator, kita bertanya pada diri kita sendiri: apa yang berubah? Untuk siapa itu berubah? Berapa banyak yang berubah? Kapan perubahan itu terjadi? Di mana itu terjadi? Dengan pertanyaan- pertanyaan ini, kita dapat membuat indikator sespesifik mungkin. Namun, indikator juga harus relevan (tanyakan pada diri kita sendiri: apakah indikator memberikan informasi yang saya butuhkan?), dan kita harus dapat mengukurnya (tanyakan pada diri kita sendiri: apakah kita memiliki anggaran dan kapasitas untuk mengukur indikator ini? Apakah data yang dibutuhkan tersedia?). Indikator-indikator yang ditetapkan akan membentuk apa yang disebut kerangka kerja PMEL. Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran | 37 Untuk mulai menentukan indikator, yang terbaik adalah memulai pada level impact di ToC. Untuk mulai menentukan indikator, yang terbaik adalah memulai pada level impact di ToC. Mendefinisikan indikator pada level ini sedikit rumit, termasuk menilai kontribusimu terhadapnya, dibandingkan dua level di bawahnya (level outcome dan output). Oleh karena itu, ketika mendefinisikan indikator impact, bayangkan gambaran besar dan identifikasi proses evaluasi apa yang dapat membantu menjelaskan kontribusimu terhadapnya. Kembali ke ToC CHOICE, di Pathway 1 kami telah mendefinisikan impact berikut: "orang muda adalah mitra setara dalam proses pengambilan keputusan HKSR". Dalam pernyataan ini, kami sudah dapat mengidentifikasi variabel yang perlu kami ukur, yaitu "mitra setara dalam proses pengambilan keputusan HKSR." Serta populasi di mana kami akan mengukur indikator ini: "orang muda." Indikator di sini kemudian akan menjadi: Sejauh mana orang muda terlibat dalam proses pengambilan keputusan HKSR secara struktural dan bermakna Sejauh mana orang dewasa menganggap berharga partisipasi orang muda dalam proses pengambilan keputusan HKSR Kedua indikator tersebut dapat membantu CHOICE mengukur sejauh mana impact berubah dalam populasi. Sekarang, di dalam CHOICE ada beberapa hal yang kami lakukan untuk memastikan peningkatan kesadaran
38 | Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran mengenai pentingnya mengikutsertakan pelatihan kepada orang muda untuk orang muda ketika mengerjakan HKSR orang memahami ragam proses advokasi dimana muda, akan tetapi tidak ada aktivitas yang mereka dapat mengklaim hak-hak mereka. langsung berkontribusi pada indikator impact Kami memberikan pemahaman tentang ini. Mengapa? Karena kami sadar kami tidak kapan peristiwa ini berlangsung, siapa yang dapat sepenuhnya mengendalikan (di luar terlibat, dan bagaimana orang muda dapat lingkup kendali) maupun mempengaruhi berpartisipasi. Oleh karena itu, indikator (di luar lingkup pengaruh) kedua indikator yang cukup relevan untuk outcome ini impact ini. adalah: Persentase orang muda yang memiliki Untuk saat ini, yang penting untuk kamu kapasitas yang terlibat dalam proses pahami adalah bahwa indikator impact advokasi lokal, nasional, regional dan memang dapat bersifat umum dan tidak internasional untuk HKSR orang muda perlu mencerminkan aktivitas atau upayamu dan hak mereka untuk berpartisipasi sendiri, seperti pada level outcome dan secara bermakna. output. Seperti yang kamu lihat, ada perbedaan Sekarang mari kita coba mendefinisikan dalam cara mengatur indikator per level ToC. indikator di level outcome. Melihat ToC Semakin dekat dengan lingkup kendali kita, CHOICE, outcome di Pathway 1: "orang semakin sederhana untuk mendefinisikan muda mengadvokasi HKSR mereka dan indikatornya, karena kontribusi kita pada hak mereka untuk berpartisipasi secara level yang lebih dekat dengan lingkup bermakna". Seperti pada contoh sebelumnya, kendali kita relatif lebih mudah kita pastikan. variabel yang perlu diukur di sini adalah Sebaliknya, semakin jauh dari lingkup "mengadvokasi HKSR dan hak mereka untuk kendali kita, semakin kita butuh waktu berpartisipasi secara bermakna". Populasi merenungkan bagaimana bentuk kontribusi di mana kami ingin melihat ini terjadi adalah kita untuk sampai pada situasi/kondisi yang "orang muda". Nah, untuk level outcome, diinginkan sambil menetapkan indikator karena ini lebih dekat dengan lingkup kendali untuk mengukur kontribusi tersebut. kami dibandingkan level impact sebelumnya, kami menentukan beberapa cara dimana Selanjutnya, indikator di level output. Di kami dapat berkontribusi pada outcome ini. Pathway 1 dari ToC kami, berikut output kami: "orang muda sadar dan memahami Dalam contoh ini, kami menawarkan hak mereka untuk berpartisipasi secara Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran | 39 bermakna". Variabel di sini adalah "kesadaran dan pemahaman tentang hak untuk berpartisipasi secara bermakna". Populasi dimana kami ingin melihat perubahan variabel ini adalah "orang muda". Untuk mengukur jumlah orang muda dengan peningkatan kesadaran dan pemahaman tentang partisipasi yang bermakna, penting untuk memahami bagaimana kami berkontribusi terhadap hal ini. Dalam hal ini, CHOICE memberikan pelatihan tatap muka tentang MYP, serta Training of Trainers (ToT). Selain itu, kami menawarkan sumber daya online yang relevan "YOUTH Do IT!" yang berkontribusi untuk tujuan ini. Oleh karena itu, kita dapat mengukur indikator ini Semakin dekat dengan lingkup kendali kita, semakin mudah untuk mendefinisikan indikatornya, karena kontribusi kita semakin lugas. dengan mengukur jumlah orang muda yang telah dilatih CHOICE tentang topik tersebut melalui berbagai platform. Dengan demikian, indikator untuk level output ini adalah:
jumlah orang muda yang terlibat dalam pelatihan/diskusi tentang MYP yang diberikan oleh CHOICE
jumlah pelatihan/diskusi tentang MYP yang diberikan kepada orang muda oleh CHOICE % anak muda yang terlibat dalam sesi yang diberikan CHOICE yang mengalami peningkatan pemahaman tentang MYP.
40 | Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran Tip Saat mengembangkan ToC, ingatlah bahwa setiap levelnya harus dapat diukur dengan jelas. LANGKAH 4: BAGAIMANA DAN KAPAN MENGUKUR INDIKATOR Jika kamu telah menyelesaikan Langkah 3, maka kamu telah melakukan sebagian besar kerja keras yang dibutuhkan! Bertahanlah! Sekarang, kita hanya perlu menyiapkan kerangka kerja PMEL dan beberapa detail. Hal pertama yang perlu kamu lakukan adalah mengatur cara pengukuran indikator. Ingat ketika menyusun indikator kamu butuh menilai kontribusimu pada tingkat output dan outcome? Nah, kontribusi inilah yang akan kita ukur. Mari kita gunakan contoh sebelumnya. Contoh Untuk output "Orang muda sadar dan memahami hak-hak mereka untuk berpartisipasi secara bermakna" kami mendefinisikan indikator berikut "Berapa banyak orang muda yang telah meningkat kesadaran dan pemahamannya tentang MYP?" Kami juga menyebutkan bahwa CHOICE menyediakan pelatihan tatap muka mengenai MYP serta ToT. Selain itu, kami juga menawarkan sumber daya online "YOUTH Do IT!" yang berkontribusi untuk tujuan ini. Oleh karena itu, indi- kator ini dapat dinilai dengan mengukur jumlah orang muda yang telah dilatih oleh CHOICE tentang topik tersebut melalui berbagai platform yang tersedia. Artinya, kita dapat menggunakan dokumentasi dari sesi pelatihan dan analisis digital dari YOUTH Do IT! untuk menghitung jumlah orang muda yang dilatih. Selain data kuan- titatif ini, perlu juga membandingkan penilaian kebutuhan (yang kamu lakukan di awal pelatihan) dengan evaluasi pelatihan (yang kamu lakukan di akhir pelatihan) dimana kamu meminta peserta untuk mengukur pemahaman dan kesadaran mereka, sehingga kamu dapat mengukur dampak kualitatif dari pelatihanmu. Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran | 41 Pengukuran di atas dapat ditambahkan ke kerangka kerjamu sebagai "metodologi", sehingga jelas bagi kamu dan tim apa yang akan diukur di sini. Kamu dapat melakukan ini dengan semua indikator yang ditentukan pada Langkah 3. Pastikan untuk menentukan momen-momen untuk kamu akan kembali ke hasil capaian dan menilai kemajuanmu. Momen-momen (evaluasi) sangat penting untuk memastikan kamu tetap bergerak ke arah yang benar. Indikator level impact, seperti yang disebutkan sebelumnya, dapat ditetapkan dan ditentukan, namun kamu perlu menggunakan cara yang berbeda untuk mengukurnya. Kamu dapat menggunakan proses evaluasi lain yang harus dilakukan sebagai bagian dari sistem P&E-mu, seperti penelitian tentang topik tertentu, evaluasi tengah dan akhir proyek, dsb. Metode yang digunakan untuk mengukur indikator impact ini dapat ditambahkan dalam kolom metodologi. Saat mengukur hasil advokasi, akan berguna untuk menggunakan metodologi "outcome harvesting". Metodologi ini akan membantu mengukur sejauh mana upaya advokasimu berkontribusi pada perubahan di tingkatan yang lebih tinggi, seperti pengesahan atau penerapan undang-undang/kebijakan baru yang selaras dengan tujuan kegiatan kamu. Lihatlah boks "Outcome Harvesting" untuk penjelasan lebih lanjut. Pastikan untuk menentukan momen-momen untuk kamu akan kembali ke hasil capaian dan menilai kemajuanmu.
42 | Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran Outcome Harvesting Outcome Harvesting (OH) adalah metodologi analisis yang membantu menghubungkan upaya advokasimu dengan perubahan-perubahan yang mungkin bukan akibat langsung dari pekerjaan kamu, atau yang berada di luar cakupan sistem P&E-mu. Produk akhir dari OH adalah sebuah dokumen di mana kamu menguraikan hal-hal berikut: Deskripsi outcome, yang meliputi aktor sosial, perilaku dan perubahannya yang dapat diamati. Tip: ingatlah ada perbedaan antara output dan outcome seperti yang disebutkan sebelumnya, jadi ingatlah ini saat menulis deskripsi outcome. Relevansi outcome. Untuk ini, kita perlu menjelaskan bagaimana outcome ini relevan dalam kaitannya dengan strategi advokasi kita dan bagaimana hal ini berbeda dari biasanya (menunjukkan bagaimana kita selangkah lebih dekat dengan tujuan kita). Di sini, pastikan untuk menyertakan rincian sebanyak mungkin untuk menggambarkan kondisi sebelum dan sesudah agar relevansinya terlihat. Kontribusi kami. Kegiatan apa yang berkontribusi pada hasil ini? Sebuah cerita menambahkan kedalaman untuk menggambarkan kontribusi yang kamu lakukan, bukan sekadar daftar kegiatan. Juga pastikan bahwa itu penjelasan naratif ini dapat dipercaya dan dapat diverifikasi (jika dokumentasi pendukung tersedia, pastikan untuk mengumpulkannya). Tip: jangan lupa untuk memberikan rincian, termasuk tanggal dan periode kapan kegiatan berlangsung. Sumber. Sumber harus membantu mendukung pernyataan outcome. Mereka dapat menambahkan informasi tentang outcome itu sendiri, tetapi yang lebih penting mereka dapat mengonfirmasi kegiatan- kegiatan yang kita laksanakan yang berkontribusi pada outcome. Sumber termasuk laporan, nama orang-orang yang dapat menguatkan ceritamu. Jika evaluator eksternal ingin memeriksa cerita ini, mereka dapat melakukannya dengan menggunakan informasi ini. Langkah ke depan: sebuah refleksi tentang apa yang telah terjadi dan bagaimana ini memberi informasi tentang perjalanan kita ke depan. Langkah ke depan juga penting mencakup rencana tindak lanjut dari kompromi-kompromi yang dibuat para aktor saat melakukan aktivitas mereka (misalnya, ketika seorang politisi berkompromi untuk mendorong lebih banyak PKRS bagi orang muda). Tip Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran | 43 Satu halaman dengan informasi rinci dan keterangan yang jelas sudah cukup. Hindari singkatan. LANGKAH 5: MENETAPKAN TARGET Sejauh ini, kita sudah memiliki indikator dan cara/metode untuk mengukurnya. Sekarang mari kita tentukan targetnya. Menetapkan target bisa menjadi tugas yang menantang - kamu tidak ingin menargetkan sesuatu yang tidak realistis, namun kamu juga ingin menantang diri sendiri. Saat menetapkan target, penting untuk: Menetapkan tujuan dengan jelas dengan menggunakan angka atau persentase sespesifik mungkin. Menyertakan referensi acuan pembanding. Apakah kita ingin mencapai tujuan yang lebih tinggi dari tahun lalu, atau apakah kita ingin meningkatkan angka yang ditemukan pada baseline? Kita juga bisa menargetkan untuk menjadi sebaik proyek serupa lainnya, asalkan kita realistis dengan angka yang kita tetapkan. Menyertakan kerangka waktu. Menggunakan daftar di atas dapat membantumu menetapkan target dengan baik. Misalnya, mengatakan "meningkatkan jumlah orang muda dengan kesadaran MYP" bukanlah target. Mengapa? Karena kita kehilangan angka jumlah yang ingin kita capai, referensi acuan pembanding, dan kerangka waktu. Sebaliknya, "meningkatkan jumlah orang muda dengan kesadaran MYP sebesar 20% dibandingkan baseline pada tahun 2025" memberikan target yang jelas karena mengacu pada angka pengukuran dan kerangka waktu yang jelas. Karena kita sudah menetapkan indikator-indikator kita pada tahap ini, kita sekarang dapat dengan mudah menetapkan target untuk mereka. Ada dua opsi: gunakan data historis dan/atau refleksikan pengalaman sebelumnya.
44 | Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran Akhirnya, ketika menetapkan target, sangat penting untuk bersikap realistis. Pastikan kamu mempertimbangkan konteksmu dan perubahan yang kamu harapkan sepanjang tahun, serta setiap peristiwa yang mungkin menunda implementasi. Pertimbangkan hubungan sebab-akibat dengan mitra, konsorsium, tim, dan pemerintah. LANGKAH 6: MENENTUKAN PERAN DAN TANGGUNG JAWAB PEMANTAUAN Langkah selanjutnya dalam perjalanan PMEL ini adalah menentukan peran dan tanggung jawab. PMEL perlu menjadi tanggung jawab organisasi karena hasilnya bermanfaat bagi semua orang di organisasi. Oleh karena itu, kamu harus melihat kerangka kerjamu bersama dengan tim, dan memutuskan siapa yang akan melakukan apa dan kapan. Jika ada kekurangan kapasitas dalam timmu, kamu juga dapat mengikuti pelatihan khusus, atau meminta dukungan dari pakar lain dalam program ini. Kamu juga dapat memutuskan untuk melibatkan pihak luar untuk membantumu menilai kontribusi kamu pada level impact. Kamu tidak harus melakukannya sendiri! Pastikan kamu mengklarifikasi hal ini dalam kerangka kerja dan memasukkannya ke dalam rencana kerja untuk tahun ini, jika relevan. LANGKAH 7: MENDEFINISIKAN MOMEN DAN METODOLOGI EVALUASI Kamu sudah sejauh ini - bagus! Beri tepukan di punggung, kamu telah melakukan sebagian besar pekerjaan. Masih ada beberapa hal yang harus Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran | 45 didefinisikan tetapi bagian terbesar dari sistem PMEL kamu sudah selesai. Sejauh ini, kita sudah memiliki 1) ToC, yang dianggap sebagai perencanaan (bersama dengan rencana kerja dan/atau Strategi Multi-Tahunan); serta 2) indikator dan target, yang merupakan bagian dari upaya pemantauan. Mari kita bahas evaluasi. Ingatlah bahwa evaluasi adalah sesuatu yang terjadi pada saat-saat yang telah ditentukan sebelumnya. Umumnya: di awal, di tengah, dan di akhir implementasi ToC. Meskipun terserah kamu bagaimana dan kapan kamu melakukan evaluasi, idealnya itu harus terjadi setidaknya dua kali dalam masa implementasi, dan harus kritis terhadap strategi dan ToC. Contoh bagaimana kamu dapat melakukan evaluasi adalah: sebagai bagian dari proses pelaporan (tengah tahunan, tahunan), melalui rapat review triwulanan, dan/atau berbagi pembelajaran melalui rapat, webinar, atau acara khusus. Kamu juga harus memikirkan format laporanmu. Jika audiensmu adalah orang muda, maka kamu dapat menggunakan vlog, media sosial, dan video kreatif untuk menampilkan hasil kerja kamu. Jika kamu melapor ke donor, biasanya mereka lebih memilih laporan tertulis dan infografis. Ingatlah kelompok sasaranmu saat menentukan metodologi evaluasi. Evaluasi dimaksudkan untuk membantu kamu menilai sejauh mana strategi dan ToC-mu merespons masalah yang kamu tangani. Demikian pula, evaluasi bisa menjadi momen untuk menilai beberapa pertanyaan pembelajaranmu, jika belum terjawab. Terakhir, untuk memastikan evaluasi benar-benar objektif tentang pekerjaan yang kamu lakukan, menggunakan konsultan eksternal sangat disarankan. Pastikan momen evaluasi jelas bagi semua orang yang bekerja di tim kamu dan bahwa kamu memiliki seseorang sebagai penanggung jawab untuk proses ini.
46 | Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran LANGKAH 8: MENYEPAKATI MOMEN DAN METODOLOGI BELAJAR Tinggal satu langkah lagi, dan itu melibatkan pembelajaran. Sangat penting! Kami telah mengatakan sebelumnya bahwa pemantauan dan evaluasi digunakan untuk belajar dan untuk dapat mengarahkan upaya organisasimu menuju pencapaian dampak/visi. Oleh karena itu, menyepakati momen-momen pembelajaran merupakan bagian mendasar dari upaya PMEL kamu. Ini membutuhkan waktu dan ruang terbuka untuk refleksi kritis. Saat-saat belajar adalah ketika kamu mengizinkan semua orang untuk kembali setelah momen evaluasi, untuk mendiskusikan hal-hal apa yang perlu penyesuaian dan bagaimana caranya. Selain itu, pembelajaran juga dapat melibatkan tinjauan penelitian di lapangan, serta berdiskusi dengan organisasi/program lain yang menargetkan masalah yang sama sepertimu. Sangatlah penting untuk merencanakan momen pembelajaran dengan timmu sepanjang tahun implementasi ToC, termasuk orang yang memimpin untuk momen-momen ini. Orang ini haruslah mampu menentukan metodologi yang paling tepat untuk mengarahkan momen pembelajaran pasca evaluasi maupun momen-momen pembelajaran lainya, seperti menghadiri konferensi, dsb. Setelah ini ditetapkan, kamu siap melakukannya! Semoga sukses ya :) Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran | 47 REFERENSI MATERI LANJUTAN: 1. Basic Monitoring and Evaluation: video yang menjelaskan berbagai langkah dan konsep yang digunakan dalam ToC dengan cara yang mudah dipahami watch?v=lR8FalapJf0&) 2. 3 Ways to tell the Difference between an Output and an Outcome: jika kamu kesulitan memahami perbedaan antara output dan outcome, video ini mungkin bisa membantu! (3 Ways to tell the Difference between an Output and an Outcome) 3. Morra Imas, Linda G., and Rist, Ray C.. The road to results. Designing and conducting effective development evaluations Washington: The World Bank, 2009. org/r2r 4. Jody Zall Kusek and Ray C. Rist Ten steps to a Results-Based M&E System, The World Bank, 2004. 5. Moving from Outputs to Outcomes: Practical Advice from Governments Around the World (Burt Perrin, The World Bank, 2006) world 6. Crosswalk of Evaluator and Evaluation Managers Competencies and Characteristics (IDEAS Competency Workgroup, January 2012) 7. Competencies for Development Evaluation Evaluators, Man- agers, and Commissioners (IDEAS Working Group Evaluation Competencies, February 2012) 8. Evaluating Development Co-operation: Summary of Key Norms and Standards (OECD/DAC, 2010)
48 | Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran Apakah kamu ingin mempelajari lebih lanjut tentang MYP, advokasi yang dipimpin oleh orang muda, atau HKSR secara umum? Kamu dapat menemukan lebih banyak referensi di situs web kami: Perencanaan, Pemantauan, Evaluasi, dan Pembelajaran | 49 PLANNING MONITORING AND LEARNING PMEL © CHOICE for Youth and Sexuality Penyusun: Juliana Jaramillo, Pragya Singh Ucapan terima kasih untuk: Anna Page, Charlotte van Tuijl, Daphne Visser, Jannemiek Evelo, Leander van der Linden, and Quirine Lengkeek Penyunting: Natasha Barton Desain grafis dan tata letak: Britt Duppen Diterjemahkan dalam Bahasa Indonesia dengan dukungan dari: Muhammad Rey Dwi Pangestu (Rutgers Indonesia) Ely Sawitri (Rutgers Indonesia) Priscillia Anastasia (Konsultan Eksternal)