Rica Yanuarti, Ita Utari, Dwi Harianti: Evaluasi Pemanfaatan E-Modul Sebagai Bahan Belajar Mandiri Dalam Program Peningkatan Kompetensi Guru

## Evaluasi Pemanfaatan E-Modul Sebagai Bahan Belajar Mandiri dalam Program Peningkatan Kompetensi Guru

## Evaluation of E-Module Utilization as Self-directed Learning Materials in Teachers’ Competency Improvement Program
Rica Yanuarti; Ita Utari; Dwi Harianti Pusat Data dan Teknologi Informasi – Kementerian Pendidikan, Kebudayaan, Riset, dan Teknologi
Jl. RE. Martadinata, Tromol Pos 7/CPA, Ciputat, Tangerang Selatan 15411 rica.yanuarti@kemdikbud.go.id ; ita.utari@kemdikbud.go.id ; dwi.harianti@kemdikbud.go.id
ABSTRAK: Peran e-modul sebagai sarana pembelajaran mandiri dalam program peningkatan kompetensi guru yang bernama Pembelajaran Berbasis Teknologi Informasi dan Komunikasi atau PembaTIK sangatlah penting, khususnya dalam membangun interaktivitas dan motivasi belajar peserta PembaTIK saat tidak ada pertemuan tatap muka konvensional. Proses belajar dan pengembangan diri PembaTIK tahun 2021 dilaksanakan secara daring dan jarak jauh. Namun, belum diketahui sejauh mana efektivitas pemanfaatan 16 (enam belas) e-modul PembaTIK 2021 sebagai sarana belajar guru dalam meningkatkan kompetensi. Kualitas dan kebermanfaatan e-modul sebagai bagian dari sistem PembaTIK juga perlu dievaluasi sebagai tolok ukur dan referensi apabila perlu dilakukan perbaikan. Melalui kajian ini, dilakukan evaluasi penilaian terhadap lima aspek e-modul oleh ahli dan penjaringan pendapat peserta mengenai efektivitas penggunaan dan kebermanfaatan e-modul melalui kuesioner. Hasil evaluasi e-modul oleh ahli menyatakan bahwa aspek kualitas isi/substansi e-modul mendapat indeks nilai A, sedangkan aspek pembelajaran, bahasa, kelengkapan  media,  dan  grafis  memperoleh  indeks  nilai  B.  Hasil kuesioner menunjukkan persepsi responden yang sangat positif di atas 90% terhadap penggunaan dan kebermanfaatan e-modul. Kesimpulan kajian adalah e-modul program peningkatan kompetensi guru ini sudah cukup baik sebagai bahan belajar mandiri. Namun, perlu ada peningkatan kualitas pada beberapa aspek, terutama untuk meningkatkan motivasi dan hasil belajar, daya tarik belajar, keberlanjutan, dan keselarasan dalam kesatuan sistem program. Rekomendasi kajian evaluasi ini dapat dijadikan referensi dan standar untuk peningkatan kualitas e-modul pada waktu mendatang.
Kata Kunci : aspek kualitas; e-modul; pembelajaran mandiri Diterima: 19 Maret 2022 Direvisi: 30 Mei 2022 Disetujui: 29 Juni 2022
Rica Yanuarti, Ita Utari, Dwi Harianti: Evaluasi Pemanfaatan E-Modul Sebagai Bahan Belajar Mandiri Dalam Program Peningkatan Kompetensi Guru
ABSTRACT: The role of e-modules to facilitate self-directed learning in teacher’s competency improvement named Pembelajaran Berbasis Teknologi Informasi dan Komunikasi or PembaTIK significantly matters, particularly to build the interactivity and learning motivation of program participants where there are no face-to-face conventional classes. Learning process and the competency building of PembaTIK 2021 are held in distance and online modes. However, the  effectiveness  of  the  16  e-module  utilization  in  PembaTIK  as the tools for the participants to enhance their competence has not been known well yet. Quality and usefulness of the e-modules as part of PembaTIK system also need to be evaluated in order to be the benchmark and reference when we want to improve it. Through this study, the evaluation toward the 5 aspects of e-module is carried out by the experts, while the participants’ perception on the  e-module  effectiveness  as  well  as  usefulness  is  carried  out through questionnaires. The e-module evaluation result by the experts indicates that content quality aspect of the e-module is in the category of A, while the aspects of learning, language, media completeness, and graphics is in the category of B. the result of the questionnaires shows the participants’ highly-positive perception, which is above 90%, toward the e-module utility and usefulness. The result of the study is that the e-modules of teacher competence improvement have been good enough to be self-directed learning materials. However, there is a need for quality improvement for some aspects, especially the learning motivation and result, learning interest, learning continuity, and learning harmony in a whole system. The recommendation in this study can be as reference and standard for the e-module quality improvement in the future.
Keywords: e-modules; quality aspect; self-directed learning

## PENDAHULUAN
Belajar merupakan kebutuhan dasar manusia dan berlangsung sepanjang hayat. Maka dari itu, guru yang tugas utamanya adalah mendidik dan memberikan bekal pembelajaran kepada peserta didiknya pun harus senantiasa belajar. Bentuk proses belajar berkelanjutan yang dapat dilakukan oleh guru antara lain adalah: pelatihan, peningkatan profesionalitas, peningkatan kompetensi, atau magang. Kajian ini berfokus pada sebuah program peningkatan kompetensi teknologi informasi dan komunikasi (TIK) guru yang bernama PembaTIK (Pembelajaran Berbasis TIK). Pada tahun 2021, program PembaTIK
memasuki tahun kelima pelaksanaan. Kurikulum PembaTIK mengacu pada kerangka kerja UNESCO, ICT-CFT ( Information and Communication Technology Competencies Framework for Teachers ) 2018 yang terdiri atas tiga level: 1) level akuisisi TIK; 2) level pendalaman pengetahuan (implementasi); dan 3) level kreasi. PembaTIK mengadopsi dan mengadaptasi kerangka kerja tersebut dengan menambahkan level keempat, yaitu level berbagi dan berkolaborasi. Tujuannya adalah untuk mengimbaskan kompetensi yang telah dicapai kepada lingkungan sekitar sehingga kebermanfaatannya lebih meluas.
Rica Yanuarti, Ita Utari, Dwi Harianti: Evaluasi Pemanfaatan E-Modul Sebagai Bahan Belajar Mandiri Dalam Program Peningkatan Kompetensi Guru
Fokus PembaTIK tidak sekadar mengajarkan kemampuan teknis penggunaan TIK oleh guru. Guru harus terampil menautkan kemampuan teknologi dengan kemampuan pedagogi dan konten keilmuannya. Beberapa penelitian menyebutkan bahwa keberhasilan guru dalam menerapkan pembelajaran aktif dipengaruhi oleh gabungan tiga aspek utama, yaitu teknologi, pedagogi, dan konten/materi pengetahuan atau ontologi (Nasution dan Siregar, 2021; Hidayati dkk., 2018). Hal semacam ini dapat dicapai melalui program peningkatan kompetensi PembaTIK. Sasaran peserta PembaTIK adalah guru- guru mulai jenjang PAUD hingga pendidikan menengah, baik pendidikan umum maupun pendidikan khusus. Berikut merupakan data keikutsertaan peserta PembaTIK 2021 tiap level.
Tabel 1. Peserta PembaTIK Tahun 2021 Level Keikutsertaan Jumlah Peserta Lulus Persentase 1 – Level Literasi 83.727 38.563 46,1% 2 – Level Imple- mentasi 25.076 10.465 41,7% 3 – Level Kreasi 7.945 2.940 37% 4 – Level Berbagi dan Berkolaborasi 1.007 766 76,1%
Dari Tabel 1, diketahui bahwa tingkat kelulusan level 1 sampai 3 tidak mencapai 50%. Peserta yang lulus di satu level pun tidak selalu berpartisipasi di level yang lebih tinggi, sehingga terlihat jumlah peserta di satu level lebih sedikit daripada jumlah peserta yang lulus di level sebelumnya. Pelaksanaan PembaTIK secara berjenjang dan daring pada masa pandemi merupakan sebuah tantangan tersendiri karena, meskipun memiliki banyak kelebihan, diklat daring juga memiliki keterbatasan. Menurut Khimmataliev dkk. (2020), ketiadaan interaksi langsung antara tutor dengan peserta pelatihan daring sering kali menurunkan motivasi belajar, konektivitas, dan kondisi psikologi belajar peserta. Dalam jurnalnya, Wasserman dan Migdal (2019) menyatakan bahwa pelatihan jarak jauh sering kali membuat peserta merasa terisolasi dan terdiskoneksi. Oleh
karena itu, peran bahan belajar seperti e-modul sangatlah krusial untuk pembelajaran mandiri peserta diklat. Peserta PembaTIK harus menjaga terus motivasi belajar dan menerapkan keterampilan belajar mandiri ( self-directed learning ). Keterampilan belajar mandiri peserta PembaTIK akan menentukan keberhasilan belajar secara jarak jauh dan daring. Berikut adalah skema pembelajaran mandiri dalam program PembaTIK 2021, dengan variasi moda campuran antara sinkronus dan asinkronus.
Tabel 2. Pembelajaran dalam PembaTIK 2021
Level Pembelajaran Moda dan Metode Ujian Akhir Tugas 1 – Level Literasi Asinkronus mandiri: membaca modul, lati- han, refleksi (melalui LMS) √ (tes daring) - 2 – Level Implementasi Asinkronus mandiri: membaca modul, lati- han, refleksi (melalui LMS) √ (tes daring) √ 3 – Level Kreasi • Asinkronus: mem- baca modul, latihan, refleksi (melalui
LMS), grup chat kelas
• Sinkronus virtual: pembimbingan oleh tutor √ (tes daring) √ 4 – Level Berbagi dan Berkolaborasi • Asinkronus: mem- baca modul, latihan, refleksi (melalui LMS), grup chat kelas
• Sinkronus virtual: pembimbingan oleh tutor - √
Di dalam jurnalnya, Geng dkk. (2019) menyebutkan bahwa pembelajaran mandiri membutuhkan kesiapan teknologi dari pembelajar, misalnya dalam menggunakan bahan belajar digital untuk meningkatkan intelektualitasnya. Terdapat hubungan kausalitas antara kemampuan belajar mandiri dengan bahan belajar yang digunakan. Menurut Suprayekti dkk. (2016), kemandirian belajar dapat dikembangkan melalui penggunaan modul karena, jika dibandingkan dengan buku teks, struktur modul lebih terperinci; memiliki komponen sistem pembelajaran yang lengkap; dan disusun berdasarkan kaidah desain pesan.
Rica Yanuarti, Ita Utari, Dwi Harianti: Evaluasi Pemanfaatan E-Modul Sebagai Bahan Belajar Mandiri Dalam Program Peningkatan Kompetensi Guru
PembaTIK menggunakan Learning Management System (LMS) untuk pembelajarannya. LMS ini menjadi sarana pendistribusian bahan belajar dan penyampaian informasi lainnya, termasuk 16 e-modul yang digunakan dalam empat level peningkatan kompetensi. Berikut adalah e-modul pada setiap level PembaTIK 2021.
Tabel 3. Daftar E-Modul PembaTIK 2021 Level dan Judul E-Modul
Level 1 – Level Literasi
1. Merdeka Belajar Bersama Rumah Belajar
2. Mengenal Gawai Mobile untuk Pembelajaran
3. Tools untuk Pembelajaran Kolaborasi
4. Pemanfaatan Media Sosial untuk Pembelajaran
Level 2 – Level Implementasi
1. Optimalisasi Pemanfaatan TIK untuk Pembelajaran Abad 21
2. Penerapan Model Pembelajaran Memanfaatkan Rumah Belajar
3. Pemanfaatan Media Pembelajaran TV Edukasi, Radio Suara Edukasi, dan M-Edukasi untuk Pembelajaran
4. Pengelolaan Kelas yang Mengintegrasikan TIK dalam Ling- kungan Belajar
5. Pembuatan Media Video Pembelajaran
Level 3 – Level Kreasi
1. Media Pembelajaran Digital
2. Pengembangan Multimedia Pembelajaran Interaktif
3. Inovasi Pembelajaran Memanfaatkan Multimedia Interaktif
Level 4 – Level Berbagi dan Berkolaborasi
1. Publikasi Karya Tulis dalam Pemanfaatan Rumah Belajar
2. Strategi Berbagi Memanfaatkan Media Sosial
3. Membangun Komunikasi dan Kolaborasi Memanfaatkan Rumah Belajar
4. E-Pembelajaran Kolaboratif dengan Aplikasi Konferensi Video
Ke-16 e-modul tersebut dikembangkan oleh tim yang terdiri dari penulis serta ahli materi dan media yang berasal dari unsur pendidik dan pengembang teknologi pembelajaran.  E-modul  dapat  didefinisikan sebagai bahan belajar yang disusun secara sistematis dan terstruktur untuk mencapai kompetensi tertentu (Rusmanto dan Rukun, 2020). Pengemasan digital dalam membuat e-modul memerlukan perangkat atau gawai saat penggunaannya (Darmayasa dkk., 2018). Penggunaan e-modul dapat
dioptimalkan untuk mendukung pembelajaran mandiri, berbasis kompetensi, terstruktur, bahkan tidak linear (Woo, 2012). Hal ini selaras dengan karakteristik e-modul, yaitu: 1) pembelajaran mandiri; 2) materi memadai; 3) berdiri sendiri (independen); 4) adaptif; dan 5) mudah digunakan. E-modul dalam diklat sangat menentukan keberhasilan peserta dalam mengikuti PembaTIK karena menurut Warsita (2016) bahan belajar seperti e-modul dapat memberikan informasi atau gambaran yang relatif operasional bagi pengelolaan proses pembelajaran mandiri selama mengikuti diklat.
Berdasarkan studi pendahuluan yang dilakukan dalam bentuk diskusi kelompok terpumpun ( focused group discussion) dengan penyelenggara PembaTIK dan evaluator, diketahui bahwa sejak pertama kali diselenggarakan tahun 2017, belum pernah dilakukan evaluasi secara khusus terhadap bahan belajar yang digunakan dalam PembaTIK. Sejak pandemi, metode PembaTIK dilaksanakan dengan moda daring sehingga bahan belajar turut mengalami penyesuaian menjadi e-modul. Ada perbedaan karakteristik antara diklat konvensional tatap muka dengan diklat daring. Oleh karena itu, bahan belajar yang digunakan untuk diklat juga perlu disesuaikan dengan perubahan sistem yang terjadi. Permasalahan lain yang terjadi adalah bahwa program PembaTIK memerlukan e-modul yang berkualitas untuk meningkatkan kelulusan, partisipasi, dan memotivasi proses pembelajaran mandiri peserta. Oleh karena itu, dirancanglah penelitian evaluasi ini untuk menjawab rumusan permasalahan berikut ini: 1) bagaimanakah kualitas e-modul PembaTIK 2021 pada aspek isi, pembelajaran, kebahasaan, kelengkapan media,  dan  visual-grafis;  2)  bagaimanakah efektivitas penggunaan e-modul untuk pembelajaran mandiri peserta PembaTIK; dan 3) apakah rekomendasi yang dihasilkan dari kajian evaluasi pemanfaatan e-modul. Evaluasi pelaksanaan PembaTIK adalah sebuah evaluasi sistemik yang dapat  dispesifikkan  terhadap  subsistem
Rica Yanuarti, Ita Utari, Dwi Harianti: Evaluasi Pemanfaatan E-Modul Sebagai Bahan Belajar Mandiri Dalam Program Peningkatan Kompetensi Guru
tertentu. Kajian evaluasi ini berfokus pada ranah penggunaan e-modul PembaTIK dan pemanfaatannya sebagai bahan belajar mandiri. Kajian dilakukan dengan tujuan untuk: 1) mendapatkan hasil penilaian kualitas e-modul PembaTIK 2021 pada lima aspek; 2) mengevaluasi efektivitas kebermanfaatan e-modul dalam mendukung pembelajaran mandiri peserta PembaTIK; dan 3) memperoleh rekomendasi hasil kajian evaluasi. Hasil kajian dan rekomendasi diharapkan memberikan manfaat bagi pihak- pihak seperti pengguna e-modul, pengembang e-modul, penyelenggara PembaTIK, ataupun pemangku kepentingan lain yang terkait dengan pelaksanaan program peningkatan kompetensi, pengelolaan pembelajaran daring, ataupun pengembangan bahan belajar digital.

## METODE
Kajian pemanfaatan e-modul PembaTIK 2021 ini termasuk ke dalam penelitian evaluasi sumatif, dengan pendekatan kuantitatif. Rancangan penelitian kuantitatif ini terdiri atas tiga tahapan, yaitu: 1) penyusunan instrumen dan pengumpulan data (penilaian dan survei dengan penyebaran kuesioner); 2) pengolahan data; dan 3) interpretasi hasil dan pelaporan. Untuk menjawab rumusan masalah yang sudah disampaikan pada bagian sebelumnya, evaluasi dilakukan dalam dua model evaluasi. Model pertama adalah penilaian terhadap kualitas e-modul oleh ahli pengembang teknologi pembelajaran, dan model kedua adalah survei untuk menjaring pendapat dan pengalaman pengguna e-modul PembaTIK melalui penyebaran kuesioner/angket secara daring.

## Model Penilaian E-Modul oleh Ahli
Subjek evaluasi (evaluator) adalah tiga orang ahli yang merupakan pengembang teknologi pembelajaran. Pelaksanaan dilakukan dalam periode waktu Januari s.d.
Februari 2022, bertempat di lokasi masing- masing evaluator dengan memanfaatkan form penilaian daring. Pertemuan luring untuk berdiskusi dilakukan evaluator di instansi tempat bekerja. Tujuan penilaian e-modul adalah untuk mengetahui bagaimana kualitas e-modul PembaTIK 2021 pada aspek isi, pembelajaran, kebahasaan, kelengkapan media,  dan  visual-grafis.  Jenis  instrumen penilaian yang digunakan adalah formulir penilaian indikator dengan pilihan nilai. Evaluator juga dapat memberikan catatan di setiap butir penilaian sebagai penilaian kualitatif. Berikut ini adalah perincian instrumen penilaian e-modul sebagai bentuk pengumpulan data pertama.

## Tabel 4. Instrumen Penilaian E-Modul oleh Ahli
Tujuan: mengumpulkan informasi kualitas e-modul pada 5 variabel/ aspek
Waktu penilaian: Januari-Februari 2022 Tempat: daring (mandiri) dan luring (instansi tempat bekerja) Variabel/Aspek Indikator Butir Pe- nilaian Skala Nilai 1 2 3 4 5 Kualitas Isi/ Substansi/ Materi Rumusan kompetensi level E-modul mencantum- kan rumusan tujuan yang pembelajaran sesuai kom- petensi level Isi e-modul sesuai de- ngan uraian tujuan
Relevansi materi Kemutak- hiran isi Kecukupan isi ( sufficiency ) Kualitas Pem- belajaran Metode penyajian Sistematika penyajian Materi disertai contoh Strategi pembela- jaran Stategi be- lajar dengan menggunakan e-modul Interaktivitas Memotivasi pengguna untuk belajar
Ketersediaan bahan evalu- asi (refleksi, latihan, TAM)
Rica Yanuarti, Ita Utari, Dwi Harianti: Evaluasi Pemanfaatan E-Modul Sebagai Bahan Belajar Mandiri Dalam Program Peningkatan Kompetensi Guru
Tujuan: mengumpulkan informasi kualitas e-modul pada 5 variabel/ aspek Waktu penilaian: Januari-Februari 2022 Tempat: daring (mandiri) dan luring (instansi tempat bekerja) Variabel/Aspek Indikator Butir Pe- nilaian Skala Nilai 1 2 3 4 5 Kualitas Bahasa Bahasa dan komu- nikasi Mudah dipahami Keterkaitan antarteks Keterbacaan Minim kesalahan penulisan Konsistensi bahasa Kualitas Kelengkapan Media dan Penunjang Penunjang Disertai petunjuk e-modul Caption gambar, tabel, video, dll.
Kata dan kalimat sapaan Media Media grafis sesuai dengan materi (mendukung/ menunjang materi) Keragaman media dalam e-modul (atau dominan teks) Dilengkapi link , QR yang berfungsi Kualitas Grafis dan Visual Grafis dan visualisasi Kualitas grafis (gambar tidak pecah dll.) Penempatan, komposisi visual Warna Kualitas lay out modul Daya tarik
Setelah penilaian selesai dilakukan dan didiskusikan secara terpumpun, kemudian dilakukan pengolahan data dengan ketentuan: skor 5 (sangat baik); skor 4 (baik); skor 3 (cukup); skor 2 (kurang); skor 1 (sangat kurang). Kemudian nilai kualitas e-modul dihitung per aspek menggunakan statistika sederhana. Jadi, setiap e-modul
mendapatkan 5 skor aspek. Nilai tiap aspek diperoleh dengan rumus berikut.
Keterangan: l n1, n2, n3 adalah skor nilai dari ahli 1, ahli 2, dan ahli 3
l skor maksimal adalah 15 (sangat baik x 3 ahli)
Setelah tiap aspek mendapat skor, kemudian diinterpretasi dengan cara diberi indeks nilai dengan rentang skala ordinal sebagai berikut.
Indek s Rentang Skor A 86 – 100 B 71 - 85 C 51 - 70 D 0 - 50

## Model Survei Pengguna dengan Kuesioner
Objek survei adalah peserta PembaTIK yang juga pengguna e-modul. Target responden survei penggunaan e-modul PembaTIK adalah seluruh peserta tiap level sebagai populasi. Kemudian yang menjadi sampel penelitian adalah peserta yang mengisi kuesioner dan dianggap mewakili target populasi. Sampel responden dipilih berdasarkan teknik kluster (sesuai level) dan acak karena keseluruhan populasi peserta tiap level berpeluang menjadi responden atau probability sampling (Ali, 2014). Pengumpulan data kuesioner dilakukan secara daring selama periode pelaksanaan PembaTIK sesuai dengan jadwal tiap level. Berikut ini adalah perincian populasi, sampel, waktu, dan tempat pelaksanaan survei penggunaan e-modul.
Tabel 5. Populasi, Sampel, dan Pelaksanaan Survei
Level Pemba- TIK Populasi Sampel Waktu Pengum- pulan Data Tempat 1 83.727 orang 8.080 orang (9,7%) April–Mei 2021 daring
Rica Yanuarti, Ita Utari, Dwi Harianti: Evaluasi Pemanfaatan E-Modul Sebagai Bahan Belajar Mandiri Dalam Program Peningkatan Kompetensi Guru
Level Pemba- TIK Populasi Sampel Waktu Pengum- pulan Data Tempat 2 25.076 orang 3.581 orang (14,3%) Juni–Juli 2021 daring 3 7.945 orang 3.509 orang (44,2%) Agustus– Sep- tember 2021 daring 4 1.007 orang 498 orang (49,5%) November– De- sember 2021 daring Kuesioner/angket daring yang digunakan pada survei berupaya untuk menjaring informasi berupa pendapat dan pengalaman peserta PembaTIK dalam menggunakan e-modul. Penyebaran kuesioner dilakukan setelah pembelajaran tuntas, kemudian tautan pengisian kuesioner dibagikan melalui kelas daring dan grup komunikasi peserta. Berikut adalah perincian variabel dan indikator dalam kuesioner survei penggunaan e-modul.
Tabel 6. Variabel dan Indikator Kuesioner Penggunaan
E-Modul Variabel/Aspek Indikator dan Butir Skala Nilai STS TS S SS Pendapat ten- tang efektivitas penggunaan e-modul Selaras dengan tujuan/ kompetensi level Pem- baTIK E-modul PembaTIK mudah digunakan dan dipelajari Kualitas media pada e-modul (termasuk link berfungsi, gambar jelas) baik dan menarik Kelengkapan materi pada e-modul menunjang untuk ujian akhir ataupun pengerjaan tugas karya
Pendapat mengenai keberman- faatan e-modul sebagai bahan belajar mandiri Mempelajari materi e- modul bermanfaat untuk proses belajar mandiri saat bimtek PembaTIK Mempelajari e-modul PembaTIK dapat meningkatkan literasi dan kemampuan TIK pembelajaran Mempelajari e-modul membantu peningkatan keterampilan/ skill dan
praktik mandiri
Evaluasi diri pada e-modul (refleksi,
latihan, tugas, tes akhir modul) dapat mengukur perubahan/peningkatan
kompetensi diri
Setelah survei berakhir, kemudian dilakukan pengolahan hasil kuesioner dengan cara menghitung tingkat respons setiap butir instrumen berdasarkan jenis respons: sangat tidak setuju (STS); tidak setuju (TS); setuju (S); sangat setuju (SS). Pengolahan data dilakukan dengan teknik persentase untuk tiap kelompok level e-modul (e-modul 1 — 4, e-modul 5 — 9, e-modul 10 — 12, dan e-modul
13 — 16).  Karena  kuesioner  tidak  spesifik menanyakan tiap modulnya, penilaian dibuat per kelompok modul. Berikut ini adalah cara penghitungannya.
Kemudian, baik hasil penilaian oleh ahli maupun respons kuesioner dianalisis dan diinterpretasikan secara deskriptif kuantitatif.

## HASIL DAN PEMBAHASAN

## Kualitas 5 Aspek E-Modul PembaTIK 2021
Dari pengolahan data dan interpretasi yang dilakukan, diketahui bahwa 16 e-modul yang digunakan dalam pembelajaran mandiri program PembaTIK 2021 kualitasnya sudah cukup baik, tetapi beragam nilainya untuk setiap aspek. Berikut adalah tabel hasil penilaian (skor dan indeks) yang dilakukan terhadap 16 e-modul PembaTIK 2021.

## Tabel 7. Penilaian 5 Aspek E-Modul
E-Modul Nilai Aspek Kualitas 1 2 3 4 5 1 88.3 (A) 75.6 (B) 86.7 (A) 71.1 (B) 77.3 (B) 2 61.7 (C) 57.8 (C) 62.7 (C) 61.1 (C) 61.3 (C) 3 91.7 (A) 84.4 (B) 89.3 (A) 92.2 (A) 89.3 (A) 4 88.3 (A) 83.3 (B) 82.7 (B) 83.3 (B) 78.7 (B) 5 97.5 (A) 91.7 (A) 82.0 (B) 95.0 (A) 90.0 (A) 6 83.3 (B) 83.3 (B) 84.0 (B) 84.4 (B) 88.0 (A) 7 80.0 (B) 86.7 (A) 80.0 (B) 84.4 (B) 80.0 (B) 8 81.7 (B) 77.8 (B) 77.3 (B) 78.9 (B) 64.0 (C) 9 78.3 (B) 82.2 (B) 81.3 (B) 77.8 (B) 78.7 (B) 10 93.3 (A) 90.0 (A) 89.3 (A) 95.6 (A) 77.3 (B) 11 88.3 (A) 91.1 (A) 88.0 (A) 86.7 (A) 89.3 (A) 12 78.3 (B) 78.9 (B) 84.0 (B) 76.7 (B) 80.0 (B)
Rica Yanuarti, Ita Utari, Dwi Harianti: Evaluasi Pemanfaatan E-Modul Sebagai Bahan Belajar Mandiri Dalam Program Peningkatan Kompetensi Guru
E-Modul Nilai Aspek Kualitas 1 2 3 4 5 13 93.3 (A) 88.9 (A) 86.7 (A) 87.8 (A) 80.0 (B) 14 90.0 (A) 86.7 (A) 84.0 (B) 93.3 (A) 74.7 (B) 15 90.0 (A) 81.1 (B) 86.7 (A) 86.7 (A) 77.3 (B) 16 78.3 (B) 80.0 (B) 80.0 (B) 78.9 (B) 76.0 (B) 85.1 (A) 82.5 (B) 82.8
(B) 83.4
(B) 78.9 (B)
Dengan mencermati tabel nilai di atas,  dapat  dijustifikasi  bahwa  16  e-modul PembaTIK 2021 sudah baik dan bermanfaat bagi pembelajaran dalam bimtek. Beberapa modul yang masih memiliki aspek dengan indeks C perlu tindak lanjut dan perbaikan lebih banyak. Penilaian per modul hasilnya cukup baik, artinya kualitas e-modul sebagai bahan belajar terpisah ( stand-alone ) dapat dioptimalkan. Namun, penilaian e-modul dilakukan secara sistemik, tidak parsial, sebagai bagian dari bimtek PembaTIK.
Untuk memperoleh gambaran kualitas e-modul yang lebih komprehensif, dilakukan diskusi terpumpun dengan pengembang teknologi pembelajaran yang mengevaluasi e-modul. Dari hasil penilaian dan diskusi terpumpun, diketahui bahwa pada aspek kualitas isi atau materi diperoleh rerata nilai 85,1 (indeks A) karena substansi pada e-modul PembaTIK cukup responsif terhadap perkembangan teknologi yang berdaya guna bagi pembelajaran. Ada unsur kebaruan substansi, misalnya penggunaan aplikasi kolaboratif atau kebijakan Merdeka Belajar. Selain itu, materi pada e-modul PembaTIK dinilai cukup ( sufficient ) dalam memenuhi kebutuhan pencapaian kompetensi TIK peserta. Indikator yang belum mendapat nilai optimal pada aspek kualitas isi adalah bahwa masih ada beberapa modul yang tidak menguraikan kompetensi level PembaTIK yang menjadi tujuan belajar yang lebih  spesifik  di  setiap  unit  e-modul.  Ada pula kesalahan penulisan tujuan belajar di beberapa modul, yakni tidak ditulis dalam
kata kerja operasional yang artinya akan sulit digunakan untuk mengukur hasil belajar. Rerata nilai aspek pembelajaran 16 e-modul PembaTIK adalah 82,5 (indeks B). Sebagian besar e-modul PembaTIK 2021 sudah memenuhi kualitas e-modul sebagai sarana pembelajaran mandiri dalam bimtek karena selaras dengan format dan standar pengembangan bahan belajar mandiri dengan karakteristik tersendiri. Namun, ada beberapa modul yang masih perlu ditingkatkan kualitasnya karena  1) tidak membuat bagian pendahuluan atau pengantar untuk menjelaskan strategi belajar dan petunjuk; 2) kurang interaktif dan memotivasi peserta; 3) minim contoh dari materi yang diberikan; dan 4) tidak menyediakan evaluasi/latihan/refleksi mandiri. Sebagai bagian dari satu rangkaian bimtek sistemik, masih terjadi pengulangan materi di beberapa e-modul dan sistematika e-modul yang tidak terstandar. Pada aspek kualitas bahasa dan komunikasi diperoleh rerata nilai 82,8 (indeks B). Variasi nilai terjadi karena memang unsur tingkat keterbacaan; kemudahan dipahami; kesalahan penulisan (tipografi); dan konsistensi bahasa berbeda- beda pada 16 e-modul. Cara penulis berkomunikasi dengan pengguna modul perlu dibahasakan secara lebih interaktif supaya pembelajaran mandiri berlangsung dengan efektif.
Aspek kualitas kelengkapan media dan penunjang pada e-modul PembaTIK 2021 memperoleh rerata nilai 83,4 (indeks B). Adapun rerata nilai aspek kualitas grafis dan visual adalah 78,9 (indeks B), yaitu yang terendah di antara rerata nilai aspek lainnya. E-modul merupakan media pembelajaran format hypermedia dan hypercontent sehingga peran media serta sarana penunjang seperti tautan URL dan kode QR menjadi esensial agar modul terlihat ramping, tetapi kaya akan isi dan dapat dipelajari secara non-linear (Prawiradilaga dkk., 2017). Penulis modul perlu memastikan bahwa media dan tautan yang diintegrasikan dapat berfungsi
Rica Yanuarti, Ita Utari, Dwi Harianti: Evaluasi Pemanfaatan E-Modul Sebagai Bahan Belajar Mandiri Dalam Program Peningkatan Kompetensi Guru
dengan baik. Kualitas pengetikan, grafis, dan visual e-modul tidak terstandar; masih terjadi perbedaan tampilan dan pengaturan tata letak ( lay out ) e-modul. Kualitas visual menjadi kesan pertama bagi peserta pengguna e-modul; daya tarik termasuk unsur eksternal yang dapat memotivasi belajar secara mandiri.
Karakteristik e-modul sebagai bahan belajar mandiri sangat memengaruhi kualitas penulisan dan penyusunannya. Sistematika e-modul terdiri atas unit-unit kegiatan belajar yang berdiri sendiri dan terkadang dapat dipelajari secara non-linear. Cara berkomunikasi penulis dengan pengguna e-modul berbeda dengan format penulisan lain untuk buku, artikel, atau berita. Penulis harus menggunakan kata sapaan serta kalimat yang memotivasi dan interaktif sehingga pembaca e-modul merasakan keterikatan ( engagement ) dengan substansi yang dipelajari dan seolah-olah sang penulis menjelaskannya langsung kepada pengguna. Oleh karena itu, bagian pendahuluan atau pengantar dalam e-modul cukup penting karena berisi penjelasan mengenai tujuan pembelajaran hingga strategi penggunaan modul untuk proses belajar mandiri dan evaluasi  diri  (reflektif).  Dengan  demikian, bagian evaluasi e-modul adalah hal yang juga penting untuk proses belajar mandiri. Tidak cukup tes akhir modul (TAM), tetapi juga perlu ada latihan atau refleksi di tiap unit modul yang berguna sebagai alat ukur perkembangan belajar pengguna e-modul. Jadi, e-modul PembaTIK tidak hanya dijadikan sebagai sarana penuangan konten atau substansi bimtek, tetapi harus mengandung unsur andragogi (pedagogi untuk orang dewasa) yang komunikatif dan membelajarkan.
Efektivitas Penggunaan E-Modul sebagai Bahan Pembelajaran Mandiri Peserta PembaTIK 2021
Untuk mengetahui kebermanfaatan modul dalam mendukung pembelajaran mandiri peserta PembaTIK, dilakukan survei
dengan cara menyebarkan kuesioner seusai peserta mengikuti proses tiap level PembaTIK. Pertanyaan dalam kuesioner bertujuan untuk menggali pendapat, penilaian, dan pengalaman peserta terhadap penggunaan e-modul selama bimtek PembaTIK. Aspek yang ditanyakan dalam kuesioner meliputi efektivitas penggunaan e-modul yang dibagi menjadi dua sub-aspek, yakni penggunaan e-modul dan kebermanfaatan e-modul sebagai bahan belajar mandiri. Indikator penggunaan e-modul terdiri atas:  1) tujuan pembelajaran e-modul selaras dengan kompetensi PembaTIK; 2) kemudahan e-modul untuk digunakan dan dipelajari; 3) kualitas media terintegrasi secara baik dan menarik; dan 4) kecukupan materi untuk menunjang tugas mandiri dan ujian akhir. Berikut ini adalah rekap persepsi dan pendapat peserta mengenai kualitas penggunaan e-modul PembaTIK level 1 — 4 (Gambar 1).

## Gambar 1. Respon Peserta Mengenai E-Modul
Pada sub-aspek kedua di dalam kuesioner ditanyakan mengenai kebermanfaatan e-modul bagi peserta dalam melakukan pembelajaran mandiri. Indikator sub-aspek ini meliputi kebermanfaatan e-modul untuk: 1) pembelajaran mandiri saat bimtek; 2) meningkatkan literasi dan kemampuan TIK; 3) mengasah keterampilan dan praktik mandiri; dan 4) membantu proses evaluasi diri  dan  refleksi.  Berikut  adalah  rekapitulasi (dalam persentase) jawaban responden atas
Rica Yanuarti, Ita Utari, Dwi Harianti: Evaluasi Pemanfaatan E-Modul Sebagai Bahan Belajar Mandiri Dalam Program Peningkatan Kompetensi Guru
empat pertanyaan terkait dengan sub-aspek kebermanfaatan e-modul PembaTIK level 1 — 4.

## Gambar 2. Respon Peserta Mengenai Kebermanfaatan E-Modul
Dari dua grafik di atas, diketahui bahwa respons peserta sangat positif terhadap pertanyaan/pernyataan dalam kuesioner. Mayoritas responden level 1 — 4 (lebih dari 90%) setuju dan sangat setuju bahwa penggunaan e-modul sudah memenuhi kriteria, yakni: 1) selaras dengan level kompetensi PembaTIK (98,8%; 98,7%; 98,5%; 98%); 2) mudah digunakan dan dipelajari (98,6%; 98,7%; 97,9%; 98,8%); 3) kualitas media pada e-modul baik dan menarik (98,5%; 97,4%; 97,2%; 98,4%); dan 4) kecukupan materi menunjang pengerjaan ujian akhir serta tugas mandiri (99%; 97,8%; 97,3%; 98,4%).
Grafik  kedua  menggambarkan  respons positif peserta mengenai kebermanfaatan dan efektivitas e-modul sebagai bahan belajar mandiri. Unsur-unsur pemanfaatan e-modul yang dinilai positif oleh mayoritas responden level 1–4 (lebih dari 90%) meliputi: 1) bermanfaat untuk pembelajaran mandiri dalam bimtek (98,6%; 98,7%; 97,8%; 98,2%); 2) meningkatkan literasi dan kemampuan TIK (99,3%; 99,2%; 98,7%; 99%); 3) mengasah keterampilan dan praktik mandiri (99,3%; 99,3%; 98,9%; 99,2%); dan 4) membantu proses  evaluasi  diri  dan  reflektif  (98,7%; 99,3%; 98,4%; 98,4%). Kuesioner yang diisi oleh responden dilengkapi dengan pertanyaan
terbuka. Jadi, meskipun respons positif sangat tinggi, jawaban terbuka berupa kritik, saran, dan masukan untuk e-modul menjadi pelengkap kajian. Resume jawaban terbuka terkait dengan e-modul PembaTIK antara lain adalah 1) masih terlalu teoretik, kurang contoh penerapan, dan sulit dipraktikkan; 2) materi pada e-modul sangat selaras dengan evaluasi ujian akhir level, tetapi masih dominan soal-soal konseptual, cenderung verbalistis, perlu ditambah dengan bahan evaluasi analisis dan higher order thinking skill (HOTS); 3) pengemasan e-modul perlu dibuat lebih baik dan lebih menarik; dan 4) e-modul sebagai bahan belajar mandiri perlu  dilengkapi  dengan  infografik  untuk mempermudah proses belajar.
Pendapat mayoritas responden bahwa e-modul PembaTIK sudah baik dan bermanfaat untuk pembelajaran mandiri selama bimtek tidak membuat peneliti mengabaikan respons negatif hasil kuesioner. Respons negatif dan kritik/masukan/ saran melalui jawaban terbuka dipadankan dengan hasil diskusi terpumpun evaluator e-modul. Hasilnya adalah bahwa e-modul PembaTIK perlu lebih sistemik agar selaras dengan program PembaTIK sebagai sebuah sistem. Pendayagunaan teknologi dalam pengembangan e-modul PembaTIK beserta fitur-fiturnya  diperlukan  untuk  meningkatkan interaktivitas dan pengalaman belajar pengguna e-modul. Bahkan perancangan e-modul PembaTIK dapat menggunakan pendekatan TPACK ( technological pedagogical and content knowledge ) sebagai kerangka kerja pengembangannya. Unsur pembelajaran ( instructional and pedagogy ), substansi/konten, dan teknologi ada di dalam pengembangan e-modul. Pendekatan TPACK juga dapat dijadikan acuan pengembangan produk pembelajaran, tidak hanya pengembangan program (Pareto dan Willermark, 2018).
E-modul bersifat hypermedia dan hypercontent . Hal ini menjadi salah satu kelebihan e-modul yang harus dimanfaatkan oleh penyusun e-modul. Substansi/materi
Rica Yanuarti, Ita Utari, Dwi Harianti: Evaluasi Pemanfaatan E-Modul Sebagai Bahan Belajar Mandiri Dalam Program Peningkatan Kompetensi Guru
dapat disampaikan secara luas, mendalam, dan beragam sumbernya, tetapi dikemas dalam tautan URL atau pindaian kode QR sehingga tampilan tetap minimalis. Bermacam media yang relevan juga dapat diintegrasikan dalam e-modul PembaTIK ini kemudian perlu ditunjang dengan pengaturan tata letak ( layout ) yang estetik dan benar. Penulis harus memastikan tautan, pindaian, dan media yang diintegrasikan dapat berfungsi, tidak ada kesalahan ( error ), dan tepat guna sebelum e-modul dipublikasikan. E-modul PembaTIK ini akan lebih menarik untuk digunakan sebagai bahan belajar mandiri apabila ditunjang dengan teknologi yang membedakan e-modul dengan bahan bacaan konvensional. E-modul tentu harus lebih interaktif karena sifat hypermedia dan hypercontent .  Jadi,  fitur  sederhana  seperti menu pencarian ( searching ), hyperlink halaman e-modul, atau pop-up tampilan media akan menjadikan e-modul PembaTIK lebih baik dan menarik.
Manfaat Evaluasi Pemanfaatan E-Modul PembaTIK 2021
Penelitian
evaluasi pemanfaatan e-modul untuk pembelajaran mandiri peserta PembaTIK 2021 masih memiliki kelemahan dan keterbatasan di dalamnya. Pada proses evaluasi, penilaian terhadap lima aspek e-modul dilakukan oleh tiga orang ahli saja. Meskipun proses penilaian dilakukan dengan mengikuti prosedur evaluasi, penilaian oleh ahli masih bisa ditingkatkan lagi  sehingga  justifikasi  terhadap  kualitas e-modul menjadi lebih valid. Hal lain yang menjadi keterbatasan penelitian adalah bahwa kuesioner yang diberikan kepada peserta PembaTIK merupakan kuesioner evaluasi pelaksanaan yang berisi beragam aspek, tidak hanya penggunaan e-modul. Jadi, responden tidak fokus menjawab aspek penggunaan e-modul sebagai bahan belajar mandiri saja. Peserta akan lebih fokus apabila pertanyaan kuesioner hanya pada aspek penggunaan e-modul. Hasil penilaian e-modul dan interpretasi hasil kuesioner pun
tidak digeneralisasi sehingga terbuka untuk dilakukan penelitian lebih lanjut. Namun, di samping keterbatasan dan kelemahan pada penelitian ini, ada manfaat yang bisa diambil dari penelitian pemanfaatan e-modul. Pengembang bahan belajar dapat mengetahui kriteria e-modul yang baik sebagai bahan belajar penunjang pembelajaran mandiri. Kajian ini juga dapat dijadikan referensi oleh pihak lain terkait pelaksanaan pembelajaran digital, pengelolaan kelas daring, pengembangan e-modul, dan evaluasi pemanfaatan bahan belajar.

## SIMPULAN DAN SARAN Simpulan
Kajian yang telah dilakukan dapat menjawab rumusan pertanyaan penelitian yang disampaikan di bagian awal. Kesimpulannya adalah bahwa kualitas 16 e-modul PembaTIK memiliki keragaman nilai kualitas mulai indeks C hingga A, atau nilai cukup hingga baik sekali pada aspek masing- masing. Aspek atau variabel yang dinilai pada e-modul meliputi isi/materi, pembelajaran, kebahasaan, kelengkapan media, dan visual- grafis. Berdasarkan penilaian ahli, 16 e-modul sudah cukup efektif untuk digunakan sebagai sarana pembelajaran mandiri jarak jauh seperti program PembaTIK. Ke-16 e-modul ini juga sudah dikembangkan dengan mengikuti kaidah pengembangan bahan belajar. Namun, tentu saja masih ada aspek-aspek e-modul yang perlu diperbaiki atau ditingkatkan kualitasnya supaya pemanfaatannya makin optimal. Perbaikan aspek e-modul PembaTIK 2021 tidak dapat digeneralisasi karena kondisi tiap modul relatif beragam. Perbaikan e-modul dapat difokuskan pada aspek yang mendapat nilai C atau B. Adapun saran dari ahli untuk pengembangan e-modul berikutnya dalam pembelajaran mandiri dan jarak jauh seperti PembaTIK adalah pentingnya konsistensi pembahasaan (termasuk sapaan dan motivasi), keselarasan dengan rumusan kompetensi program, hingga tata
Rica Yanuarti, Ita Utari, Dwi Harianti: Evaluasi Pemanfaatan E-Modul Sebagai Bahan Belajar Mandiri Dalam Program Peningkatan Kompetensi Guru
letak dan grafis dengan benang merah yang jelas. Hal-hal ini diperlukan untuk menjaga motivasi belajar peserta program PembaTIK karena berperan sebagai faktor pengikat (engagement) peserta dengan proses belajar mandiri.
Hasil survei dengan kuesioner daring yang diberikan kepada peserta PembaTIK dapat memberikan gambaran mengenai efektivitas penggunaan dan kebermanfaatan e-modul. Kesimpulannya, mayoritas responden menyatakan bahwa 16 e-modul yang digunakan dalam proses pembelajaran empat level program PembaTIK berperan penting dalam proses belajar. E-modul PembaTIK dianggap efektif karena mendukung pencapaian kompetensi, mudah digunakan, dan isinya menarik sebab materinya cukup relevan. Responden juga menyatakan bahwa penggunaan e-modul sangat membantu dalam memahami pengetahuan TIK, mengasah keterampilan melalui panduan praktik pengerjaan tugas, hingga untuk mengerjakan soal-soal ujian. Dengan demikian, dapat disimpulkan bahwa penggunaan e-modul dalam sistem pembelajaran PembaTIK akan membantu pembelajaran mandiri peserta, termasuk dalam mengukur kemajuan dan pencapaian kompetensi hasil belajar.

## Saran
Rekomendasi utama penelitian evaluatif ini adalah hasil kajian dapat dijadikan sebagai salah satu referensi untuk perbaikan dan pengembangan e-modul bimtek yang lebih berkualitas pada waktu mendatang. Perbaikan kualitas e-modul terutama adalah pada penyelarasan tujuan pembelajaran modul dengan kompetensi program PembaTIK (mengacu pada sistem), perbaikan tata letak, grafis,  dan  unsur  visual  lainnya,  dan  cara penyampaian substansi yang tidak hanya ekspositori atau paparan, tetapi lebih kental unsur pedagogis dan cara komunikasinya. Rekomendasi lainnya adalah penggunaan pendekatan sistemik dan pendekatan
kesatuan unsur pengetahuan teknologi- pedagogi-konten dalam mengembangkan e-modul sebagai bahan belajar mandiri. Selain untuk meningkatkan kualitas, dengan penggunaan kedua pendekatan tersebut, keterikatan belajar peserta bimtek melalui e-modul akan makin baik. Rekomendasi hasil penelitian yang diuraikan dapat dimanfaatkan oleh pihak-pihak yang terkait dengan pengembangan dan pengelolaan e-pembelajaran, seperti pengembang bahan belajar e-modul, pengelola kelas daring, perancang pembelajaran jarak jauh, dan pelaksana diklat/bimtek.
Terkait kelemahan dan keterbatasan penelitian pemanfaatan e-modul PembaTIK 2021 yang telah diuraikan di bagian sebelumnya, kajian penelitian ini terbuka atas kritik dan saran. Dengan tidak dapat digeneralisasinya hasil penelitian ini, sangat terbuka kesempatan apabila dilakukan kajian lanjutan atau peningkatan penelitian pada aspek-aspek tertentu.

## PUSTAKA ACUAN
Ali, M. (2014). Memahami Riset Perilaku dan Sosial. Jakarta: Bumi Aksara. Darmayasa, I.K., Jampel, I.N., dan Simamora, A.H. (2018). Pengembangan E-Modul IPA Berorientasi Pendidikan Karakter di SMP Negeri 1 Singaraja. Jurnal Edutech Universitas Pendidikan Ganesha, 6(1),
53 — 65 .
Geng, S., Law, K.M.Y, dan Niu, B. (2019). Investigating Self-directed Learning and Technology Readiness in Blending Learning Environment. International Journal of Educational Technology in Higher Education , 16:17, 1 — 22. https:// doi.org/10.1186/s41239-019-0147-0.
Hidayati, N., Setyosari, P., dan Soepriyanto,
Y. (2018). Kompetensi Technological Pedagogical Content Knowledge (TPACK) Guru Soshum Setingkat SMA. Jurnal Kajian Teknologi Pendidikan, Universitas Negeri Malang , 1(4), 291 — 298 .
Rica Yanuarti, Ita Utari, Dwi Harianti: Evaluasi Pemanfaatan E-Modul Sebagai Bahan Belajar Mandiri Dalam Program Peningkatan Kompetensi Guru
Khimmataliev, D., Khakimov, J., Daminov, O., dan Rakhmatova, F. (2020). Criteria And Indicators For Assessing The Level Of Professional Training Of Future Teachers Of Vocational Training At A Training Module. Journal of Critical Reviews,
7(5), 428 — 431 .
Nasution, I.S., dan Siregar, E.F.S.
(2021). Implementasi Pendekatan TPACK (Technological Pedagogical Content Knowledge) bagi Guru SD
Muhammadiyah 12 Medan. Ihsan: Jurnal Pengabdian Masyarakat, 3(2), 206 — 212 . doi:10.30596/ihsan.v%vi%i.8136.
Pareto, L., dan Willermark, S. (2018). TPACK in Situ: A Design-Based Approach Supporting Professional Development in Practice. Journal of Educational Computing Research. 0(0), 1 — 41 . DOI: 10.1177/0735633118783180. Prawiradilaga, D.S., Widyaningrum, R., dan Ariani, D. (2017). Prinsip-Prinsip Dasar Pengembangan Modul Berpendekatan Hypercontent. Indonesian Journal of Curriculum and Educational Technology Studies, IJCETS 5(2) (2017), 57 — 65 . doi: http://dx.doi.org/10.15294/ijcets. v3i1.8675.
Rusmanto, dan Rukun, K. (2020). The Development of E-Learning Module Based on Project-Based Learning (PJBL) for Electric Motor Installation Course. Journal of Educational Research and Evaluation, 4(2), 181 — 193 . Suprayekti, Wargahadibrata, H., Kustandi, C. (2016). Perspektif Ilmu Pendidikan, 30(1), 1 — 9 . UNESCO. (2018). ICT-CFT: Information and Communication Technology Competencies Framework for Teachers. Paris: United Nations of Education Science and Culture Organisation. Warsita, B. (2016). Evaluasi Bahan Belajar Diklat Online Calon Pejabat Fungsional Pengembang Teknologi Pembelajaran. Jurnal Teknodik, 20(1), 59 — 72 .
Wasserman, E., dan Migdal, R. (2019). Professional Development: Teachers’ Attitudes in Online and Traditional Training Courses. Online Learning , 23(1),
132 — 143 . doi:10.24059/olj.v23i1.1299.
Woo, T.K. (2012). Developing Quality Learning Materials for Effective Teaching and Learning in an ODL Environment: Making the Jump from Print Modules to Online Modules. Asian Association Open University Journal , 6(1), 51 — 58 . .