## Jurnal Pedagogi dan Pembelajaran
Volume 5, Number 2, Tahun 2022, pp. 197-207 P-ISSN: 2614-3909 E-ISSN: 2614-3895 Open Access: https://doi.org/10.23887/jp2.v5i2.48447

## Instrumen  Evaluasi  Model Discrepancy - CSE-UCLA Dalam Rangka  Menunjang  Evaluasi  Efektivitas  Pelaksanaan Pembelajaran Synchronous
P. Wayan Arta Suyasa 1 , Dewa Gede Hendra Divayana 2 * 1,2 Program Studi Pendidikan Teknik Informatika, Universitas Pendidikan Ganesha, Singaraja, Indonesia

## A B S T R A K
Tujuan  penelitian  ini  adalah  untuk  menunjukkan  validitas  dan  reliabilitas  isi instrumen  evaluasi  Discrepancy-CSE-UCLA  yang  valid  dan  reliabel  yang digunakan  dalam  mengevaluasi  efektivitas  pelaksanaan  pembelajaran synchronous  di  SMK  di  Bali.  Pendekatan  penelitian  ini  adalah  pengembangan instrumen.  Langkah-langkah  penelitian  ini  meliputi:  mendefinisikan  variabel, menjabarkan  indikator,  menyusun  butir-butir  instrumen,  menguji  butir-butir instrumen,  dan  menganalisis  validitas  dan  reliabilitas  instrumen.  Responden yang terlibat dalam uji validitas isi instrumen adalah dua orang ahli. Responden yang  dilibatkan  dalam  uji  reliabilitas  item  instrumen  sebanyak  40  orang  ahli. Rumus  yang  digunakan  untuk  uji  validitas  isi  instrumen  adalah  Gregory, sedangkan  uji  reliabilitasnya  adalah  koefisien  Alpha  Cronbach.  Teknik  yang digunakan  untuk  menganalisis  hasil  validitas  isi  instrumen  adalah  dengan membandingkan  hasil  perhitungan  validitas  isi  instrumen  dengan  kategorisasi validitas  isi  Guilford.  Analisis  hasil  uji  reliabilitas  instrumen  dengan membandingkan hasil perhitungan uji reliabilitas dengan kategorisasi reliabilitas Guilford.  Hasil  penelitian  menunjukkan  64  item  valid  dan  12  item  tidak  valid. Tingkat  validitas  instrumen  termasuk  dalam  kategori  sangat  tinggi.  Reliabilitas instrumen termasuk dalam kategori tinggi.

## A B S T R A C T
The purpose of this research was to demonstrate the content validity and reliability of the valid and reliable Discrepancy- CSE-UCLA  evaluation  instruments  used  in  evaluating  the  effectiveness  of  synchronous  learning  implementation  at vocational  schools  in  Bali.  This  research  approach  was  instrument  development.  The  steps  of  this  research  include: defining  variables,  elaborating  indicators,  compiling  instrument  items,  testing  instrument  items,  and  analyzing  the validity and reliability of the instruments. The respondents involved in the content validity test of the instruments were two experts. Respondents involved in the reliability test of the instrument items were 40 experts. The formula used for the content validity test of the instruments was Gregory, while the reliability test was the Cronbach Alpha coefficient. The technique used to analyze the content validity results of the instruments was by comparing the calculation results of the content validity of the instruments with Guilford’s content validity categorization. Analysis of the reliability test results of the instruments by comparing the calculation results of the reliability test with Guilford’s reliability categorization. The results of this research showed 64 valid items and 12 invalid items. The level of instrument validity was included in the very high category. The reliability of the instrument was included in the high category.

## 1. PENDAHULUAN
Pendidikan adalah salah  satu indikator utama dalam melihat maju mundurnya sebuah bangsa. Tanpa penyelenggaraan pendidikan yang berkualitas maka cita-cita untuk menjadi bangsa yang maju dan berperadaban hanyalah isapan jempol belaka (Fadhilaturrahmi et al., 2021; Fitri & Bundo, 2020; Nurwati, 2020). Pandemi covid-19 mengakibatkan proses pembelajaran tidak dapat dilaksanakan secara langsung di  kelas (Anugrahana,  2020;  Dewi,  2020;  Pudyastuti  &  Budiningsih,  2021). Kendatipun  tidak  dapat langsung belajar di kelas, proses pembelajaran tatap muka langsung ( synchronous ) tetap dapat dilakukan oleh pendidik dan peserta didik secara online dari rumah mereka masing-masing (Cai, 2021; Gunawan, G., Suranti, N. M. Y., & Fathoroni, 2020). Proses pembelajaran synchronous membutuhkan platform yang tepat untuk  dapat  dilaksanakan  secara online dari  rumah (Atmojo  &  Nugroho,  2020;  Quezada  et  al.,  2020). Beberapa platform yang umumnya dapat digunakan untuk memfasilitasi terjadinya proses pembelajaran synchronous , diantaranya: meet google,  webex , zoom , microsoft  team , dan lainnya (Cahyawati  & Gunarto, 2020; Simamora, 2020). Dari beberapa platform tersebut, salah satu platform pembelajaran synchronous yang paling banyak digunakan pada masa pandemi covid-19 adalah meet google (Adawiyah  et al., 2021;

## A R T I C L E   I N F O
Article history: Received June 19, 2022 Accepted July 28, 2022 Available online July 25, 2022
Kata Kunci: Instrumen Evaluasi, Model Discrepancy- CSE-UCLA, Pembelajaran Synchronous
Keywords: Instrumen Evaluasi, Model Discrepancy- CSE-UCLA, Pembelajaran Synchronous
This is an open access article under the CC BY-SA license.
Copyright © 2022 by Author. Published by Universitas Pendidikan Ganesha.
Simamora,  2020). Beberapa  alasan  utama  yang  menyebabkan  banyaknya  pengguna  memilih  platform meet  google mudah  diakses,  mudah  digunakan/dioperasikan,  durasi  waktu  penggunaan  tidak  dibatasi, dan bersifat gratis.
Namun,  kendala  yang  dialami  guru  saat  pembelajaran  daring  salah  satunya  dalam  melakukan penilaian. Ada 3 aspek penilaian yaitu penilaian sikap, pengetahuan dan keterampilan (Muhammad Fikri, Muhammad  Zaki  Ananda,  2021;  Taufik,  2019). Tiga  aspek  tersebut  tentu  mengikuti  dengan  sistem pembelajaran  yang  berlangsung.  Penilaian  sikap  menjadi  hal  yang  serius  khususnya  dalam  penilaian afektif  atau  sikap.  Hal  ini  dilihat  beberapa  riset  menunjukkan  bahwa  guru  masih  terbilang  sulit  untuk melakukan  penilaian  sikap.  Jika  pada  sekolah  berasrama  terdapat  penilaian  sikap  juga,  maka  guru  atau wali  kelas  akan  terbantu  dalam  penyusunan  laporan  ke  orang  tua  Kendatipun  memiliki  beberapa keunggulan  tersebut,  fakta  yang  terjadi  di  lapangan  menunjukkan  adanya  permasalahan-permasalahan dalam  pelaksanaan  pembelajaran synchronous berbasis meet  google pada  masa  pandemi covid-19 , sehingga  proses  pembelajaran  tersebut  belum  sepenuhnya  dapat  dikategorikan  efektif.  Beberapa permasalahan  yang  dimaksud,  diantaranya  akses  internet  tidak  stabil  karena  paket  data  internet  yang dimiliki oleh peserta didik dan pendidik masih terbatas, tidak semua peserta didik memiliki perangkat TI yang memadai, tidak semua peserta didik memiliki semangat yang tinggi untuk mengikuti pembelajaran secara online , kualitas tampilan gambar yang dimunculkan pada platform meet google terkadang buram, dan  terkadang  sulit  melakukan  proses  perekaman  jika  menggunakan  platform meet  google versi  gratis. Dari  permasalahan-permasalahan  tersebut,  maka  perlu  dilakukan  kegiatan  evaluasi  untuk  dapat mengetahui efektivitas pelaksanaan pembelajaran synchronous yang menggunakan platform meet google tersebut secara lebih mendalam.
Beberapa model evaluasi yang dapat digunakan untuk melakukan evaluasi terhadap pemanfaatan meet google untuk pembelajaran synchronous , diantaranya: model Discrepancy , model Countenance , model CIPP ( Context - Input - Process - Product ),  model CSE-UCLA ( Center  for  the  Study  of  Evaluation-University  of California in Los Angeles ), model Goal-Free , dan lainnya (Endrizal, 2021; Yeni et al., 2020) (Prayogo, 2020; Syifa,  2020). Salah  satu  diantara  model-model  evaluasi  tersebut,  yang  paling  cocok  digunakan  untuk mengevaluasi  pembelajaran synchronous berbasis meet  google adalah  model  evaluasi CSE-UCLA .  Hal  ini dikarenakan  model CSE-UCLA memiliki  satu  komponen  evaluasi  yang  tidak  dimiliki  model  lainnya. Komponen  tersebut  dinamakan program  implementation ,  yang  berfungsi  untuk  mengukur  efektivitas kegiatan  sosialisasi  keberadaan  pembelajaran synchronous berbasis meet  google (Prayogo,  2020;  Syifa, 2020). Namun, dikarenakan kompleksnya ketimpangan-ketimpangan yang terjadi di lapangan (khususnya pada  perguruan  tinggi  kejuruan  di  Provinsi  Bali),  maka  tidak  cukup  hanya  satu  model  evaluasi  yang digunakan  dalam  melakukan  evaluasi  terhadap  pembelajaran synchronous berbasis meet  google . Berdasarkan  hal  tersebut,  maka  perlu  digagas  suatu  kreatifitas  baru  dalam  bidang  evaluasi  pendidikan yang  berupa  modifikasi  terhadap  beberapa  model  evaluasi  untuk  memperoleh  efektivitas  pelaksaaan evaluasi.  Modifikasi  tersebut  dapat  dalam  bentuk  perpaduan  antara  model Discrepancy dengan  model CSE-UCLA .
Temuan  sebelumnya  menyatakan  penggunaan  model  evaluasi CSE-UCLA dalam  mengevaluasi program belum menunjukkan secara rinci terkait validitas isi instrumen dan reliabilitasnya (Semadi et al., 2019). Kegiatan evaluasi terhadap pembelajaran online menggunakan model CSE-UCLA (Naibaho, 2021). Perpaduan  model  evaluasi  itu  dapat  digunakan  dalam  melakukan  evaluasi,  jikalau  menggunakan  alat pengukuran  yang  tepat.  Salah  satu  alat  ukur  dalam  evaluasi  adalah  instrumen  non  tes  yang  berupa angket/kuesioner.  Namun,  kenyataannya  tidak  semua  kuesioner  dapat  memberikan  hasil  pengukuran yang  tepat  dalam  kegiatan  evaluasi.  Oleh  karena  itu  perlu  dilakukan  uji  validitas  isi  dan  uji  reliabilitas butir  terhadap  kuesioner  yang  digunakan  dalam  evaluasi.  Kerterbatasan  penelitian  sebelumnya  adalah belum  menunjukkan  hasil  validitas  isi  dan reliabilitas  butir  instrumen  model CSE-UCLA yang  digunakan dalam  mengevaluasi  pelaksanaan  pembelajaran  online  pada  masa  pandemi Covid-19 .  Penelitian  ini bertujuan  untuk  instrumen  evaluasi  model  discrepancy-CSE-UCLA.  Dalam  rangka  menunjang  evaluasi efektivitas pelaksanaan pembelajaran synchronous lebih cenderung menunjukkan tahapan-tahapan model evaluasi discrepancy dalam  mengevaluasi  program  pendidikan,  dan  tidak  secara  lengkap  menunjukkan perhitungan validitas dan reliabilitas instrumen yang digunakan dalam evaluasi.

## 2. METODE
Penelitian ini menggunakan penelitian pengembangan instrumen. Adapun langkah-langkah yang dilakukan dalam pengembangan instrumen evaluasi model Discrepancy-CSE-UCLA yang digunakan untuk mengevaluasi  pembelajaran synchronous yaitu  pertama  mendefinisikan  variabel,  Dalam  pengembangan instrumen  evaluasi  model Discrepancy-CSE-UCLA ,  tahap  pendifinisian  variabel  dimaksud  untuk menentukan  komponen-komponen  evaluasi  yang  digunakan  untuk  mengukur  efektivitas  pelaksanaan
pembelajaran synchronous yang  memanfaatkan meet  google pada  perguruan  tinggi  kejuruan  di  provinsi Bali. Kedua, menjabarkan variabel ke dalam indikator yang lebih rinci. Dalam pengembangan instrumen evaluasi  model Discrepancy-CSE-UCLA ,  tahap  penjabaran  variabel  ke  dalam  indikator  yang  lebih  rinci dimaksud  untuk  menentukan  aspek-aspek  evaluasi  berdasarkan  komponen-komponen  evaluasi  yang telah  diperoleh  pada  tahap  sebelumnya  yang  digunakan  untuk  mengukur  efektivitas  pelaksanaan pembelajaran synchronous yang  memanfaatkan meet  google .  Ketiga,  menyusun  butir-butir.  Dalam pengembangan  instrumen  evaluasi  model Discrepancy-CSE-UCLA ,  tahap  penyusunan  butir-butir instrumen dimaksud untuk membuat butir/item instrumen yang digunakan untuk mengukur efektivitas pelaksanaan  pembelajaran synchronous yang  memanfaatkan meet  google berdasarkan  aspek-aspek evaluasi yang telah diperoleh pada tahap sebelumnya.
Keempat, melakukan uji coba, dalam pengembangan instrumen evaluasi model Discrepancy-CSE- UCLA ,  tahap  pelaksanaan  uji  coba  dimaksudkan  untuk  melakukan  uji  coba  validasi  isi  instrumen  yang telah  terbentuk  dengan  melibatkan  pakar,  serta  validitas  butir  instrumen  dan  uji  reliabilitas  intrumen yang  telah  terbentuk  dengan  melibatkan  semua  mahasiwa  yang  melakukan  proses  pembelajaran synchronous yang memanfaatkan meet google .  Kelima, menganalisis kesahihan dan keterandalan. Dalam pengembangan  intrumen  evaluasi  model Discrepancy-CSE-UCLA ,  tahap  pelaksanaan  analisis  validitas  isi instrumen  dimaksudkan  untuk  menganalisis  data  hasil  uji  validisi  isi  setiap  butir  instrumen  yang  telah dilakukan  oleh  dua  pakar,  sehingga  dari  hasil  analisis  yang  dilakukan  dapat  diperoleh  butir  instrumen yang memang benar-benar valid untuk dipergunakan dan instrumen yang tidak valid akan dibuang. Selain melakukan validitas isi terhadap instrumen, dilakukan juga analisis validitas butir dari instrumen dengan melibatkan semua mahasiwa yang melakukan proses pembelajaran synchronous yang memanfaatkan meet google .  Sama  halnya  dengan  analisis  validitas  isi  dan  validitas  butir,  pelaksanaan  analisis  reliabilitas instrumen  dimaksudkan  untuk  menganalisis  data  hasil  uji  reliabilitas  setiap  butir  instrumen  yang  telah dilakukan oleh semua mahasiwa yang melakukan proses pembelajaran synchronous yang memanfaatkan meet  google ,  sehingga  dari  hasil  analisis  yang  dilakukan  dapat  diperoleh  butir  instrumen  yang  memang benar-benar reliabel untuk dipergunakan dan instrumen yang tidak reliabel akan dibuang.
Subjek penelitian yang dilibatkan dalam melakukan uji validitas isi instrumen adalah dua orang pakar 1 orang pakar bidang pendidikan teknik informatika dan 1 orang pakar bidang evaluasi pendidikan. Subjek penelitian yang dilibatkan dalam melakukan uji reliabilitas instrumen adalah 40 mahasiswa pada perguruan  tinggi  kejuruan  di  Bali  (khususnya  Bali  Utara)  yang  melakukan  proses  pembelajaran synchronous yang  memanfaatkan meet  google .  Penelitian  ini  dilaksanakan  di  beberapa  perguruan  tinggi kejuruan di Provinsi Bali, khususnya di Bali Utara. Pengumpulan data pada lokasi penelitian di beberapa perguruan tinggi tersebut dilakukan melalui mekanisme secara online maupun secara luring dengan tetap mengikuti  protokol  kesehatan.  Teknik  analisis  data  pengujian  validitas  instrumen  dalam  penelitian  ini adalah dengan menganalisis validitas isi dari instrumen. Validitas isi adalah validitas yang ditentukan oleh derajat  representativitas  butir-butirnya.  Adapun  teknik  analisis  validitas  isi  ( content  validity )  dari instrumen  evaluasi  model Discrepancy-CSE-UCLA dilakukan  melalui  uji  pakar  dengan  formula Gregory . Pengujian reliability instrumen  model Discrepancy-CSE-UCLA dalam  penelitian  ini  adalah  dengan menggunakan  koefisien Cronbach  Alpha .  Pengujian  ini  menentukan  konsistensi  jawaban  responden  atas suatu instrumen penelitian .

## 3. HASIL DAN PEMBAHASAN
Hasil Pada  tahap  pendefinisian  variabel  diperoleh  komponen-komponen  dan  aspek-aspek  evaluasi model Discrepancy dan  model CSE-UCLA yang  digunakan  untuk  mengukur  efektivitas  pelaksanaan pembelajaran synchronous yang  memanfaatkan meet  google pada  perguruan  tinggi  kejuruan  di  provinsi Bali.  Adapun  komponen-komponen  evaluasi  dan  aspek-aspek  evaluasi  model Discrepancy selengkapnya dapat dilihat pada Tabel 1, sedangkan komponen-komponen dan aspek-aspek evaluasi model CSE-UCLA dapat dilihat pada Tabel 2.
Table 1. Komponen-Komponen Dan Aspek-Aspek Evaluasi Model Discrepancy
Komponen Evaluasi Kode Aspek Aspek Evaluasi Pendefinisian ADC1 Visi, misi, dan tujuan pelaksanaan pembelajaran synchronous pada perguruan tinggi kejuruan di Bali ADC2 Dukungan civitas akademika di masing-masing perguruan tinggi kejuruan di Bali terhadap penyelenggaraan pembelajaran synchronous
Komponen Evaluasi Kode Aspek Aspek Evaluasi ADC3 Legalitas hukum penyelenggaraan pembelajaran synchronous pada perguruan tinggi kejuruan di Bali ADC4 Kesiapan mahasiswa dan dosen dalam penyelenggaraan pembelajaran synchronous Instalasi ADC5 Kesiapan sarana dan prasarana penunjang penyelenggaraan pembelajaran synchronous ADC6 Kesiapan tim pengelola sistem/platform yang digunakan dalam menunjang terselengaranya pembelajaran synchronous Proses ADC7 Tata cara dosen dalam pembuatan materi ajar berformat digital yang disebarkan kepada mahasiswa ADC8 Tata cara pembuatan account platform untuk dosen dan mahasiswa agar mereka dapat mengakses platform yang digunakan untuk proses pembelajaran synchronous ADC9 Tata cara pelaksanaan pembelajaran synchronous agar berjalan dengan efektif Produk ADC10 Kepuasan mahasiswa dan dosen terhadap kemudahan pengoperasian platform untuk pembelajaran synchronous ADC11 Kepuasan mahasiswa dan dosen dalam kecepatan akses terhadap platform yang digunakan dalam pembelajaran synchronous ADC12 Tingkat keamanan materi ajar berformat digital yang disebarkan oleh dosen kepada mahasiswa ADC13 Kepuasan mahasiswa dan dosen dalam berkomunikasi dan berinteraksi melalui platform penunjang pembelajaran synchronous ADC14 Skor ketimpangan pelaksanaan pembelajaran synchronous
Table 2. Komponen-Komponen Dan Aspek-Aspek Evaluasi Model CSE-UCLA Komponen Evaluasi Kode Aspek Aspek Evaluasi System Assessment CSE1 Tujuan pelaksanaan pembelajaran synchronous pada perguruan tinggi kejuruan di Bali CSE2 Dukungan civitas akademika di masing-masing perguruan tinggi kejuruan di Bali CSE3 Peraturan yang menunjang pelaksanaan pembelajaran synchronous pada perguruan tinggi kejuruan di Bali Program Planning CSE4 Kesiapan mahasiswa dalam menyediakan paket data internet CSE5 Kesiapan mahasiswa dalam menyediakan perangkat keras komputer untuk menunjang pelaksanaan pembelajaran synchronous CSE6 Kemampuan mahasiswa dalam mengoperasikan platform yang digunakan dalam pelaksanaan pembelajaran synchronous CSE7 Kesiapan dosen dalam menyediakan paket data internet CSE8 Kemampuan dosen dalam menyediakan materi ajar yang menarik dan cocok digunakan dalam pembelajaran synchronous CSE9 Kesiapan dosen dalam menyediakan perangkat keras komputer untuk menunjang pelaksanaan pembelajaran synchronous CSE10  Kemampuan dosen dalam mengoperasikan platform yang digunakan dalam pelaksanaan pembelajaran synchronous Program Implementation CSE11  Sosialiasi keberadaan pembelajaran synchronous oleh dosen dengan menyebarkan link platform kepada mahasiswa CSE12  Sosialisasi link materi ajar kepada mahasiswa dilakukan oleh dosen sebelum ataupun setelah pelaksanaan pembelajaran synchronous
CSE13  Sosialisasi panduan pelaksanaan pembelajaran synchronous kepada mahasiswa dilakukan oleh dosen Program CSE14  Mekanisme pembuatan materi ajar yang menarik berformat digital
Komponen Evaluasi Kode Aspek Aspek Evaluasi Improvement CSE15  Mekanisme pembuatan account platform yang digunakan untuk menunjang pembelajaran synchronous
CSE16  Mekanisme pelaksanaan pembelajaran synchronous Program Certification CSE17  Kepuasan mahasiswa dalam kemudahan pengoperasian platform yang digunakan untuk menunjang pelaksanaan pembelajaran synchronous CSE18  Kepuasan dosen dalam kemudahan pengoperasian platform yang digunakan untuk menunjang pelaksanaan pembelajaran synchronous CSE19  Keamanan materi ajar yang disebarkan kepada mahasiswa dalam pembelajaran synchronous CSE20  Kepuasan mahasiswa dan dosen dalam interaksi dan komunikasi yang terjadi melalui platform penunjang pembelajaran synchronous
Pada  tahap  penyusunan  butir  instrumen,  diperoleh  butir-butir  instrumen  evaluasi  model Discrepancy-CSE-UCLA berdasarkan  aspek-aspek  evaluasi.  Adapun  butir-butir  instrumen  evaluasi  model Discrepancy dapat dilihat pada Tabel 3. Butir-butir instrumen evaluasi model CSE-UCLA dapat dilihat pada Tabel 4.
Table 3. Indikator-Indikator Evaluasi Model Discrepancy Kode Aspek Kode Indikator Indikator Evaluasi ADC1 I-ADC1-1 Visi pelaksanaan pembelajaran synchronous pada perguruan tinggi kejuruan di Bali I-ADC1-2 Misi pelaksanaan pembelajaran synchronous pada perguruan tinggi kejuruan di Bali I-ADC1-3 Tujuan pelaksanaan pembelajaran synchronous pada perguruan tinggi kejuruan di Bali ADC2 I-ADC2-1 Dukungan Rektor di masing-masing perguruan tinggi kejuruan di Bali terhadap penyelenggaraan pembelajaran synchronous I-ADC2-2 Dukungan Dekan di masing-masing perguruan tinggi kejuruan di Bali terhadap penyelenggaraan pembelajaran synchronous I-ADC2-3 Dukungan Ketua Jurusan di masing-masing perguruan tinggi kejuruan di Bali terhadap penyelenggaraan pembelajaran synchronous I-ADC2-4 Dukungan Ketua Program Studi di masing-masing perguruan tinggi kejuruan di Bali terhadap penyelenggaraan pembelajaran synchronous I-ADC2-5 Dukungan para dosen di masing-masing perguruan tinggi kejuruan di Bali terhadap penyelenggaraan pembelajaran synchronous I-ADC2-6 Dukungan orang tua mahasiswa terhadap penyelenggaraan pembelajaran synchronous I-ADC2-7 Dukungan segenap mahasiswa di masing-masing perguruan tinggi kejuruan di Bali terhadap penyelenggaraan pembelajaran synchronous ADC3 I-ADC3-1 Peraturan Rektor di masing-masing perguruan tinggi kejuruan di Bali tentang penyelenggaraan pembelajaran synchronous I-ADC3-2 Peraturan Dekan di masing-masing perguruan tinggi kejuruan di Bali tentang penyelenggaraan pembelajaran synchronous I-ADC3-3 Peraturan Ketua Juruan di masing-masing perguruan tinggi kejuruan di Bali tentang penyelenggaraan pembelajaran synchronous I-ADC3-4 Peraturan Ketua Program Studi di masing-masing perguruan tinggi kejuruan di Bali tentang penyelenggaraan pembelajaran synchronous ADC4 I-ADC4-1 Kesiapan mahasiswa menggunakan perangkat keras penunjang penyelenggaraan pembelajaran synchronous I-ADC4-2 Kesiapan mahasiswa membuat platform penunjang penyelenggaraan pembelajaran synchronous I-ADC4-3 Kesiapan mahasiswa mengoperasikan perangkat lunak penunjang penyelenggaraan pembelajaran synchronous
Kode Aspek Kode Indikator Indikator Evaluasi I-ADC4-4 Kesiapan dosen menggunakan perangkat keras penunjang penyelenggaraan pembelajaran synchronous I-ADC4-5 Kesiapan dosen membuat platform penunjang penyelenggaraan pembelajaran synchronous I-ADC4-6 Kesiapan dosen mengoperasikan perangkat lunak penunjang penyelenggaraan pembelajaran synchronous ADC5 I-ADC5-1 Kesiapan perangkat keras penunjang penyelenggaraan pembelajaran synchronous I-ADC5-2 Kesiapan perangkat lunak penunjang penyelenggaraan pembelajaran synchronous I-ADC5-3 Kesiapan akses internet penunjang penyelenggaraan pembelajaran synchronous I-ADC5-4 Kesiapan ruang belajar penunjang penyelenggaraan pembelajaran synchronous ADC6 I-ADC6-1 Kesiapan tim pengelola dalam membuat platform yang digunakan untuk menunjang terselengaranya pembelajaran synchronous I-ADC6-2 Kesiapan tim pengelola dalam mensetting perangkat keras yang digunakan untuk menunjang terselengaranya pembelajaran synchronous I-ADC6-3 Kesiapan tim pengelola dalam mensetting perangkat lunak yang digunakan untuk menunjang terselengaranya pembelajaran synchronous I-ADC6-4 Kesiapan tim pengelola dalam menjaga kestabilan akses internet untuk menunjang kelancaran terselengaranya pembelajaran synchronous ADC7 I-ADC7-1 Tata cara dosen dalam pembuatan materi ajar berformat digital I-ADC7-2 Tata cara dosen dalam menyebarluaskan materi ajar berformat digital kepada mahasiswa ADC8 I-ADC8-1 Tata cara pembuatan account platform untuk dosen agar dapat mengakses platform yang digunakan untuk proses pembelajaran synchronous I-ADC8-2 Tata cara pembuatan account platform untuk mahasiswa agar dapat mengakses platform yang yang digunakan untuk proses pembelajaran synchronous ADC9 I-ADC9-1 Tata cara pelaksanaan pembelajaran synchronous untuk dosen agar proses berjalan dengan efektif I-ADC9-2 Tata cara pelaksanaan pembelajaran synchronous untuk mahasiswa agar proses berjalan dengan efektif ADC10 I-ADC10-1 Kepuasan mahasiswa terhadap kemudahan pengoperasian platform untuk pembelajaran synchronous I-ADC10-2 Kepuasan dosen terhadap kemudahan pengoperasian platform untuk pembelajaran synchronous ADC11 I-ADC11-1 Kepuasan mahasiswa dalam kecepatan akses terhadap platform yang digunakan dalam pembelajaran synchronous I-ADC11-2 Kepuasan dosen dalam kecepatan akses terhadap platform yang digunakan dalam pembelajaran synchronous ADC12 I-ADC12-1 Materi ajar berformat digital yang disebarkan oleh dosen kepada mahasiswa aman dari virus I-ADC12-2 Materi ajar berformat digital yang disebarkan oleh dosen kepada mahasiswa aman dari hacker ADC13 I-ADC13-1 Kepuasan dosen dalam berkomunikasi dan berinteraksi melalui platform penunjang pembelajaran synchronous I-ADC13-2 Kepuasan dosen dalam berkomunikasi dan berinteraksi melalui platform penunjang pembelajaran synchronous ADC14 I-ADC14-1 Perhitungan skor ketimpangan pelaksanaan pembelajaran synchronous sudah akurat
Kode Aspek Kode Indikator Indikator Evaluasi I-ADC14-2 Hasil perhitungan skor ketimpangan pelaksanaan pembelajaran synchronous mampu memberikan informasi tentang kesenjangan yang terjadi antara standar evaluasi dengan kenyataan yang terjadi di lapangan
Table 4. Indikator-Indikator Evaluasi Model CSE-UCLA
Kode Aspek Kode Indikator Indikator Evaluasi CSE1 I-CSE1-1 Tujuan pelaksanaan pembelajaran synchronous pada perguruan tinggi kejuruan di Bali CSE2 I-CSE2-1 Dukungan Rektor di masing-masing perguruan tinggi kejuruan di Bali terhadap penyelenggaraan pembelajaran synchronous I-CSE2-2 Dukungan Dekan di masing-masing perguruan tinggi kejuruan di Bali terhadap penyelenggaraan pembelajaran synchronous I-CSE2-3 Dukungan Ketua Jurusan di masing-masing perguruan tinggi kejuruan di Bali terhadap penyelenggaraan pembelajaran synchronous I-CSE2-4 Dukungan Ketua Program Studi di masing-masing perguruan tinggi kejuruan di Bali terhadap penyelenggaraan pembelajaran synchronous I-CSE2-5 Dukungan para dosen di masing-masing perguruan tinggi kejuruan di Bali terhadap penyelenggaraan pembelajaran synchronous I-CSE2-6 Dukungan orang tua mahasiswa terhadap penyelenggaraan pembelajaran synchronous I-CSE2-7 Dukungan segenap mahasiswa di masing-masing perguruan tinggi kejuruan di Bali terhadap penyelenggaraan pembelajaran synchronous CSE3 I-CSE3-1 Peraturan Rektor di masing-masing perguruan tinggi kejuruan di Bali tentang penyelenggaraan pembelajaran synchronous I-CSE3-2 Peraturan Dekan di masing-masing perguruan tinggi kejuruan di Bali tentang penyelenggaraan pembelajaran synchronous I-CSE3-3 Peraturan Ketua Juruan di masing-masing perguruan tinggi kejuruan di Bali tentang penyelenggaraan pembelajaran synchronous I-CSE3-4 Peraturan Ketua Program Studi di masing-masing perguruan tinggi kejuruan di Bali tentang penyelenggaraan pembelajaran synchronous CSE4 I-CSE4-1 Kesiapan mahasiswa dalam menyediakan paket data internet untuk menunjang pelaksanaan pembelajaran synchronous CSE5 I-CSE5-1 Kesiapan mahasiswa dalam menyediakan perangkat keras komputer untuk menunjang pelaksanaan pembelajaran synchronous CSE6 I-CSE6-1 Kemampuan mahasiswa dalam mengoperasikan platform yang digunakan dalam pelaksanaan pembelajaran synchronous CSE7 I-CSE7-1 Kesiapan dosen dalam menyediakan paket data internet untuk menunjang pelaksanaan pembelajaran synchronous CSE8 I-CSE8-1 Kemampuan dosen dalam menyediakan materi ajar yang menarik dan cocok digunakan dalam pembelajaran synchronous CSE9 I-CSE9-1 Kesiapan dosen dalam menyediakan perangkat keras komputer untuk menunjang pelaksanaan pembelajaran synchronous CSE10 I-CSE10-1 Kemampuan dosen dalam mengoperasikan platform yang digunakan dalam pelaksanaan pembelajaran synchronous CSE11 I-CSE11-1 Dosen mensosialiasikan keberadaan pembelajaran synchronous dengan menyebarkan link platform kepada mahasiswa CSE12 I-CSE12-1 Dosen mensosialisasi link materi ajar kepada mahasiswa sebelum pelaksanaan pembelajaran synchronous
I-CSE12-2 Dosen mensosialisasi link materi ajar kepada mahasiswa setelah pelaksanaan pembelajaran synchronous CSE13 I-CSE13-1 Dosen mensosialisasikan panduan pelaksanaan pembelajaran synchronous kepada mahasiswa
Kode Aspek Kode Indikator Indikator Evaluasi CSE14 I-CSE14-1 Mekanisme pembuatan materi ajar yang menarik berformat digital CSE15 I-CSE15-1 Mekanisme pembuatan account platform yang digunakan untuk menunjang pembelajaran synchronous CSE16 I-CSE16-1 Mekanisme pelaksanaan pembelajaran synchronous CSE17 I-CSE17-1 Kepuasan mahasiswa terkait kemudahan pengoperasian platform yang digunakan untuk menunjang pelaksanaan pembelajaran synchronous CSE18 I-CSE18-1 Kepuasan dosen terkait kemudahan pengoperasian platform yang digunakan untuk menunjang pelaksanaan pembelajaran synchronous CSE19 I-CSE19-1 Materi ajar berformat digital yang disebarkan oleh dosen kepada mahasiswa aman dari virus I-CSE19-2 Materi ajar berformat digital yang disebarkan oleh dosen kepada mahasiswa aman dari hacker CSE20 I-CSE20-1 Kepuasan mahasiswa dalam interaksi dan komunikasi yang terjadi melalui platform penunjang pembelajaran synchronous
I-CSE20-2 Kepuasan dosen dalam interaksi dan komunikasi yang terjadi melalui platform penunjang pembelajaran synchronous
Penyusunan butir-butir instrumen evaluasi model Discrepancy-CSE-UCLA dilakukan berdasarkan kesesuaian  komponen  evaluasi,  aspek  evalusi  dan  indikatornya.  Adapun  susunan  butir-butir  instrumen evaluasi  model Discrepancy selengkapnya  dapat  dilihat  pada Tabel  5. Susunan  butir-butir  instrumen evaluasi model CSE-UCLA selengkapnya dapat dilihat pada Tabel 6.
Table 5. Susunan Butir-Butir Instrumen Evaluasi Model Discrepancy
Komponen Evaluasi Kode Aspek Kode Indikator Pendefinisian ADC1 I-ADC1-1 I-ADC1-2 I-ADC1-3 ADC2 I-ADC2-1 I-ADC2-2 I-ADC2-3 I-ADC2-4 I-ADC2-5 I-ADC2-6 I-ADC2-7 ADC3 I-ADC3-1 I-ADC3-2 I-ADC3-3 I-ADC3-4 ADC4 I-ADC4-1 I-ADC4-2 I-ADC4-3 I-ADC4-4 I-ADC4-5 I-ADC4-6 Instalasi ADC5 I-ADC5-1 I-ADC5-2 I-ADC5-3 I-ADC5-4 ADC6 I-ADC6-1 I-ADC6-2 I-ADC6-3 I-ADC6-4 Proses ADC7 I-ADC7-1 I-ADC7-2 ADC8 I-ADC8-1
Komponen Evaluasi Kode Aspek Kode Indikator I-ADC8-2 ADC9 I-ADC9-1 I-ADC9-2 Produk ADC10 I-ADC10-1 I-ADC10-2 ADC11 I-ADC11-1 I-ADC11-2 ADC12 I-ADC12-1 I-ADC12-2 ADC13 I-ADC13-1 I-ADC13-2 ADC14 I-ADC14-1 I-ADC14-2 Table 6. Susunan Butir-Butir Instrumen Evaluasi Model CSE-UCLA Komponen Evaluasi Kode Aspek Kode Indikator System Assessment CSE1 I-CSE1-1 CSE2 I-CSE2-1 I-CSE2-2 I-CSE2-3 I-CSE2-4 I-CSE2-5 I-CSE2-6 I-CSE2-7 CSE3 I-CSE3-1 I-CSE3-2 I-CSE3-3 I-CSE3-4 Program Planning CSE4 I-CSE4-1 CSE5 I-CSE5-1 CSE6 I-CSE6-1 CSE7 I-CSE7-1 CSE8 I-CSE8-1 CSE9 I-CSE9-1 CSE10 I-CSE10-1 Program Implementation CSE11 I-CSE11-1 CSE12 I-CSE12-1 I-CSE12-2 CSE13 I-CSE13-1 Program Improvement CSE14 I-CSE14-1 CSE15 I-CSE15-1 CSE16 I-CSE16-1 Program Certification CSE17 I-CSE17-1 CSE18 I-CSE18-1 CSE19 I-CSE19-1 I-CSE19-2 CSE20 I-CSE20-1 I-CSE20-2
Uji coba yang dilakukan terhadap instrumen evaluasi model Discrepancy-CSE-UCLA , diantaranya: uji validasi isi instrumen dan uji reliabilitas intrumen yang telah terbentuk. Adapun hasil uji validasi isi instrumen  evaluasi  model Discrepancy-CSE-UCLA dilakukan  oleh  dua  pakar.  Berdasarkan  hasil  analisis, selanjutnya dapat dilakukan perhitungan validitas isi menggunakan formula Gregory dengan hasil 0,842. Jika  dilihat  dari  hasil  perhitungan  validitas  isi  dapat  dinyatakan  bahwa  tingkat  kevalidan  instrumen evaluasi  model Discrepancy-CSE-UCLA ini  tergolong  sangat  tinggi.  Hal  ini  dikarenakan  skor  uji  validitas instrumen  sebesar  0,842  masuk  pada  rentang  skor  antara  0,80  sampai  dengan  1,00  jika  dilihat  dari pengkategorian  validitas  yang  mengacu Guilford .  Kendatipun  demikian,  ada  beberapa  butir  instrumen
yang harus dibuang karena mendapatkan penilaian kurang relevan dari kedua pakar. Adapun butir-butir instrumen yang dibuang sebanyak 12 butir, diantaranya: I-ADC2-6, I-ADC3-3, I-ADC3-4, I-ADC4-2, I-ADC4- 5,  I-ADC5-4,  I-ADC6-1,  I-CSE2-3,  I-CSE2-4,  I-CSE2-6,    I-CSE3-3,  dan  I-CSE3-4.  Jika  dilihat  dari  hasil perhitungan  reliabilitas  dapat  dinyatakan  bahwa  tingkat  kehandalan  instrumen  evaluasi  model Discrepancy-CSE-UCLA ini  tergolong  tinggi.  Hal  ini  dikarenakan  skor  uji  reliabilitas  instrumen  sebesar 0,611  masuk  pada  rentang  skor  antara  0,60  sampai  dengan  0,80  jika  dilihat  dari  pengkategorian reliabilitas yang mengacu Guilford .

## Pembahasan
Beberapa model evaluasi yang dapat digunakan untuk melakukan evaluasi terhadap pemanfaatan meet google untuk pembelajaran synchronous , diantaranya: model Discrepancy , model Countenance , model CIPP ( Context - Input - Process - Product ),  model CSE-UCLA ( Center  for  the  Study  of  Evaluation-University  of California in Los Angeles ), model Goal-Free , dan lainnya (Endrizal, 2021; Yeni et al., 2020) (Prayogo, 2020; Syifa,  2020). Salah  satu  diantara  model-model  evaluasi  tersebut,  yang  paling  cocok  digunakan  untuk mengevaluasi  pembelajaran synchronous berbasis meet  google adalah  model  evaluasi CSE-UCLA .  Hal  ini dikarenakan  model CSE-UCLA memiliki  satu  komponen  evaluasi  yang  tidak  dimiliki  model  lainnya. Komponen  tersebut  dinamakan program  implementation ,  yang  berfungsi  untuk  mengukur  efektivitas kegiatan  sosialisasi  keberadaan  pembelajaran synchronous berbasis meet  google (Prayogo,  2020;  Syifa, 2020). Namun, dikarenakan kompleksnya ketimpangan-ketimpangan yang terjadi di lapangan (khususnya pada  perguruan  tinggi  kejuruan  di  Provinsi  Bali),  maka  tidak  cukup  hanya  satu  model  evaluasi  yang digunakan  dalam  melakukan  evaluasi  terhadap  pembelajaran synchronous berbasis meet  google . Berdasarkan  hal  tersebut,  maka  perlu  digagas  suatu  kreatifitas  baru  dalam  bidang  evaluasi  pendidikan yang  berupa  modifikasi  terhadap  beberapa  model  evaluasi  untuk  memperoleh  efektivitas  pelaksaaan evaluasi.  Modifikasi  tersebut  dapat  dalam  bentuk  perpaduan  antara  model Discrepancy dengan  model CSE-UCLA .
Temuan  sebelumnya  menyatakan  penggunaan  model  evaluasi CSE-UCLA dalam  mengevaluasi program belum menunjukkan secara rinci terkait validitas isi instrumen dan reliabilitasnya (Semadi et al., 2019). Kegiatan evaluasi terhadap pembelajaran online menggunakan model CSE-UCLA (Naibaho, 2021). Perpaduan  model  evaluasi  itu  dapat  digunakan  dalam  melakukan  evaluasi,  jikalau  menggunakan  alat pengukuran  yang  tepat.  Salah  satu  alat  ukur  dalam  evaluasi  adalah  instrumen  non  tes  yang  berupa angket/kuesioner.  Namun,  kenyataannya  tidak  semua  kuesioner  dapat  memberikan  hasil  pengukuran yang  tepat  dalam  kegiatan  evaluasi.  Oleh  karena  itu  perlu  dilakukan  uji  validitas  isi  dan  uji  reliabilitas butir  terhadap  kuesioner  yang  digunakan  dalam  evaluasi.  Kerterbatasan  penelitian  sebelumnya  adalah belum  menunjukkan  hasil  validitas  isi  dan reliabilitas  butir  instrumen  model CSE-UCLA yang  digunakan dalam mengevaluasi pelaksanaan pembelajaran online pada masa pandemi Covid-19 . Hasil penelitian ini sudah  mampu  menjawab  beberapa  keterbatasan  penelitian  sebelumnya  dengan  menunjukkan  adanya perhitungan  manual  dalam  menentukan  validitas  isi  dan  reliabilitas  instrumen  evaluasi  model  model Discrepancy-CSE-UCLA secara  runut..  Kendala  penelitian  ini  adalah  belum  ditunjukkan  adanya  validitas butir dari masing-masing butir instrumen evaluasi model Discrepancy-CSE-UCLA , sehingga kesahihan tiap butir belum teruji secara empirik oleh penggunanya di lapangan.

## 4. SIMPULAN
Secara  umum  penelitian  ini  sudah  mampu  menunjukkan  adanya  instrumen  evaluasi  model Discrepancy-CSE-UCLA yang valid dan reliabel. Kevalidan butir instrumen evaluasi model Discrepancy-CSE- UCLA tergolong  sangat  tinggi  dan  kehandalannya  tergolong  tinggi.  Pekerjaan  kedepan  yang  perlu dilakukan untuk mengatasi kendala penelitian ini adalah dengan melakukan uji validitas butir instrumen dengan menggunakan formula korelasi pearson–product moment .

## 5. DAFTAR PUSTAKA
Adawiyah, R., Amin, S. M., Ibrahim, M., & Hartatik, S. (2021). Peningkatan Ketuntasan Hasil Belajar Siswa Sekolah Dasar Pada Pembelajaran Tematik Melalui E-LKPD dengan Bantuan Aplikasi Google Meet. Jurnal Basicedu , 5 (5), 3393–3398. https://doi.org/10.31004/basicedu.v5i5.1339.
Anugrahana,  A.  (2020).  Hambatan  ,  Solusi  dan  Harapan :  Pembelajaran  Daring  Selama  Masa  Pandemi Covid-19  Oleh  Guru  Sekolah  Dasar. Jurnal  Pendidikan  Dan  Kebudayaan , 10 (3),  282–289. https://doi.org/10.24246/j.js.2020.v10.i3.p282-289.
Atmojo,  A.  E.  P.,  &  Nugroho,  A.  (2020).  EFL  classes  must  go  online!  Teaching  activities  and  challenges
during COVID-19 pandemic in Indonesia. Register Journal , 13 (1), 49–76. https://doi.org/10.18326/rgt.v13i1.49-76.
Cahyawati,  D.,  &  Gunarto,  M.  (2020).  Persepsi  mahasiswa  terhadap  pembelajaran  daring  pada  masa pandemi  Covid-19:  Hambatan,  tingkat  kesetujuan  ,  materi,  beban  tugas  ,  kehadiran,  dan pengelasan dosen. Jurnal Inovasi Teknologi Pendidikan , 7 (2), 150–161. https://doi.org/10.21831/jitp.v7i2.33296.
Cai,  P.  (2021).  Thinking  skills  development  in  mobile  learning:  The  case  of  elementary  school  students studying  environmental  studies. Thinking  Skills  and  Creativity , 42 (July),  100922. https://doi.org/10.1016/j.tsc.2021.100922.
Dewi, W. A. F. (2020). Dampak COVID-19 terhadap Implementasi Pembelajaran Daring di Sekolah Dasar. Edukatif : Jurnal Ilmu Pendidikan , 2 (1), 55–61. https://doi.org/10.31004/edukatif.v2i1.89.
Endrizal,  E.  (2021).  Evaluasi  Program  Pembelajaran  Pemeliharaan  Kelistrikan  Sepeda  Motor Menggunakan  Model  CIPP. Jurnal  Imiah  Pendidikan  Dan  Pembelajaran , 5 (1),  17–26. https://doi.org/10.23887/jipp.v5i2.
Fadhilaturrahmi, F., Ananda, R., & Yolanda, S. (2021). Persepsi Guru Sekolah Dasar terhadap Pembelajaran Jarak  Jauh  di  Masa  Pandemi  Covid  19. Jurnal  Basicedu , 5 (3),  1683–1688. https://doi.org/10.31004/basicedu.v5i3.1187.
Fitri, R., & Bundo, M. (2020). Dampak Covid-19 Terhadap Industri Rumah Tangga Pangan di Kota Padang. Jesya (Jurnal Ekonomi Dan Ekonomi … , 4 (2), 784–793. https://doi.org/10.36778/jesya.v4i2.379. Gunawan,  G.,  Suranti,  N.  M.  Y.,  &  Fathoroni,  F.  (2020).  Variations  of  Models  and  Learning  Platforms  for Prospective  Teachers  During  the  COVID-19  Pandemic  Period. Indonesian  Journal  of  Teacher Education , 1 (2), 61–70. https://doi.org/0000-0001-8546-0150. Muhammad Fikri, Muhammad Zaki Ananda, N. F. (2021). Kendala Dalam Pembelajaran Jarak Jauh di Masa Pandemi  Covid-19 :  Sebuah  Kajian  Kritis. Jurnal  Education  and  Development  Institut  Pendidikan Tapanuli Selatan , 9 (1), 145–148. https://doi.org/10.37081/ed.v9i1.2290.
Naibaho,  L.  (2021).  Online  Learning  Evaluation  during  Covid-19  using  CSE-UCLA  Evaluation  Model  at English  Education  Department  Universitas  Kristen  Indonesia. Budapest  International  Research and Critics Institute-Journal (BIRCI-Journal) , 4 (2), 1987–1997.
https://doi.org/10.33258/birci.v4i2.1887.
Nurwati,  R.  A.  M.  dan  R.  N.  (2020).  Dampak  Pandemi  Covid-19  Terhadap  Peningkatan  Angka Pengangguran di Indonesia. Rahma Ainul Mardiyah R. Nunung Nurwati .
Prayogo,  D.  (2020).  Evaluasi  Distance  Learning  Mata  Kuliah  Ilmu  Bahan  Saat  Pandemi  Covid-19
Menggunakan Model CIPP. Jurnal
Pendidikan Teknik Mesin , 7 (2), 91–98. https://doi.org/10.36706/jptm.v7i2.11898 .
Pudyastuti,  A.  T.,  &  Budiningsih,  C.  A.  (2021).  Efektivitas  Pembelajaran  E-Learning  pada  Guru  PAUD Selama  Pandemic  Covid-19. Jurnal  Obsesi :  Jurnal  Pendidikan  Anak  Usia  Dini , 5 (1),  1667–1675. https://doi.org/10.31004/obsesi.v5i2.873.
Quezada, R. L., Talbot, C., & Quezada-Parker, K. B. (2020). From Bricks and Mortar to Remote Teaching: A Teacher  Education  Program‘s  Response  to  COVID-19. Journal  of  Education  for  Teaching , 46 (4), 472–483. https://doi.org/10.1080/02607476.2020.1801330. Semadi, I. G. P., Dantes, N., & Mertasari, N. M. S. (2019). Studi Evaluatif Berbasis Model CSE-UCLA Tentang Pelaksanaan  Program  Pendidikan  Bintara  di  Sekolah  Polisi  Negara  Polda  Bali. Jurnal  Penelitian Dan Evaluasi Pendidikan Indonesia , 9 (2), 89–105. https://doi.org/10.23887/jpepi.v9i2.289. Simamora,  R.  M.  (2020).  The  Challenges  of  Online  Learning  during  the  COVID-19  Pandemic:  An  Essay Analysis of Performing Arts Education Students. Studies in Learning and Teaching , 1 (2), 86–103. https://doi.org/10.46627/silet.v1i2.38.
Syifa, A. (2020). Evaluasi Penerapan E-Learning Melalui Model CIPP di Program Studi Psikologi Islam IAIN Pontianak. Jurnal As-Salam , 4 (2), 180–194. https://doi.org/10.37249/as-salam.v4i2.210.
Taufik, A. (2019). Perspektif Tentang Perkembangan Sistem Pembelajaran Jarak Jauh Di Kabupaten Kutai
Kartanegara Kalimantan Timur. Jurnal Pendidikan&Konseptual , 3 (2), 88–98. https://doi.org/DOI:http://doi.org/10.28926/riset_konseptual.v2i4.111. Yeni, D. I., Wulandari, H., & Hadiati, E. (2020). Pelaksanaan Program Pemberian Makanan Sehat Anak Usia Dini:  Studi  Evaluasi  Program  CIPP. MURHUM:  Jurnal  Pendidikan  Anak  Usia  Dini , 1 (2),  1–15. https://doi.org/10.37985/murhum.v1i2.9.