Jurnal TEKNODIK TEKNODIK TEKNODIK TEKNODIK TEKNODIK Vol. 24 - Nomor 1, Juni 2020 ISSN: 2088 - 3978 e-ISSN: 2579 - 4833

## EVALUASI PENYELENGGARAAN UJIAN SEMESTER BERBASIS KOMPUTER (USBK) MENGGUNAKAN MODEL CIPP

## Evaluation of Computer-based Semester Examination
by Using CIPP Model
Zainul Mustofa SMK Al Munawwariyyah Jl. Sudimoro No. 9, Bululawang, Kabupaten Malang, Indonesia zainulmustofa1993@yahoo.com
ABSTRAK: Tujuan penelitian ini adalah mengevaluasi program penyelenggaran Ujian Semester Berbasis Komputer (USBK) yang sesuai dengan program kerja kepala sekolah urusan kurikulum. Penelitian ini merupakan penelitian evaluasi dengan model CIPP. Pengumpulan data menggunakan teknik observasi, angket, dan wawancara. Teknik analisis yang digunakan adalah deskriptif kualitatif dan kuantitatif. Hasil penelitian menunjukkan bahwa: (1) Pelaksanaan Ujian Semester Berbasis Komputer (USBK) di SMK Al Munawwariyyah pada ujian semester gasal 2017/2018 secara umum berjalan baik dengan persentase ketercapaian sebesar 77,8%. Pada aspek proses, terdapat kendala terkait server dan jaringan sehingga perlu dilakukan optimalisasi program komputer yang digunakan; (2) Sekitar 88,9% guru menyatakan bahwa mereka mendapatkan manfaat dari program USBK karena dapat mempercepat proses pengoreksian dan penganalisaan butir soal, terutama untuk mengategorikan butir soal yang mudah, sedang, dan sulit. Dengan analisis tersebut, guru bisa cepat memberikan umpan balik kepada siswa berupa remedial; dan (3) Terkait pelaksanaan USBK, 44,5% siswa menyatakan bahwa mereka menjadi semakin giat belajar dan 66,6% siswa menginginkan USBK untuk dilanjutkan dan disempurnakan. Dilihat dari biaya penyelenggaraannya, USBK ini mampu menghemat dana hingga 40% dibandingkan dengan ujian semester yang menggunakan kertas.
Kata Kunci: Evaluasi, CIPP, USBK.
ABSTRACT: The ojective of this research is to evaluate the implementation of Computer-based Semester Examination (CBSE) which is the program of principal’s curriculum deputy. This is an evaluation research with CIPP model. Data collection is through observation, questionnaire, and interview. Analysis technique applied in this research is qualitative as well as quantitative description. The result shows that: (1) Generally, the implementation of CBSE at SMK Al Munawwariyyah for odd semester of 2017/2018 Academic Year run well with the achievement percentage of 77,8%. In the aspect of process,

## PENDAHULUAN
Penilaian adalah suatu hal yang tidak dapat dilepaskan dari pendidikan. William (2013) menyatakan bahwa penilaian merupakan jembatan untuk mengetahui apa yang guru ajarkan dan apa yang siswa pelajari. Penilaian memberikan gambaran kualitas materi yang dibelajarkan kepada siswa (Sadler, 2012). Penilaian merupakan bagian penting dalam proses pembelajaran yang wajib dilaksanakan oleh setiap satuan pendidikan.
Penilaian berperan sebagai penyeleksi, akuntabilitas, dan diagnosis (Brown, 2016). Sebagai penyeleksi, penilaian dapat memberikan informasi tentang siswa mana yang harus melakukan perbaikan dan siswa mana yang lulus. Sebagai akuntabilitas, penilaian digunakan untuk memutuskan apakah pembelajaran yang telah diupayakan berjalan baik atau tidak. Sebagai fungsi diagnosis, penilaian dapat digunakan untuk memetakan permasalahan yang dihadapi siswa terkait apa yang sedang mereka pelajari. Melalui penilaian, proses pengevaluasian tujuan pembelajaran dalam setiap waktu akan lebih mudah dan lebih akurat.
Penilaian memberikan informasi keberhasilan pembelajaran yang telah dirancang dan dilaksanakan. Penilaian memberikan refleksi terhadap pembelajaran yang telah dilaksanakan di kelas (Yang dkk, 2016). Penilaian menyediakan informasi yang dapat digunakan sebagai umpan balik
( feedback ) untuk memodifikasi pengajaran dan kegiatan pembelajaran yang akan digunakan (Earl & Giles, 2011). Umpan balik yang diterima berupa gambaran bagaimana tingkatan kemampuan berpikir mulai dari kreatifitas, komunikasi, penemuan, dan kemampuan proses sains.Tanpa penilaian dalam proses pembelajaran, guru tidak akan pernah tahu pengaruh apa yang ditimbulkan sebagai akibat dari pembelajaran yang telah dilakukan.
Cara melakukan penilaian dalam bidang pendidikan terbagi menjadi dua kelompok yaitu tes dan non-tes. Kelompok tes meliputi tes prestasi belajar, tes intelegensi, tes bakat, dan tes kemampuan akademik; sedangkan yang termasuk dalam kelompok non-tes adalah skala sikap yang biasanya beracuan pada skala Likert, pedoman observasi, pedoman wawancara, angket, pemeriksaan dokumen, yang beracuan pada rubrik penilaian.
Tes merupakan jenis penilaian yang banyak digunakan dalam pembelajaran. Tes memiliki standar objektif untuk dapat digunakan secara luas serta betul-betul mampu mendeksripsikan dan mengukur keadaan dari objek. Menurut Wahyuni, Kartono, & Susiloningsih, (2018) tes merupakan tindakan pengumpulan data atau informasi menggunakan teknik dan sumber yang beragam sebagai pijakan untuk mengambil keputusan.
Tes yang diselenggarakan sekolah pada umumnya dilakukan pada beberapa ranah dan dalam periode waktu tertentu yang telah
the arising problems are about the server and connection so that the computer program needs to be more maximized; (2) Around 88,9% of teachers state that they get advantage from the implementation of CBSE because it can accelerate the process of correction as well as question analysis, which is to categorize the questions into easy, fair, and difficult categories. With the analysis, teacchers can soon give feedback to the students by providing remedial; and (3) About the implementation of CBSE, 44,5% of students state that they get more enthusiastic, and 66,6% of students want the CBSE continued and improved. In terms of the financing, CBSE can save the budget of about 40% compared to Paper-based Semester Examination.
Keywords: Evaluation, CIPP, USBK.
Jurnal TEKNODIK TEKNODIK TEKNODIK TEKNODIK TEKNODIK Vol. 24 - Nomor 1, Juni 2020 ISSN: 2088 - 3978 e-ISSN: 2579 - 4833
ditentukan. Menurut Permendikbud Nomor 23 Tahun 2016 tentang Standar Penilaian Pendidikan dan Permendikbud No. 3 Tahun 2017, terdapat beberapa ranah penilaian yang harus diukur dan dilaporkan yaitu penilaian sikap, pengetahuan, dan keterampilan.
Penilaian sikap dilakukan oleh wali kelas dan semua guru. Akan tetapi pada pelaporannya diserahkan pada guru mata pelajaran pendidikan agama dan budi pekerti untuk sikap spiritual dan guru mata pelajaran PPKN untuk sikap sosial. Penilaian sikap dapat dilakukan melalui observasi, penilaian antar-teman dan atau penilaian diri sendiri. Penilaian pengetahuan dilakukan oleh semua guru mata pelajaran. Penilaian pengetahuan dapat dilakukan dengan berbagai cara yaitu tes tulis, tes lisan, penugasan, dan/atau portofolio. Masing-masing penilaian memiliki manfaat sendiri-sendiri. Portofolio, misalnya, sebagai penilaian penunjang, memiliki manfaat sebagai masukan dalam merencanakan remedial, pengayaan dan penyusunan deskripsi kompetensi. Penilaian keterampilan dilakukan oleh semua guru mata pelajaran. Penilaian keterampilan dapat dilakukan melalui kinerja dan proyek.
Masing-masing penilaian memiliki instrumen utama. Instrumen penilaian sikap yang paling utama adalah observasi; instrumen penilaian pengetahuan yang paling utama adalah tes tulis; dan penilaian keterampilan yang paling utama adalah kinerja. Beberapa tes pengetahuan yang diselenggarakan meliputi penilaian harian (PH), ujian tengah semester (UTS), dan ujian akhir semester (UAS).
Baik pada penilaian pengetahuan PH, UTS, maupun UAS pemberian umpan balik ( feedback ) yang cepat kepada siswa mutlak diperlukan. Feedback bermanfaat untuk mencapai tujuan pembelajaran sekaligus membantu siswa mengembangkan pemahamannya secara lebih efektif (Raihany, 2014). Feedback akan bermanfaat jika pemberiannya tepat waktu dan segera menghasilkan perubahan, apabila feedback yang diberikan terlambat dan tidak adanya perubahan, feedback tersebut sia-sia. Feedback sangat bermanfaat untuk meningkatkan pembelajaran. Siswa ingin
feedback yang diberikan fokus untuk menjembatani kurangnya pemahaman mereka saat ini agar mencapai pemahaman yang seharusnya (Douglas  dkk, 2016). Feedback dapat menjadi pembawa menuju tujuan pembelajaran yang sukses yaitu siswa mencapai target yang telah ditetapkan oleh guru. Feedback harus segera diberikan dan guru berkewajiban untuk segera mengetahui sampai di mana pemahaman siswa, kemampuan siswa, dan ketercapaian tujuan pembelajaran. Selain itu, guru diharuskan pula untuk mendiagnosis apa saja indikator atau materi yang masih belum dikuasai oleh sebagian besar siswa.
Menghasilkan feedback yang segera dan tepat sasaran serta akurat adalah hal yang sulit. Hal ini dikarenakan setiap guru tidak hanya memegang satu kelas saja, tetapi beberapa kelas. Misalkan, satu guru memiliki beban mengajar 24 jam dan setiap mapel yang diampu memiliki beban 2 jam. Jadi, guru tersebut mengajar 12 kelas. Jika dalam satu kelas terdapat 30 siswa, terdapat 360 siswa yang harus dievaluasi. Sebagai gambaran, proses mengevaluasi tidaklah cukup jika hanya 5 menit.
Dalam rangka untuk meningkatkan kualitas penyelenggaraan evaluasi pembelajaran yang memadai, diperlukan teknologi infomasi dan komunikasi. Salah satu teknologi evaluasi yang hinga sekarang menjadi trend adalah teknologi evaluasi melalui komputer. Pada umumnya, penyelenggaraan tes di tingkat satuan pendidikan ada yang menggunakan kertas serta ada yang menggunakan komputer atau online . Tes berbasis kertas atau sering disebut PBT (Paper Based Test) memiliki beberapa keunggulan, antara lain lebih mudah diselenggarakan dan dapat dilaksanakan secara mendadak. Namun demikian, hal ini memiliki beberapa kelemahan, yaitu antara lain membutuhkan dana lebih besar untuk menggandakan soal dan lembar jawaban serta kurang praktis dalam rangka pengarsipan dokumen. Tes berbasis komputer memiliki keunggulan sebagai penutup kelemahan tes PBT yaitu praktis dalam tujuan pengarsipan serta biaya yang terjangkau. Akan tetapi, untuk menyelenggarakan tes
berbasis komputer atau sering disebut CBT ( Computer Based Test ) perlu pengetahuan dan keterampilan komputer dan jaringan.
Penyelenggaraan CBT dapat dilaksanakan secara online atau offline . Jika dilakukan offline, dapat menggunakan LAN/ Wireless, dan jika dilakukan semi- online hanya server saja yang online , sedangkan client offline . UNBK merupakan contoh penerapan CBT berbasis semi- online . Terdapat beberapa program yang telah menyediakan kemudahan untuk menyelenggarakan CBT antara lain edmodo , moodle , quizstar, dan lain-lainnya. Sedangkan yang dapat dibuat offline misalnya Moodle dan Beesmart . Moodle secara mudah dapat diaplikasikan dalam pembelajaran berbasis offline maupun online dengan server mandiri (Mustofa, 2019a). Akan tetapi, tampilan dari Moodle saat ujian tidak mirip dengan UNBK karena aplikasi ini lebih dikembangkan untuk pembelajaran (Mustofa, 2019b). Berbeda dengan program yang telah disebutkan lebih dahulu, program Beesmart adalah hasil karya dalam negeri yang berpusat pada website tuwagapat.com yang berasal dari Malang. Secara umum, tampilan program Beesmart sama dengan program UNBK yang telah diselenggarakan selama dua tahun sebelumnya.
Berdasarkan uraian keunggulan ujian berbasis komputer dan kecepatannya dalam menganalisis hasil ujian, sesuai program kurikulum diselenggarakanlah Ujian Semester berbasis komputer (USBK). Sebagai program baru dalam rangka meningkatakan kualitas guru dan siswa, diperlukan suatu evaluasi yang komprehensif mencakup segala aspek baik penyelenggara, guru, dan siswa. Selain itu, evaluasi yang dilakukan dirancang secara komprehensif meliputi konteks, input , proses, dan output atau produk. Peneitian evaluasi program yang dilakukan ini dirancang sebagai suatu penelitian yang bertujuan untuk mengetahui (1) Bagaimana penyelenggaraan USBK di SMK Al Munawwariyyah pada ujian semester gasal 2017/2018; dan (2) Bagaimana tanggapan panitia penyelenggara, guru, dan siswa terkait penyelenggaraan USBK.

## METODA
Penelitian ini merupakan penelitian evaluasi. Menurut Arikunto (2010), penelitian evaluasi mempunyai keistimewaan yakni jenis penelitian yang dapat dilakukan pada semua jenis program kegiatan dengan tujuan untuk meningkatkan kualitas program yang akan dievaluasi. Program kegiatan ujian berbasis komputer ini merupakan program ujian yang pertama kali dilakukan, di mana sebelumnya menggunakan pensil dan kertas. Program ujian semester berbasis komputer (USBK) ini merupakan hasil kebijakan kepala sekolah yang telah disepakati dalam rapat dinas awal tahun pembelajaran 2017/2018. Pendekatan penelitian yang digunakan dalam penelitian evaluasi ini adalah pendekatan evaluasi CIPP ( Context, Input, Process, and Product ). Model CIPP memiliki empat unsur yang berkesinambungan (Mahmudi, 2011; Darma, 2019; Stefflebeam & Coryn, 2014). Berdasarkan namanya, terdapat empat unsur yang akan dilaksanakan untuk mengevaluasi program USBK yaitu: (1) evaluasi konteks yang mengarahkan pada menganalisis kekuatan dan kelemahan dari sekolah untuk menerapkan program USBK terutama berkaitan dengan sarana dan prasarana; (2) evaluasi input mengarahkan pada analisis peluang dan tantangan pelaksanaan program USBK yang diarahkan pada kemampuan guru dan tenaga yang ada; (3) evaluasi proses mengarahkan pada pelaksanaan rencana program yang telah ditetapkan; dan (4) evaluasi produk mengarahkan pada penilaian ketercapaian program dari berbagai aspek.
Penelitian ini dilaksanakan di SMK Al Munawwariyyah, Bululawang, Kabupaten Malang pada ujian semester gasal tahun pelajaran 2017/2018. Penelitian dilaksanakan mulai bulan Oktober sampai dengan Desember 2017. Subjek penelitian meliputi panitia penyelenggara, guru, dan siswa. Metode penelitian dengan cara observasi, angket, dan wawancara. Observasi digunakan untuk mendapatkan data terkait penyelenggaraan USBK mulai tahap persiapan hingga akhir pelaksanaan. Angket digunakan untuk mengetahui tanggapan siswa dan guru terkait program USBK yang
Jurnal TEKNODIK TEKNODIK TEKNODIK TEKNODIK TEKNODIK Vol. 24 - Nomor 1, Juni 2020 ISSN: 2088 - 3978 e-ISSN: 2579 - 4833
dilaksanakan. Wawancara dilaksanakan untuk mengonfirmasi hasil observasi dan angket yang telah dibagikan dan dianalisis. Prosedur penelitian dimulai dengan evaluasi konteks yaitu mendaftar dan menganalisis kesiapan laboratorium komputer, perbandingan jumlah komputer dengan jumlah siswa, keahlian teknisi dalam membangun jaringan, dan administrasi data program USBK. Selanjutnya, dilaksanakan rapat sekaligus workshop bersama dewan guru, panitia penyelenggara, dan pembuat kebijakan sekolah untuk mempersiapkan kisi- kisi, soal, dan jawaban yang di- input ke dalam program. Selama proses workshop persiapan pelaksanaan program, baik panitia maupun guru mengisi angket.
Selama program dilaksanakan, dilakukan observasi untuk mengetahui keberhasilan pelaksanaan program, kendala yang mungkin terjadi, dan berbagai hal yang harus ditingkatkan. Setelah pelaksanaan program selesai, beberapa siswa secara acak diberi angket untuk mengevaluasi program USBK yang dilaksanakan. Panitia dan guru dikumpulkan untuk memberikan pengarahan tentang bagaimana cara mengambil hasil ujian siswa, termasuk di dalamnya rekap nilai dan analisis butir soal. Guru juga dipilih secara acak untuk mengisi angket yang disediakan sebagai hasil produk. Terakhir, dilakukan evaluasi ketercapaian tujuan program, hambatan, dan solusi yang mungkin dapat mengatasinya. Analisis data angket dilakukan dengan menghitung persentase dan grafik, sedangkan untuk menguji keabsahan data dilakukan teknik triangulasi yaitu observasi, angket, dan wawancara harus menghasilkan data yang sama.

## HASIL DAN PEMBAHASAN

## 1. Evaluasi Konteks
Perlu diketahui bahwa SMK Al- Munawwariyyah adalah sekolah yang berada di bawah yayasan Al-Munawwariyyah yang di dalamnya mencakup SD, SMP, SMA, dan SMK. SMK sendiri memiliki dua jurusan yaitu prodi teknik komputer dan jaringan 3 tahun, dan tata busana 3 tahun. Program studi teknik komputer dan jaringan berdiri sejak tahun
2008 dan terus berkembang hingga saat ini. Sedangkan program studi tata busana baru berdiri tahun 2014. Untuk meningkatkan kualitas pendidikan serta memunculkan aspek unggul dari SMK terutama prodi teknik komputer dan jaringan, perlu dicanangkan penyelenggaraan pendidikan berbasis komputer dengan teknologi informasi dan komunikasi yang lebih modern. Berdasarkan data terkait sarana pendidikan di yayasan Al- Munawwariyyah, terdapat 4 laboratorium bersama dan 2 laboratorium TUK (Tempat Uji Kompetensi) atau laboratorium bongkar pasang komputer. Setiap laboratorium bersama terdapat 25 Personal Computer (PC) dan setiap TUK terdapat 15 Personal Computer (PC). Selain itu, SMK juga memiliki 15 laptop dan 20 tablet siap pakai.

## Tabel 1. Data PC di Laboratorium
Nama Lab Total PC      PC Siap Pakai Labkom 1 (Putra) 25 23 Labkom 2 (Putra) 25 24 TUK (Putra) 15 13 Labkom 3 (Putri) 30 28 Labkom 4 (Putri) 20 20 TUK (Putri) 15 14
Setelah memperoleh data adminsitrasi tersebut, dilakukan evaluasi kesiapan setiap laboratorium apabila digunakan untuk ujian. Hasil evaluasi kesiapan setiap laboratorium tersaji pada Tabel 1. Berdasarkan Tabel 1, tergambar jumlah total PC dan jumlah PC yang siap pakai. Untuk mengatasinya, PC yang rusak untuk sementara digantikan dengan laptop yang ada.
Berkaitan dengan perbandingan jumlah komputer dengan jumlah siswa, diperoleh perbandingan 2 : 1. Jumlah siswa 264 siswa yang terdiri atas 125 siswa putra dan 138 siswa putri. Selanjutnya masing-masing dibuat 2 sesi, hasilnya dibutuhkan minimal 63 komputer di putra dan 69 komputer di putri. Kekurangan komputer diatasi dengan menggunakan laptop. Perlu diketahui bahwa komputer di putra tidak dapat digunakan oleh siswa putri, karena sekolah ini adalah sekolah berbasis pondok pesantren, dengan format putra dan putri dipisah.
Berkaitan dengan program USBK yang banyak pilihan dan semua bersifat gratis, dipilihlah program USBK berupa Beesmart versi 3.0 yang dikembangkan di dalam negeri yang berpusat di Malang. Berdasarkan informasi di internet dan grup facebook Beesmart , program ini mampu digunakan lebih dari 60 client s. Tetapi, kondisinya seperti apa belum diketahui. Pemanfaatan aplikasi Beesmart 3.0 untuk USBK akan digunakan oleh 132 clients dengan gedung dan laboratorium berbeda, tentu dengan permasalahan lebih kompleks terutama terkait jaringan. Oleh karena itu, dibentuklah tim IT yang ahli dalam bidang pemprograman dan jaringan yaitu guru produktif TKJ SMK Al Munawwariyyah. Terutama berkaitan dengan administrasi data Beesmart yang terbilang masih tahap awal dipelajari secara terpisah oleh tim IT.
Proses pembangunan sistem USBK pada rapat awal sebenarnya ingin agar setiap laboratorium memiliki server. Akan tetapi karena jumlah server yang terbatas, digunakan server pusat dengan spesifikasi RAM 8 GB dan double processor i5. Sedangkan untuk pengaturan jaringan menggunakan mikrotik yang terhubung dengan semua laboratorium. Labkom 4 dan TUK Putri terhubung secara kabel dengan server, sedangkan yang lain terhubung menggunakan wifi. USBK dirancang terpusat dengan satu operator yang bertugas untuk merilis token pada masing-masing mata ujian.

## 2.  Evaluasi Input
Evaluasi input meliputi persiapan pelaksanaan program, baik dari guru maupun panitia penyelenggara. Guru memiliki kewajiban untuk membuat kisi-kisi soal ujian, butir soal, dan jawaban saat menjelang ujian semester.

## Gambar 1: Distribusi Jawaban Angket Guru (Input)
(Sumber: Dokumen Penulis)
Tentunya untuk melaksanakan tugas tersebut, guru harus mampu mengoperasikan minimal Microsoft word . Selain itu, tugas guru yang tidak kalah penting adalah mempersiapkan analisis butir soal yang nantinya bermanfaat sebagai dasar acuan karakteristik soal yang diberikan kepada siswa, masuk dalam kategori sulit, sedang, atau mudah. Berdasarkan hasil angket diperoleh data sebagaimana tersaji pada diagram batang (Gambar 1).
Soal pertama terkait apakah guru mapel membuat kisi-kisi soal dan butir soal dari berbagai tingkatan. Jawabannya beragam dari 9 guru terdapat 2 guru sangat setuju (22,2%), 6 guru setuju (66,6%), dan 1 guru kurang setuju (11,1%). Ini artinya ada 2 guru yang membuat kisi-kisi dan butir soal dari berbagai tingkatan, 6 guru yang membuat hanya butir soal dari berbagai tingkatan, dan ada 1 guru yang membuat butir soal tanpa memikirkan tingkatan soal. Hasil ini sesuai dengan observasi yang dilakukan, yaitu hanya ada 2 guru yang mengumpulkan kisi-kisi sekaligus butir soal di meja kurikulum dan yang telah ditandatangani kepala sekolah. Tentu hal ini dapat menjadi acuan, bahwa selama ini pengarsipan data ujian belum optimal.
Soal kedua terkait kemampuan guru dalam menjalankan program aplikasi dasar pembelajaran Ms. Word, Ms. Excel, dan Ms. PowerPoint. Ms. Word dipergunakan guru untuk membuat perangkat pembelajaran, Ms. Excel digunakan untuk mengolah nilai, dan
Jurnal TEKNODIK TEKNODIK TEKNODIK TEKNODIK TEKNODIK Vol. 24 - Nomor 1, Juni 2020 ISSN: 2088 - 3978 e-ISSN: 2579 - 4833
Ms. Power Point digunakan untuk pembelajaran dan penilaian. Hasil angket menunjukkan terdapat 3 guru yang mahir (33,3%), 5 guru yang bisa mengoperasikan (55,5%), dan ada 1 guru yang belum menguasai ketiga program tersebut (11,1%). Distribusi input kemampuan guru ini diambil secara acak. Oleh karena itu, kemungkinan besar dapat mewakili distribusi guru di SMK Al Munawwariyyah. Jika terdapat 30 guru, terdapat sekitar 3-4 guru yang belum menguasai aplikasi dasar tersebut. Oleh karena itu, sangat diperlukan pembinaan atau dalam hal ini workshop intern sekolah untuk meningkatkan kualitas guru.
Soal ketiga terkait kemampuan guru dalam input database soal ke aplikasi Beesmart yang telah dipersiapkan. Aspek ketiga ini mengintegrasikan kemampuan guru dalam Ms. Word, Ms. Excel , dan internet. Berdasarkan Gambar 1, nampak bahwa 2 guru sangat mahir (22,2%), 6 guru mahir (66,6%), dan 1 guru kurang mahir (11,1%). Hasil ini kurang sesuai dengan hasil observasi dan wawancara pada beberapa orang guru yang menunjukkan bahwa mereka kesulitan menerapkan kebijakan baru untuk input database soal ke Ms. Excel kemudian dilanjutkan ke internet/ server pusat. Bahkan beberapa guru mengeluh dengan kebijakan yang diberikan. Akan tetapi, semua guru tetap menjalankan tanggung jawabnya meskipun harus meminta bantuan kepada guru lain yang sudah mahir. Ini artinya bahwa kemampuan IT guru SMK Al-Munawwariyyah perlu ditingkatkan dalam hal mengoperasikan lebih dari 3 aplikasi secara terintegrasi dan berkesinambungan.
Soal keempat mengakses kebiasaan dan kemampuan guru dalam menganalisis butir soal termasuk di dalamnya validitas dan reliabilitas. Input ini penting untuk menentukan apakah soal tersebut tergolong valid/absah apa tidak untuk mengukur apa yang diukur. Hasil angket menunjukkan bahwa hanya terdapat 1 guru yang mahir (11,1%), 5 guru mampu menganalisis (55,5%), dan 3 guru kurang mampu menganalisis butir soal (33,3%). Ini artinya beberapa guru masih belum mampu mempergunakan hasil ujian siswa untuk menyusun tes yang sesuai standar agar dapat
digunakan sebagai bank soal.
Terkait evaluasi kesiapan penyelenggaraan USBK yang dilakukan panitia, berdasarkan observasi dan wawancara terhadap operator USBK, diperoleh fakta bahwa model USBK mempermudah dalam menyusun administrasi data ujian seperti jadwal ujian, daftar kehadiran, kartu peserta ujian siswa, daftar pengawas dan pembagian ruang serta sesi. Selain itu, database siswa sangat mudah untuk diimport dari data siswa di dapodik. Sedangkan hasil wawancara dengan ketua panitia dan bendahara, diperoleh bahwa panitia mampu merancang anggaran biaya dengan penghematan 30%. Hal ini dikarenakan ujian berbasis komputer ini mampu menghemat biaya karena tidak perlu membeli kertas dan membayar biaya percetakan.
Setelah persiapan laboratorium dan administrasi data, dilakukan ujicoba untuk menguji kualitas jaringan dan kemampuan komputer client dan server menangani penggunaan 132 clients secara bersamaan. Hasilnya cukup baik meskipun butuh loading sekitar 10 detik/soal. Oleh karena itu, diambil keputusan untuk menggunakan server pusat untuk USBK dengan ketentuan teknisi harus memantau terus menerus untuk mendeteksi kemungkinan-kemungkinan yang terjadi.

## 3. Evaluasi Proses
Evaluasi proses dilakukan selama pelaksanaan USBK, Pada hari pertama pelaksanaan USBK, terdapat kendala yang sangat besar yaitu sistem administrasi data pada laboratorium putra tidak bisa berjalan. Program Beesmart tidak dapat mendeteksi dan menampilkan soal yang telah diset dan dirilis tokennya. Pada hari pertama ini, sebagian besar sistem tidak merespons dengan baik, termasuk permasalahan jaringan dan administrasi data sehingga dapat dikatakan bahwa program USBK hari pertama gagal. Semua panitia, tim IT, dan operator berkumpul hingga sore hari untuk mencari jalan keluar. Setelah bekerjasama selama dua jam, akhirnya ditemukan permasalahan yang menghambat jalannya ujian yaitu administrasi database soal yang ditampilkan.
Setelah ditemukan permasalahannya, dilanjutkan ujicoba lagi untuk semua mapel yang akan diujikan keesokan harinya. Hasilnya berhasil ditemukan permasalahan sekaligus solusinya. Untuk mengoptimalkan kinerja selanjutnya, dilakukan pembagian tugas yang tegas, tim IT memiliki tugas khusus untuk menangani laboratorium dan permasalahannya, operator berada di ruang panitia, dan pengawas bertugas mengawasi penyelenggaraan ujian.
Hari kedua, sistem berjalan lancar dan jaringan tidak ada kendala, semua berjalan lancar. Hasilnya guru mata pelajaran yang sudah diujikan dapat mengakses rekap nilai dan analisis butir soal secara langsung. Hari ketiga, permasalahan muncul kembali, yaitu permasalahan jaringan yang lemot, hingga mengakibatkan tertunda hingga 1 jam. Tim IT bekerja keras untuk mencari permasalahan yang terjadi. Setelah dua jam, akhirnya ditemukan permasalahannya, yaitu bahwa query penyimpanan data di program Beesmart masih belum sempurna dan terlalu berat untuk server dan client . Meskipun berjalan kurang lancar, tetapi hari ketiga ini semua dapat diselesaikan.
Permasalahan yang muncul di hari ketiga mewajibkan panitia dan tim IT untuk rapat lagi untuk mencari solusi terbaik untuk hari keempat. Akhirnya diputuskan untuk memisahkan server menjadi 3 server yaitu server aula, server putra, dan server pusat.
Hari keempat sampai hari terakhir berjalan lancar, tetapi operator dan administrasi data terpisah-pisah. Pelaksanaan USBK yang berjalan selama 9 hari secara umum berjalan dengan lancar kecuali pada hari pertama dan ketiga karena terdapat kendala administrasi aplikasi dan jaringan. Berdasarkan ketercapaian pelaksanaan program, dapat dikatakan bahwa USBK berjalan lancar dengan persentase 77,8%. Nilai yang baik untuk awal pelaksanaan program.
Berdasarkan permasalahan dan solusi yang sudah dijalankan tersebut, masih terdapat solusi yang lebih efektif untuk dijalankan pada USBK berikutnya. Salah satunya berkaitan dengan program Beesmart 3.0 yaitu dengan mengoptimalkan query pada jawaban siswa. Hal ini sangat mempengaruhi
kecepatan program mengolah data masukan ke program. Salah satu cara yang paling mudah dilakukan adalah segera setelah ujian selesai guru mapel dan operator men - download jawaban siswa sebagai rekap hasil dan menghapus jawaban siswa di mySql .

## 4. Evaluasi Produk
Evaluasi produk meliputi evaluasi terhadap hasil USBK dan respon dari user (siswa), guru dan panitia penyelenggara. Berdasarkan hasil observasi terhadap hasil USBK dari program Beesmart, nampak bahwa ketercapaian tujuan untuk mempercepat koreksi jawaban siswa terpenuhi, dan tujuan untuk mendapatkan informasi mengenai soal mana saja dari materi mana mana saja yang sudah dikuasai oleh siswa dan yang belum dikuasai oleh siswa juga bisa terpenuhi.

## Gambar 2: Hasil Angket Siswa
(Sumber: Dokumen Penulis)
Untuk data respons siswa sebagai user program USBK tersaji pada Gambar 2. Jumlah siswa yang mengembalikan angket sebanyak 18 siswa, dari 25 angket yang diberikan yang tersebar pada semua laboratorium.
Soal pertama terkait tentang sistem penilaian USBK sesuai kebutuhan saat UNBK nanti. Terdapat 2 siswa yang sangat setuju (11,1%), 10 siswa setuju (55,5%), 4 siswa kurang setuju (22,2%), dan 2 siswa tidak setuju (11,1%). Berdasarkan sebaran respons tersebut, siswa yang menyatakan sangat setuju dan setuju adalah siswa kelas XII yang akan menempuh UNBK pada bulan April 2018; sedangkan siswa yang menjawab tidak setuju adalah siswa kelas X yang belum
Jurnal TEKNODIK TEKNODIK TEKNODIK TEKNODIK TEKNODIK Vol. 24 - Nomor 1, Juni 2020 ISSN: 2088 - 3978 e-ISSN: 2579 - 4833
memiliki gambaran tentang UNBK. Hasil wawancara terhadap beberapa siswa menyatakan bahwa USBK bagus dan menarik, tetapi perlu penyempurnaan dalam hal jaringan.
Soal kedua terkait tentang respon terhadap gaya belajar siswa menghadapi USBK. Perlu diketahui bahwa dalam sistem USBK Beesmart yang digunakan ini mampu mengacak soal dan sekaligus pilihan jawaban, sehingga dapat dipastikan antarsiswa tidak terjadi kerjasama. Berdasarkan Gambar 2 menunjukkan bahwa sebanyak 1 siswa (5,6%) menyatakan semakin sangat giat belajar, 7 (38,9%) siswa semakin giat belajar, 7 siswa (38,9%) menyatakan sama saja dengan ujian biasanya, dan 3 siswa (16,6%) menyatakan bahwa semakin malas belajar. Berdasarkan hasil observasi dan wawancara pada beberapa siswa yang menyatakan tidak setuju, mereka beralasan tidak dapat bekerja sama. Sedangkan siswa yang menyatakan setuju dan sangat setuju beranggapan bahwa mereka harus belajar lebih giat karena tidak dapat menghandalkan temannya.
Soal ketiga mengakses tentang keamanan dan privasi soal yang dihadapi. Soal ketiga ini mengakses apakah selama USBK, siswa merasa aman dan tenang menjalani ujian karena setiap siswa menghadapi soal berbeda dalam waktu yang bersamaan. Gambar 2 menunjukkan bahwa terdapat 2 siswa yang sangat setuju (11,1%), 6 siswa yang setuju (33,3%), 8 siswa kurang setuju (44,4%), dan 2 siswa tidak setuju (11,1%). Ini artinya dalam ujian masih banyak siswa yang mampu memetakan soal dengan temannya. Fungsi pengawasan dari pengawas ruang belum maksimal. Kemungkinan lain siswa tidak memperdulikan tentang ujian yang dihadapi.
Soal keempat terkait tentang keinginan USBK dilanjutkan dan terus disempurnakan. Hasil angket pada Gambar 2 menunjukkan bahwa 3 siswa menyatakan sangat setuju (16,6%), 9 siswa setuju (50%), 4 siswa kurang setuju (22,2%), dan 2 siswa tidak setuju (11,1%). Hasil wawancara dengan beberapa siswa, khususnya siswa prodi teknik komputer dan jaringan, menunjukkan bahwa USBK wajib diteruskan dan disempurnakan karena
termasuk dari pengembangan jurusannya. Mereka juga menyatakan bahwa USBK dapat dibelajarkan kepada siswa, agar mereka paham tentang jaringan, administrasi data, dan komputer lebih mendalam dan praktis. Hasil wawancara terhadap beberapa siswa yang kurang setuju dan tidak setuju menunjukkan bahwa USBK tidak perlu diteruskan, lebih baik kembali lagi ke PBT, karena apabila jaringan terganggu, data lemot, sehingga merugikan siswa. Beberapa siswa menyarankan untuk menggunakan proyektor kembali seperti saat penilaian tengah semester yang berbasis powerpoint . Akan tetapi alasan ini tidak dapat serta merta ditindaklanjuti oleh sekolah karena PBT memerlukan biaya tinggi dan pemberian feedback kepada siswa terlalu lama.
Gambar 3: Hasil Angket Output (Sumber: Dokumen Penulis)
Hasil evaluasi produk lain adalah output / respons dari guru. Hasil respons angket produk USBK dari guru tersaji pada Gambar 3. Angket output dari guru diisi oleh 9 guru yang telah mengisi angket input . Terdapat 4 soal yang digunakan untuk mengakses output ini.
Soal pertama digunakan untuk mengakses pendapat guru dalam mengolah nilai dan pemberian feedback, baik remedial maupun pengayaan sesaat setelah ujian selesai. Hasil angket menunjukkan 1 guru sangat setuju (11,1%) yang artinya ada guru yang segera mempergunakan hasil rekap nilai untuk memberikan evaluasi kepada siswa. Terdapat 7 guru setuju (77,8%), dan 1 guru yang kurang setuju (11,1%). Hasil angket ini menunjukkan bahwa sebagian besar guru
setuju dengan sistem penilaian USBK karena kecepatannya dalam mengolah ujian siswa, sehingga mempermudah guru dalam memberikan respons / feedback kepada siswa baik berupa remidial maupun pengayaan.
Soal kedua dan ketiga digunakan untuk mengakses pendapat guru terhadap keamanan soal yang akan dikerjakan siswa dan kemutakhiran sistem ujian. Hasilnya semua guru setuju dengan kualitas penilaian USBK lebih baik daripada PBT dari aspek keamanan. Hasil angket terdapat 3 guru sangat setuju (33,3%) dan 6 guru setuju (66,6%) untuk aspek keamanan. Terdapat 2 guru sangat setuju (22,2%) dan 7 guru setuju (77,7%) untuk aspek kemutakhiran.
Soal keempat digunakan untuk mengakses pendapat guru terhadap sistem USBK yang menyediakan analisis butir soal. Guru hanya tinggal mendownload dan memperoleh hasil ujian berikut analisis butir soalnya. Tugas guru hanya tinggal melakukan pengolahan dan pemetaan saja. Hasil angket menunjukkan bahwa ada 3 guru yang sangat setuju (33,3%), 5 guru setuju (55,5%), dan 1 guru kurang setuju (11,1%). Ini menunjukkan bahwa melalui program USBK secara tidak langsung meningkatkan kualitas dan profesionalitas guru dalam penilaian. Lebih menakjubkan lagi, USBK benar-benar menghemat dana. Hal ini berdasarkan laporan bendahara ujian, model ujian USBK mampu menghemat dana hingga 40% dibandingkan dengan biaya untuk ujian semester berbasis kertas atau Paper-based Test (PBT). Tentu hal ini merupakan terobosan penting dalam rangka mengefisienkan anggaran sekolah. Hasil analisis data dan pembahasan juga menunjukkan bahwa evaluasi model CIPP mampu menunjukkan beberapa hal yang masih belum sesuai dengan rencana/konteks sekaligus memberikan rekomendasi solusi yang mungkin dapat digunakan agar sesuai dengan rencana. Hasil ini sesuai dengan penelitian Khodijah (2012) yang menunjukkan bahwa evaluasi model CIPP dapat mengevaluasi satu per satu proses yang telah direncanakan, sekaligus dampaknya.

## SIMPULAN DAN SARAN

## Simpulan
Pelaksanaan USBK di SMK Al Munawwariyyah pada ujian semester gasal 2017/2018 secara umum berjalan baik dengan persentase 77,8%. Kekurangsempurnaan pencapaian keterlaksanaan USBK dikarenakan masih terdapat beberapa kendala yaitu dari aspek input database sistem dan proses, terutama berkaitan dengan administrasi data dan jaringan. Perlu dilakukan optimalisasi dan tune up program USBK yang digunakan. Tanggapan guru terhadap pelaksanaan ujian semester berbasis komputer menunjukkan bahwa 88.9% guru merasa terbantu dengan USBK karena mempercepat pemberian feedback kepada siswa melalui remedial; 88,9% guru terbantu dalam hal analisis butir soal, terutama untuk menentukan butir soal mana yang berkategori mudah, sedang, dan sulit bagi siswa. Tanggapan siswa terhadap pelaksanaan USBK adalah bahwa 44,5% siswa semakin giat belajar karena mereka akan menghadapi soal yang berbeda bagi tiap siswa; 66,6% siswa menginginkan USBK dilanjutkan dan lebih disempurnakan agar tidak terjadi kendala, baik pada sistem administrasi soal maupun jaringan. Dilihat dari penyelenggaraannya, model USBK mampu menghemat dana hingga 40% dibandingkan dengan PBT.

## Saran
USBK perlu dikembangkan lebih lanjut agar ke depannya tidak ada kendala. Bahkan, kalau bisa setiap ulangan harian atau kuis di kelas bisa menggunakan aplikasi ini untuk mempermudah guru memberikan feedback saat pembelajaran berlangsung. Saran lain. Guru disarankan agar menguasai keterampilan memanfaatkan TIK seperti USBK ini dalam rangka meningkatkan kualitas feedback yang diberikan.

## PUSTAKA ACUAN
Buku Arikunto, S. (2010). Prosedur Penelitian Suatu Pendekatan Praktik. Jakarta: Rineka Cipta. Brown, G. T. (2016). Improvement and Accountability Functions of Assessment:
Impact on Teachers’ Thinking and Action. In M. A. Peters, Encyclopedia of Educational
Philosophy and Theory. Singapore: Springer. Mustofa, Z. (2019a). Panduan Membangun E- Learning di Kelas . Jombang: Kun Fayakun. Stefflebeam, D. L., & Coryn, C. L. (2014). Evaluation Theory, Models, and Applications . USA: Jossey-Bass.

## Jurnal/Prosiding/Disertasi/Tesis/Skripsi
Darma, I. K. (2019). The effectiveness of teaching program of CIPP evaluation model . International Research Journal of Engineering, IT & Scientific Research 5 (3), 1-13.
Douglas, T., Salter, S., Iglesias, M., Dowlman, M.,
& Eri, R. (2016). The feedback process: Perspectives of first andsecond year undergraduate students in thedisciplines of education, health science and nursing. Journal
of University Teaching & Learning Practice 13
(1), 1-19.
Earl, K., & Giles, D. (2011). An-other Look at Assessment: Assessment in Learning. New Zealand Journal of Teachers’ Work 8 (1), 11- 20 .
Khodijah, N. (2012). Evaluasi Program
Peningkatan Kualifikasi Guru Madrasah di
Sumatera Selatan. Jurnal Penelitian dan Evaluasi Pendidikan 16 (1), 348-364 .
Mahmudi, I. (2011). CIPP: Suatu Model Evaluasi
Program Pendidikan. At-Ta’dib 6 (1), 111-125.
Mustofa, Z. (2019b). Pengaruh Discovery Learning Berbantuan E-Learning dalam Meningkatkan Penguasaan Konsep dan Aplikasinya. Kwangsan: Jurnal Teknologi Pendidikan, 7(1), 14–29 .
Raihany, A. (2014). The Importance of Teacher’s
Written Feedback on The Students’ Writting in Teaching Learning Process. OKARA 1 (9), 91-106.
Sadler, D. R. (2012). Assessment, evaluation and quality assurance:Implications for integrity in reporting academic achievement in higher education. Education Inquiry 3 (2), 201-216.
Wahyuni, V., Kartono, & Susiloningsih, E. (2018).
Development of Project Assessment Instruments to Assess Mathematical Problem Solving Skills on A Project-Based Learning. Journal of Educational Research and Evaluation 7 (2), 147-153.
Yang, Y., Aalst, J. V., Chan, C. K., & Tian, W.
(2016). Reflective assessment in knowledge building by students with low academic achievement. International Journal of Computer-Supported Collaborative Learning 11, 281-311.

## Lain-Lain
Mendikbud. (2016). Permendikbud Nomor 23 Tentang Standar Penilaian Pendidikan . Jakarta: Kemdikbud
Mendikbud. (2017). Permendikbud Nomor 3 Tentang Penilaian Hasil Belajar oleh Pemerintah dan Penilaian Hasil Belajar oleh Satuan Pendidikan . Jakarta: Kemdikbud.
William, D. (2013). Assessment: The Bridge between Teaching and Learning. Voices from the Middle 21 (2), 15-20 .
___