## PENINGKATAN KUALITAS BUKU MATERI POKOK BERDASARKAN HASIL UJI COBA LAPANGAN
1) Ida Malati Sadjati ( idam@ut.ac.id )
1) Ernik Yuliana
2) Suparti
1) Fakultas MIPA Universitas Terbuka
2) Fakultas Keguruan dan Ilmu Pendidikan Universitas Terbuka Jl. Cabe Raya Pondok Cabe Pamulang Tangerang Selatan Telepon: 021-7490941 ext. 1812

## ABSTRACT
Printed teaching materials (PTM) is the main source of student learning Open University (UT). In the learning process, PTM commonly known as the subject matter of the book (BMP), which presents the material in the module. BMP in higher education open and distance (PTJJ) is designed using a tight structure with a load of information and knowledge- intensive. The purpose of writing this article is to analyze the level of legibility BMP material and effectiveness of instructional design through field trials. The study design was a formative evaluation with a qualitative approach, by taking the object of research BMP Training Management. The informants were 30 students who have not taken the PS Agribusiness Management Training courses. Informants were selected from UT Jember with criteria GPA <2,00; 2,00 to 2,50; and GPA> 2,50, selected 10 students in each criterion. The collection of data through questionnaires and interviewing students directly. Data were analyzed with data reduction, classifying, and draw conclusions. The results showed that in general the material module can be understood, but there are some sentences that are too long and thus require full concentration for students to understand and still found the words that are difficult to understand. For some students, there are examples of confusing and difficult to understand. Images can support material explanation, but there are some images that need to be refined appearance to the students more easily understand. Effectiveness was measured effectiveness of instructional design guidance and encouragement in modules to help students understand the module. Most students do not understand the meaning of the solicitation and guidance. Small tasks can help students to recall the material that has been read. Student formative tests can be understood as the question in accordance with the contents of the module. These results are then used to revise the module.
Keywords: book subject matter, formative evaluation, field trials

## ABSTRAK
Bahan ajar cetak (BAC) merupakan sumber belajar utama mahasiswa Universitas Terbuka (UT). Dalam proses pembelajaran, BAC biasa dikenal dengan buku materi pokok (BMP) yang menyajikan materi dalam modul. BMP pada pendidikan tinggi terbuka dan jarak jauh (PTTJJ) didesain menggunakan struktur yang ketat dengan memuat informasi dan pengetahuan yang padat. Tujuan penulisan artikel ini adalah menganalisis tingkat
keterbacaan materi BMP dan efektivitas desain instruksional melalui uji coba lapangan. Rancangan penelitian adalah evaluasi formatif dengan pendekatan kualitatif, dengan mengambil objek penelitian BMP Manajemen Pelatihan. Informan penelitian adalah 30 orang mahasiswa PS Agribisnis yang belum mengambil mata kuliah Manajemen Pelatihan. Informan dipilih dari UT Jember dengan kriteria IPK <2,00; 2,00-2,50; dan IPK>2,50, dipilih 10 mahasiswa pada setiap kriteria. Pengumpulan data melalui kuesioner dan mewawancarai mahasiswa secara langsung. Data dianalisis dengan mereduksi data, mengelompokkan, dan mengambil kesimpulan. Hasil penelitian menunjukkan bahwa secara umum materi modul dapat dimengerti, tetapi ada beberapa kalimat yang masih terlalu panjang sehingga membutuhkan konsentrasi penuh bagi mahasiswa untuk memahaminya dan masih ditemukan kata-kata yang sulit dimengerti. Bagi sebagian mahasiswa, ada contoh yang membingungkan dan sulit difahami. Gambar dapat menunjang penjelasan materi, namun ada beberapa gambar yang perlu disempurnakan tampilannya agar mahasiswa lebih mudah memahami. Efektivitas desain instruksional diukur efektivitas bimbingan dan ajakan dalam modul untuk membantu mahasiswa memahami modul. Sebagian mahasiswa belum memahami makna ajakan dan bimbingan. Tugas-tugas kecil dapat membantu mahasiswa dalam mengingat kembali materi yang sudah dibaca. Tes formatif dapat difahami mahasiswa karena pertanyaannya sesuai dengan isi modul. Hasil penelitian ini selanjutnya digunakan untuk merevisi modul.
Kata kunci: buku materi pokok, evaluasi formatif, uji coba lapangan
Bahan Ajar Cetak (BAC) merupakan sumber belajar utama mahasiswa Universitas Terbuka (UT). Sebagai lembaga pendidikan tinggi terbuka dan jarak jauh (PTTJJ), UT menuntut mahasiswanya untuk  belajar secara mandiri dalam memanfaatkan sumber belajar tersebut. Pribadi dan Syarif (2010) mengemukakan bahwa BAC pada PTTJJ didesain menggunakan struktur yang sangat ketat dengan memuat informasi dan pengetahuan yang padat. Dalam pelaksanaan proses pembelajaran, BAC biasa disebut buku materi pokok (BMP), yang menyajikan materi dalam beberapa bagian yang disebut modul. Beberapa kriteria yang perlu dimiliki oleh  BMP di antaranya adalah harus bersifat self-contained dan self-insruction, pemaparan substansi/materi pembelajarannya menggunakan bahasa yang interaktif dan komunikatif, serta ditata dan dikemas dengan perwajahan yang menarik.
Untuk menjaga kualitas dan validitas materi BMP, UT selalu melakukan revisi BMP secara periodik. Dalam rangka merevisi BMP tersebut, untuk mengidentifikasi kelemahan-kelemahan yang ada di dalam BMP, terlebih dulu dilakukan penelitian evaluasi formatif. Hasil evaluasi formatif diharapkan dapat memberikan masukan bagi kegiatan revisi BMP, baik dari segi substansi materi atau desain instruksional. Oleh karena itu Gall, Gall, & Borg (2007), menjelaskan bahwa evaluasi memegang peran penting dalam penelitian dan pengembangan (research and development/R&D) di bidang pendidikan.
Prosedur yang digunakan pada penelitian ini adalah evaluasi formatif menurut Dick, Carey, & Carey (2009), yang terdiri atas tahapan: evaluasi satu-satu; evaluasi oleh sekelompok kecil mahasiswa; dan uji coba lapangan. Suparman et al. (2012) menjelaskan bahwa maksud uji coba lapangan adalah mengidenfikasi kekurangan produk instruksional bila digunakan dalam kondisi yang mirip dengan kondisi pada saat produk tersebut digunakan dalam dunia sebenarnya. BMP yang dievaluasi adalah Manajemen Pelatihan (LUHT4328). Tulisan ini adalah bagian terakhir dari tahapan evaluasi formatif, yaitu khusus membahas hasil uji coba lapangan. Pada tahun 2012 (tahun ke-1),
sudah dilakukan evaluasi formatif tahap pertama dan hasilnya sudah dipublikasikan pada Jurnal Pendidikan Terbuka Jarak Jauh 13 (2).
Tujuan penulisan artikel ini adalah menganalisis: 1) tingkat keterbacaan materi BMP;  dan 2) efektivitas desain instruksional. Analisis tingkat keterbacaan materi BMP dilakukan untuk mengetahui tingkat pemahaman mahasiswa terhadap materi BMP, sedangkan analisis efektivitas desain instruksional adalah untuk mengetahui unsur self contained dan self instruction dalam BMP.

## METODOLOGI
Rancangan penelitian yang mendasari penulisan artikel adalah evaluasi formatif dengan pendekatan kualitatif, dengan mengumpulkan data yang bersifat kualitatif. Langkah penelitian adalah melakukan uji coba lapangan untuk mengevaluasi BMP Manajemen Pelatihan (LUHT4328), modul 1 dan 5 yang sudah direvisi sesuai masukan evaluasi oleh sekelompok kecil mahasiswa (pada penelitian tahun ke-1).
Informan penelitian adalah 30 orang mahasiswa PS Agribisnis yang belum mengambil mata kuliah Manajemen Pelatihan. Informan dipilih dari UT Jember dengan kriteria IPK <2,00; 2,00-2,50; dan IPK>2,50, dipilih 10 mahasiswa pada setiap kriteria. Pemilihan lokasi penelitian didasarkan pada pertimbangan bahwa UT Jember mempunyai mahasiswa PS Agribisnis semester 1 dan 2 lebih dari 30 orang.
Pengumpulan data dilakukan dengan menggali informasi melalui kuesioner dan mewawancarai mahasiswa secara langsung. Semua data yang dikumpulkan adalah data primer dan bersifat kualitatif. Data dianalisis dengan mereduksi data, mengelompokkan, dan mengambil kesimpulan.

## HASIL DAN PEMBAHASAN
Aspek pertama yang diukur pada uji coba lapangan adalah pemahaman mahasiswa terhadap kejelasan uraian materi BMP. Pemilihan aspek kejelasan uraian materi terkait dengan faktor-faktor yang harus dipertimbangkan dalam pengembangan bahan ajar agar dapat dipelajari secara efektif (Malati, 2003), yaitu: ketercernaan materi bahan ajar dan penggunaan bahasa. Kedua faktor tersebut merupakan hal yang penting dalam bahan ajar, karena pengguna bahan ajar adalah mahasiswa dengan sistem belajar jarak jauh.

## Kejelasan Uraian Materi
BAC merupakan pengganti dosen bagi mahasiswa PTTJJ, oleh karena itu BAC harus mempunyai uraian materi yang jelas. Menurut Pribadi dan Syarif (2010), mahasiswa PTTJJ biasanya hanya memanfaatkan BAC sebagai satu-satunya sumber informasi dan pengetahuan yang perlu dipelajari untuk mencapai kompetensi yang diinginkan. Oleh karena itu BAC harus mudah dimengerti, memberikan gambaran kemampuan mahasiswa yang diharapkan, mewakili semua aspek pembelajaran, diuraikan secara jelas dengan menggunakan bahasa atau kalimat instruksional (Filbeck in Suparman (2004a). Penulisan BAC berbeda dengan buku teks karena pembaca BAC bersifat khusus, yaitu mahasiswa PTTJJ. Hasil identifikasi mahasiswa terhadap kejelasan uraian materi BMP disajikan pada Tabel 1.
Hasil pada Tabel 1 menunjukkan bahwa informan menganggap materi modul secara umum sudah dapat dimengerti, meskipun ada beberapa kalimat yang perlu diperbaiki (disederhanakan) karena terlalu panjang dan bertele-tele. Penggunaan kalimat dalam modul sebenarnya tidak bertele- tele, penulis modul sudah menggunakan bahasa yang cukup efektif. Akan tetapi, mahasiswa
mempunyai pemahaman lain, yang menganggap kalimat di dalam modul banyak yang terlalu panjang. Masukan mahasiswa tersebut perlu diakomodir, karena mahasiswa adalah pengguna utama modul. Menurut Kumar (2000), modul ditulis untuk digunakan oleh mahasiswa bukan untuk dosen, dan modul bersifat sangat personal bagi mahasiswa. Kalimat yang digunakan di dalam modul harus mengacu pada kemampuan standar mahasiswa dalam membaca dan memahaminya, bukan standar penulis modul.
Tabel 1.  Hasil Identifikasi Pemahaman Informan terhadap Materi Modul
Variabel Masukan dari Mahasiswa Kesimpulan Pemahaman informan terhadap materi modul Materi pada modul dapat dimengerti, tetapi masih ada sedikit kalimat, definisi-definisi yang masih sulit difahami/kurang efektif Secara umum, materi modul dapat dimengerti, tetapi ada beberapa kalimat yang masih terlalu panjang sehingga membutuhkan konsentrasi penuh bagi mahasiswa untuk memahaminya. Tindak lanjut: Perlu penyederhanaan pemaparan materi dengan menggunakan kalimat yang pendek,
sederhana, dan mudah difahami. Kalimat terlalu panjang (bertele-tele), kurang simpel/efisien Diusahakan dalam pembentukan kalimat jangan terlalu panjang lebar, cukup singkat padat dan dapat dimengerti, sertakan contohnya agar mudah difahami, diusahakan sebelum masuk ke isi modul ada peta konsep Perlu pemahaman penuh untuk mengerti isi modul Tidak semua penjelasan materi pada modul dapat saya pahami, karena kalimat yang digunakan sangat rumit Untuk memperbaiki kualitas uraian modul gunakanlah kalimat atau kata-kata yang mudah dipahami Penjelasan tentang pengertian manajemen pelatihan masih belum dimengerti Ada materi yang tidak dimengerti, karena kata- kata atau bahasanya tidak/jarang terdengar di telinga Dalam pendefinisian, lebih praktisnya diringkas saja, karena semakin banyak definisi,
pemahaman bertambah sulit
Proses revisi modul dengan memuat kata-kata yang lebih sederhana sangat diperlukan. Hal ini sesuai dengan pendapat Artama et al. (2009), bahwa BMP dirancang sedemikian rupa untuk menggantikan peran dosen di universitas tatap muka. Dari BMP itulah mahasiswa diharapkan mampu mencapai kompetensi tertentu dari mata kuliah yang sedang dipelajari. Berdasarkan peran BMP yang begitu penting dalam mencapai kompetensi yang dituntut dari suatu mata kuliah maka sudah sepatutnya BMP tersebut memiliki kualitas tinggi yang berarti berisi informasi yang akurat dan mutakhir terkait substansi pembelajaran serta menggunakan bahasa yang mudah dicerna oleh mahasiswa dalam memaparkan substansi pembelajaran tersebut.

## Kejelasan Gambar dan Contoh
Gambar dan contoh yang diberikan dalam modul ditujukan untuk mendukung penjelasan materi. Gambar diberikan untuk materi yang memerlukan penjelasan dalam bentuk visual, misalnya flow chart untuk memperjelas suatu tahapan proses. Sedangkan contoh diberikan untuk materi yang memerlukan penjelasan lebih lanjut atau lebih konkret. Hasil identifikasi tentang kejelasan gambar dan contoh dalam modul disajikan pada Tabel 2 dan 3.
Pada Tabel 2 dapat dilihat bahwa informan menganggap tidak semua gambar yang disajikan pada modul sudah memperjelas materi yang sudah ada. Secara umum, gambar dapat menunjang penjelasan materi, namun ada beberapa gambar yang perlu disempurnakan tampilannya agar lebih mudah dipahami mahasiswa. Gambar (ilustrasi) diperlukan bagi materi yang membutuhkan visualisasi. Penggunaan bahasa visualisasi (gambar/ilustrasi) diperlukan untuk memperjelas materi yang disampaikan. Dalam pengembangan modul banyak cara yang dapat digunakan untuk membantu mahasiswa mencapai kompetensi matakuliah yang diharapkan, di antaranya adalah penggunaan gambar/ilustrasi. Kumar (2000), menyatakan bahwa banyak jalan (media) yang dapat digunakan dalam menyampaikan materi kepada mahasiswa, karena modul ditulis untuk merangsang minat baca mahasiswa. Berbeda dengan buku teks, di mana pembacanya sudah punya ketertarikan untuk membaca, sehingga jalan (media) yang digunakan bisa menggunakan satu cara.
Tabel 2.  Hasil Identifikasi Kejelasan Gambar dalam Modul
Variabel Masukan dari Mahasiswa Kesimpulan Kejelasan gambar dalam menunjang materi modul Gambar sangat menunjang, karena dari gambar- gambar tersebut kita dapat menyimpulkan suatu materi secara singkat dan mudah dipahami Secara umum, gambar dapat menunjang penjelasan materi, namun ada beberapa gambar yang perlu disempurnakan tampilannya agar mahasiswa lebih mudah memahami Tindak lanjut: Perlu penyempurnaan tampilan gambar dan penjelasan gambar Gambar berupa skema sangat membantu kita untuk memahami materi, semakin banyak mungkin akan lebih bagus Gambar menunjang penjelasan materi, tetapi kita akan merasa kurang jelas apabila tidak diberi penjelasan tentang gambar secara gamblang Gambar-gambarnya dapat menunjang karena dapat menuntun kita dalam hal memahami materi Gambar-gambar yang ada pada modul sebaiknya diperbanyak agar pembaca mudah memahami isi materi tersebut Gambar menunjang penjelasan materi, karena kita akan lebih mudah membayangkan proses yang dijelaskan pada modul Gambar tidak menunjang materi, karena beberapa gambar tidak jelas, tidak ada panah, tetapi keterangan maksudnya jelas Gambar kurang jelas, tintanya seperti mau habis. Sudah canggih sekarang, coba diberi warna sedikit Dari sebagian gambar ada yang menunjang penjelasan materi, tetapi ada juga yang tidak menunjang, diantaranya dengan kurang jelasnya gambar
Pada Tabel 3 dapat dilihat bahwa contoh yang diberikan dalam modul sudah dapat difahami dengan baik oleh informan. Namun masih ada sebagian informan yang mengatakan bahwa contoh
masih membingungkan. Perlu perbaikan contoh lebih lanjut dalam proses revisi. Pemberian contoh menurut Suparman et al. (2012) sesuai dengan prinsip instruksional yang kelima, yaitu “belajar membuat generalisasi dan membedakan adalah dasar untuk belajar sesuatu yang kompleks seperti pemecahan masalah”. Dalam pembelajaran perlu digunakan contoh secara luas bukan hanya contoh positif, melainkan juga contoh yang negatif. Oleh karenanya, dalam proses pembelajaran seorang pengajar perlu memberikan contoh baik perilaku yang sesuai menurut norma yang berlaku, terkait dengan perilaku yang bertentangan dengan norma tersebut.
Tabel 3.  Hasil Identifikasi Kejelasan Contoh
Variabel Masukan dari Mahasiswa Kesimpulan Kejelasan contoh menunjang penjelasan materi modul Contoh sangat menunjang, dengan contoh- contoh tersebut kita lebih mudah untuk memahami isi modul tersebut Contoh dalam modul menunjang penjelasan materi. Bagi sebagian informan, contoh ada yang membingungkan dan sulit difahami karena kata-katanya kurang sederhana, serta contoh kurang banyak.
Tindak lanjut: Perlu perbaikan  kalimat dalam contoh Dengan adanya contoh-contoh tersebut membuat otak kita berjalan dengan apa yang sedang dicontohkan. Dengan adanya contoh juga dapat membantu menggambarkan materi yang dibahas Contoh sedikit menunjang pembelajaran karena bisa dengan mudah untuk mengerjakan soal-soal Contoh menunjang materi-materi yang ada karena bentuknya aplikasi dan contoh tersebut banyak ditemukan dalam kehidupan sehari-hari Contoh-contoh dapat menambah penjelasan Contoh menunjang, karena di modul memberikan contoh dan bagaimana untuk melatih gaya pembelajaran Contoh-contoh menunjang penjelasan materi hanya saja contohnya kurang banyak Contoh menunjang karena menggambarkan pengaplikasian dalam materi Contoh lumayan menunjang, karena terkadang ada contoh yang tidak relevan terhadap materi yang dibahas Contohnya membingungkan, seharusnya memberi contoh yang sesuai dengan apa pengertian manajemen sebenarnya Contoh kata-kata kurang simpel terlalu berbelit-belit

## Efektivitas Desain Instruksional
Keberhasilan proses pembelajaran mandiri sangat ditentukan oleh kesungguhan dan motivasi mahasiswa dalam mempelajari materi pembelajaran. UT sebagai institusi pembelajaran jarak jauh memfasilitasi proses pembelajaran mandiri mahasiswa tersebut dengan menyediakan
BMP yang bersifat self contained dan self instruction. Self-contained artinya BMP berisi semua materi pembelajaran yang diperlukan untuk mencapai kompetensi pembelajaran tertentu, sementara sel- instruction artinya dengan membaca BMP mahasiswa sudah dapat belajar sendiri. Di dalam BMP seharusnya terdapat informasi yang jelas dan lengkap tentang tujuan pembelajaran yang diharapkan dicapai mahasiswa; petunjuk belajar yang dapat diikuti mahasiswa dalam rangka memahami materi pembelajaran; paparan materi, yang disampaikan secara lengkap. Selain itu, BMP juga harus disertai dengan contoh, non contoh, dan latihan serta panduan pengerjaan latihan; tes formatif dan kunci jawabannya. Semua syarat itu diperlukan untuk membimbing mahasiswa mengukur tingkat hasil belajarnya pada modul tertentu; rangkuman, yang berisi hal-hal pokok, inti, penting, yang telah dibahas dalam setiap modul; tindak lanjut, yang berisi informasi tentang hal-hal yang perlu dilakukan mahasiswa setelah selesai memperlajari satu kegiatan belajar.
Tabel 4.  Hasil Identifikasi Bimbingan dan Ajakan dalam Proses Pembelajaran
Variabel Masukan dari Mahasiswa Kesimpulan Bimbingan dan ajakan dalam proses pembelajaran mandiri dalam BMP Sangat membantu, berkat adanya bimbingan dan ajakan kita bisa mengetahui ruang lingkup dari suatu kehidupan Bimbingan dan ajakan dalam modul membantu informan dalam memahami materi modul dan informan dapat mengukur sampai di mana pemahaman mereka dalam mempelajari materi dalam modul. Namun, ada juga informan yang belum memahami makna ajakan dan bimbingan. Tindak lanjut: Mempertahankan bimbingan dan ajakan yang sudah ada, serta memperbaiki  bimbingan dan ajakan yang memboroskan kata-kata dan kalimat. Membantu, karena kadang-kadang kita lupa jika hanya membaca satu kali, dengan adanya bimbingan/ajakan tersebut membuat kita membaca berkali-kali sehingga kita faham apa yang dimaksud Cukup membantu karena bisa dengan mudah untuk mengerjakan soal-soal Menurut saya ajakan-ajakan yang ada membantu saya untuk lebih memahami materi yang ada Sedikit membantu, karena sifatnya ajakan/persuasi adalah tergantung dari yang didorong/diajar untuk mengikuti bimbingan Membantu, karena dapat mengulang kembali dan mengasah otak agar dapat berfikir tentang sesuatu yang dibaca sebelumnya Membantu, karena  bimbingan dan ajakan tersebut membantu mengungkapkan apa yang telah dipelajari dengan bahasa sendiri Membantu karena dengan adanya ajakan dan bimbingan tersebut pembaca dapat mengevaluasi dan lebih mengerti pokok materinya Sangat membantu, dengan adanya ajakan tersebut kita bisa mengukur sampai mana pemahaman kita terhadap materi Sebenarnya kata-kata bimbingan/ajakan itu memperboros penulisan kalimat, karena di pendahuluan sudah dijelaskan aspek yang perlu dipelajari, jadi ketika membaca modul  kebanyakan pembaca malah akan mengabaikan kalimat ajakan tersebut, karena mahasiswa hanya akan membaca/ merangkum inti modul tersebut
Format BMP yang berisi berbagai komponen pembelajaran mandiri tersebut pada hakikatnya didasarkan pada “Gagné’s Nine Events of Instruction” (1985). Kesembilan tahapan pembelajaran
menurut Gagne (1985) tersebut meliputi menarik perhatian mahasiswa, menginformasikan tujuan pembelajaran, menanyakan informasi atau pengetahuan yang sudah dikuasai mahasiswa, menyajikan isi pembelajaran, menyediakan pedoman atau petunjuk belajar, memberi kesempatan untuk mengerjakan latihan, memberi umpan balik, melakukan penilaian, dan mengembangkan kemampuan dan kemahiran mahasiswa.
Implementasi konsep pembelajaran Gagne (1985) tersebut dalam BMP salah satunya adalah memberikan bimbingan dan ajakan. Fungsinya adalah melakukan berbagai aktivitas pembelajaran mandiri, salah satunya dapat dilakukan dengan memanfaatkan kalimat motivasi agar mahasiswa merasa disapa oleh dosennya, serta betah dan nyaman dalam membaca modul. Tabel 4 menyajikan hasil identifikasi persepsi mahasiswa terhadap manfaat bimbingan dan ajakan dalam proses belajar.
Bimbingan dan ajakan kepada mahasiswa dalam proses pembelajaran harus dapat mengarahkan mahasiswa dalam belajar mandiri. Oleh karena itu, BMP harus berisi uraian materi pembelajaran yang mudah dimengerti, informasi yang memberikan gambaran tentang kompetensi yang akan dicapai mahasiswa, berbagai metode pembelajaran yang sesuai dengan tuntutan kompetensi matakuliah, dan berisi evaluasi hasil belajar yang diuraikan secara jelas dengan menggunakan bahasa atau kalimat sederhana, serta bisa mengukur pemahaman dan  memberikan umpan balik bagi hasil belajar mahasiswa. Hal tersebut berkaitan dengan salah satu prinsip belajar menurut Filbeck dalam Suparman (2004a), bahwa dengan persiapan tertentu, orang yang belajar dapat mengembangkan kemampuan untuk mengatur kegiatan belajarnya sendiri, memberi tanda sendiri dan memberikan penguatan kepada dirinya sendiri dalam membuat tanggapan yang benar.
Untuk membangun pengetahuan dan mereview materi yang sudah dibaca, di dalam modul dapat juga disisipkan tugas-tugas kecil yang harus dikerjakan mahasiswa setelah membaca materi. Tabel 5 menyajikan hasil identifikasi pemahaman informan terhadap tugas-tugas kecil. Menurut persepsi informan, tugas-tugas kecil sangat bermanfaat dalam mengingat kembali materi yang sudah dibaca. Bahkan beberapa mahasiswa sangat antusias dan penasaran untuk segera menyelesaikan tugas-tugas yang diberikan. Mereka juga mengungkapkan bahwa tugas-tugas kecil tersebut dapat membantu dalam pengerjaan soal latihan dan tes formatif.
Tabel 5.  Hasil Identifikasi Pemahaman Informan terhadap Tugas-tugas Kecil
Variabel Masukan dari Mahasiswa Kesimpulan Tingkat pemahaman mahasiswa terhadap tugas-tugas kecil dalam modul Sisipan tugas-tugas tersebut sangat bisa dipahami Tugas-tugas kecil dapat membantu mahasiswa dalam mengingat kembali materi yang sudah dibaca.
Ada beberapa tugas yang belum dapat difahami oleh mahasiswa. Tindak lanjut: Meninjau lagi tugas-tugas kecil yang sudah dibuat. Tugas semacam riview dapat membantu mahasiswa/pembaca memahami materi Tidak semua tugas dapat difahami Menurut saya ajakan-ajakan yang ada membantu saya untuk lebih memahami materi yang ada Tugas dapat difahami, dan dapat membuat kita sedikit mengulas materi yang dipelajari Saya menemukan tugas kecil, bahkan saya penasaran dan ingin mengerjakan tugas-tugas tersebut untuk menambah pemahaman Tugas dapat difahami dengan mudah, karena sebagai evaluasi terhadap materi yang telah dipelajari

## Kejelasan Latihan dan Tes Formatif
Untuk memantapkan pemahaman mahasiswa terhadap materi pembelajaran  yang telah dibaca, dalam BMP juga diberikan latihan. Latihan ini biasanya berbentuk pertanyaan atau kasus yang terkait dengan topik bahasan yang perlu dijawab atau dicari pemecahannya oleh mahasiswa. Tabel 6 menyajikan hasil identifikasi pemahaman informan terhadap latihan yang terdapat dalam BMP.
Tabel 6.  Hasil Identifikasi Pemahaman Informan terhadap Latihan
Variabel Masukan dari Mahasiswa Kesimpulan Tingkat pemahaman mahasiswa terhadap latihan Ya, mudah difahami karena di dalam KB 1 sudah dijelaskan sehingga lebih mudah untuk mengerjakannya Secara umum latihan dapat difahami mahasiswa karena menggunakan kalimat yang mudah dimengerti, soalnya tidak begitu sulit, dan jawabannya semua ada dimodul. Namun, ada juga beberapa informan yang mengaku agak kesulitan mencerna isi latihan dikarenakan jawaban tidak ada di modul dan terlalu sulit, kalimat dan kata kurang jelas, dan kurang contoh.
Tindak lanjut:
Memperbaiki latihan yang sulit dicerna dan menggunakan kata yang kurang jelas, serta tidak ada jawabannya di modul Ya,  mudah difahami, hanya saja jika latihan bersifat uraian, dan mengembangkan imajinasi pembaca akan lebih bagus lagi Ya, mudah difahami, karena menggunakan kalimat yang mudah dipahami Ya, bisa dipahami karena soal-soalnya tidak begitu sulit Ya, bisa difahami karena jawaban pada latihan bisa di cari di materi yang telah dijelaskan dalam modul Ya, dapat dipahami tapi terkadang latihan tersebut jawabannya tidak ada dalam modul Kurang dipahami pada latihan hal 5.26 karena jawabannya terlalu sulit dan kata- katanya terlalu panjang, Tidak bisa difahami, karena ada kata yang kurang jelas sehingga kita sulit untuk menjawabnya Ya, latihan sudah mencakup isi modul, hanya saja terlalu sedikit Kurang memahami karena kurangnya contoh-contoh yang ada di modul 5
Pada hakikatnya, latihan yang diberikan dalam BMP adalah kegiatan mahasiswa dalam rangka menerapkan konsep, prinsip, atau prosedur yang sedang dipelajarinya ke dalam praktik yang relevan dengan pekerjaan atau kehidupannya sehari-hari. Pemberian latihan jika dikaitkan dengan “sembilan peristiwa pembelajaran” Gagne (1985) sesuai dengan peristiwa pembelajaran  yang kelima, yaitu memberikan bimbingan belajar (providing learner guidance): memberikan pertanyaan- pertanyaan yang membimbing proses/alur berpikir mahasiswa agar memiliki pemahaman yang lebih baik. Data pada Tabel 6 dapat dilihat bahwa sebagian besar informan telah memahami latihan yang diberikan dalam modul dengan baik. Namun, masih ada juga sebagian informan yang merasa kesulitan memahami latihan, terutama dikarenakan latihan tersebut terlalu sulit, jawabannya tidak ada di modul, kalimat dan kata yang digunakan kurang jelas, dan kekurangan contoh. Oleh karenanya, masih perlu dilakukan perbaikan lebih lanjut terhadap latihan dalam BMP.
Selanjutnya, hasil identifikasi pemahaman mahasiswa terhadap tes formatif disajikan pada Tabel 7. Tes formatif dalam BMP dimaksudkan untuk memberi kesempatan kepada mahasiswa mengukur tingkat pemahamannya terhadap materi yang dipelajari pada setiap modul. Dengan mencocokkan hasil tes formatifnya dengan kunci jawaban  yang tersedia, mahasiswa dapat mengetahui tingkat pencapaian hasil belajarnya.
Tabel 7.  Hasil Identifikasi Pemahaman Informan terhadap Tes Formatif
Variabel Masukan dari Mahasiswa Kesimpulan Tingkat pemahaman mahasiswa terhadap tes formatif tes formatif sesuai dengan isi buku Secara umum tes formatif dapat difahami mahasiswa karena pertanyaannya sesuai dengan isi modul. Namun, ada juga informan yang mengalami kesulitan memahaminya.
Tindak lanjut: Memperbaiki tes formatif yang sulit dicerna informan. saya kurang setuju dengan soal nomor 1 & 2 TF 1 yang disuruh menentukan pendapat siapa, mahasiswa tidak mungkin menghafal satu persatu rujukan dari sekian rujukan ada pada hal 5.26 pada no 4 dan 5 (pilihan jawabannya terdiri atas kalimat yang panjang, shg sulit dimengerti)
Pada umumnya jenis soal yang dipakai untuk tes formatif dalam BMP adalah pilihan ganda. Jenis soal ini dapat dipakai untuk mengukur tingkat pemahaman mahasiswa terhadap informasi verbal yang telah dipelajari. Tes pilihan ganda  yang baik harus dirancang dan dikembangkan sedemikian rupa sehingga memenuhi kriteria objektivitas, reliabilitas, dan daya pembeda. Dalam penulisannya, tes pilihan ganda yang baik memenuhi kriteria sebagai berikut (Gagne, 1985) mengandung penjelasan atau instruksi tentang cara mengerjakannya; 2) penjelasan atau instruksi harus singkat dan jelas; 3) pertanyaan tidak ambigu; 4) gramatikanya baik,  tidak membingungkan; 5) pola jawaban tidak seragam; 6) tiap soal berdiri sendiri, tidak terkait dengan soal lainnya.

## Kejelasan Rangkuman
Rangkuman dapat diartikan sebagai suatu hasil meringkas suatu tulisan atau pembicaraan menjadi suatu uraian yang lebih singkat dengan perbandingan secara proporsional antara bagian yang dirangkum dengan rangkumannya (Djuharni, 2001 dalam Rosidi, 2009). Pada tulisan jenis rangkuman, urutan isi bagian demi bagian, dan sudut pandang (pendapat) pengarang tetap diperhatikan dan dipertahankan. Terkait dengan rangkuman dalam modul, pada umumnya para penulis membuatnya dengan cara mengambil inti sari atau hal-hal pokok dari paparan materi pembelajaran, kemudian menuliskannya kembali menjadi catatan ringkas  dan padat, namun isinya mencakup keseluruhan materi modul yang dirangkum secara utuh dan lengkap. Dalam BMP, rangkuman materi pembelajaran pada setiap modul diletakkan di bagian akhir tiap-tiap modul, sebelum tes formatif. Rangkuman besar sekali manfaatnya dalam proses pembelajaran, yakni sebagai sarana untuk membantu mahasiswa dalam mengingat isi modul yang berisi uraian yang panjang. Dengan membaca rangkuman, mahasiswa akan mengetahui ide- ide pokok yang telah dijelaskan dalam modul yang telah dibacanya.
Hasil identifikasi pemahaman informan terhadap rangkuman dalam BMP disajikan dalam Tabel 8.
Dengan mencermati data dan informasi pada Tabel 8, diperoleh gambaran bahwa secara umum rangkuman dalam modul yang dievaluasi dapat difahami dengan baik oleh informan. Informan merasa bahwa rangkuman yang dibaca telah menggambarkan isi modul; poin-poin dari materi sudah tercakup didalamnya; dengan membaca rangkuman,lebih mudah memahami isi modul, dan rangkuman mencakup intisari dalam modul. Walau demikian, masih ada informan yang menilai rangkuman sulit difahami. Mereka menulis bahwa rangkuman kurang lengkap dan kurang efisien karena masih bertele-tele, terlalu singkat, dan penjelasannya masih banyak yang sulit dimengerti. Mengacu pada hal tersebut, maka masih perlu dilakukan pengkajian dan perbaikan pada rangkuman yang dianggap sulit dipahami, bertele-tele, dan sulit dimengerti pada proses  revisi modul selanjutnya.
Tabel 8.  Hasil Identifikasi Pemahaman Informan terhadap Rangkuman
Variabel Masukan dari Mahasiswa Kesimpulan Tingkat pemahaman mahasiswa terhadap rangkuman Rangkumannya sudah bagus, sudah masuk dalam ringkasan isi modul Secara umum rangkuman dapat difahami mahasiswa karena mencakup isi modul, poin-poin dari materi sudah terangkum, lebih mudah memahami isi modul, mencakup intisari dalam modul. Namun masih ada juga informan yang kurang memahami rangkuman, karena kurang lengkap dan efisien karena masih bertele-tele, terlalu singkat, dan penjelasannya masih banyak yang tidak dimengerti, Tindak lanjut: Memperbaiki rangkuman yang masih dianggap sulit dicerna informan. Ya, sudah mencakup isi modul Ya, rangkuman yang terdapat pada modul telah menggambarkan ringkasan dari isi modul Masih kurangnya contoh-contoh yang ada di rangkuman tersebut Ya, namun rangkuman pada hal 1.12 kurang Ya, rangkuman tersebut sudah menggambarkan ringkasan isi modul, karena dalam ringkasan tersebut sudah terdapat materi-materi yang lebih dipahami
Sudah menggambarkan isi modul karena poin-poin dari materi sudah terangkum Tidak keseluruhan, kurang lengkap dan efisien karena masih bertele-tele Ya, membaca rangkuman lebih mudah dimengerti/ lebih mudah memahami isi modul Ya, karena sudah termasuk mencakup intisari dalam modul Rangkuman yang ada sudah menggambarkan isi materi yang ada di dalam modul Rangkuman tersebut cukup dapat dimengerti, tetapi tidak mencakup semua hal-hal penting pembahasan dalam modul Ya, rangkuman yang terdapat di dalam modul sangat jelas sekali Ya, hanya sangat ringkas dan semua sudah mewakili dari modul iya, karena sudah mencakup semua intisari yang ada dalam modul Isi rangkuman sudah menggambarkan isi modul Ya, karena materi yang dari awal kita baca dan dipelajari semuanya sudah terangkum Sudah, namun terlalu singkat
Sudah dapat dikatakan mencakup isi modul Ya, jelas sudah cukup untuk dimengerti Rangkuman bagus, sudah cukup
Demikianlah hasil uji coba lapangan yang telah dilakukan pada penelitian ini. Semua hasil yang telah didapatkan berguna dalam perbaikan modul sebelum diluncurkan kepada mahasiswa. Hal ini sesuai dengan pendapat Scriven (1991) yang mengemukakan bahwa evaluasi formatif pada umumnya dilakukan selama proses pengembangan atau peningkatan suatu program atau produk dan sering dilakukan lebih dari satu kali evaluasi, untuk staf internal pengelola dengan tujuan memperbaiki kualitas program. Pada saat ini, proses penulisan BMP Manajemen Pelatihan sedang berlangsung, dan hasil evaluasi formatif ini sangat berguna bagi proses revisi modul.

## Proses Revisi Modul
Revisi modul dilakukan terhadap dua hal pokok yang ditanyakan dalam penelitian, yaitu memperbaiki kualitas paparan materi dan efektivitas desain instruksional. Selain itu, revisi juga dilakukan pada aspek kualitas tampilan modul ini (gambar halaman cover, ketikan, kertas, ukuran dan ketebalan modul).
Revisi modul mengacu pada hasil evaluasi mahasiswa dengan melakukan aspek berikut: 1) menyederhanakan kalimat-kalimat yang masih terlalu panjang sehingga lebih mudah difahami oleh mahasiswa; 2) memperbaiki contoh dan gambar yang masih kurang jelas; 3) mempertahankan bimbingan dan ajakan yang sudah dimengerti oleh mahasiswa; 4) memperbaiki tugas-tugas kecil yang belum dapat diffahami dengan baik oleh mahasiswa.

## KESIMPULAN
Secara umum, materi modul dapat dimengerti, tetapi ada beberapa kalimat yang masih terlalu panjang sehingga membutuhkan konsentrasi penuh bagi mahasiswa untuk memahaminya dan masih ditemukan kata-kata yang sulit dimengerti. Contoh dan noncontoh dalam modul menunjang penjelasan materi. Bagi sebagian informan, masih ada contoh yang membingungkan dan sulit difahami karena kata-katanya kurang sederhana, sehingga perlu contoh perlu perbaikan dan penyederhanaan kalimat. Secara umum, gambar dapat menunjang penjelasan materi, namun ada beberapa gambar yang perlu disempurnakan tampilannya agar mahasiswa lebih mudah memahami. Latihan dapat difahami oleh mahasiswa karena menggunakan kalimat yang mudah dimengerti, soalnya tidak begitu sulit, dan jawabannya semua ada dimodul. Namun, ada juga beberapa informan yang mengaku agak kesulitan mencerna isi latihan dikarenakan jawaban tidak ada di modul dan terlalu sulit, kalimat dan kata kurang jelas, dan kurang contoh.
Bimbingan dan ajakan dalam modul membantu informan dalam memahami materi modul dan informan dapat mengukur sampai di mana pemahaman mereka dalam mempelajari materi dalam modul. Namun, ada juga informan yang belum memahami makna ajakan dan bimbingan. Tugas- tugas kecil dapat membantu mahasiswa dalam mengingat kembali materi yang sudah dibaca. Ada beberapa tugas yang belum dapat difahami oleh mahasiswa. Secara umum tes formatif dapat difahami mahasiswa karena pertanyaannya sesuai dengan isi modul. Namun, ada juga informan yang mengalami kesulitan memahaminya. Rangkuman dapat difahami oleh mahasiswa dengan baik karena mencakup isi modul, poin-poin dari materi sudah terangkum, lebih mudah memahami isi modul, mencakup intisari dalam modul. Namun, masih ada juga informan yang kurang memahami rangkuman, karena kurang lengkap dan efisien, bahasanya bertele-tele, ada juga yang terlalu singkat, dan penjelasannya masih banyak yang tidak dimengerti. Oleh karena itu, perbaikan dalam penulsian rangkuman modul agar lebih mudah difahami oleh mahasiswa dan dapat membantu mereka dalam proses belajar mandiri.
Revisi modul dilakukan dengan mengakomodasi masukan dari mahasiswa, terutama memperbaiki bagian-bagian yang masih kurang difahami mahasiswa dengan baik. Diharapkan setelah revisi modul, mahasiswa lebih dapat mengerti isi modul dan dapat mencapai tujuan pembelajaran yang telah dirumuskan.

## REFERENSI
Artama, T.M., Suhardianto, A., & Yuliatmoko, W. (2009). Kajian kualitas terhadap bukum materi pokok “pengetahuan bahan pangan hewani” Universitas Terbuka. Jurnal pendidikan terbuka dan jarak jauh, vol 10(2), 73-83.
Dick, W., Carey, L., & Carey, J.O. (2009). The systematic design of instruction, Seventh edition. New Jersey, Columbus, Ohio.
Gagne, R. (1985). Conditions of learning. 4th ed. New York: Holt, Rinehart &Winston.
Gall, M.D., Gall, J.P., & Borg, W.R. (2007). Educational research an introduction. Eighth Edition.
London: Pearson Education Ltd.
Kumar, A. (2000). Development of evaluation criteria for self-instructional materials for distance education. Journal of distance education VII (1), 1-29.Padmowihardjo, S. (1996). Evaluasi Penyuluhan Pertanian. Tangerang Selatan: Universitas Terbuka.
Pribadi, B.A. &  Syarif, E. (2010). Pendekatan konstruktivistik dan pengembangan bahan ajar pada sistem pendidikan jarak jauh. Jurnal pendidikan terbuka dan jarak jauh,  vol 11(2), 117-128. Rosidi, I. (2009). Menulis...siapa takut? Yogyakarta: Kanisius Malati, I. (2003). Pengembangan bahan ajar. 1ed. Tangerang Selatan: Universitas Terbuka. Scriven, M. (1991). Evaluation Thesaurus. (4 th ed) Thousand Oaks, Calif.: Sage. Suparman, A. (2004a). Pendidikan jarak jauh: Teori dan praktek. Tangerang Selatan: Universitas Terbuka.