## EVALUASI KUALITAS SUBSTANSI BUKU MATERI POKOK (BMP) FISIP-UT
Mani Festati Broto Liestyodono B Irianto Universitas Terbuka e-mail: mani@ut.ac.id

## ABSTRACT
Updating learning materials is an activity that must be carried out by Universitas Terbuka (UT) to ensure the quality in accordance with the development of science and knowledge. The process of updating learning materials involves content experts (external reviewers), instructional designer experts, and media experts. This article is aimed to explain the instructional design quality associated with clarity, completeness and systematic, as well as consistent and systematic presentation of the learning materials from the standpoint of external experts and students. Experts’ feedback and input from the students show that the quality of learning materials at FISIP developed by appling the Instructional Design Development Model (MPI) has met the standard for autonomous and independent learning activities as well as the structured and guided learning activities.
Keywords: course writers, external reviewer, learning materials

## ABSTRAK
Pemutakhiran bahan ajar (BA) merupakan kegiatan yang wajib dilakukan oleh UT untuk menjamin kualitas BA sesuai dengan perkembangan ilmu dan pengetahuan. Proses pemuktahiran materi pembelajaran melibatkan para pakar materi ( external reviewers ), ahli desain instruksional, dan ahli media. Tulisan ini bertujuan menggambarkan standar kualitas desain instruksional yang mencakup  kejelasan, kelengkapan dan sistematika, serta konsistensi dan kelogisan sistematika penyajian BMP FISIP-UT dari sudut pandang para pakar eksternal dan mahasiswa. Testimoni pakar  dan mahasiswa menunjukkan bahwa kualitas BMP pada FISIP yang dikembangkan dengan menerapkan Model Pengembangan Desain Instruksional (MPI) dalam penulisan BMP, telah memenuhi standar kualitas akademik sehingga  mampu menjamin pencapaian kompetensi mata kuliah dan standar proses pembelajaran mahasiswa yang dilakukan secara mandiri dan independen.
Kata kunci : kualitas substansi BMP, pakar eksternal, penulis BMP
Pengembangan produk akademik dilakukan dengan memperhatikan standar kualitas akademik yang mampu menjamin pencapaian kompetensi lulusan yang dipersyaratkan dan memberikan kemudahan akses oleh mahasiswa. UT secara terus menerus telah mengembangkan q uality assurance (QA) dalam pengembangan produk akademik sebagai bagian dari peningkatan kualitas produk akademik. Berkaitan dengan upaya ini, pada tahun 2021 UT menetapkan setiap bahan belajar dikembangkan melalui berbagai media, terutama media online, dan merupakan satu kesatuan yang utuh. Bahan belajar tersebut dapat diakses secara mudah dan terjangkau tidak saja oleh mahasiswa tetapi juga oleh masyarakat.
Secara umum, proses pembelajaran mahasiswa UT dilakukan secara mandiri oleh mahasiswa dengan memanfaatkan bahan ajar yang dirancang khusus untuk mahasiswa pendidikan tinggi terbuka dan jarak jauh (PTTJJ). UT menyediakan bahan ajar yang self-contained dan dapat dipelajari secara mandiri ( self-instructional ) oleh mahasiswa. Bahan ajar UT berbentuk multi media yang meliputi antara lain bahan ajar cetak (Buku Materi Pokok/BMP) yang dikenal dengan sebutan modul, serta bahan ajar noncetak seperti kaset/CD audio, VCD, dan bahan ajar berbasis web . Setiap bahan ajar UT disusun oleh satu tim yang terdiri atas pakar dari UT dan pakar-pakar dari perguruan tinggi negeri/swasta ternama, baik pakar di bidang ilmu, pakar media, maupun pakar disain instruksional. Penulisan bahan ajar UT dikoordinasikan oleh Fakultas bersama Pusat Pengembangan Multi Media (P2M2) UT. Fakultas mengoordinasikan pengembangan naskah bahan ajar, sedangkan P2M2 mengoordinasikan proses produksi bahan ajar. Dalam rangka memberikan kemudahan akses, selain menyediakan bahan ajar dalam format cetak (BMP) dan noncetak (kaset/CD audio, VCD, dan bahan ajar berbasis web) , UT juga menyediakan bahan ajar cetak dan noncetak ini dalam format digital yang dapat diakses melalui website UT pada menu Ruang Baca Virtual (RBV). Selain itu, beberapa tahun ke depan UT juga merencanakan  penyediaan bahan ajar dalam bentuk online.
Proses pemutakhiran BMP dikoordinasikan oleh Pembantu Rektor Bidang Akademik dengan penanggung jawab Dekan/Direktur PPs. Proses ini dimulai dengan identifikasi modul yang sudah berumur 5 (lima)  tahun, kajian atau penelitian modul termasuk reviu substansi oleh pakar eksternal dari perguruan tinggi ternama bagi bahan ajar yang telah digunakan mahasiswa, penentuan pakar dari perguruan tinggi sebagai calon pereviu/perevisi/penulis bahan ajar, dan dilanjutkan dengan proses penulisan/revisi berdasarkan masukan dari hasil penelitian modul dan hasil reviu pakar eksternal.  Sebelum diproses oleh P2M2, hasil penulisan/revisi ditelaah terlebih dahulu, baik dari segi materi, bahasa, maupun desain instruksionalnya. Setelah selesai ditulis dan ditelaah serta diperbaiki sesuai dengan hasil telaahan, P2M2 akan memproduksi BMP menjadi master siap cetak sampai mencetaknya.  Demikian selanjutnya, proses berulang kembali sehingga modul yang berkualitas sesuai dengan perkembangan terkini dapat tersedia tepat waktu bagi mahasiswa. Seperti diketahui bahwa saat ini UT menawarkan sekitar 1.065 mata kuliah. Setiap mata kuliah memiliki bahan ajar, termasuk bahan ajar yang dipergunakan bersama. Jumlah bahan ajar cetak (BMP) aktif hingga tahun 2013 sebanyak 979 judul  yang dikembangkan oleh lebih dari 2.252 pakar bidang ilmu. Dari jumlah tersebut sekitar 45,05% perlu dilakukan revisi (sumber: Laporan Kerja Tahunan Rektor UT, 2014). Terhadap BMP yang akan direvisi ini dilakukan proses reviu substansi BMP oleh pakar eksternal. Sejak tahun 2008 sampai dengan 2013, FISIP telah melakukan reviu BMP oleh pakar eksternal sebanyak 86 BMP. Kegiatan reviu BMP ini secara berkelanjutan dilakukan untuk menjaga kualitas substansi bahan ajar. Sebelum tahun 2008, kegiatan reviu substansi BMP juga telah dilakukan, namun masih sebatas pada format instruksional. Hasil dari reviu substansi BMP oleh pakar eksternal ini selanjutnya disampaikan kepada penulis BMP yang akan melakukan revisi BMP.
Evaluasi kualitas substansi BMP merupakan kegiatan awal dari proses penulisan BMP. Kegiatan ini perlu dilakukan oleh UT untuk menjamin kualitas BMP sesuai dengan perkembangan IPTEK. Secara reguler, UT mendesain agar setiap BMP mulai dikaji ketika berumur 5 (lima) tahun untuk persiapan pemutakhiran atau revisi, dan BMP harus dipastikan telah direvisi setelah berumur 7 (tujuh) tahun. Namun demikian, untuk BMP tertentu yang sifatnya sangat cepat berubah (misalnya terkait perubahan Undang-Undang dan Peraturan Pemerintah lainnya), maka pemutakhiran dapat dilakukan sesuai dengan kebutuhan tanpa harus menunggu BMP berumur 5 (lima) tahun. Dan
sebaliknya bagi BMP yang secara substansi tidak berubah untuk jangka waktu lama ( long-lasting ), maka proses revisinya dapat lebih dari tujuh tahun.
Penelitian ini menggunakan pendekatan penelitian yang merujuk pada desain penelitian kualitatif. Pendekatan penelitian ini digunakan untuk memperoleh gambaran yang bersifat komprehensif serta mendalam mengenai kualitas substansi BMP. Penelitian dengan pendekatan kualitatif menghasilkan data deskriptif berupa kata-kata tertulis atau lisan dari orang dan perilaku yang dapat diamati (Bondan dan Taylor (1975) dalam Moleong, 2001: 3). Untuk mempertajam analisis pendekatan kualitatif, penelitian ini didukung dengan data kuantitatif secara sederhana yang lebih merujuk pada pengumpulan data dan penganalisisan informasi secara statistik. Melalui pendekatan penelitian ini diharapkan diperoleh gambaran yang bersifat komprehensif serta mendalam mengenai kualitas substansi BMP. Terkait dengan isu ini maka dilakukan kajian/penelitian untuk memperoleh penjelasan tentang kualitas substansi BMP, termasuk kualitas desain instruksional terkait dengan kejelasan, kelengkapan dan sistematika, serta konsistensi dan kelogisan sistematika penyajian BMP.

## EVALUASI BAHAN AJAR JARAK JAUH
Evaluasi bahan ajar jarak jauh dapat dilakukan dengan berbagai  cara antara lain dengan cara reviu substansi oleh pakar eksternal . Evaluasi dengan cara tersebut bermanfaat untuk mengetahui kekuranglengkapan bahan ajar yang pada akhirnya dapat dijadikan dasar  untuk merevisi bahan ajar. Menurut Limbong, dkk. (2002), hal-hal yang dievaluasi dalam bahan ajar jarak jauh  meliputi 3 (tiga) komponen pokok, yakni: Peta Kompetensi (PK) dan Garis-garis Besar Program Pembelajaran (GBPP) yang merupakan kelengkapan Rancangan Mata Kuliah (RMK), serta Buku Materi Pokok (BMP). Ketiga komponen bahan ajar jarak jauh tersebut perlu tersedia  pada saat melakukan evaluasi agar terlihat kelengkapan dan konsistensinya antara satu dengan yang  lainnya. Dengan demikian, hal-hal yang perlu dievaluasi terhadap bahan ajar jarak jauh adalah kelengkapan Rancangan Mata Kuliah (RMK) yang terdiri dari Peta Kompetensi (PK) dan GBPP serta BMP. Lebih lanjut, Limbong, dkk. (2002) mengemukakan bahwa analisis komponen isi mata kuliah merupakan salah satu  mata rantai  dari evaluasi mata kuliah. Jika bagian ini dilakukan dengan baik dan benar, maka hasil analisis akan dapat memberikan informasi yang sangat berarti bagi pengambilan keputusan di dalam menentukan apakah bahan ajar untuk mata kuliah tersebut masih laik untuk dipakai sebagai salah satu bahan ajar dalam pembelajaran pendidikan jarak jauh ataukah perlu direvisi.
Suparman, Pribadi, & Belawati (2011: 56-60) menyatakan bahwa evaluasi dalam sistem pengembangan instruksional meliputi tiga langkah sebagai berikut.
1. Uji coba prototipe instruksional, yang biasanya dilakukan dengan cara-cara  berikut.
a. Uji coba pengembangan untuk melihat komponen yang perlu direvisi.
b. Uji coba validasi untuk melihat seberapa jauh mahasiswa mencapai tujuan instruksional.
c. Uji coba lapangan untuk menentukan apakah pengajar dan mahasiswa lain dapat menggunakan bahan-bahan tersebut.
2. Analisis hasil, yang melibatkan tiga kegiatan, yaitu: pertama , tabulasi dan memproses data evaluasi; Kedua , menentukan hubungan antara metode yang digunakan, hasil yang dicapai, dan tujuan yang ingin dicapai; Dan. ketiga , menafsirkan data. Kualitas revisi yang dibuat tergantung pada interpretasi data. Berdasarkan interpretasi data hasil uji coba, revisi dilakukan dari revisi ringan sampai revisi total.
3. Implementasi/uji coba ulang.
Sementara itu, kualitas bahan ajar (BMP atau modul) dapat dilihat dari dimensi kualitas sebagai berikut.
1. Performance (Kinerja); Konsep kinerja ( Performance ) dapat didefinisikan sebagai sebuah pencapaian hasil atau degree of accomplishtment (Rue dan byars, 1981 dalam Keban, 1995). Foster dalam Suparman, Pribadi, & Belawati (2011) menyatakan bahwa performance refers to the eficiency with which a product achieves its intended purpose . Pada dimensi ini, penekanan kualitas produk terletak pada derajat efisiensi penggunaan, artinya bahwa suatu produk dinyatakan berkualitas apabila efisien ketika digunakan sebagaimana fungsi dari produk tersebut. Dengan demikian, kinerja sebuah produk mencerminkan manfaat yang tinggi dari produk tersebut. Seperti dinyatakan oleh Bacal (2004: 147) bahwa alasan sebenarnya kita mengelola kinerja adalah untuk meningkatkan produktivitas dan efektivitas. Dalam konteks produk berupa BMP atau modul, suatu BMP dinyatakan berkualitas atau memiliki performance yang tinggi apabila memberikan manfaat yang besar kepada pembacanya (mahasiswa UT) berupa konsep keilmuan dan informasi menyangkut keadaan dan perkembangan lingkungan yang terjadi. Oleh sebab itu, kualitas BMP dalam dimensi ini dapat dilihat dari kelengkapan konsep dan informasi yang dibahas serta kemudahan dalam memahami konsep tersebut. Dengan demikian, dalam uraian konsep keilmuan diperlukan kata yang tepat, kalimat yang jelas, serta dilengkapi dengan gambar atau ilustrasi dan contoh-contoh yang dapat memperjelas pemahaman suatu konsep keilmuan.
2. Reliability (Keandalan); secara harfiah, reliability dapat diartikan sebagai dapat dipercaya atau diandalkan (Zeithaml, et al. (2009: 20). Foster dalam Suparman, Pribadi, & Belawati (2011) menyatakan bahwa reliability refers to the propensity for a product to perform consistently over its useful design life . Dalam dimensi ini, kualitas produk terletak pada konsistensi kinerja selama desain umur kegunaannya. Dalam konteks BMP, reliabilitas merupakan keandalan konsep ilmu atau informasi yang terkandung di dalamnya, baik dilihat dari pakar (ahli) yang mengemukakan konsep tersebut, sumber referensi (buku acuan), maupun aktualitas informasi sesuai dengan perkembangan yang terjadi. Berkaitan dengan aktualitas informasi, maka kualitas BMP dapat dilihat dari segi umur (usia) BMP seperti edisi (tahun penerbitan) ataupun edisi revisinya. Pada umumnya, usia sebuah buku atau BMP adalah lima tahun, artinya setelah berusia lima tahun sejak tahun pertama penerbitan, maka buku atau BMP harus diperbaiki/direvisi. Hal ini dimaksudkan agar informasi yang disajikan di dalam BMP tidak kedaluarsa ( out of date ) dan senantiasa dapat mengikuti perkembangan lingkungan yang terjadi. Jika usia BMP lebih dari lima tahun dan tidak direvisi, maka BMP tersebut dapat dinyatakan tidak berkualitas karena informasi yang terkandung di dalamnya tidak dapat diandalkan ( reliabel ) lagi oleh pembacanya. Apalagi modul-modul ilmu sosial di mana perubahan lingkungan terjadi demikian cepat.
3. Conformance to Specifications (Kesesuain dengan Spesifikasi), yaitu sejauhmana karakteristik disain dan operasi memenuhi spesifikasi yang telah dijanjikan sebelumnya. Suatu produk dinyatakan berkualitas jika memenuhi spesifikasi yang telah ditentukan. Pemenuhan terhadap spesifikasi ini tidak harus 100%, melainkan ada toleransinya. Dengan demikian, jika suatu produk menunjukkan kinerja dalam batas-batas toleransi spesifikasi yang ada, maka produk tersebut dinyatakan conforms. Kualitas modul dalam dimensi ini dilihat dari kesesuaian isi materi modul dengan kemampuan yang diharapkan dikuasai mahasiswa (capaian pembelajaran atau kompetensi umum dan kompetensi khusus) dalam batas-batas toleransi tertentu. Jika uraian materi yang terdapat dalam modul tidak sesuai dengan capaian pembelajaran, maka modul tersebut dapat dinyatakan tidak berkualitas.
Ada banyak model desain instruksional yang berkembang dalam dunia pendidikan dewasa ini, misalnya SAFE (System Approach for Education), Michigan State University Instructional Systems Development Model, Project MINERVA Instructional System Design, Teaching Research System, Banathy Instructional Development System, Dick & Carey Model, Kemp Model, Three Phase Design Model, The 4CID Model, ARCS Model, dan banyak lagi model instruksional lainnya. Perkembangannya juga beragam sesuai dengan kondisi dan tujuan desain instruksional tersebut diperuntukkan. Setiap model dimaksudkan untuk menghasilkan suatu sistem instruksional yang efektif dan efisien dalam memfasilitasi pencapaian tujuan instruksional. Pada dasarnya, model instruksional yang ditawarkan memiliki prosedur yang hampir sama antara satu dengan yang lain, atau bahkan mengombinasikan dari berbagai model yang sudah ada untuk kemudian diaplikasikan ke dalam lingkungan pembelajaran yang dihadapi.
Secara umum, prosedur atau proses yang ditempuh oleh para pengembang sistem instruksional meliputi dua cara, yaitu dengan pendekatan empiris atau mengikuti suatu model.
1. Dengan pendekatan secara empiris Proses ini dilaksanakan tanpa menggunakan dasar-dasar teori secara sistematis. Di sini, paket atau bahan pengajaran disusun berdasar pengalaman pengembang. Peserta didik disuruh mempelajari lalu hasilnya diamati. Bila hasilnya tidak sesuai dengan apa yang diharapkan, maka materi pengajaran tersebut direvisi dan pekerjaan penyusunan paket (materi) pengajaran diulang. Pendekatan semacam ini mempunyai beberapa kelemahan, di antaranya: (a) setiap pengembang harus mulai dari awal untuk mencari atau menemukan semua langkah dan dasar yang diperlukan untuk mengembangkan suatu materi pengajaran; Dan (b) berulang kalinya pembuatan materi (paket) pengajaran baru. Hal ini berarti menghendaki proses penyusunan yang berulang kali uji coba, dan ini berarti kurang efisien.
2. Dengan mengikuti atau membuat suatu model ( paradigm approach )
Menurut pendekatan ini, hasil belajar yang diharapkan dapat diklasifikasikan sesuai dengan tipe-tipe tertentu. Untuk tiap tipe tujuan khusus ( objective ) dapat dipilihkan cara-cara tertentu untuk mencapainya, kondisi tertentu untuk mengamati responsi peserta didik dapat diciptakan, dan perubahan-perubahan bilamana perlu dapat diadakan. Di dalam penyusunan disain instruksional, diadakan langkah-langkah secara sistematis, sehingga uji coba secara empiris terhadap suatu program dapat mendorong untuk adanya informasi mengenai efektivitas suatu program, yang sekaligus dapat menguji model tersebut.
Analisis hasil reviu BMP oleh pakar eksternal menggunakan konsep Model Pengembangan Desain Instruksional (MPI),  yang dikembangkan oleh Suparman (2012). Model Pengembangan Desain Instruksional (MPI) diharapkan dapat mengatasi kendala-kendala pembelajaran dan dapat digunakan baik untuk pembelajaran tatap muka maupun pendidikan jarak jauh. Model ini terdiri dari 3 tahap sebaga berikut.
1.     Definisi, dengan langkah-langkah:
a. mengidentifikasi kebutuhan instruksional dan menulis tujuan instrksional umum,
b. melakukan analisis instruksional, serta
c. mengidentifikasi perilaku dan karakteristik awal peserta didik.
2.     Analisis dan pengembangan prototipe sistem, dengan langkah-langkah:
a. menulis tujuan instruksional khusus,
b. menulis alat penilaian hasil belajar,
c. menyusun strategi instruksional, dan
d. mengembangkan bahan instruksional.
3.     Melaksanakan evaluasi formatif, dengan langkah-langkah:
a. menelaah oleh pakar dan revisi,
b.  evaluasi oleh 1-3 peserta didik dan revisi,
c.  uji coba dalam skala terbatas dan revisi, serta
d.  uji coba lapangan dengan melibatkan semua komponen dalam sistem sesungguhnya.
Penggunaan pendekatan sistem dalam teknologi instruksional hingga kini berkembang terus. Selain komponen pengajar, peserta didik, dan fasilitas, kegiatan instruksional juga terdiri dari subsistem di antaranya adalah tujuan instruksional, tes, strategi instruksional, bahan instruksional, dan evaluasi. Oleh karena kompleksnya yang terkait dalam kegiatan instruksional, maka untuk memecahkan masalah perlu menguji setiap komponen tersebut melalui analisis sistem.

## REVIU SUBSTANSI BMP FISIP OLEH PAKAR EKSTERNAL
Reviu  BMP oleh pakar eksternal terhadap 86 mata kuliah sudah dilakukan dari tahun 2008 sampai dengan 2013 untuk Program Studi di lingkungan FISIP, yaitu S1 Administrasi Bisnis; S1 Administrasi Negara; D-IV Kearsipan; S1 Sastra Inggris bidang minat Penerjemahan; S1 Ilmu Pemerintahan; D-II Perpustakaan; D-III Perpajakan; S1 Ilmu Komunikasi, dan  S1 Sosiologi. Kegiatan tersebut dilaksanakan untuk meningkatkan kualitas BMP. Para pakar yang dilibatkan dalam melakukan proses reviu BMP berasal dari berbagai perguruan tinggi dan institusi  di Indonesia, antara lain: Universitas Padjadjaran di Bandung, Universitas Atmajaya di Jakarta, Direktorat Jendral Pajak di Jakarta, Universitas Indonesia di Jakarta, Universitas Jayabaya di Jakarta, Universitas Gadjah Mada di Yogyakarta, Universitas Jenderal Soedirman di Purwokerto, Institut Teknologi Bandung, Institut Pemerintahan Daerah Negeri (IPDN) di Bandung, Bank BII, Arsip Nasional Republik Indonesia (ANRI) di Jakarta, Perpustakaan Nasional di  Jakarta, Universitas Sebelas Maret di Surakarta; Universitas Ahmad Yani di Bandung; Institut Agama Islam Negeri (IAIN) Malang; Universitas Pelita Harapan di Jakarta; Universitas Islam Negeri di Jakarta; Universitas Pendidikan Indonesia di Bandung, dan Universitas Diponegoro di Semarang.
Dari sejumlah 185 BMP ampuan program studi di FISIP yang berumur di atas 5 (lima) tahun, belum semuanya  telah melalui proses reviu oleh pakar eksternal. Dari 104 BMP yang telah melalui proses review oleh pakar eksternal, dari tahun 2008 sampai dengan 2013, belum semua selesai direvisi menjadi BMP baru hasil revisi. Penilaian kualitas substansi BMP berdasarkan penilaian pakar dapat dilihat pada Tabel 1.
Kualitas BMP UT pada setiap tahunnya sejak tahun 2008 menjadi lebih baik setelah dilakukan reviu oleh pakar eksternal dengan kategori ‘baik’ dan ‘sedang’(55,6%) pada tahun 2011. Pada tahun 2013, mayoritas kualitas BMP berada pada kategori ‘sedang’, padahal di tahun 2012 kualitas BMP telah berada pada kategori ‘baik’. Kualitas substansi BMP dengan kategori sedang (88%)  berada di antara skor 65-79, dan untuk menuju ‘baik’ harus di atas skor 80. Namun, secara keseluruhan kualitas BMP sejak tahun 2008 sampai dengan tahun 2013 berada pada kategori ‘sedang’, dengan proses revisi tidak berat. Hal ini karena pelaksanaan kegiatan reviu BMP oleh pakar eksternal dilakukan melalui kegiatan lokakarya. Kegiatan lokakarya ini melibatkan narasumber materi (bidang ilmu). Tujuan lokakarya ini adalah untuk menjelaskan bagaimana melakukan proses reviu secara benar, dengan pengayaan materi proses pembelajaran dari narasumber pakar
pendidikan dan pakar pendidikan jarak jauh. Selain itu, setiap reviewer didampingi oleh fasilitator dari masing-masing program studi (pengampu mata kuliah).
Tabel 1.  Penilaian Kualitas Substansi BMP oleh Pakar Eksternal Berdasarkan Tahun Kegiatan Reviu Pakar Revisi
Sumber : hasil pengolahan data 2014
Berdasarkan hasi reviu pakar eksternal dari tahun 2008 sampai dengan 2013, BMP dengan kategori kualitas ‘sedang’, secara substansi, hanya perlu perbaikan yang tidak terlalu berat dan masih ada materi-materi yang dapat dipertahankan. Artinya, perbaikan BMP (proses revisi) hanya perlu memperhatikan format keterbacaan dan penggunaan kalimat yang lebih interaktif layaknya percakapan dosen di kelas tatap muka. Selain itu, substansi materi BMP hasil review telah mengacu pada kemutakhiran informasi dan perkembangan keilmuan. Misalnya, dalam mata kuliah Manajemen Pelayanan Publik, konsep dan praktek good governance yang pada BMP sebelumnya belum memasukkan konsep dan teori tersebut dalam praktek manajemen pelayanan umum, maka hasil revisi telah mengakomodasi  konsep dan teori good governance sebagai materi inti dan pokok bahasan khusus pada mata kuliah tersebut. Dari penilaian mahasiswa diperoleh masukan berkaitan dengan cara penyajian seperti menambahkan contoh-contoh dan format keterbacaan BMP. Perbaikan ini berdampak pada kemampuan akademik mahasiswa dalam mengimplementasikan konsep dan teori good governance dalam mata kuliah Manajemen Pelayanan Publik.
BMP secara keseluruhan menurut penilaian pakar eksternal berada pada kategori ‘baik’ yaitu sebesar 34,6% dan kategori ‘sedang’ sebanyak 65,4%. Tabel 2 menunjukkan bahwa secara umum BMP yang ditelaah oleh pakar eksternal bidang ilmu berada dalam kategori ‘baik’ dan ‘sedang’ artinya kategori revisi BMP ringan. Namun demikian, kategori ‘sedang’ dapat juga termasuk revisi berat atau secara subtansial harus diganti keseluruhan.
Pada saat penentuan pakar eksternal, pihak UT melakukan identifikasi para pakar eksternal bidang ilmu dan melakukan verifikasi data dengan cara mempertimbangkan hal-hal sebagai berikut. Pertama , menilai kesesuaian substansi keilmuan pakar eksternal dengan materi substansi BMP yang akan direvisi. Pakar eksternal dapat berasal dari kalangan akademisi dengan kualifikasi minimal pendidikan Strata Tiga (S3) ataupun praktisi profesional. Selain itu, UT memperhatikan pula rekam jejak akademik yang dimiliki oleh pakar eksternal. Hal ini dilakukan dengan cara menelusuri produk- produk akademik yang pernah ditulis. Kedua , menjaring pakar eksternal yang diperlukan dengan memanfaatkan forum-forum akademik seperti seminar dan workshop yang dihadiri oleh komunitas ilmiah yang relevan. Ketiga, menyusun basis data para pakar eksternal yang relevan dengan bidang keilmuan dari program studi yang ada di UT dan melakukan pemutakhiran data profil para pakar
eksternal. Dan keempat , memanfaatkan basis data tersebut di atas tidak saja untuk kegiatan- kegiatan reviu tetapi juga kegiatan penulisan BMP dan pengembangan produk akademik lainnya yang diperlukan UT.
Tabel 2.  Kualitas BMP Keseluruhan Penilaian Pakar
Sumber : hasil pengolahan data 2014
Dengan semakin cepat perkembangan teknologi informasi dan komunikasi (TIK), maka sering kali substansi BMP menjadi tidak lagi mutakhir. Akibatnya, semakin sulit mencari penulis/pakar bidang ilmu pada tahun-tahun dimana reviu BMP oleh pakar eksternal menjadi keharusan sebelum BMP direvisi. Kebutuhan akan penulisan bahan ajar di tahun mendatang yang semakin meningkat merupakan tantangan UT ke depan yang harus diatasi segera oleh program studi. Secara khusus, mahasiswa memberikan masukan perlunya pengayaan contoh-contoh implementasi konsep dalam keseharian. Selanjutnya, mahasiswa juga menyarankan dari segi desain instruksional. Mahasiswa menyatakan perlu ilustrasi dalam bentuk gambar atau diagram untuk memudahkan memahami materi BMP. Sementara itu, pakar eksternal bidang ilmu menyarankan agar konsep-konsep yang berkaitan dengan peraturan perundangan yang cepat berubah, ditampilkan dalam format box (materi tambahan untuk pengayaan) atau weblink (bahan pengayaan berbasis online ), yang sewaktu-waktu apabila ada perubahan dapat direvisi tanpa mengubah BMP secara utuh. Dari testimoni pakar dan masukan mahasiswa tersebut di atas, menunjukkan bahwa Model Pengembangan Desain Instruksional (MPI) yang selama ini diterapkan di UT dalam penulisan BMP memenuhi kaidah dalam proses pembelajaran jarak jauh. Model Pengembangan Desain Instruksional dalam implementasinya memenuhi standar yang sesuai dengan pendekatan sistem dalam teknologi instruksional.
Hasil testimoni menunjukkan bahwa desain instruksional pada BMP yang dievaluasi telah sesuai dengan konsep desain instruksional yaitu adanya: proses sistematis, efektif, dan efisien dalam menciptakan sistem instruksional untuk memecahkan masalah belajar atau peningkatan kinerja peserta didik melalui serangkaian kegiatan pengidentifikasian masalah, pengembangan, dan pengevaluasian. Testimoni tersebut di atas sejalan dengan pendapat Gagne dalam Suparman (2012) yaitu belajar merupakan hasil, bukan hanya sebagai proses. Hal tersebut bekenaan dengan perubahan pada kapabilitas mahasiswa yang secara tetap terjadi sepanjang periode tertentu dan bukan karena kebetulan sebagai akibat dari proses perkembangan diri. Konsep desain instruksional menurut testimoni pakar eksternal bidang ilmu dan mahasiswa sejalan pula dengan Hamrenus dalam
Suparman (2012) yang menyatakan bahwa desain instruksional merupakan proses sistematik untuk memungkinkan tujuan umum dicapai melalui proses belajar yang efektif. Proses yang sistematik itu dimulai dengan tujuan umum. Pendapat lain menyatakan bahwa tujuan akhir dari desain instruksional adalah untuk meningkatkan kualitas pembelajaran.
Salah satu testimoni yang berkaitan dengan materi BMP adalah tuntutan kelengkapan dan kejelasan Tinjauan Mata Kuliah dalam BMP. Kelengkapan dan kejelasan tinjauan mata kuliah dalam BMP sudah terpenuhi, dilihat dari sisi ketersediaan deskripsi dan relevansi mata kuliah. Selain itu, aspek-aspek yang dibahas telah relevan dengan pokok bahasan yang menjadi judul dan subjudul BMP. Tinjauan mata kuliah juga telah menggambarkan kompetensi yang diharapkan dikuasai mahasiswa setelah mempelajari materi yang disajikan dalam BMP. Tahapan kompetensi yang harus dicapai juga telah tergambar secara jelas. Disamping itu, tinjauan mata kuliah juga menjelaskan petunjuk dan langkah-langkah dalam mempelajari BMP. Hal ini sejalan dengan konsep Rorhwell, William J., & Kazanas, H.C. (2004), bahawa desain instruksional tidak sekadar menciptakan instrumen atau alat tetapi terkait dengan konsep lebih luas tentang bagaimana menganalisis masalah kinerja manusia secara sistematik, identifikasi akar penyebab masalah-masalah tersebut, pertimbangan berbagai solusi yang sesuai dengan akar permasalahan itu, dan pelaksanaan pemecahan masalah dengan cara-cara yang dirancang untuk meminimalisasi akibat yang tidak diharapkan dari tindakan perbaikan. Pendapat di atas mengarah pada satu tujuan yang sama yakni mencari pemecahan permasalahan dalam rangka menciptakan satu tindakan perbaikan pembelajaran yang dilakukan secara sistematis, efektif, dan efisien yang diawali dari menganalisis tujuan pembelajaran dan di akhiri dengan evaluasi.
PENUTUP Secara umum, hasil penelitian menunjukkan bahwa kualitas BMP semakin meningkat setiap tahun sejak tahun 2008, karena proses revisi BMP diawali dengan kegiatan reviu BMP oleh pakar eksternal. Proses revisi telah mengakomodasi masukan dari pakar eksternal secara substansi dan dari mahasiswa yang berkaitan dengan cara penyajian, seperti menambahkan contoh-contoh dan format keterbacaan BMP. Perbaikan ini berdampak pada kemampuan akademik mahasiswa dalam mengimplementasikan konsep dan teori mata kuliah terkait dalam kesehariannya. Testimoni pakar eksternal dan mahasiswa menunjukkan bahwa Model Pengembangan Desain Instruksional (MPI) yang selama ini diterapkan di UT dalam penulisan BMP telah memenuhi kaidah dalam proses pembelajaran jarak jauh. Model Pengembangan Desain Instruksional dalam implementasinya memenuhi standar yang sesuai dengan pendekatan sistem dalam teknologi instruksional.  Kendala yang dihadapi adalah semakin sulitnya mencari penulis/pakar eksternal bidang ilmu, padahal kebutuhan akan penulis dan reviewer pada saat yang bersamaan di tahun mendatang akan semakin meningkat.
Rekomendasi  penelitian ini adalah  perlunya alokasi biaya yang mencukupi untuk penulisan BMP, sehingga menarik para pakar bidang ilmu untuk menulis BMP UT. Disamping itu, perlu upaya mencari penulis/pakar bidang ilmu dari berbagai perguruan tinggi di Indonesia melalui forum dekan dan asosiasi.  Namun, apabila ada yang perlu ditambahkan berkaitan dengan upaya peningkatan kualitas BMP adalah penambahan indikator pengayaan bahan ajar atau mata kuliah berbasis online’ dalam format instrumen berkaitan dengan upaya UT memanfaatkan OER ( Open Education Resources ). Untuk itu, ke dalam format penulisan BMP juga harus ditambahkan pustaka terkait berupa daftar OER, selain pustaka yang diacu dalam penulisan BMP. Pustaka terkait ini merupakan rujukan bagi mahasiswa yang ingin lebih memperdalam materi BMP. Pemanfaatan OER dalam
bahan ajar juga berkaitan dengan upaya UT menyajikan berbagai materi pengajaran dan pembelajaran yang dapat diakses secara online oleh mahasiswa, tutor, dan dosen. Dengan adanya OER diharapkan mahasiswa UT memperoleh materi ajar yang lebih mutakhir dan komprehensif. Hal ini karena materi OER dapat dimodifikasi sesuai kebutuhan komunitas pembelajaran di UT tanpa mengubah standar yang telah baku.

## REFERENSI
Bacal, R. (2004). How to manage performance. New York USA: Mc. Graw-Hill. Keban, T. Y. (1995). Indikator kinerja pemerintah daerah: Pendekatan manajemen dan kebijakan. Makalah seminar sehari Fisipol UGM Yogyakarta.
Limbong, A., dkk. (2002). Langkah praktis evaluasi bahan ajar jarak jauh. Jakarta: PAU- PPAI
Universitas Terbuka.
Moleong, L. J. (2001). Metodologi penelitian kualitatif , Remaja rosdakarya, Bandung.
Rorhwell, William J., & Kazanas, H.C. (2004). Mastering the instructional design process: A systimatic approach . Sanfrancisco: Pfeiffer .
Suparman, A., Pribadi, B. A., dan & Belawati, T. (2011). Program pembelajaran dalam bidang desain pembelajaran untuk dosen Universitas Terbuka. Tangerang: Universitas Terbuka.
Suparman, A. (2012). Desain instruksional modern . Jakarta: Erlangga. Universitas Terbuka. (2014). Laporan kerja tahunan rektor UT 2014 .
Zeithmal, V. A., Parasuraman, A., & Berry, L. L. (2009). Delivering quality service balancing costumer perseptions and expectations. New York.