Sebuah Pengantar yang Singkat dan Mudah Dibaca untuk Metode Penelitian Ilmu Sosial Empiris Penulis Prof. Christopher S. Horne University of Tennessee at Chattanooga Diterjemahkan oleh Dr. phil. Arif Budy Pratama Universitas Tidar, Indonesia Versi 4.0 © 2022 oleh Christopher S. Horne dibawah lisensi Creative Commons Attribution-Non Commercial-ShareAlike Lisensi 4.0 license: 1
Pengantar Penerjemah Metodologi penelitian sosial adalah salah satu mata kuliah wajib pendidikan sarjana dan pasca sarjana dalam disiplin ilmu-ilmu sosial. Tidak jarang, mata kuliah ini adalah mata kuliah dengan tingkat favorit terendah dibandingkan dengan mata kuliah wajib lainnya. Secara pedagogi, metode penelitian sosial identik dengan penggunaan buku teks tebal dengan pokok bahasan yang begitu luas. Salah satu penyebabnya adalah kompleksitas pengetahuan dan keterampilan yang dibutuhkan dalam melakukan sebuah penelitian (yang benar-benar) ilmiah. Dalam satu semester, mahasiswa diharapkan mampu memahami proses penelitian ilmiah sebagai bekal penulisan karya tulis akhir untuk syarat kelulusan baik di tingkat sarjana, magister, maupun doktoral dalam bentuk skripsi, tesis, dan disertasi. Pada saat saya ditugaskan untuk mengajar mata kuliah metodologi penelitian sosial untuk level sarjana, hal pertama yang saya lakukan adalah mengumpulkan dan mengidentifikasi literatur dan buku teks tentang metodologi penelitian sosial. Apa yang saya kumpulkan pada saat persiapan pembelajaran semester adalah tumpukan buku teks yang menggunung serta ber-giga- giga soft file buku elektronik dalam bentuk pdf serta artikel ilmiah tentang metodologi penelitian sosial. Selain itu, saya kesulitan untuk menyusun rencana pembelajaran yang dibagi secara mingguan karena banyaknya topik yang saya kira hampir semuanya penting untuk diajarkan kepada mahasiswa. Hasilnya, ada beberapa topik yang terlalu rinci dan ada beberapa topik yang dibahas secara dangkal. Salah satu penyebabnya adalah adopsi dari berbagai buku teks yang berbeda level pembahasannya. Salah satu dari banyak sumber bacaan yang saya temukan adalah buku elekronik tipis berjudul 'Sebuah Pengantar yang Singkat dan Mudah Dibaca untuk Metode Penelitian Ilmu Sosial Empiris' yang ditulis oleh Prof. Christopher S. Horne dari University of Tennessee at Chattanooga. Buku ini termasuk dalam kategori terbuka (open access) dan dapat diunduh secara gratis di Setelah membaca beberapa lembar dari buku ini, timbul keyakinan bahwa buku ini paling cocok digunakan untuk bahan pembelajaran di kelas (terutama dalam level pengantar). Selanjutnya, saya merasa perlu untuk menerjemahkannya ke dalam bahasa Indonesia. Beberapa alasan pragmatisnya adalah sebagai berikut: 1) mahasiswa di di Indonesia belum begitu familiar dengan penggunaan bahasa Inggris sebagai literatur utama; 2) buku ini dikemas dengan model yang berbeda dari buku teks umumnya. Dengan gaya percakapan nonformal, saya beranggapan bahwa mahasiswa akan lebih tertarik untuk membaca dan belajar metode penelitian dengan langgam yang lebih rileks, santai, dan informal; 3) Jenis buku, yaitu pengantar sangat cocok dalam pembelajaran mahasiswa level sarjana. Saya berkorespondensi dengan cara mengirim surat elektronik kepada Prof. Horne pada 5 Oktober 2023 untuk memohon ijin menerjemahkannya ke dalam bahasa Indonesia. Singkat cerita, beliau menanggapi secara positif bahwa buku elektronik ini diperkenankan untuk diterjemahkan. Akhirnya, saya harap upaya kecil yang saya lakukan untuk memperluas diseminasi keilmuan dapat bermanfaat bagi para mahasiswa ilmu sosial pada khususnya dan para pembaca pada umumnya. ABP Januari 2024 2
Daftar Isi Catatan untuk Mahasiswa ... 4 Catatan untuk Instruktur ... 6 Pendahuluan dan Model Proses Penelitian ... 7 Mengidentifikasi Pertanyaan Penelitian ... 8 Konseptualisasi dan Operasionalisasi (dan juga membuat Hipotesis) ... 13 Pengumpulan data pada desain penelitian formal ... 18 Pengambilan sampel ... 18 Metode Pengumpulan Data ... 24 Desain Penelitian ... 30 Analisis Data ... 36 Membuat generalisasi dan Berteori ... 38 Mengevaluasi Penelitian: validitas dan reliabilitas ... 39 Etika Penelitian ... 43 Kata penutup ... 44 Lampiran A: Penelitian terapan dan model logika program ... 45 Lampiran B: Desain penelitian lainnya ... 48 Lampiran C: Statistik Inferensial ... 56 Lampiran F: Kekeliruan ekologis ... 69 Lampiran G: Glosarium metode penelitian ... 71 Tentang penulis ... 79 Tentang penerjemah ... 80 3
Catatan untuk Mahasiswa Beberapa tahun yang lalu, penulis memutuskan untuk menulis rangkuman mata kuliah metode penelitian secara mendadak, walaupun niat tersebut sudah ada sejak lama. Harga buku metode penelitian ilmu sosial sangat mahal. Bukan rahasia lagi bahwa pengetahuan dikuasai oleh sedikit orang yang mempunyai spesialisasi tertentu. Tentu, seseorang dengan lulusan pasca sarjana ilmu sosial tahu tentang hal ini. Sejak menulis versi pertama buku ini, sekelompok pendidik yang berpikiran sama telah berkumpul untuk mengembangkan alternatif yang murah untuk buku teks, dan penulis dengan senang hati mendaftar. Pada versi ketiga, penulis menghapus kata "gratis" dari judul karena versi cetak yang murah sudah tersedia untuk dibeli di Amazon. Penulis telah mengamati bahwa sebagian besar mahasiswa masih mencetak buku ini secara mandiri, dan beberapa mahasiswa lainnya bertanya tentang ketersediaan salinan cetaknya. Versi elektronik gratis akan tetap tersedia di Selain dari mahalnya buku teks yang tersedia di pasaran, penulis juga ingin Anda belajar. Penulis memahami bahwa mahasiswa enggan untuk membaca buku teks tebal yang mahal, tetapi penulis berharap bahwa banyak dari Anda akan membaca buku teks yang singkat dan gratis (atau murah). Penulis telah berupaya untuk menghindari agar pembaca tidak bosan, walaupun penulis tidak dapat memberikan kepastian tentang hal tersebut. Penulis barangkali bukanlah yang terbaik dalam menilai tingkat kebosanan. (akan tetapi untuk apa menilainya, dan penulis pikir upaya ini adalah sebuah langkah yang memukau). Penulis yakin bahwa tiap mahasiwa belajar dengan cara yang berbeda, dan rangkuman ini memberikan banyak cara untuk belajar. Penulis berpendapat bahwa cara-cara belajar harus melalui pilihan-pilihan tertentu. Penulis berpikiran bahwa semua mahasiswa akan memaksimalkan pembelajaran dengan membaca, antusiasme pada saat mengikuti pembelajaran dan latihan di kelas, menyelesaikan tugas, menonton video di YouTube, dan mendengarkan secara serius pada saat perkuliahan. Ada kebebasan tertentu dengan menuliskan sesuatu yang Anda tidak akan meminta orang lain untuk membaca, dan penulis, dalam hal ini, akan memberikan pengakuan. Penulis merangkuman mata kuliah ini dengan cepat. Hal ini berat bagi penulis, penulis biasanya termasuk lambat dan berhati-hati dalam proses penulisan, mengedit sambil jalan. Lalu penulis berpikir untuk bergerak dengan cepat jika penulis menulis dengan gaya penulisan yang bebas, seperti halnya sedang berbicara dengan seorang teman lama tentang metode penelitian. Dengan demikian penulis membuat buku ini mudah untuk ditulis dan berharap akan mudah dibaca juga. Penulis tidak begitu khawatir dengan struktur buku ini. Penulis beranggapan bahwa akan sulit untuk mengajarkan tentang A sebelum B, B sebelum C, dan C sebelum A. Penulis telah melakukan yang terbaik, tetapi anda akan menemukan banyak komentar seperti "selebihnya tentang hal tersebut akan dibahas kemudian" dimana penulis tidak dapat memberikan tanggapan tentang hal tersebut. Sesuatu saling berhubungan dengan lainnya. Ada sesuatu yang harus Anda pahami dahulu sebelum memahami hal yang lainnya-alasan lain mengapa perlu membaca teks yang singkat adalah Anda dapat memahami gambaran secara menyeluruh secara lebih cepat. Mengenai penulisan secara informal dan bergaya percakapan, penulis tidak bermaksud menganggap remeh pembaca. Tidak ada elaborasi mengenai outline, "tidak ada pertanyaan untuk review", sedikit sekali heading dan sub-heading, hanya ada sedikit poin dan 2 diagram saja. Mahasiswa yang berkeinginan untuk paham terhadap topik ini akan belajar-membuat outline, mencatat, menulis ringkasan, bertanya dan mencoba mencari jawabannya, mendiskusikan dengan teman sekelas-yang semuanya adalah ide yang bagus (dalam belajar). Proses merevisi buku ini dilakukan pada saat perdebatan tentang "berita bohong" dan apa yang harus dipertimbangkan secara matang ketika membuat keputusan penting bagi kepentingan 4
umum. Keterampilan penelitian empiris tidak dapat menjawab semua pertanyaan tersebut, akan tetapi, paling tidak penelitian empiris dapat membantu menjawabnya. Adalah harapan penulis bahwa banyak dari Anda yang akan belajar lebih banyak tentang metode penelitian dan melakukan penelitian orisinil secara mandiri. Lebih dari itu, saya berharap Anda semua akan menjadi lebih siap untuk menilai secara kritis informasi yang kita temui dalam kehidupan kita dan untuk memberikan kontribusi yang beralasan terhadap wacana seputar isu-isu di publik yang penting bagi Anda. CSH Januari, 2022 5
Catatan untuk Instruktur Jika anda telah mengunduh dan membaca buku ini, penulis tidak merasa perlu membujuk Anda untuk tidak menggunakan materi pembelajaran yang mahal untuk mahasiswa. Penerbit nirlaba memainkan peran penting dalam ekosistem pengetahuan akademis. Buku teks yang mahal tidak harus menjadi satu-satunya norma di semua mata kuliah. Penulis telah menggunakan ringkasan ini (dan versi sebelumnya) selama lebih dari satu dekade dalam beberapa mata kuliah: metode penelitian ilmu politik pada level sarjana dan pascasarjana; evaluasi program pada tingkat sarjana dan pascasarjana, dan metode penelitian terapan pascasarjana. Dalam mata kuliah metode penelitian sarjana, buku ini adalah satu-satunya buku teks, yang dilengkapi dengan artikel, beberapa kuliah, dan banyak latihan di dalam kelas. Dalam mata kuliah lain, buku ini adalah teks tambahan atau dasar dari tinjauan mandiri. Ketika digunakan bersama dengan teks-teks lain, penulis merasa terbantu untuk menunjukkan bahwa metodologi tidak selalu menggunakan istilah yang sama dengan cara yang persis sama (validitas isi dan dan validitas konstruk adalah contoh yang baik), Dalam konteks ini, penulis mempunyai kesempatan untuk berbicara tentang sifat inti ilmu sosial yaitu bahwa kita tidak melakukan penelitian dalam ruang hampa. Penelitian selalu dilakukan dalam dialog dengan orang lain, dan bagian dari dialog tersebut adalah negosiasi tentang bahasa yang kita gunakan. Secara umum, penulis menganggap bahwa buku ini telah menjalankan tugasnya dimana dapat digunakan dengan baik dalam berbagai mata kuliah. Mahasiswa penulis mungkin lebih sering membacanya tanpa pakasaan dibanding dengan buku teks yang panjang. Penulis biasanya menyarankan mahasiswa untuk membaca seluruh isi buku dengan sekali baca, dan kemudian membacanya lebih pelan dan cermat sebagai persiapan untuk menjalankan ide-ide di dalam kelas. Penulis secara khusus sangat senang dengan lulusan yang meminta salinan dari buku ini dimana mereka dapat me-refresh pengetahuan mereka tentang metode penelitian untuk program pasca sarjana dan tugas-tugas professional- hal ini menjadi penghargaan tersendiri terhadap hasil kerja penulis. Jika Anda menggunakan buku ini baik itu untuk buku teks primer maupun sumber pelengkap, atau rekomendasi sumber bacaan, penulis hanya meminta sedikit bantuan: (1) Ketika anda menyediakan buku teks ini kepada mahasiswa, silakan selalu menyertakan link untuk mengunduh file, Melihat banyaknya orang yang mengunduh adalah kesenangan tersendiri, dan penulis berencana untuk menambah lampiran tambahan, dengan demikian, file akan diupdate sesekali waktu. (2) Tolong kirim pesan singkat ke Alamat Christopher-Horne@utc.ed dengan memberi tahu penulis bahwa anda menggunakan buku ini. Penulis juga sangat terbuka dengan tanggapan dan umpan balik. Beberapa penyempurnaan dalam edisi keempat ini berasal dari umpan balik yang penulis terima dari instruktur dan mahasiswa dari seluruh penjuru dunia, yang tentu saja membuat penulis bersyukur. Terimakasih dan harapan terbaik untuk kesuksesan kelas metode penelitian. CSH Januari 2022 6
Pendahuluan dan Model Proses Penelitian Metode penelitian sosial adalah keterampilan dan teknik yang kita gunakan untuk memahami dan mengembangkan pengetahuan tentang fenomena sosial. Dalam buku ini, penulis secara spesifik tertarik untuk membahas metode penelitian ilmu sosial empiris sebagai metode untuk membangun pengetahuan. Ketika kita menggunakan istilah metode empiris, kita sedang membangun pengetahuan berdasarkan pengamatan. Bentuk-bentuk lain dari pengembangan pengetahuan seperti analisis hukum, penalaran filosofis, dan pembangunan teori juga sangat penting dalam ilmu sosial. Namun demikian, hal-hal tersebut tidak termasuk dalam fokus buku ini. Seperti fenomena sosial lainnya yang kita pelajari, proses penelitian sosial dapat digambarkan dalam bentuk model. Sebuah model tentunya adalah penyederhanaan dari realitas, dan tidak seharusnya disalahartikan sebagai kondisi nyata (kesalahan reifikasi: menganggap sesuatu yang abstrak: seperti ide, relasi, sistem dan lain-lain sebagai objek yang konkret). Realitas sosial lebih kompleks dan iteratif dari sekedar model yang dibuat. Dengan demikian, menstrukturkan pemikiran kita tentang proses riset menjadi sangat penting. Dibawah ini adalah model yang penulis rekomendasikan diadaptasi dari buku teks Edward Olson dan Laurence Jones (1996), penelitian Ilmu Politik. Gambar 1 Penelitian sebelumnya Mengidentifikasi pertanyaan penelitian Menggeneralisasi dan berteori Konseptualisasi Teori Analisis data Operasionalisasi mengumpulkan datayang terstruktur berdasarkan desain riset 7
Mengidentifikasi Pertanyaan Penelitian Model tersebut merepresentasikan proses penelitian yang melingkar (sirkuler), akan tetapi mengidentifikasi pertanyaan penelitian adalah sebuah langkah awal yang baik. Dalam tahap ini kita akan menentukan hal apa yang ingin kita pelajari lebih lanjut. Biasanya, namun tidak selalu, berbentuk kalimat pertanyaan, tetapi juga bisa berbentuk pernyataan tujuan penelitian. Ketika melaksanakan penelitian empiris, penting untuk memformulasikan sebuah pertanyaan yang dapat dijawab- atau pertanyaan dimana seseorang dapat mencoba menjawabnya- berdasarkan pengamatan. Sebuah pertanyaan sederhana, misalnya Berapa banyak kandidat pejabat publik yang menggunakan kampanye negatif untuk mengalihkan perhatian lawan politiknya? Kita dapat menjawabnya dengan jawaban yang dapat dipertahankan (walaupun sering kali kita tidak dapat memberi jawaban secara absolut dalam penelitian ilmu sosial) terhadap pertanyaan ini berdasarkan pengamatan. Ada beberapa jenis pertanyaan yang tidak mampu dijawab oleh penelitian sosial empiris. Penelitian ilmu sosial empiris tidak dapat menjawab pertanyaan yang bersifat normatif. Pertanyaan normatif adalah pertanyaan berdasarkan pendapat, nilai-nilai, dan preferensi subjektif. Pertanyaan normative seringkali mengandung kata-kata 'harus' misalnya: Haruskah kandidat pejabat publik menggunakan kampanye negatif dalam iklan politiknya? Haruskah donasi untuk gereja dikurangkan dari pajak? Haruskah korporasi membuka biaya untuk lobi- lobi politik? Haruskah universitas mempertimbangkan faktor ras dalam kebijakan penerimaan mahasiswa? Dalam contoh pertanyaan diatas, tidak ada pengamatan secara sistematis yang memberikan jawaban yang bisa dipertahankan, dimana, menjawab pertanyaan yang demikian adalah tentang nilai-nilai subjektif. Namun demikian-hal ini menjadi sangat penting-bahwa penelitian sosial empiris dapat membantu kita mengembangkan pendapat tentang apakah kandidat seharusnya menggunakan atau tidak menggunakan kampanye negatif dalam iklan politik, peneliti ilmu sosial empiris dapat meneliti pertanyaan empiris seperti: Bagaimana iklan kampanye negatif dapat mempengaruhi perilaku pemilih? dan Bagaimana iklan kampanye negatif dapat mempengaruhi pendapat para pemilih terhadap kandidat pejabat publik? Peneliti ilmu sosial tidak lari dari pertanyaan normatif- dimana pertanyaan normatif sering kali lebih menarik- tetapi sebaliknya mengambil kesempatan untuk melakukan penelitian empirik untuk menjelaskan pertanyaan normatif. Bahkan, meskipun terlalu menyederhanakan, adalah naif untuk menganggap penelitian sosial empirik bebas nilai. Nilai-nilai yang kita yakini mempengaruhi keputusan kita dalam seluruh tahapan proses penelitian, mulai dari apa yang kita pelajari, bagaimana melakukan pengamatan, bagaimana memahami apa yang kita amati, dan kita harus terus selalu berupaya secara sadar dan transparan tentang bagaimana potensi bias yang kita miliki dapat mempengaruhi penelitian kita. Masih menjadi pertanyaan menarik adalah penelitian tentang domain dari analisis hukum, filosofi, atau sejarah yang tidak termasuk dalam penelitian empiris. Analisis hukum dibutuhkan untuk menjawab pertanyaan seperti : Dapatkah pemerintah pusat menyerahkan wewenang ke pemerintah daerah untuk memperbolehkan atau melarang warga negara membawa senjata api di taman publik? Pertanyaan yang menyangkut fenomena sosial yang terjadi pada masa lalu (tidak dapat disangkal mempunyai standar yang ambigu) diserahkan kepada sejarawan, walaupun beberapa pertanyaan masih bisa dijawab dimana penelitian empiris dapat digunakan untuk mempelajari kejadian sejarah. 8
Perbedaan domain antara penelitian sosial empiris dengan disiplin sejarah membangkitkan poin penting: Ketika melaksanakan penelitian sosial empiris, tujuan kita adalah membangun pengetahuan yang dapat digeneralisasi, yaitu, kita biasanya dapat mengaplikasikan apa yang sudah kita pelajari dari pengamatan kita terhadap kasus, setting, dan waktu yang lain. Kita dapat mengamati sebuah pemungutan suara lokal, tetapi dengan tujuan utama untuk melakukan generalisasi yang dapat diaplikasikan dalam jurisdiksi lain, atau pemungutan suara yang lalu dan mendatang, atau terhadap partisipasi warga negara dalam pembuatan keputusan dalam level lokal. Sementara sejarawan mungkin melakukan penelitian untuk mendapatkan pengetahuan secara mendalam tentang sebuah kasus, kita sangat jarang melakukan proyek penelitian dengan tujuan menggeralisasi pengetahuan hanya bisa dilakukan pada objek yang diteliti. (Pengecualian sebagian terhadap hal ini adalah ketika kita melakukan penelitian studi kasus, yang akan didiskusikan kemudian). Pertanyaan penelitian empiris dapat mempunyai tujuan yang berbeda-beda. Beberapa pertanyaan dalam penelitian ilmu sosial empiris berupaya untuk mendeskripsikan fenomena sosial. Seringkali, Anda mendapati frase 'deskripsi belaka' , dan beberapa buku teks mengatakan bahwa deskripsi tidak diperhitungkan sebagai sebuah penelitian. Hal ini tentu tidak masuk akal. Mendeskripsikan fenomena sosial berdasarkan pengamatan sistematis tentu mempunyai legitimasi sebagai penelitian ilmu sosial. Ketika penulis-penulis buku teks mengurangi arti penting dari deskripsi, apa yang mereka pikirkan tentang tujuan penelitian yang lebih cocok adalah penjelasan (explanation) dan peramalan atau prediksi (prediction). Dengan tujuan penelitian tersebut, kita sekarang akan menelusuri pertanyaan tentang sebab-akibat atau kausalitas. Jika kita menjelaskan sesuatu, kita mengamati sesuatu tersebut terjadi, kemudian kita kembali melihat ke belakang, dalam hal, kita berupaya mencari tahu apa yang menyebabkan sesuatu itu terjadi : Mengapa pemilih independen dari kalangan menengah dan kalangan menengah-atas kemungkinan memilih kandidat dari partai demokrat dibanding pemilih independen dari kalangan menengah ke bawah dalam Pemilu gubernur yang lalu? Disini, kita mengamati sesuatu yang menarik yaitu Pemilu gubernur dan kita ingin tahu kejadian terdahulu, sebelum kita menjelaskannya. Jika kita memprediksi apa yang akan terjadi ke depan: Bagaimana pemilih independen dari kalangan menengah kebawah akan memilih pada Pemilu senat mendatang? Kita akan kembali pada pembahasan tentang kausalitas nanti. Pertanyaan penelitian dengan tujuan utama deskripsi, penjelasan, dan prediksi semuanya dapat dikejar menggunakan metode ilmu sosial. Tujuan penelitian yang keempat adalah pemahaman (understanding) yang terkait dengan metode pengumpulan dan analisis data kualitatif. Data kualitatif biasanya berupa kata-kata, akan tetapi juga bisa berupa gambar atau bunyi-pada dasarnya data selain angka-angka. Transkrip wawancara dengan manajer kampanye, teks administratif dari lembaga pemerintah, pendapat dari mahkamah agung, survey jawaban responden terhadap pertanyaan terbuka, dan gambar dari orang-orang yang sedang melakukan protes politik adalah contoh-contoh data kualitatif. (Data kuantitatif , dilain pihak, adalah numerik. Keterangan mengenai jenis-jenis data ini akan disampaikan kemudian). Dengan tujuan penelitian untuk mendapatkan pemahaman, dalam hal ini, kita verstehen, yang berasal dari bahasa Jerman yang berarti memahami pengalaman subjektif seseorang, peneliti ingin mendapatkan pemahaman yang mendalam tentang pendapat, sikap, motivasi, kepercayaan, peta konseptual, dan lains sebagainya. Secara khusus, hal ini dapat dilakukan dengan berbicara dengan objek penelitian, mendengarkan cerita mereka, membaca apa yang mereka tulis-yaitu 9
pengumpulan data yang diasosiasikan dengan pertanyaan penelitian untuk mencapai tujuan pemahaman melalui verstehen. Menjadi jelas bahwa proyek penelitian dengan tujuan deskripsi, penjelasan, dan prediksi menggunakan beragam metode penelitian meliputi pengumpulan data baik data kuantitatif maupun data kualitatif; proyek penelitian dengan tujuan memperoleh pemahaman (verstehen), umumnya menggunakan metode dengan pengumpulan data kualitatif. Pertanyaan penelitian, selanjutnya, dapat dikembangkan menjadi satu atau lebih dari keempat jenis tujuan-deskripsi, penjelasan, prediksi, dan pemahaman-tetapi dari manakah pertanyaan penelitian muncul? Dalam hal tertentu, mahasiswa biasanya akan ketakutan pada saat berada di halaman kosong: Darimanakah saya mulai? Apa pertanyaan penelitian saya? Pertanyaan penelitian dapat secara tiba-tiba datang di dalam inspirasi, tetapi, biasanya membutuhkan kerja keras. Penulis pikir, peneliti ilmu sosial akan sependapat jika pertanyaan penelitian datang dari kombinasi antara empat titik tolak yaitu deduksi, induksi, penelitian sebelumnya, dan apa yang akan penulis jelaskan saat ini sebagai salah satu rahasia profesi peneliti. Buku teks klasik menjawab pertanyaan darimana pertanyaan penelitian muncul adalah dari deduksi teori. Dengan menggunakan cara berpikir deduktif, kita mulai dengan teori dan melakukan deduksi untuk mendapatkan pertanyaan penelitian sesuai dengan yang disarankan buku teks. Sebelum membahas lebih jauh ke dalam deduksi pertanyaan penelitian, kita harus berhenti sejenak untuk membahas teori sebagai sebuah terminologi. Sebuah teori secara sederhana adalah seperangkat konsep dan hubungan dari konsep-konsep yang membantu kita untuk memahami atau menjelaskan suatu fenomena sosial. Seringkali, teori sangat formal dan ditulis dalam pernyataan-pernyataan definitif dan dispesifikasi kedalam seperangkat konsep; sehingga jelas konsep mana yang masuk kedalam teori dan konsep mana yang tidak. Teori hirarki kebutuhan dari Maslow msialnya -yang memodelkan motivasi manusia dan diajarkan dalam kelas sarjana-merupakan salah satu contoh teori formal. Dalam teori ini, seperangkat konsep spesifik (kebutuhan untuk sosialisasi, kebutuhan akan keamanan, dan seterusnya) berhubungan dengan cara menjelaskan mengapa orang-orang melakukan apa yang mereka lakukan. Teori- teori lain mungkin lebih longgar. Teori sosial terus berkembang dan dihasilkan dari berbagai macam tulisan dan dirakit melalui arah dan cara yang berbeda-beda oleh berbagai macam orang, dan mungkin terjadi ketidaksepakatan mengenai konsep mana yang dapat dimasukkan dalam teori dan konsep mana yang tidak. Penulis menggunakan sesuatu yang sebut 'kerumunan teori' sebagaimana hal ini berlaku untuk konsep sumbangan amal kepada organisasi non profit, dan harus memodifikasi dengan cara membaca apa yang ditulis orang tentang teori tersebut. Versi penulis akan terlihat mirip dengan yang lain, tetapi tidak identik. Formulasi teori dari penulis berhubungan dengan konsep-konsep seperti sumbangan amal, anggaran dari pemerintah, persepsi pendonor tentang anggaran pemerintah, dan kapasitas manajerial organisasi non-profit untuk memprediksi bagaimana donor amal bereaksi terhadap organisasi non-profit yang menerima berbagai macam subsidi dari pemerintah. (Sebagai selingan, mahasiswa yang tertarik untuk mempelajari kebijakan publik, program, organisasi, model dari program, kebijakan, dan organosasi seringkali berperan dalam teori dan proses penelitian. Model logis misalkan menganalogikan sebuah program sebagai masukan (input), proses/aktivitas, luaran (output), dan hasil (outcome)-tidak seperti seperangkat konsep 10
dan hubungan konsep-konsep tersebut. Penulis memberikan contoh model logis dan bagaimana model tersebut dapat menjadi referensi berbagai pertanyaan penelitian terapan. Lampiran A). Seandainya Anda tidak membaca paragraf terakhir, Anda seharusnya membaca Lampiran A juga, Anda akan menemukan contoh-contoh formulasi pertanyaan penelitian empiris. Sebuah teori (atau program , kebijakan, atau model organisasi) tidak perlu rumit, tetapi mahasiswa seperti juga pada saat penulis menjadi mahasiswa sarjana (dan bahkan pasca sarjana), diintimidasi oleh teori. Pada saat itu, penulis tidak memahami apa yang dimaksud dengan teori, dan penulis juga berpikir bahwa teori dapat ditangani lebih baik oleh para (peneliti) profesional. Seperti kebanyakan mahasiswa, penulis beranggapan bahwa teori seperti mobil antik-yaitu mobil yang yang dijaga keasliannya, mengkilap dan sempurna dan disimpan dalam garasi dengan pengatur suhu, yang dikeluarkan hanya pada saat ada pemeran, setelah itu disimpan kembali kedalam garasi. Ternyata, peneliti tidak melihat teori dengan analogi seperti itu. Sebaliknya, mereka melihat teori sebagai sebagai sebuah truk pengangkut barang . Truk tersebut bagus sepanjang bisa melakukan tugasnya. Tidak masalah jika truk tersebut mengalami gangguan. Truk-truk tersebut tidak hanya untuk pameran, teori dalam analogi sebuah truk digunakan untuk membantu peneliti memahami dunia. (Penulis mencuri analogi ini dari Prof. Gordin Kingsley, tetapi, seperti teori yang bagus, penulis memodifikasi sesuai dengan tujuan penulisan. Seperti disarankan oleh model proses penelitian, posisi teori terletak pada pusat seluruh proses penelitian (tidak pada awal seperti model-model yang lainnya). Dalam hal ini teori menyentuh setiap proses, termasuk mengidentifikasi pertanyaan penelitian. Untuk menyusun pertanyaan penelitian, kita dapat memulai dengan teori dan konsep dan hubungan antara konsep untuk memformulasi pertanyaan penelitian-pertanyaan yang secara esensial mempertanyakan apakah sebuah teori cocok dengan pengamatan di dunia nyata. Teori hirarki kebutuhan Maslow misalnya, dapat memberikan inspirasi pertanyaan, Apakah pemilih yang kebutuhan pokoknya belum terpenuhi akan lebih mendukung kandidat politik yang menjanjikan keamanan dan kebutuhan dasar bagi warga negara? Disini, kita merancang pertanyaan penelitian dengan menggunakan teori sebagai titik awal dalam memahami sebuah fenomena politik. Bagaimana caranya? Teori membantu kita mengidentifikasi konsep yang relevan seperti: kebutuhan akan keamanan dan kebutuhan dasar pemilih, janji kandidat politik, dan potensi hubungan antar konsep dengan apa yang ingin kita jelaskan, yaitu pilihan dari pemilih terhadap kandidat. (seperti kebanyakan penelitian empiris dengan menggunakan teori Maslow, sayangnya, kita mungkin akan menemukan kesulitan untuk mendapatkan bukti empiris sebagai pendukung). Pertanyaan penelitian juga dapat dikembangkan secara induktif dengan mengamati fenomena sosial kemudian mengembangkan pertanyaan berdasarkan apa yang kita dapatkan pada saat pengamatan. Mungkin, anda mengamati bahwa lebih banyak laki-laki daripada perempuan dalam kelas ilmu politik dibanding kelas yang lain. Maka anda dapat menyusun sebuah pertanyaan sederhana: Apakah laki-laki cenderung mengambil kelas ilmu politik dibanding perempuan? Atau bagaimana jenis kelamin mahasiswa berhubungan dengan pilihan mengikuti kelas? Atau bagaimana sosialisasi gender mempengaruhi pilihan jurusan? Peneliti dengan orientasi aplikatif mungkin mempunyai masalah teknis dari pengalaman mereka dan berupaya untuk mengembangkan pertanyaan penelitian sebagai upaya untuk mengatasi permasalahan tersebut: Mengapa lama waktu pengurusan tunjangan pegawai meningkat 50% daripada tahun lalu? Anda dapat menemukan pengamatan sederhana yang merefleksikan keteraturan yang 11
terkonfirmasi melalui pengamatan yang sistematik, dan, akhirnya, Anda bahkan dapat mengembangkan teori atau memodifikasi teori yang sudah ada berdasarkan apa yang telah anda pelajari dari pengamatan. Dengan demikian, bahwa proses deduktif memulai dari teori dan generalisasi yang mengarah pada pengamatan, proses induktif memulainya dari pengamatan yang mengarah pada generalisasi dan teori. Model proses penelitian juga merujuk pada sumber dari pertanyaan penelitian yaitu penelitian- penelitian sebelumnya. Penelitian sebelumnya biasanya mengacu pada semua publikasi dan laporan hasil penelitian terhadap sebuah topik. Kita menggunakan penelitian sebelumnya untuk mengembangkan pertanyaan penelitian dengan menggunakan beberapa cara. Jika ada sebuah fenomena sosial yang mau kita pelajari, sebuah langkah jitu adalah membaca penelitian sebelumnya tentang topik tersebut. Ketika kita paham tentang bangun pengetahuan, kita dapat mengidentifikasi celah, inkonsistensi, pertanyaan yang belum terpecahkan, dan arah penelitian yang disarankan oleh literatur. Hal ini membutuhkan langkah kecil yang lebih jauh untuk mengembangkan pertanyaan penelitian. Terkadang, menggunakan penelitian sebelumnya lebih harfiah, seringkali, sebuah artikel, bagian, atau buku berisi satu bagian khusus seperti "rekomendasi dan penelitian ke depan" dan voila, anda mendapatkan sebuah pertanyaan penelitian. (sebagaimana digambarkan dalam model proses penelitian, menghasilkan pertanyaan penelitian tidak hanya berasal dari penelitian sebelumnya; akan tetapi melalui seluruh proses penelitian, sebagai mana kita akan mengetahuinya). Lalu ada sedikit rahasia dari profesi peneliti sosial. Kadang-kadang penulis tidak berangkat dari teori, tidak dari pengamatan, bukan dari penelitian sebelumnya, akan tetapi (tanpa malu- malu) dari data yang tersedia. Peneliti ahli dapat menyisir data untuk mencari pertanyaan penelitian. Apakah anda mempunyai akses data dari survei sosial, survei opini publik setiap dua tahun sekali? Baca daftar isi, temukan beberapa pertanyaan yang mungkin dikembangkan, dan cobalah. Biarkan data yang tersedia-bukan teoretik atau praktikal atau bahkan pengamatan sederhana dana-membuat anda tertarik dengan sebuah ide pertanyaan penelitian.Pendekatan seperti ini berkali-kali dikritik karena berbau 'memancing data' dikenal dengan 'data fishing'; akan selalu ada kemungkinan untuk menangkap pola dalam seperangkat data, meskipun hanya sebuah kebetulan. Data fishing adalah aktivitas yang dilakukan untuk mengeksploitasi pola 'kebetulan' dengan membuatnya kelihatan penting, walaupun sebenarnya tidak penting dan relevan. Praktik seperti ini bukanlah titik awal yang baik dalam memulai penelitian. Namun hal ini sering terjadi. Dosen tidak tetap dan mahasiswa doktoral seringkali ada bawah tekanan untuk mempublikasikan hasil penelitian, dan apabila belum beruntung, maka penelitian dengan hasil hipotesis null (tidak sesuai dengan hipotesis) sangat jarang diterima untuk publikasi. Akan lebih aman berangkat dari pola yang didapatkan dari data kemudian mencari cara bagaimana membuatnya seakan-akan penting, seperti yang sedang dicari dalam sebuah penelitian. Pendekatan seperti ini tidak sepenuhnya buruk, ada cara yang lebih absah untuk melakukan penambangan data/data mining (dalam terminologi positif). Data dikumpulkan karena peneliti menganggap data-data tersebut penting, jadi hal ini lebih meyakinkan bahwa peneliti dapat menemukan data yang penting dan pola-pola dalam data tersebut. Data fishing yang tersamar dapat dengan cepat dikenali dan tidak dihargai oleh peneliti-peneliti lain. Sebelum merangkum pembahasan kita tentang pertanyaan penelitian, sebaiknya kita menyediakan waktu beberapa saat untuk membongkar dan memahami gagasan tentang 12
kausalitas. Tiga konsep akan membantu kita memahami bagaimana ilmu sosial menjawab pertanyaan yang mengandung hubungan sebab-akibat: kausalitas probabilistik, kausalitas ganda, dan mekanisme sebab-akibat. Ketika kita membicarakan kausalitas dalam ilmu sosial, jarang sekali kita memberikan klaim kausalitas absolut. Jenis kausalitas yang ada dalam ilmu fisika adalah kausalitas deterministik, yang berarti kepastian hubungan sebab-akibat: misal menekan tombol mengakibatkan lampu menyala. Dalam ilmu-ilmu sosial, kita hampir selalu mempelajari kausalitas probabilistik, yang berarti hubungan sebab-akibat yang kurang lebih bisa terjadi: masyarakat cenderung tidak memilih petahana ketika tingkat pengangguran tinggi. Kita juga hampir selalu menjelaskan dan memprediksi fenomena yang mempunyai variabel ganda-kausalitas ganda. Mengapa orang mempunyai pendapatan yang lebih tinggi dibandingkan yang lain? Hal ini tentu mempunyai banyak sebab-pendidikan, umur, kemampuan, kekayaan orang tua, motivasi, diskriminasi, kesempatan, pilihan pekerjaan, sikap terhadap pekerjaan dan uang, dan seterusnya. Kemudian sebab-sebab tersebut juga saling mempengaruhi. Banyak penelitian sosial yang lebih canggih berupaya untuk menjawab kompleksitas ini yaitu interaksi dan hubungan antara sebab dan akibat. Ketika kita membuat klaim kausalitas seperti umur memengaruhi pendapatan, kita sedang menutupi hubungan dan interaksi yang kompleks dari sebab-akibat. Apakah umur kita, secara inheren, mempengaruhi pendapatan? Mungkin tidak. Umur berpengaruh terhadap pendapatan dalam hal, hubungan yang dapat dipertahankan, sebagai manifestasi dari mekanisme kausalitas yang lebih kompleks. Model analisis ini menjelaskan mengapa umur terlihat mempengaruhi pendapatan-cerita sebab-akibat tentang perkembangan biologis, akumulasi pendidikan dan pengalaman, dan tuntutan dari jenjang kehidupan yang berbeda. Kita akan membahas kembali tentang mekanisme kausalitas pada bagian selanjutnya pada saat kita mempelajari variabel bebas/independen dan terikat/dependen. Konseptualisasi dan Operasionalisasi (dan juga membuat Hipotesis) Pertanyaan adalah titik awal yang penting, tetapi sering kali terlalu abstrak. Jika kita memang melakukan pengamatan secara langsung, kita perlu tahu secara spesifik apa yang akan kita amati. Konseptualisasi adalah langkah menuju ke arah tersebut. Dalam tahap ini, kita menentukan konsep-konsep dan hubungan antara konsep-konsep tersebut yang perlu kita amati. Pertanyaan penelitian seperti: Bagaimana pendanaan dari pemerintah mempengaruhi organisasi non-profit? Pertanyaan ini bagus, tetapi peneliti harus mengidentifikasi apa yang harus diamati secara spesifik. Teori dan penelitian sebelumnya membantu identifikasi seperangkat konsep yang perlu dipertimbangkan: jenis pendanaan pemerintah, jumlah pendanaan, efek terhadap penggalangan dana, efek terhadap manajemen operasional, kapasitas manajemen, sikap donor, kebijakan lembaga perantara, dan seterusnya. Hal-hal tersebut membantu dalam tahap ini, yaitu apa yang disebut dengan definisi nominal dari konsep yang penting penelitian. Definisi-definisi ini seperti yang Anda temukan dalam kamus, tetapi disesuaikan dengan konteks penelitian; definisi nominal tentang subsidi pemerintah akan menggambarkan apa yang dimaksud dalam penelitian, ketika peneliti menggunakan terminologi tersebut. Setelah mengidentifikasi konsep secara definitif, kita siap untuk mengoperasionalkan sebuah konsep untuk mendeskripsikannya dan bagaimana mengukurnya. (beberapa penulis lain menyebutnya sebagai definisi operasional, yang menurut penulis seringkali membingungkan mahasiswa karena tidak seperti sebuah definisi). Operasionalisasi adalah dimana kita mendapatkan hal yang konkret: untuk mengoperasionalisasi konsep tentang pendapatan sebuah 13
organsisasi non-profit, kita mengoperasionalkannya dalam jumlah dolar yang diperoleh yang tercatat dalam formular 990 (statemen keuangan organisasi non-profit yang harus diisi tahunan). Jumlah dolar inilah yang akan menjadi ukuran dari pendapatan organisasi non-profit. Terkadang, kita mengoperasionalisasi konsep secara tidak langsung. Dukungan publik untuk organisasi non-profit, misalnya, lebih sulit untuk dioperasionalisasikan. Kita bisa saja menuliskan definisi nominal dari konsep tersebut yaitu hal-hal yang terkait dengan keaktifan terhadap misi organisasi non-profit. Kita dapat individual dalam dukungan nyata mengoperasionalisasi konsep ini dengan mencatat jumlah kontribusi sumbangan secara langsung, jumlah kontribusi sumbangan secara tidak langsung, pendapatan dari kegiatan penggalangan dana, dan jumlah jam kegiatan sukarela. Sebagai catatan, ketika kita mengoperasionalisasikan pendapatan non-profit, operasionalisasi menghasilkan ukuran tunggal. Ketika kita mengoperasionalisasikan dukungan publik, kita menghasilkan ukuran-ukuran (lebih dari satu). Dukungan publik lebih luas dan lebih kompleks secara konseptual, dan sulit untuk hanya menggunakan satu ukuran yang secara meyakinkan merepresentasikan konsep. Juga ketika kita menggunakan ukuran secara tidak langsung, seperti dukungan publik, kita sering menggunakan istilah indikator daripada ukuran. Istilah indikator akan lebih akurat. Kita semua tahu bahwa untuk mengukur hal yang abstrak seperti dukungan publik adalah hampir pasti tidak mungkin dilakukan, maka dari itu, konstruksi sosial adalah sesuatu yang tidak konkret. Ukuran yang kita pakai mengindikasikan tingkat dukungan publik, daripada mengukur (secara sebenarnya) konsep tersebut. Penulis baru saja menyebutkan terminologi konstruksi sosial, maka kita akan menghadapi isu- isu dimana, sejauh ini, kita tidak bisa mengelak. Banyak dari konsep yang akan kita amati tidaklah dapat diamati karena tidak dapat dilihat, dirasakan, didengar, dikecap, dan dirasakan oleh panca indra. Tetapi, Bukankah kita diharapkan untuk membangun pengetahuan dari pengamatan? Apakah konsep-konsep yang sulit diamati membatasi kita untuk melakukan penelitian sosial empiris? Mari berharap hal ini tidak terjadi! Banyak dari konsep-konsep penting (mungkin konsep-konsep penting adalah konstruksi sosial) adalah konstruksi sosial, terminologi yang tidak punya arti apabila kita, secara kolektif, memberikan arti terhadapnya. Pertimbangkan konsep literasi politik, prasangka ras, keinginan pemilih, motivasi pekerja, harga diri, kapasitas manajerial, efektivitas penggalangan dana, introvert, dan idelogi konstitusi. Terminologi-terminologi ini adalah notasi singkat dari karakter yang kita semua kurang lebih setuju menjadi milik konsep yang diberi nama tersebut. Apakah kita dapat mengamati ideologi politik? Tidak secara langsung, namun kita lebih setuju pada pengamatan sebagai indikator dari ideologi politik. Kita dapat mengamati perilaku, seperti menempel stiker pada bemper belakang mobil, bagaimana seseorang merespon kuesioner, kita dapat mendengar bagaimana seseorang merespon pertanyaan wawancara. Kita tahu bahwa kita tidak secara langsung mengukur ideologi politik (yang mana tidak mungkin dilakukan karena termasuk dalam konstruksi sosial), tetapi kita dapat meyakinkan orang lain bahwa ukuran tentang ideologi politik masuk akal (yang mana terkesan cocok, lagi-lagi, konsep tersebut adalah konstruksi sosial). Masing-masing indikator atau ukuran-pengamatan yang kita lakukan berulang-ulang- menghasilkan sebuah variabel. Terminologi variabel adalah salah satu dari terminologi yang mudah dipahami dengan contoh-contoh daripada dengan definisi. Definisi, bagaimanapun, adalah sesuatu seperti "sebuah pengelompokan logis dari atribut." (tidak begitu membantu ya!). 14
mari pikirkan berbagai macam atribut yang dapat mendeskripsikan Anda dan teman-teman Anda: rambut coklat, mata biru, tinggi 6'22" kaki, mata coklat, rambut hitam, 19 tahun, tinggi 5'8'', mata biru dan seterusnya. Tentu saja, beberapa dari atribut-atribut tersebut dapat dikelompokkan bersama seperti mata hijau, mata coklat, dan mata biru. Kita dapat mengelompokkannya dan memberi label: warna mata. Warna mata dalam hal ini adalah variabel. Dalam contoh ini, warna mata mempunyai nilai atau values: hijau, coklat, dan biru. Dalam banyak disain penelitian, tujuan kita dalam melakukan pengamatan adalah menetapkan nilai dari variabel atau kasus. Kasus dalam contoh diatas adalah Anda dan teman-teman Anda dimana kita melakukan pengamatan dan menetapkan nilai. Dalam penelitian sosial, kasus seringkali berada pada level individu (pemilih atau responden) atau kelompok (keluarga atau organisasi), akan tetapi kasus juga dapat berupa keputusan pengadilan, Pemilu, negara, komite, dan sesuatu atau fenomena yang dapat diamati yang jumlahnya tidak terbatas. Terminologi unit analisis (unit of analysis) digunakan untuk mendeskripsikan kasus, juga, hal ini lebih pada terminologi secara umum; jika kasus anda adalah petugas pemadam kebakaran, maka unit analisis adalah individu. Dengan terminologi-terminologi yang penting-kasus, variabel, nilai- dibawah ini adalah contoh-contoh kasus, variabel, dan nilainya. ▪ Kasus: mahasiswa level sarjana, variabel: klasifikasi, nilai: mahasiswa baru, mahasiswa tahun kedua, mahasiswa senior. ▪ Kasus: Negara bagian, variabel: berlaku tidaknya referendum dari warga negara, nilai: ya, tidak ▪ Kasus: Negara, variabel: jenis pemungutan suara, nilai: mencoblos manual, model kartu, elektronik ▪ Kasus: Klien, variabel: lama waktu untuk bertemu dengan kanselir, nilai: lama waktu dalam menit ▪ Kasus: Perbedaan pendapat dalam keputusan Mahkamah Agung, variabel: jumlah tanda tangan, nilai: angka dari 0-4 ▪ Kasus: Jurusan kriminologi, variabel: Indeks prestasi kumultif mahasiswa, nilai: angka 0- 4.0 Peneliti mempunyai bahasa dalam menjelaskan variabel. Pengukuran variabel menggambarkan struktur dari nilai yaitu: nominal, ordinal, interval, dan rasio. Nominal dan ordinal adalah nilai kategoris; nilainya membagi kasus menjadi kategori yang berbeda. Nilai nominal tidak mempunyai urutan. Variabel jenis kelamin terdiri dari laki-laki dan perempuan, warna mata: biru, coklat, hijau; jurusan: ilmu politik, sosiologi, biologi. Meletakkan urutan: biru, coklat, hijau sama seperti urutan lain coklat, biru, hijau. Nilai ordinal memiliki urutan. Klasifikasi mahasiswa baru, mahasiswa tahun kedua, mahasiswa senior; level metode penelitian: rendah, sedang, tinggi; ranking kelas: pertama, kedua, dan seterusnya. Nilai ini mempunyai makna urutan dari yang pertama-terakhir, paling sedikit-paling tinggi, terbaik- terjelek dan seterusnya. Poin yang membingungkan harus dihindari: Ketika kita mengumpulkan dan mencatat data, seringkali kita menetapkan angka untuk memberikan nilai kategoris (seperti: rambut coklat=1), tetapi hal ini dilakukan hanya untuk kemudahan saja. Angka tersebut hanyalah penunjuk dari nilai aktual yaitu nilai kategoris. Ketika nilai adalah numerik, maka variabelnya adalah variabel numerik. Jika nilai variabel adalah 28, ini berarti ada 28 sesuatu/nilai dalam variabel tersebut- 28 derajat, 28 suara, 28 15
pound, 28 persen. Variabel jenis ini dapat ditambahkurangkan. Jika salah satu negara bagian mempunyai tingkat pengangguran 12%, maka dia mempunyai 3% lebih tinggi daripada negara bagian yang mempunyai tingkat pengangguran 9 %. Variabel numerik dapat berupa nilai interval dan rasio. Ketika variabel itu rasio memperoleh nilai 0, maka 0 adalah 0-yang berarti tidak ada nilai dari pengukuran. 0 suara berarti tidak ada suara yang masuk, 0 wakil rakyat terpilih berarti tidak ada wakil rakyat terpilih. Hampir semua variabel numerik yang digunakan dalam penelitian sosial adalah rasio. (Sebagai catatan: nilai rasio seperti tinggi badan, umur, jumlah wakil rakyat, tidak akan pernah sebagai angka nol, akan tetapi jika ada data dengan nilai nol, maka nol disini berarti tidak ada). Terkadang, nol dapat berarti sesuatu, dan ini sering terjadi pada nilai interval. 0 C (nol derajat Celsius) bukan berarti tidak ada derajatnya. Tahun ke-nol juga bukan berarti tidak ada tahunnya. Kita dapat menambah dan mengurangi varabel dengan nilai interval, tetapi kita tidak dapat mengalikan atau membagi bilangan tersebut. Seseorang yang lahir pada tahun 996 tidak berarti umurnya setengah dari orang yang lahir tahun 1992, dan 90 C tidak berarti dua kali lebih panas dari 45C. Kita dapat memilih pengukuran ketika akan mengkonstruk variabel. Kita dapat mengukur umur dengan nilai rasio (berapa kali Anda ulang tahun) atau dengan nilai ordinal (0-10, 11-20, 21-30 atau lebih dari 30). Kita harus secara intensional dalam memilih jenis nilai variabel karena hal ini akan berpengaruh pada analisis statistik yang kan dilakukan kemudian. Jika kita mempunyai data rasio, kita dapat melakukan analisis statistik apa saja yang kita mau, tetapi pilihan kita terbatas jika data kita adalah data interval, apalagi ordinal dan nominal. (lihat lampiran E tentang koding secara dummy yang membantu mengubah data kategoris menjadi rasio). Variabel dapat juga digambarkan dalam bentuk berlanjut/kontinyu dan diskrit. Seperti halnya level pengukuran, kita melihatnya dari nilai variabel untuk menentukan apakah variabel dimaksud kontinyu atau diskrit. Semua variabel kategoris adalah diskrit, yang berarti menunjuk pada angka diskrit yang spesifik. Hal ini tentu kontras dengan variabel numerik (walaupun tidak semua). Ambil temperatur sebagai contoh. Dari dua nilai temperatur, kita dapat membayangkan sebuah kasus dengan angka antara dari dua angka sebagai berikut. Jika temperatur hari Senin adalah 62.50C dan temperatur pada hari Selasa 63.00 C, dan hari Rabu sebesar 62.750 C. Temperatur dalam kasus ini adalah tingkatan yang berarti variabel kontinyus. Dalam kasus yang lain, angka numerik adalah variabel diskrit. Variabel apapun yang berupa sesuatu yang bisa dihitung adalah diskrit. Untuk variabel jumlah bersaudara, Ana mempunyai dua saudara dan Henry mempunyai tiga saudara. Kita tidak dapat membayangkan seseorang yang mempunyai saudara antara dua dan tiga-tidak ada seorangpun ynag mempunyai saudara sebanyak 2.5. Jumlah saudara, dengan demikian, adalah variabel diskrit. (Catatan: beberapa buku teks dan website menyebutkan bahwa semua angka numerik adalah variabel diskrit, yang mana, tidaklah tepat. Jangan sampai salah paham dengan hal ini). Jika kita ingin melakukan penelitian kausalitas, kita dapat membagi variabel berdasarkan perannya dalam menjelaskan sebab-akibat. Variabel sebab adalah variabel bebas (independen). Variabel akibat adalah variabel terikat (dependen). Jika anda tertarik untuk menentukan sebab dari tingkat pendidikan terhadap identifikasi partai politik, maka tingkat pendidikan adalah variabel bebas dan identifikasi partai politik adalah variabel terikat. 16
Penulis sedikit longgar dengan penggunaan sebab dan akibat disini. Lihat kembali konsep tentang mekanisme sebab-akibat! Kita dapat mengidentifikasi variabel bebas dan terikat yang benar-benar mewakili hubungan yang komplek dari mekanisme sebab akibat. Sebagai contoh, mengapa orang memberikan sumbangan? Sedikitnya ada empat penelitian yang mempertanyakan apakah orang-orang cenderung akan memberikan sumbangan kepada seseorang yang berpakaian bagus. (Lihat contoh-contoh studi yang disitasi dalam Bekkers dan Wieping 2010 'Sebuah review literatur tentang penelitian empiris dari filantropi'NonProfit and Voluntary Sector Quarterly, Volume 40 halaman 924, yang penulis rekomendasikan dimana penelitian ilmu sosial mengeksplorasi pertanyaan kausalitas). Apakah peneliti percaya bahwa kualitas berpakaian mungkin berpengaruh terhadap altruisme? Mungkin saja tetapi tidak tepat sepenuhnya. Kemungkinan besar, mereka percaya bahwa persepsi calon donor terhadap pengumpul sumbangan dapat membentuk sikap mereka terhadap permintaan sumbangan, yang mana akan membuat mereka lebih kurang akan merespon secara positif. Hal ini sedikit mereduksi untuk mengatakan bahwa kualitas berpakaian pengumpul sumbangan menyebabkan orang untuk memberikan donasi, tetapi masih menggunakan istilah variabel bebas dan variabel terikat sebagai label untuk kualitas berpakaian pengumpul sumbangan dan kemungkinan orang untuk memberikan donasi. Pikirkanlah baik-baik bagaimana karakteristik demografik dapat diaplikasikan sebagai variabel bebas-kadang-kadang akan lebih membantu dengan sebutan variabel penjelas (explanatory). Perempuan, rata-rata, mendapatkan gaji lebih rendah daripada perempuan. Apakah jenis kelamin menjadi penyebab gaji? Tidak sepenuhnya tepat, walaupun kita memberikan label jenis kelamin sebagai variabel bebas dan gaji sebagai variabel terikat. Hal yang mendasari hubungan dua variabel ini begitu kompleks, berinteraksi dan faktor penyebab antara lain sosialisasi gender, diskriminasi, pilihan pekerjaan, sistem ekonomi yang menghargai pekerjaan, kebijakan cuti keluarga, lama waktu dalam pasar lapangan kerja lebih menjelaskan hubungan sebab akibat dalam model hipotesis dimaksud. Mengidentifikasi variabel bebas dan variabel terikat seringkali begitu sulit bagi mahasiswa. Jika Anda tidak yakin dengan identifikasi tersebut, cobalah memasukkan variabel dalam frase dibawah ini: Variabel bebas menyebabkan variabel terikat • Perubahan pada variabel bebas menyebabkan perubahan pada variabel terikat • Variabel bebas mempengaruhi variabel terikat • Variabel terikat sebagian ditentukan oleh variabel bebas • Perubahan pada variabel bebas memprediksi perubahan pada variabel terikat • Variabel terikat sebagian dijelaskan oleh variabel bebas • Variabel terikat tergantung dari variabel bebas Di bagian akhir dari bab desain penelitian formal, kita akan belajar tentang variabel kontrol, tipe yang lain dari variabel dalam penelitian kausalitas yang seringkali digunakan bersamaan dengan variabel bebas dan terikat. Terkadang, jika kita mengumpulkan data kuantitatif dan merencanakan analisis statistik inferensial, kita juga menentukan hipotesis dalam tahap ini. Hipotesis adalah pernyataan dari hubungan antara dua atau lebih variabel. Seperti operasionalisasi konsep, memformulasikan hipotesis membutuhkan pernyataan yang spesifik. Hipotesis yang baik tidak hanya memprediksi dua (atau lebih) variabel yang berhubungan, tetapi bagaimana penjelasan hubungan tersebut. Jadi, bukan mahasiswa ilmu politik dengan pengalaman sebagai 17
sukarelawan berhubungan dengan pilihan mata kuliah, tetapi, Mahasiswa ilmu politik dengan pengalaman sukarelawan cenderung memilih mata kuliah kebijakan publik, administrasi publik, dan manajemen non profit. Sebagai catatan, anda harus menyimpulkan variabel yang aktual; hipotesis seringkali mengacu pada pengukuran yang spesifik. Disini mata kuliah kebijakan publik, administrasi publik, dan manajemen non profit adalah ukuran/nilai dari variabel yaitu jenis mata kuliah. Pengumpulan data pada desain penelitian formal Pengumpulan data adalah aktivitas dari pengamatan sistematis. Pencatatan dari pengamatan kita menjadi data dalam penelitian. Keputusan yang akan diambil oleh peneliti dalam pengumpulan data bisa mencakup banyak hal: Apa dan siapa yang akan menjadi objek studi kasus dalam penelitian? Data jenis apa yang akan dikumpulkan? Bagaimana kita menstrkturkan data dimana data tersebut dapat meyakinkan untuk menarik kesimpulan? Pengambilan sampel Penentuan kasus yang akan diamati adalah tugas dari pengambilan sampel. Jika Anda akan pergi untuk mengumpulkan data dari orang-orang, Anda mungkin akan berbicara dengan setiap orang yang cocok dengan studi Anda, hal ini disebut dengan populasi. Jika Anda mempelajari 50 komisioner pemilihan umum, dan Anda berbicara kepada 50 anggota komisioner tersebut, maka hal ini disebut dengan sensus. Seringkali kita hanya dapat mengambil data dari sebagian populasi yaitu sampel. Kita merancang kerangka memilih sampel, yaitu daftar kasus dimana kita memilih sampel-yang secara ideal seluruh kasus dalam populasi-akan tetapi kasus mana yang akan kita pilih menjadi sampel? Kita menentukan kasus dalam sampel kita dengan mengikuti desain sampel, yang secara umum dapat digolongkan menjadi: desain pemilihan sampel probabilitas dan desain pemilihan sampel non-probabilitas. Dalam disain pemilihan sampel probabilitas, tiap kasus dalam populasi mempunyai kesempatan yang sama (lebih dari 0) untuk dipilih menjadi sampel. Fitur dari disain ini sejalan dengan teorema limit pusat dan hukum dari angka jumlah besar, yang memberikan keleluasaan analisis. Jika kita mengumpulkan data kuantitatif dalam sampel kita, kita dapat menggunakan data tersebut untuk mengkalkulasi statistics-simpulan karakteristik dari sampel, seperti median atau korelasi antar dua varaibel. Jika kita mengikuti disain pemilihan sampel probabilitas, kita dapat menggunakannya mengestimasi parameter-kuantifikasi yang sesuai dari karakteristik populasi-yang dikenal dengan tingkat kepercayaan dan akurasi. Hal inilah yang terjadi misalnya anda membaca hasil survei dalan surat kabar: ± 3 poin pada 95% tingkat kepercayaan. Sebagai contoh: jika 30% dari seluruh sampel mengatakan akan tertarik bekerja untuk pemerintah, maka kita percaya jika kita mengulang survey seribu kali, 95% dari waktu (tingkat kepercayaan) kita akan menemukan antara 27 dan 33% (hal ini dikarenakan ± 3 adalah level akurasi) dari responden yang akan menjawab dengan jawaban yang sama. Atau dengan kata lain, kita yakin 95% bahwa 27-33% dari populasi akan tertarik untuk bekerja di pemerintahan. Sekali lagi, kalkulasi statistik pemilihan sampel untuk estimasi parameter populasi dengan dengan tingkat kepercayaan dan akurasi hanya berfungsi jika kita mengikuti disain pengambilan sampel probabilitas. Metode paling dasar dalam pengambilan sampel adalah pengambilan sampel acak sederhana (simple random sampling). Dalam desain ini, tiap kasus dalam populasi mempunyai kesempatan yang sama untuk dipilih sebagai sampel. Ketika 18
ilmuwan sosial menggunakan istilah acak/random, hal ini tidak berarti serampangan. Perlu perencanaan dalam pemilihan sampel secara acak dimana peneliti memastikan tiap kasus dalam populasi mempunyai kesempatan yang sama untuk menjadi sampel. Jika kita ingin memilih 20 ibukota negara bagian secara acak, kita tidak serta merta memilih 20 ibukota negara bagian dari diurutkan dari barat ke timur, atau kita ambil 20 ibukota negara bagian pertama sampai 20 secara beruturan. Hal ini mengakibatkan pengambilan sampel yang bias. (Kita akan berbicara tentang bias dalam bab selanjutnya, tetapi anda akan mendapatkan intinya sekarang). Untuk memastikan 50 negara bagian mempunyai kesempatan yang sama untuk dipilih sebagai sampel (dengan probabilitas 0,4), kita dapat mendaftarnya dalam spreadsheet, menggunakan Number Generator untuk menetapkan nomor acak, urutkan berdasarkan angka- angka tersebut, dan pilih 20 yang pertama; Atau kita bisa menulis nama masing-masing huruf kapital pada selembar kertas berukuran sama, memasukkannya ke dalam tas, undi, dan anda akan mendapatkan 20 nama. (Beberapa buku teks menyediakan nomor random yang ada di belakang buku, yang mana anda dapat menggunakannya untuk menentukan sampel secara acak, tetapi hal ini menjadi usang dalam konteks kekinian). Menentukan sampel secara acak bisa merepotkan jika anda mempunyai daftar panjang kandidat sampel sebagai kerangka sampel, seperti daftar nomor telepon. Atau menentukan sampel secara acak bisa menjadi ketidakmungkinan karena anda menentukan sampel dari angka yang tak terbatas (infinite), seperti jumlah kendaraan yang melaju di persimpangan. Dalam skenario ini, anda dapat menentukan sampel dengan memilih urutan misalnya urutan ke-10 atau ke-20 atau ke-200, atau urutan angka apapun untuk memperoleh jumlah sampel yang diinginkan, yang mana metode ini disebut dengan pemilihan sampel sistematis (systematic sample). Hal ini juga bisa dilakukan sepanjang tidak ada periodisitas dalam populasi Anda, artinya tidak ada hal yang ganjil dalam penentuan urutan sampel. Jika anda akan menentukan sampel untuk mengamati kehidupan malam di suatu kampus, dan anda menentukan urutan ke-7 (yang berarti setiap hari minggu), anda telah melakukan sampling bias. Bayangkan, Anda ingin menggambarkan kehidupan malam kampus, tetapi Anda hanya menegamatinya pada hari minggu dan kamis. Selama periodisitas tidak ada, systematic sampling juga dapat berarti simple random sampling. Tujuan kita melakukan random (systematic) sampling adalah mengkontruksi sampel yang mewakili populasi, sehingga kita dapat menggunakan apa yang telah kita pelajari dari sampel untuk dapat digeneralisasikan dalam populasi. Bagaimana jika kita telah mengetahui beberapa karakteristik populasi? Bagaimana kita menggunakan pengetahuan tersebut untuk menentukan sampel? Kita dapat mereplikasi karakteristik yang diketahui dengan mengikuti desain sampling probabilitas lain, yaitu yang dinamakan disain sampel proporsional bertingkat (proportionate stratified sampling design). Mungkin, kita akan menentukan sampel pada mahasiswa sebuah universitas tertentu, kita sudah tahu data mengenai klasifikasi jenis kelamin, tempat tinggal di dalam negara bagian versus di luar negara bagian, dan sarjana versus pascasarjana . Kita dapat menggunakan jenis kelamin, tempat tinggal, dan klasifikasi sebagai strata kita dan memilih sampel dengan proporsi yang sama antara pria versus wanita, dalam negara bagian versus luar negara bagian, dan mahasiswa sarjana versus pascasarjana sebagai populasi. Jika kita menentukan bahwa 4% dari populasi adalah mahasiswa pascasarjana pria dari luar negara bagian dan kita menginginkan jumlah sampel 300 mahasiswa, maka kita akan memilih (menggunakan pengambilan sampel acak atau pengambilan sampel sistematis) 12 (300 * 4%) mahasiswa pascasarjana laki-laki dari luar 19
negara bagian untuk menjadi sampel. Kita akan melakukan pengambilan sampel yang sama dengan kombinasi lain dari karakteristik ini sampai mendapatkan sampel secara proporsional yang mewakili populasi dalam hal jenis kelamin, tempat tinggal, dan klasifikasi. Kita mungkin akan mendapatkan hasil yang sama jika menggunakan strategi pengambilan sampel acak sederhana, tetapi dengan metode ini, kita telah memastikan proporsionalitas yang berhubungan dengan karakteristik populasi. Terkadang, proporsionalitas bukanlah hal yang selalu kita butuhkan. Bagaimana jika kita tertarik untuk membandingkan pengalaman antara siswa yang pernah bersekolah di rumah (homeschooling) dan yang belum. Jika kita mengikuti teknik acak sampel atau acak sederhana atau disain stratifikasi proporsionalitas, kemungkinan kita akan mendapatkan proporsi sampel homeschooling yang lebih sedikit. Hal ini tidaklah cukup sebagai basis perbandingan dengan siswa yang belum pernah homeschooling. Bahkan apabila kita menginginkan setengah dari total sampel adalah homeschooling, maka diperlukan kelebihan pengambilan sampel agar proporsinya terwakili. Dengan demikian, desain yang lebih cocok adalah pengambilan sampel stratifikasi disproporsional (masih dalam kategori disain probabilitas sampel). Dengan teknik matematika, kita dapat mengkalkulasi probabilitas terambilnya suatu kasus (dalam hal ini siswa yang pernah homeschooling) dalam populasi sebagai sampel. Memang, siswa yang pernah homeschooling mempunyai probabilitas yang lebih tinggi daripada mereka yang belum pernah homeschooling. Dengan probabilitas yang seperti ini, kita masih dapat menggunakan statistik untuk mengestimasi parameter untuk semua populasi. Dalam statistik, hal ini dapat dilakukan dengan bobot (weight) berdasarkan probabilitas yang ada. Satu lagi desain untuk pengambilan sampel probabilitas adalah disain kluster atau cluster sampling design. Desain ini umumnya digunakan pada kasus yang tersebar dalam lingkup geografis yang luas. Bayangkan apabila kita mendapatkan tugas untuk pengambilan sampel 2000 orang tua murid TK dari seluruh Amerika Serikat. Tidak ada daftar murid TK atau orang tua murid sebagai dasar pengambilan sampel. Mengambil data dengan mendatangi sekolah- sekolah ke seluruh negara akan membutuhkan banyak sumberdaya daripada substansi penelitian. Pengambilan sampel dengan metode tersebut adalah konyol. Kita dapat mengambil sampel dengan memilih secara acak, katakanlah 20 negara bagian, lalu 10 kota dari ke-20 negara bagian terpilih, kemudian 1 sekolah dari masing-masing kota tersebut, dan akhir nya 10 orang tua murid dari masing-masing sekolah. Dalam setiap langkah, kita tahu probabilitas dari masing-masing kluster sehingga kita dapat menggunakan probabilitas tersebut untuk menghitung bobot, yang berarti kita menggunakan statistik untuk menentukan parameter. Kita hanya memodifikasi definisi dari pemilihan sampel probabilitas. Kita dapat mengalkukasi probabilitas sebuah calon sampel dalam populasi untuk bisa dimasukkan dalam sebuah penelitian. Kemampuan untuk mengalkulasi probabilitas pemilihan unit sampel (dalam contoh sebelumnya: negara bagian, kota, sekolah, dan orang tua murid), juga merupakan proses yang sama, dimana hal ini termasuk dalam jenis desain pemilihan sampel dengan model kluster. Untuk memodifikasi desain pemilihan sampel probabilitas, kita dapat mengatakan bahwa calon sampel dalam populasi telah diketahui, kemungkinan lebih besar dari nol untuk dipilih sebagai sampel. Menggunakan desain pemilihan sampel probabilitas adalah penting, akan tetapi belum cukup, jika kita menginginkan penghitungan statistik untuk estimasi parameter. Kita masih membutuhkan jumlah/ukuran sampel yang mencukupi. Bagaimana cara kita menghitung kecukupan jumlah sampel? Apakah kita bisa mengatakan, pilih 10% dari jumlah total 20
populasi? Akan sangat mudah jika kita mempunyai standard atau aturan baku, tetapi bukanlah demikian adanya, jumlah populasi menjadi menjadi acuan satu-satunya faktor yang dipertimbangkan untuk menentukan jumlah sampel. (Ngomong-ngomong, hal ini mungkin menjadi salah satu hal yang luar biasa yang anda pelajari dalam buku ini). Sebagai tambahan dari jumlah populasi, kita juga akan mempertimbangkan tingkat kepercayaan/level of confidence (sesuatu yang anda tentukan sendiri), Tingkat akurasi (Hal lain yang anda tentukan juga), dan jumlah varian dalam parameter (sesuatu yang tidak anda tentukan sendiri). Seperti yang Anda tebak, semakin besar jumlah populasi, semakin besar jumlah sampel yang dibutuhkan. Namun demikian, hubungan antara jumlah populasi dan jumlah sampel tidaklah selalu linier (maka, tidak ada aturan baku mengambil 10% dari jumlah populasi untuk sampel Anda). Jika kita mempunyai jumlah populasi yang relatif kecil, kita membutuhkan proporsi yang besar dari jumlah total populasi tersebut. Jika kita mempunyai jumlah populasi yang relatif besar, maka kita membutuhkan proporsi yang relatif kecil dari jumlah populasi tersebut. Faktanya, jika jumlah populasi diatas 20.000, jumlah sampel cenderung tidak akan naik jumlahnya (terimakasih pada teorema limit tengah/central limit theorem dan hukum angka besar). Kita juga harus mempertimbangkan seberapa besar keberagaman parameter. Bayangkan apabila saya mengajar di sebuah kelas yang terdiri dari 40 siswa, dan saya tahu bahwa siswa yang ada di kelas tersebut sama umurnya, tetapi saya tidak tahu secara pasti umur mereka. Seberapa besar jumlah sampel yang dibutuhkan untuk mendapatkan penghitungan statistik yang bagus (bahkan sempurna), yaitu rerata/mean dari siswa di kelas? Mari berpikir. Hanya 1 siswa saja, ya benar hanya 1 siswa. Parameter untuk rerata umur siswa tidak mempunyai variasi umur (umur siswa dalam kelas sama), jadi saya hanya membutuhkan jumlah sampel yang sangat kecil untuk kalkulasi statistik yang bagus. Bagaimana jika, siswa saya di kelas bervariasi, dari anak jenius yang berumur 14 tahun sampai dengan nenek-nenek berusia 90 tahun yang belajar untuk mendapatkan gelar? Saya akan enggan untuk memilih 3, 4 atau bahkan 10 siswa untuk mempredikti rerata umur siswa satu kelas. Hal ini dikarenakan parameter populasi yang sangat bervariasi, sehingga saya membutuhkan jumlah sampel yang besar. Jadi aturannya: Semakin beragam parameter populasi, semakin banyak kasus/calon sampel yang dibutuhkan untuk dipilih menjadi sampel. Pembaca yang cerdas seharusnya, dalam titik ini, berpikir. Tunggu sebentar. Saya memilih sampel, maka saya dapat mengalkukasi statistik, maka saya dapat melakukan estimasi parameter. Bagaimana seharusnya saya tahu seberapa besar sesuatu yang saya tidak tahu beragam? Pertanyaan bagus. Biasanya, kita tidak tahu, jadi kita hanya mengasumsikan yang terjelek, yaitu, variasi maksimum, yang merekomendasikan jumlah sampel tertinggi. Ketika kita menentukan jumlah variasi (seperti jika kita menggunakan kalkulator sampel, yang akan kita diskusikan di bawah), kita menggunakan persentase dari satu nilai untuk parameter pada dua, seperti respon pertanyaan untuk jawaban ya atau tidak. Jika kita ingin bermain aman dan mengasumsikan variasi maksimum dalam parameter, maka kita akan menentukan 50%, jika 50% dari populasi menjawab 'ya' untuk pertanyaan ya/tidak, parameter ini adalah variasi maksimal. Penentuan 0% atau 100% akan menghasilkan 0 variasi, dan penentuan 25% akan sama dengan penentuan 75%. Pembaca yang sangat cerdas mungkin mempunyai pertanyaan yang lain: Anda menyebutkan jumlah sampel yang dibutuhkan, tetapi dibutuhkan untuk apa? Apa maksudnya bahwa kita 21
harus mempunyai jumlah sampel yang dibutuhkan? Bukankah ini yang akan kita cari jawabannya? Dengan adanya ukuran/jumlah populasi (sesuatu yang tidak adapt kita kontrol), variasi parameter (sesuatu yang lain yang juga tidak bisa kita kontrol), ukuran/jumlah sampel dibutuhkan untuk setidaknya sebagai ukuran jika kita ingin mencapai tingkat kepercayaan dan akurasi, faktor-faktor yang dapat kita kontrol. Sebelumnya kita sudah melihat contoh tingkat kepercayaan dan akurasi. Kita mungkin mengatakan "Saya 95% yakin [saya mempunyai 95% level kepercayaan) bahwa rerata umur siswa di kelas saya dalam rentang 19-21 (jadi saya mempunyai kurang lebih 1 tahun tingkat akurasi). Cara yang lebih canggung untuk mengatakan hal yang sama "Jika saya mengulangi penelitian yang saya lakukan berkali-kali dengan memilih sampel yang baru setiap penelitian baru, maka 95% dari sampel mempunyai rerata umur 19-21. Kepercayaan dan akurasi berjalan bersama. Tidak masuk akal jika menetapkan yang satu tanpa yang lainnya. Sebagaimana penulis tekankan, Andalah yang menentukan tingkat kepercayaan dan akurasi, namun demikian ada konvensi dalam penelitian ilmu sosial. Tingkat kepercayaan seringkali di angka 95%, walau kadang-kadang Anda menemukan angka 90% atau 99%. Tingkat akurasi seringkali diindikasikan dengan dengan rentang persentase 1%, 3% atau 5%. Jika Anda melakukan penelitian terapan Anda mungkin akan menentukan dengan lebih rileks. Mungkin akurasi kurang lebih 6% pada tingkat kepercayaan 85% adalah wajar dalam survey. Sejauh ini, penulis menyarankan bahwa kita harus mempertimbangkan empat faktor yaitu jumlah populasi, variasi parameter, tingkat akurasi, dan tingkat kepercayaan, akan tetapi, kita harus melakukan lebih yaitu memasukkannya semua faktor tersebut dalam satu rumus untuk menentukan kebutuhan jumlah sampel. Rumus yang digunakan tidaklah terlalu rumit, tetapi banyak yang mengambil jalur cepat dengan menggunakan kalkulator jumlah sampel. Beberapa kalkulator jumlah sampel akan muncul sangat cepat dalam pencarian di internet. Anda mengisi informasi yang tertera dan dalam sekejab akan mendapatkan jumlah sampel yang dibutuhkan. Bermain sedikit dengan kalkulator ini sedikit membingungkan. Cobalah! Berapa jumlah sampel yang wajar untuk survey seluruh warga Amerika Serikat? Bagaimana dengan warga di Rhode Island? Apa yang menjadi kejutan dari jumlah-jumlah sampel ini? Bermain-mainlah dengan Tingkat kepercayaan, akurasi, dan variasi parameter yang berbeda. Sejauh mana sedikit perubahan memberikan efek pada jumlah sampel yang dibutuhkan? Sebagai catatan: tingkat kepercayaan dan akurasi saling mempengaruhi satu sama lain. Untuk sembarang jumlah sampel, Anda dapat mempunyai kombinasi yang berbeda-beda antara tingkat kepercayaan dan akurasi, dimana hubungan diantara keduanya adalah bertolak belakang. Jika yang satu naik, maka yang lainnya akan turun nilainya. Dalam satu sampel yang sama, kita dapat memilih tingkat kepercayaan yang tinggi dengan estimasi yang tidak begitu akurat atau level kepercayaan yang tidak begitu tinggi ungtuk estimasi yang akurat. Kita bisa lihat kembali mengenai siswa sarjana dalam sebuah kelas dengan prediksi yang hampir pastu rata-rata umur 17-23 tahun, atau kita memprediksi dengan tingkat kepercayaan 75% dengan umur 19-23 tahun. Sangat penting untuk menyadari bahwa apa yang kita dapat dari kalkulator sampel adalah jumlah minimum, jika kita ingin mengukur parameter tunggal, satu per satu, yaitu statistik univariat. Namun demikian, jika kita berencana mengukur dua grup dalam sampel atau melakukan analisis statistik univariat atau multivariat, maka jumlah sampel yang dibutuhkan akan lebih banyak (lihat manual statistik). 22
Menghitung jumlah sampel minimal berdasarkan tingkat kepercayaan dan akurasi adalah tepat jika kita mengikuti disain sampel probalibilitas. Terkadang, tujuan penelitian kita tidak selalu untuk mencapai generalisasi dari apa yang kita ketahui pada sampel dan berlaku untuk populasi. Terkadang kita mempunyai tujuan lain pada sampel dan menggunakan disain sampel non-probabilitas. Mungkin kita melakukan studi percobaan. Kita hanya menginginkan untuk mencoba kuesioner dan mengetahui bagaimana responden mengisi kuesioner tersebut. Dalam hal ini, kita menggunakan desain sampel praktis (convenience), yaitu mirip dengan pemilihan sampel manapun yang mudah dan praktis. Anda memberikan kuesioner kepada teman sekamar, ibu anda, atau siapapun, misalnya orang yang mengantre di depan anda untuk memesan kopi di sebuah kafe. Biasanya disain pemilihan sampel seperti ini digunakan untuk pengujian instrument penelitian, bisa juga digunakan untuk penelitian yang sifatnya eksplorasi (yang memandu kita ke arah permasalahan penelitian, untuk menunjukkan konsep apa yang peting untuk diukur, atau menunjukkan kita darimana kita memulai penelitian jika belum banyak penelitian dan hasil riset sebelumnya tentang topik yang kita teliti. Kita memang harus berhati-hati untuk mengambil kesimpulan dari penelitian eksploratif, tetapi penelitian jenis ini adalah awal yang bagus untuk penelitian lanjutan. Dalam kasus-kasus lain, akan menjadi konyol menggunakan desain probabilitas. Bagaimana jika kita ingin mengamati perilaku orang-orang dalam kampanye di suatu partai A? Akankah anda mengonstruksi kerangka pemilihan seluruh orang dan secara random memilih orang- orang yang tertarik mendatangi kampanye partai A? tentu tidak. Terkadang kita memilih sampel karena kita ingin mengkaji suatu kasus tertentu. Kita bahkan tidak mendeskripsikan suatu kasus sebagai sampling, dalam hal ini kita melakukan pengambilan sampel dengan tujuan (purposive sampling). Kita dapat menggunakan teknik sampling seperti ini jika kita ingin mengamati suatu kasus tertentu atau kasus dengan karakteristik khusus. Jika kita ingin meneliti faktor yang berasosiasi dengan tingkat efektivititas NGO, maka kita bisa memilih NGO dengan karakteristik sejenis dengan beragam tingkat efektivitas untuk mengidentifikasi perbedaan-perbedaan yang menjelaskan variasi. Purposive sampling sangat mengemuka pada penelitian kualitatif, khususnya studi kasus. Ketika secara khusus peneliti memilih kasus dengan tujuan tertentu, kita seharusnya memperhatikan bahwa kita tidak memberikan jaminan kesimpulan dari kasus yang dipilih, terutama pada varibel terikat. Bayangkan, Ketika kita ingin mengetahui apakah pengeluaran pemerintah daerah pada iklan media sosial mendorong pariwisata lokal. Variabel bebas kita (X) adalah pengeluaran untuk iklan media sosial dan variabel terikat (Y) adalah jumlah aktivitas pariwisata. Kita dapat mengadopsi, apa yang dinamakan strategi sampling tabu, dengan mengidentifikasi pemerintah daerah yang mempunyai banyak aktivitas kegiatan pariwisata. Lalu, secara lebih jauh, dari investigasi, kita tahu bahwa pemerintah daerah tersebut sebelumnya menaikkan anggaran iklan dari media sosial, dan kita menyimpulkan bahwa semakin besar pengeluaran iklan media sosial menyebabkan meningkatnya aktivitas pariwisata. Dapatkah kita melegitimasi kesimpulan tersebut? Bisa jadi ada banyak pemerintah daerah yang menaikkan anggaran iklan melalui media sosial tetapi tidak meningkat aktivitas pariwisatanya, atau dengan kata lain peningkatan anggaran iklan tidak berefek sama sekali pada pariwisata lokal. Hal ini terjadi karena kita terjebak pada pemilihan kasus untuk variabel terikat (Y). Dalam hal tertentu, kita apabila kita akan melakukan probability sampling tetapi kita memiliki keterbatasan sumberdaya, maka kita dapat melalukan desain sampling dengan teknik quota 23
(quota design sampling) sebagai sebuah pilihan potensial. Teknik ini adalah perpaduan antara convenience sampling dan stratified sampling design. Misalnya, jika kita ingin memasukkan 12 murid laki-laki dalam sampel kita, kita membuat kerangka sampel dan memilih secara acak pada populasi. Kita dapat juga memilih 12 murid laki-laki yang kita temui untuk memenuhi kuota tersebut (hal inilah yang sering kita temui pada peneliti pemasaran yang seringkali menggunakan Ipad dalam mencari responden di taman-taman kota- suatu hari mereka mungkin akan mengabaikan anda tetapi juga akan mengejar anda untuk menjadi responden di lain hari). Kita masih secara tentatif menggeneralisasikan sampel dalam populasi, akan tetapi kita akan lebih yakin daripada memilih sampel dengan teknik convenience. Desain pengambilan sampel non-probabilitas berguna ketika kasus yang diteliti adalah hal yang sulit diidentifikasi sebelumnya, seperti pengguna obat terlarang dan pekerja seks komersial. Apa yang diinginkan peneliti kepada objek penelitian seperti mereka? Apakah bisa meminta mereka secara sukarela? Kemungkinan tidak. Peneliti bisa mendapatkan salah satu responden, lalu responden percaya kepada peneliti, kemudian tertarik dengan penelitian yang dilakukan, kemungkinan responden tersebut akan memberikan referensi kepada calon responden lain, sehingga peneliti akan mendapatkan beberapa referensi responden dari responden pertama. Hal ini disebut snowball sampling (sayangnya, penulis kurang sesuai dengan terminologi snowball dan jarang menggunakan dalam laporan penelitian yang serius) atau network sampling design (istilah ini sebenarnya lebih sesuai tetapi tidak begitu dikenal). Teknik ini telah digunakan dalam banyak penelitian tentang populasi yang belum banyak diketahui secara umum. Metode Pengumpulan Data Keputusan untuk memilih kasus dapat berupa daftar panjang pada pilihan-pilihan, tetapi menentukan jenis data secara spesifik yang harus dikumpulkan dapat menghasilkan pilihan- pilihan yang tak terbatas. Jenis pengumpulan data dalam penelitian sosial empiris dapat dikategorikan menjadi tiga kategori: bertanya kepada responden, pengamatan secara langsung, dan mengumpulkan data sekunder. Mengumpulkan data dengan bertanya kepada responden hampir sama seperti pengalaman kita sehari-hari dalam hal percakapan. Jika anda telah mengambil mata kuliah pengantar komunikasi, anda mempelajari bagaimana komunikasi interpersonal melibatkan kodifikasi niat kita dalam kata-kata kemudian mentransmisi ke lawan bicara yang menerima kata-kata tersebut sehingga maksud kita dapat diterima. Respon dapat dipengaruhi oleh gangguan komunikasi, asumsi, mood, sikap, tekanan sosial, dan motif. Dalam sebuah percakapan normal, kedua belah pihak dapat mencoba menjaga jalannya percapakan dengan membaca bahasa tubuh, klarifikasi, dan mengoreksi kesalahpahaman. Ketika bertanya untuk penelitian, Anda, peneliti bertanggungjawab untuk menyusun pertanyaan dan jawaban yang akan menghasilkan data yang valid. Peneliti harus memastikan bahwa maksud pertanyaan yang disampaikan secara akurat ditangkap maksudnya oleh responden; peneliti juga harus memastikan bahwa responden mampu untuk menyampaikan secara akurat maksud jawabannya dalam respon yang diberikan; peneliti juga mengantisipasi ancaman terhadap keakuratan data yang disebabkan oleh gangguan komunikasi, asumsi, mood, sikap, tekanan sosial, dan motif. Sebelum berpikir lebih jauh tentang seluk beluk bertanya kepada responden, memahami bahwa komunikasi dua arah dengan tanggungjawab keakuratan data ada di pundak peneliti. 24
Banyak buku-buku mengenai seni bertanya kepada orang untuk kebutuhan penelitian, tetapi kita dapat menyimpulkan secara singkat poin-poin penting sebagai berikut. Peneliti bertanya kepada seseorang dengan tatap muka (baik secara langsung maupun melalui video conference), dengan telepon, dengan menggunakan angket tertulis, atau survey melalui website atau internet. Masing-masing mempunyai kelebihan dan kelemahan. Kita mungkin tergoda untuk mengatakan bahwa tatap muka adalah opsi yang terbaik, dan memang seringkali adalah pilhan yang baik dalam mengumpulkan data. Berbicara secara langsung memungkinkan responden menjawab dengan leluasa dalam wawancara, memberikan kesempatan kepada mereka untuk bertanya apabila ada sesuaatu yang perlu diklarifikasi, dan memungkinkan peneliti untuk membaca bahasa tubuh dan ekspresi wajah sehingga akan kelihatan apabila responden mengalami kebingungan. Tatap muka memberikan kesempatan bagi peneliti untuk membangun kepercayaan dengan responden, sehingga mereka akan memberikan jawaban yang sesungguhnya karena mereka ingin membantu peneliti. Namun demikian, hal ini juga merupakan pedang bermata dua, dengan memandang wajah responden mereka akan tergoda untuk memberikan jawaban (yang mereka pikir) adalah jawaban yang ingin didengar oleh peneliti, atau agar responden kelihatan cerdas dan baik hati-hal demikian disebut bias keinginan sosial (social desirability bias). Melawan bias yang timbul dalam pengumpulan data adalah salah satu hal terpenting ketika mendesain penelitian. Bias disini adalah gangguan sistematik dari temuan penelitian yang timbul akibat dari bagaimana proses penelitian dijalankan, dan bias ini dapat berupa berbagai macam bentuk. Bayangkan, kita melakukan waancara dengan orang asing tentang pendapat mereka mengenai kandidat politik tertentu. Bagaimana jawaban mereka akan berbeda jika kandidat politik adalah seorang Afrika-Amerika sedangkan yang pewawancara adalah seorang kulit putih? Bagaimana jika responden diwawancara dirumahnya yang sangat megah sementara pewawancara mengenakan sepatu yang sudah rusak dan usang? Adalah kecenderungan manusia untuk menjadi seseorang yang disukai, untuk bersama-sama, dan menghindari rasa malu dan ketidaknyamanan. Hal ini mempengaruhi bagaimana orang menjawab pertanyaan dari orang lain. Dalam derajat mana responden dipengaruhi oleh hal- hal tersebut dari wawancara ke wawancara lainnya, menjadikan penelitian yang dilakukan mengandung bias. Bertanya dengan bertatap muka dengan responden menjadi pilihan yang tepat, tetapi akan menjadi pilihan yang kurang tepat jika ada potensi social desirability bias. Dalam situasi tersebut, responden mengisi kuesioner dengan cara tertulis akan lebih baik. Menjawab kuesioner secara pribadi mengurangi bias, tetapi juga mempunyai kelemahan. Surat-menyurat akan lebih mudah diacuhkan daripada anda mengetuk pintu atau mempunyai janji temu di kantor. Anda harus benar-benar memperhitungkan motivasi responden untuk mengisi kuesioner, jika responden dengan motivasi yang tinggi akan berbeda dengan responden tanpa motivasi, apakah penelitian anda mengandung bias seleksi pribadi (self selection bias). Anda tidak disana untuk mengisi apa yang mungkin responden jawab, yang seringkali kuesioner mempunyai susunan pertanyaan yang rumit (seperti kuesioner dengan pola perlewatan atau skip pattern-Jika jawaban "ya" silakan lanjut ke pertanyaan no.38; jika jawaban "tidak" silakan lanjut ke no.40). kelebihannya adalah, metode dengan mengirimkan surat (kuesioner tertulis) lebih mudah dan murah daripada menemui responden secara langsung. Anda dapat mempertimbangkan kelebihan dan kekurangan model survey tertulis dengan cara survey telepon. Jika anda mencoba berbicara melalui telepon kepada perwakilan sampel dalam 25
populasi, survey melalui telepon juga mempunyai persoalan lain. Coba kita lihat, misalnya orang yang berumur kurang dari 30 tahun, apakah mereka mempunyai dan menggunakan telepon kabel sekarang ini? Hampir semua survey telepin menggunakan telepon kabel, sehingga hal ini dapat mengakibatkan bias sampel (sampling bias)- yaitu apabila sekelompok anggota populasi berpotensi lebih besar menjadi sampel daripada anggota populasi yang lain. Ketika survey melalui telepon genggam dilakukan, anda dapat membayangkan bagaimana perbedaan sistematik pada orang yang kira-kira akan mengangkat telepon atau tidak menerima panggilan dengan identitas penelepon yang tidak dikenal. Hal ini juga dapat dikategorikan sebagai bias sampel. Jika anda asdalah seorang administrator pusat konsultasi dan menelepon semua klien anda mungkin tidak begitu masalah, tetapi jika anda menelepon secara acak kepada orang-orang dalam populasi, bias sampel akan semakin parah. Survey internet telah menjadi metode yang menarik perhatian peneliti akhir-akhir ini. Survey ini murah, mengakomodir kompleksitas kuesioner, menembus batas-batas geografis, mengakomodir otomatisasi dan mengurangi tingkat kesalahan pengisian. Untuk populasi tertentu, metode ini adalah pilihan terbaik. Penulis pernah melakukan survey dengan responden para profesor, populasi dengan akses internet penuh. Untuk jenis populasi yang lain, orang dengan tingkat sosial-ekonomi rendah, para gelandangan, para disabilitas, para lansia, dan anak-anak kecil- survey internet seringkali menjadi metode yang tidak realistis. Menentukan media yang digunakan dalam memberikan pertanyaan kepada responden mungkin lebih mudah daripada memilih kata-kata dalam kuesioner. Menyusun pertanyaan dan mengintegrasikannya menjadi instrumen pengumpulan data yang berguna bagi penelitian membutuhkan banyak waktu dan perhatian pada detail seringkali tidak diperhatikan oleh peneliti pemula. Sayangnya, banyak contoh pertanyaan dalam survey menunjukkan kurangnya disain pertanyaan kuesioner sering kali kita jumpai. Pertanyaan kuesioner yang bagus diidikasikan dengan respon yang tidak bias yang mempermudah menjawab pertanyaan penelitian, sedangkan pertanyaan yang tidak didisain dengan baik berlaku sebaliknya. Lalu, apa yang harus kita lakukan untuk memastikan bahwa kita mengajukan pertanyaan yang berkualitas? Ada banyak buku teks yang secara khusus membahas tentang topik ini, dan Anda sebaiknya membaca dan memahami salah satu buku teks tersebut apabila ingin memecahkan permasalahan penelitian dalam proyek Anda. Tips untuk mendesain pengumpulan data dan instrumen penelitian dari daftar pertanyaan seperti kuesioner, survey berbasis web, wawancara, protokol diskusi terfokus, dan lain sebagainya. Mungkin yang terpenting adalah memberikan perhatian terhadap pemilihan kata pada daftar pertanyaan itu sendiri. Mari berasumsi bahwa responden ingin memberikan jawaban dan akurat dan jujur. Untuk mereka melakukan hal ini, kita membutuhkan pertanyaan yang jelas dimana responden akan menginterpretasikan, dengan demikian, kita harus menghindari pernyataan yang ambigu. (Misalnya, jawaban untuk frekuensi/waktu: apa maksud dari seringkali? Apa maksud dari kadang-kadang?) Jika kita menyediakan pilihan jawaban kepada mereka, kita juga harus memberikan keterangan dimana responden dapat menjawabnya dengan jujur dan akurat. Penulis bertaruh anda pernah mengisi survey dan menjadi frustasi karena anda tidak dapat menjawabnya sesuai dengan keinginan anda. Penulis pernah diminta mengisi survey tentang mengajar secara daring. Salah satu pertanyaannya adalah seperti ini: 26
Apakah anda berpikir bahwa mengajar secara daring sebagus anda mengajar secara tatap muka? ▪ Ya ▪ Tidak ▪ Saya pikir keduanya sama Penulis telah mempunyai banyak pengalaman dalam mengajar secara daring dan juga banyak membaca tentang pedagogi daring. Selain itu, penulis juga berpartisipasi dalam pelatihan daring. Pertanyaan seperti diatas adalah pertanyaan yang membuat frustasi. Mengapa? Jika penulis menjawab tidak, penulis mengira bahwa peneliti akan menyimpulkan bahwa mengajar secara daring lebih inferior dari tatap muka. Bagaimana jika responden adalah orang yang fanatik dengan model mengajar daring? Bagi responden tersebut, mengajar secara daring lebih superior daripada tatap muka. Ada potensi besar untuk memisahkan antara maksud responden dan maksud peneliti. Hal tersebut adalah masalah utama dari pertanyaan tersebut. Namun demikian, masih ada satu masalah lagi yaitu apa yang dimaksud dengan pilihan kata sebagus. Sebagus dalam hal apa? Apakah pembelajaran bagi mahasiswa? Apakah tentang transfer pengetahuan? Kenyamanan bagi pengajar? Kenyamanan siswa? Responden dapat menafsirkan macam-macam. Bahkan jika kita mengacuhkannya, kita tidak diberikan opsi untuk tidak menjawabnya-jawaban yang yang akurat menurut pemahaman kita, yaitu tergantung dari sisi apa? Untuk mendefinisikan makna bagus dalam pertanyaan tersebut. Apa simpulan yang daoat diambil oleh peneliti dari contoh pertanyaan tersebut? Tidak banyak, tetapi peneliti yang tidak kritis mungkin akan melaporkan hasil penelitian sesuai dengan prekonsepsi dari peneliti sehingga hal ini mengandung bias. Hal ini sulit dideteksi apalagi jika kita hanya membaca laporan penelitian dan mungkin akan terganggu dengan temuan penelitian karena mungkin respon/jawaban dari pertanyaan ini lebih sesuai dengan maksud responden. (Penulis sangat tidak nyaman dengan model pertanyaan seperti ini dan takut apabila ada keputusan yang diambil berdasarkan temuan penelitian, sehingga penulis menghubungi peneliti, dimana peneliti tersebut sepakat untuk merevisi pertanyaan). Pemilihan kata dalam daftar kuesioner tidak boleh mengandung ambigu dan harus akurat yang mana menghubungkan secara langusng maksud peneliti dan responden. Dalam konteks administrasi, pemilihan kata dalam kuesioner juga dapat mengandung bias keinginan sosial dari responden. Pertanyaan awal sering kali menjadi penyebab utama. Sebuah pertanyaan seperti : Tidakkah anda berpikir bahwa guru sekolah digaji rendah? Membuat kita seakan-akan langsung menjawab dengan jawaban ya. Hal ini tentu berbeda dengan pertanyaan: Menurut anda apakah guru sekolah digaji terlalu tinggi, terlalu rendah, atau sesuai? Bagi responden yang yang tidak ingin memberikan impresi yang jelek dengan menjawab salah, semua jawaban hampir pasti dapat dipilih. Namun, jika kita khawatir dengan bias keinginan sosial, kita dapat menggunakan formulasi pertanyaan yang lebih netral: bandingkan 2 pertanyaan berikut: Beberapa orang tertarik untuk mengikuti politik, tetapi beberapa yang lain tidak. Sejauh mana anda mengikuti politik? Kemungkinan akan mengarahkan pada jawaban warga negara yang baik. Lalu, pertanyaan Apakah anda mendapatkan informasi yang memadai tentang politik? Pertanyaan tertutup-adalah pertanyaan yang memberikan responden pilihan. Pertanyaan ini juga dapat berpotensi mengandung bias, yaitu bias terhadap respon/jawaban. Ketika responden mencermati pilihan jawaban, ada kecenderungan untuk memilih jawaban yang dianggap 27
'normal'. Bayangkan misalnya kita melakukan survey terhadap siswa dengan bertanya kepada mereka: Berapa jam anda belajar dalam 1 minggu? ▪ Kurang dari 10 jam/minggu ▪ 10-20 jam/minggu ▪ Lebih dari 20 jam/minggu Pilihan di tengah sepertinya adalah jawaban yang normal. Secara tidak sadar, responden akan berbisik kepada dirinya siswa yang malas belajar kurang dari 10 jam per minggu, 20 jam terlalu banyak. Hal semacam ini sulit untuk dihindari, tetapi kita dapat meminimalisasi bias dengan mengantisipasi permalahan ini dengan mengkonstruksi jawaban sesuai dengan distribusi yang beralasan dan proporsional. Pilihan jawaban harus lengkap-pastikan anda memberikan kemungkinan-kemungkinan jawaban -dan respon tersebut harus spesifik. Lihat pertanyaan berikut: Seberapa sering anda menggunakan trasnportasi umum ? ▪ Tidak pernah ▪ Setiap hari ▪ Beberapa hari dalam 1 minggu ▪ 5-6 kali dalam seminggu ▪ Lebih dari 10 kali dalam 1 mimggu Tentu saja, anda dapat menghindari bias jawaban dengan menggunakan pertanyaan terbuka. Walaupun tidak ada solusi terbaik untuk bias tersebut. Pertanyaan tertutup dan terbuka mempunyai kelebihan dan kelemahan. Pertanyaan terbuka dapat memberikan responden kebebasan untuk menjawab, menghindari bias jawaban, dan memberikan kedalaman penjelas dalam jawaban. Akan tetapi, responden juga bisa saja menjadi ambigu, mereka dapat memberikan jawaban apapun, bahkan dalam hal pertanyaan mungkin disalahpahami atau bisa juga mereka menjawab jawaban datar yang tidak bermakna sema sekali. Peneliti kemudian kebingungan. Untuk apakah jawaban yang diberikan? Membuangnya? Apakah ini jujur? Mencoba memahami apa yang dijawab oleh responden? Pertanyaan tertutup juga mempunyai kelemahan, akan tetapi jwaban yang diberikan relatif tidak ambigu, disamping data yang diperoleh relatif mudah dikelola. Terjadi Trade-off: dengan pertanyaan tertutup peneliti melakukan strukturisasi data sehingga rapi dan tertata; dengan pertanyaan terbuka peneliti memberikan otoritas struktur data kepada responden yang mungkin bisa menjadikan data berantakan namun mendapakan informasi yang kaya dan hasil yang diluar dugaan. Pemilihan pertanyaan terbuka dan tertutup dalam tingkatan yang berbeda adalah suatu pendekatan kontinum dari tingkatan yang terstruktur, gaya percakapan, sampai pada wawancara yang terstandarisasi. Ketika kita melakukan wawancara, biasanya berbentuk semi struktur dengan pertanyaan terbuka dengan variasi pemilihan kata, urutan, dan pertanyaan lanjutan untuk membuat layaknya interaksi yang natural. Ketika kita melakukan wawancara kepada beberapa orang sekaligus, hal ini dinamakan grup terfokus, atau sering dinamakan Focus Group Discussion (FGD). FGD tidak dilakukan semata- mata atas nama efisiensi dimana wawancara dilakukan dalam satu kali kegiatan. Lalu mengapa kita melakukan FGD? Ketika anda menonton film di bioskop dengan beberapa teman, anda 28
meninggalkan bioskop dengan opini Anda terhadap film yang ditonton, apakah Anda menyukainya, tidak menyukainya, atau berpikir bahwa film akan lucu dan sebagainya. Dalam kesempatan selanjutnya, pada saat Anda bertemu teman anda dan berbicara mengenai film yang sudah ditonton tersebut, opini terhadap film mungkin akan berubah berubah saat percakapan terjadi. Hal ini tidak berarti bahwa opini sebelumnya tidak ada, atau karena diskusi telah mengubah opini Anda. Akan tetapi, perubahan terjadi karena interaksi sosial dimana diskusi telah membuka dan menyingkap ekspresi tentang opini, sikap, dan nilai-nilai yang masih terkubur dan belum aktif/dormant. Menggugah opini seperti inilah mengapa kita melakukan FGD. Kita mengumpulkan beberapa orang yang mempunyai kesamaan, misalnya- kesamaan tempat kerja, kesamaan sebagai orang tua tunggal, kesamaan sebagai penerima bantuan kesehatan- dan memfasilitasi mereka dalam diskusi yang terarah dimana peneliti dan partisipan FGD dapat belajar tentang opini, nilai-nilai, dan sikap. Mengajukan pertanyaan menjadi poin utama dalam penelitian sosial empirik, akan tetapi kita juga mengumpulkan data dengan pengamatan secara langsung, yang sering dinamakan sebagai penelitian lapangan atau direct observation. Kita dapat memmpelajari kampanye politik dengan cara menghadirinya, mempelajari dinas kesehatan publik dengan cara duduk (ikut rapat) bersama mereka, tentang transportasi umum dengan cara menggunakannya, atau tentang sidang peradilan dengan cara menontonnya. Dalam pelaksanaannya, menghadiri acara, menonton, mencoba menggunakan transportasi umum, tidaklah kegiatan yang pasif dan tidak terstruktur. Dalam melakukan hal tersebut kita menyiapkan perangkat observasi atau protocol, yang berperan seperti instrumen kuesioner yang menanyakan apa yang ingin kita amati. Protokol pengamatan kelas misalnya akan menyarankan peneliti untuk mencatata jumlah siswa, nahan pelajaran yang tersedia di kelas, interaksi guru dan murid dan sebagainya. Saran untuk menyusun alat pengamatan yang tidak sama dengan penyusunan instrumen untuk mengajukan pertanyaan, dimana harus akurat, dan tidak bias dalam mendeskripsikan objek yang diamati. Jadi, salah satu kelemahan dari pengamatan langsung bukanlah bias keinginan sosial: ketika orang diamati, maka hal ini akan mempengaruhi perilaku yang dapat berpotensi menjadi bias dalam pengamatan langusng. Inilah yang disebut dengan reaktivitas partisipan. Dalam contoh interaksi guru dan murid, tentu saja guru -guru yang menjadi sasaran kunjungan mendadak dari kepala sekolah sedikit lebih bersemangat daripada yang seharusnya. Masalah ini bukannya tidak dapat diatasi. Reaktivitas biasanya berkurang setelah beberapa saat, jadi kita bisa mengatasi masalah ini dengan memberikan waktu yang cukup bagi partisipan yang diobservasi. Kita bisa mencoba untuk tidak mengganggu, kita bisa melakukan pengamatan sebagai partisipan (participant observation), atau, kadang-kadang, kita bisa menjaga tujuan penelitian tetap menjadi misteri sehingga subjek tidak akan tahu bagaimana bertindak sesuai dengan harapan kita meskipun mereka menginginkannya. Terakhir, kita dapat membiarkan orang lain melakukan pengumpulan data untuk kita. Jika kita menggunakan data yang yang dikumpulkan oleh orang lain untuk tujuan mereka sendiri, strategi pengumpulan data kita adalah menggunakan data sekunder. Peneliti ilmu sosial beruntung memiliki akses ke beberapa basis data online yang menyimpan kumpulan data yang terkait dengan berbagai fenomena sosial yang sangat luas. Dalam ilmu politik, misalnya, kita dapat mengunduh dan menganalisis kumpulan data opini publik umum, hasil survei tentang isu-isu kebijakan publik tertentu, data pemungutan suara dari badan legislatif federal dan negara bagian, indikator sosial sosial untuk setiap negara, dan seterusnya. Penyimpanan data yang populer termasuk Inter-Universitas Konsorsium Antar Universitas untuk Penelitian 29
Politik dan Sosial (ICPSR), Pusat Studi Pemilihan Umum, Roper Center for Public Opinion Research, United Nations Common Database PBB, Indikator Pembangunan Dunia dari Bank Dunia, dan Biro Sensus Amerika Serikat. Sumber-sumber tersebut Metode penelitian ilmu sosial empiris sumber data sekunder tersebut menyajikan peluang penelitian yang melampaui sumberdaya dimiliki oleh banyak peneliti, termasuk mahasiswa. Jenis data sekunder tertentu, yaitu data administratif, umumnya digunakan di ilmu-ilmu sosial, tetapi sangat menarik bagi kita yang melakukan penelitian yang berkaitan dengan kebijakan publik, administrasi publik, dan publik, administrasi publik, dan jenis-jenis perilaku organisasi lainnya. Data administratif adalah data yang dikumpulkan dalam proses administrasi hampir setiap lembaga, kebijakan, dan program. Untuk organisasi publik, kebijakan, dan program, data tersebut dapat diakses secara legal berkat kebebasan informasi undang-undang kebebasan informasi, sehingga data tersebut tersedia secara online. Sejak tahun 1990-an, kumpulan data ini telah menjadi semakin canggih karena meningkatnya persyaratan untuk pengukuran kinerja dan evaluasi program. Namun, tetaplah waspada: kumpulan data administratif seringkali berantakan. Data ini biasanya tidak dikumpulkan oleh para peneliti, sehingga data-data tersebut memerlukan proses lebih lanjut seperti pembersihan, pengorganisasian, dan pemeriksaan yang cermat sebelum dapat dianalisis. Desain Penelitian Mengumpulkan data saja tidak cukup untuk menjawab pertanyaan penelitian. Kita harus memiliki rencana, yaitu sebuah desain penelitian, untuk memungkinkan kita menarik kesimpulan dari pengamatan kita. Para ahli metodologi membagi berbagai macam desain penelitian dengan cara yang berbeda; kita akan menggunakan lima kategori yaitu: cross- sectional, longitudinal, eksperimental, kuasi-eksperimental, dan studi kasus. Desain penelitian cross-sectional adalah yang paling sederhana. Peneliti yang mengikuti desain ini melakukan pengumpulan data pada satu titik waktu; mereka mengambil "snapshot" dari apapun yang mereka amati. Sekarang, kita tidak bisa mengartikan satu titik waktu secara harfiah. Survei cross-sectional dapat berlangsung selama beberapa minggu. Namun demikian, peneliti tidak akan membedakan antara tanggapan yang dikumpulkan pada hari ke-1 versus hari ke-2 versus hari ke-28. Semuanya diperlakukan sebagai data yang dikumpulkan dalam satu gelombang pengumpulan data. Desain penelitian cross-sectional sangat cocok untuk penelitian deskriptif, dan ini biasanya digunakan untuk membuat perbandingan lintas kasus, seperti membandingkan tanggapan pria dengan tanggapan perempuan atau tanggapan Partai Republik dengan tanggapan Partai Demokrat. Jika kita tertarik untuk menganalisis kausalitas dengan desain penelitian ini, ketika kita harus yakin bahwa sebab terjadi sebelum akibat, kita harus lebih berhati-hati. Terkadang hal itu tidak menjadi masalah. Jika Anda tertarik untuk menentukan apakah wilayah kelahiran responden memengaruhi gaya pengasuhan mereka, Anda bisa yakin bahwa responden lahir di mana pun mereka dilahirkan sebelum mereka mengembangkan gaya pengasuhan apa pun, jadi tidak masalah jika Anda mengajukan pertanyaan kepada mereka tentang semua itu sekaligus. Namun, jika Anda tertarik untuk menentukan apakah minat terhadap politik mempengaruhi pilihan jurusan, desain cross- sectional mungkin membuat Anda menghadapi masalah ayam dan telur: Mana yang datang lebih dulu? Antusiasme responden dalam mengikuti perkembangan politik atau mengambil 30
jurusan ilmu politik? Menjawab pertanyaan kausal dengan desain cross-sectional tidak dilarang akan tetapi kita harus lebih berhati-hati menggunakannya. Desain penelitian longitudinal melibatkan pengumpulan data dari waktu ke waktu, yang memungkinkan kita untuk mengukur perubahan antar waktu. Jika serangkaian kasus yang berbeda diamati setiap saat, desain ini adalah penelitian seri waktu desain. Jika kasus yang sama diikuti dari waktu ke waktu, dengan perubahan yang dilacak pada tingkat kasus, maka disebut desain panel. Desain penelitian eksperimental dianggap sebagai standar emas untuk mentapkan argumen hubungan sebab-akibat. (Ini sebenarnya merupakan pernyataan yang agak kontroversial. Kita akan mengabaikan kontroversi tersebut di sini, kecuali untuk mengatakan bahwa sebagian besar orang yang menolak pernyataan ini sangat kritis terhadap kesalahan penerapan desain ini, bukan esensi desain itu sendiri. Jika Anda ingin mempelajari kontroversi ini, lakukan pencarian di internet untuk desain evaluasi program uji coba terkontrol secara acak yang diwajibkan oleh pemerintah). Mari kita bayangkan sebuah penelitian dengan desain eksperimental tentang apakah mendengarkan ceramah konservatif radio mempengaruhi niat mahasiswa untuk memilih dalam Pemilu mendatang. Penulis dapat merekrut sekelompok mahasiswa (dengan rencana pengambilan sampel apa pun yang dipilih) dan kemudian meminta mereka semua duduk di ruang kelas mendengarkan pemutar MP3 melalui earbud (kelompok 1). Lalu penulis akan secara acak memberikan setengah dari mereka pemutar MP3 dengan empat jam kutipan radio bincang-bincang konservatif dan memberikan setengah pemutar MP3 lainnya dengan empat jam pemutaran musik (kelompok 2). Sebelum mereka mulai mendengarkan, penulis akan meminta mereka menjawab kuesioner tentang kemungkinan mereka memberikan suara dalam pemilu mendatang. Setelah empat jam mendengarkan, penulis akan bertanya kepada mereka tentang kemungkinan mereka untuk memilih lagi. Penulis akan membandingkan hasil-hasil itu, dan jika pembicaraan kelompok 1 sekarang mengatakan mereka lebih mungkin untuk memilih sementara niat kelompok 2 tetap tetap sama, penulis akan sangat yakin untuk mengaitkan perbedaan itu dengan intervensi yang dilakukan yaitu bincang-bincang radio. Eksperimen bincang-bincang radio menunjukkan tiga fitur penting dari desain eksperimental: pemilihan acak untuk kelompok eksperimen dan kelompok kontrol, kontrol pengaturan eksperimen, dan manipulasi variabel independen. Kontrol mengacu pada fitur-fitur desain penelitian yang mengesampingkan penjelasan untuk efek yang kita amati. Cara yang paling penting bagi kita mencapai kontrol adalah dengan menggunakan kelompok kontrol. Para siswa secara acak dimasukkan ke dalam kelompok kontrol dan kelompok eksperimen. Kelompok eksperimen mendapat "perlakuan" -dalam hal ini dalam hal ini, radio bincang-bincang, dan kelompok kontrol mendapatkan status quo-dalam hal ini, mendengarkan musik. Segala sesuatu yang lain tentang kondisi eksperimen, seperti waktu dan ruangan tempat mereka juga dikontrol, yang berarti bahwa satu-satunya perbedaan dalam kondisi yang mengelilingi kelompok eksperimen dan kelompok kontrol adalah apa yang mereka dengarkan. Eksperimen ini memungkinkan kita untuk mengaitkan efek yaitu peningkatan niat kelompok eksperimen untuk memberikan suara karena bincang-bincang radio. 31
Fitur penting lain dari desain eksperimental adalah manipulasi variabel independen, yang berarti peneliti menentukan kasus mana yang mendapatkan nilai yang mana dari variabel independen. Hal ini mudah dilakukan pada pemutar MP3, namun, seperti yang akan kita lihat, hal ini tidak mungkin dilakukan pada jenis fenomena yang banyak diminati oleh para peneliti sosial. Metode eksperimental adalah desain yang kuat untuk mengeksplorasi pertanyaan sebab dan akibat karena mereka memungkinkan peneliti untuk mencapai tiga kriteria untuk membuat klaim kausal standar yang digunakan untuk menilai validitas klaim sebab akibat: urutan waktu, asosiasi, dan tidak dibuat-buat. Urutan waktu adalah yang paling mudah (kecuali jika Anda berada di kapal luar angkasa Enterprise). Kita biasanya dapat menetapkan bahwa penyebab mendahului akibat. Asosiasi juga cukup mudah. Jika kita bekerja dengan data kuantitatif (seperti yang biasanya terjadi dalam desain penelitian eksperimental), kita memiliki seluruh alat statistik untuk menunjukkan apakah dan dengan cara apa dua variabel berhubungan satu sama lain. Jika kita bekerja dengan data kualitatif, teknik analisis data kualitatif yang baik juga dapat secara meyakinkan menunjukkan hubungan tersebut. Memenuhi kriteria ketiga untuk membuat klaim kausal, yaitu nonspuriousness, adalah hal yang sulit. Spurious adalah hubungan palsu. Hubungan ini terlihat seperti hubungan sebab-akibat, tetapi sebenarnya tidak. Maka, nonspuriousness mengharuskan kita untuk menetapkan bahwa hubungan sebab-akibat adalah hal yang nyata bahwa akibatnya memang disebabkan oleh penyebabnya dan bukan sesuatu yang lain. Bayangkan melakukan survei terhadap mahasiswa baru. Berdasarkan survei, kita mengklaim bahwa berasal dari kampung halaman yang lebih jauh membuat mahasiswa cenderung memilih kelas pagi. Apakah kita memenuhi kriteria pertama? Ya, mahasiswa baru berasal dari daerah yang dekat atau jauh sebelum mereka mendaftar kelas. Apakah kita memenuhi kriteria kedua? Ya, ini adalah survei hipotetis, jadi kita akan mengatakan ya: Jarak dari rumah ke kampus dan waktu mulai kelas rata-rata berkorelasi positif dan negatif. Namun, bagaimana dengan nonspuriousness? Untuk menetapkan poin ini, kita perlu memikirkan apa saja penjelasan yang menjadi dugaan hubungan sebab-akibat dan mengesampingkannya. Setelah menjalankan ide-ide Anda melewati orang-orang kantor penerimaan, Anda mengetahui bahwa siswa yang masuk dari dekat biasanya menghadiri sesi orientasi lebih awal, mereka yang berasal dari jauh biasanya menghadiri sesi orientasi, dan- mereka mendaftar untuk kelas selama orientasi. Kita sekarang memiliki penjelasan yang berpotensi bersaing: Mungkin mahasiswa baru yang mendaftar kelas belakangan lebih banyak kemungkinan besar akan berakhir di kelas pagi karena kelas yang dimulai lebih lambat sudah penuh. Maka, tanggal pendaftaran mahasiswa, kemudian, menjadi variabel kontrol yang berpotensi penting karena sangat terkait dengan variabel independen (jarak dari rumah ke kampus) dan variabel dependen (rata-rata waktu mulai kelas). Jika variabel kontrol, pada kenyataannya, terkait dengan variabel independen dan variabel dependen, maka hal itu saja dapat menjelaskan mengapa variabel independen dan dependen tampak terkait satu sama lain padahal sebenarnya tidak. Ketika kita melakukan analisis tambahan terhadap data yang mengkonfirmasi bahwa mahasiswa baru yang berasal dari tempat yang lebih jauh memang cenderung mendaftar lebih lambat daripada mahasiswa yang mendaftar lebih lambat cenderung 32
berada di kelas yang dimulai lebih awal, dan, ketika mengontrol tanggal pendaftaran, tidak ada hubungan yang nyata antara jarak dari rumah dan rata-rata waktu mulai kelas. Klaim kausal awal, dengan demikian, tidak mencapai standar nonspuriousness. Keindahan desain eksperimental-dan ini adalah inti dari mengapa desain ini menjadi standar emas untuk penelitian kausal -adalah kemampuannya untuk membangun ketidaksengajaan. Saat melakukan eksperimen, kita bahkan tidak perlu memikirkan variabel kontrol potensial yang mungkin berfungsi sebagai penjelasan untuk hubungan sebab akibat yang kita pelajari. Dengan memasukkan (cukup) banyak kasus/observasi secara acak ke kelompok eksperimen dan kelompok kontrol dan kemudian mempertahankan kontrol pengaturan eksperimen, kita dapat mengasumsikan bahwa kedua kelompok dan pengalaman mereka selama penelitian adalah sama dalam segala hal, kecuali satu, yaitu nilai variabel independen. Pemilihan secara acak membutuhkan penjelasan yang yang dapat kita pikirkan dan penjelasan alternatif yang tidak pernah bahkan tidak pernah terpikirkan oleh kita. Dalam eksperimen yang dikontrol dengan ketat, setiap perbedaan yang diamati pada variabel dependen pada akhir percobaan dapat dengan yakin dikaitkan dengan variabel independen. "Eksperimen yang dikontrol dengan ketat," ternyata, tidak terlalu umum dalam penelitian sosial. Terlalu banyak hal yang kita pelajari hanya penting ketika berada di luar dunia nyata, dan jika Anda mencoba memasukkannya ke dalam batas-batas eksperimen yang dikontrol dengan ketat, kita belum tentu yakin apakah yang dipelajari berlaku untuk hal yang nyata. Namun, desain eksperimental adalah sesuatu yang bisa kita cita-citakan, dan semakin dekat kita bisa mencapai cita-cita ini, semakin percaya diri kita dalam penelitian kausal. Setiap kali kita memiliki desain penelitian yang meniru desain eksperimental tetapi kehilangan salah satu fitur utamanya-Pemilihan sampel secara acak untuk kelompok eksperimen dan kelompok kontrol, kontrol pengaturan eksperimen, dan manipulasi variabel independen-kita melakukan desain kuasi-eksperimental. Seringkali, memilih secara acak ke kelompok eksperimen dan kelompok kontrol sangat sulit atau benar-benar tidak mungkin dilakukan. Kita tidak bisa menentukan anak-anak sekolah ke sekolah negeri dan sekolah swasta, kita tidak dapat menentukan penjahat di masa depan, hidup di negara bagian tanpa toleransi dan negara bagian yang lebih longgar, dan kita tidak dapat memilih wanita hamil ke rumah tangga yang merokok dan yang tidak merokok. Kita sering kali tidak memiliki kekuatan untuk memanipulasi variabel independen, seperti memutuskan negara bagian mana yang akan memiliki undang-undang registrasi pemilih dan mana yang tidak, untuk menguji pengaruhnya terhadap perilaku memilih. Sangat jarang kita memiliki kemampuan untuk mengontrol aturan eksperimental; bahkan jika kita dapat secara acak menentukan anak-anak ke dua kelas taman kanak-kanak yang berbeda untuk membandingkan kurikulum, bagaimana faktor lain - kepribadian guru, misalnya - apakah faktor-faktor lain bisa benar-benar sama? Desain kuasi-eksperimental beradaptasi dengan realitas penelitian seperti ini dengan upaya mendekati sedekat mungkin dengan desain eksperimental yang sebenarnya. Ada banyak variasi desain kuasi-eksperimental dengan nama-nama yang aneh seperti diskontinuitas regresi (regression discontinuity) dan replikasi dengan kelompok yang tidak ekuivalen, tetapi semuanya dapat dipahami sebagai respon kreatif terhadap tantangan mendekati desain 33
eksperimental. Ketika kita membagi kasus kita menjadi dua kelompok dengan beberapa cara selain penugasan acak, kita tidak bisa menggunakan istilah kelompok kontrol lagi, tetapi kelompok pembanding sebagai gantinya. Semakin dekat kelompok pembanding kita dengan kelompok kontrol, semakin kuat desain kuasi-eksperimental kita. Untuk membangun kelompok pembanding, kita biasanya mencoba memilih kelompok kasus yang mirip dengan kasus dalam kelompok eksperimen. Jadi, kita mungkin membandingkan satu ruang kelas taman kanak-kanak yang menikmati inovasi pedagogis dengan ruang kelas taman kanak-kanak yang berdekatan dengan kurikulum lama yang sama atau pengemudi Alabama setelah adanya undang-undang mengemudi kendaraan bermotor yang baru dengan Pengemudi Mississippi yang tidak terikat olehnya. Jika kita membandingkan kedua kelompok pengemudi ini, kita juga melakukan eksperimen alami. Dalam sebuah eksperimen alami, peneliti tidak dapat memanipulasi nilai variabel independen; tidak dapat memutuskan siapa yang mengemudi di Mississippi atau Alabama, dan tidak dapat memutuskan apakah suatu negara bagian akan mengadopsi undang-undang mengemudi kendaraan bermotor yang baru. Sebagai gantinya, kita memanfaatkan variasi independen. Alabama memang mengadopsi undang-undang "alami" dalam variabel mengemudi kendaraan bermotor yang baru, dan Mississippi tidak, dan orang-orang mengemudi di Alabama dan Mississippi sebelum dan sesudah undang-undang baru. Kita memiliki kesempatan untuk melakukan perbandingan sebelum dan sesudah antara dua kelompok, hanya saja kita tidak memperkenalkan variasi dalam variabel independen sendiri. Peneliti sosial juga melakukan eksperimen lapangan. Dalam eksperimen lapangan, peneliti secara acak memilih kasus ke kelompok eksperimen dan kelompok pembanding, tetapi eksperimen dilakukan dalam pengaturan kehidupan nyata, sehingga kontrol eksperimental sangat lemah. Penulis pernah melakukan eksperimen lapangan untuk mengevaluasi efektivitas program setelah sekolah dalam menjauhkan anak-anak dari narkoba dan semacamnya. Anak- anak secara sukarela mengikuti program tersebut (dengan izin orang tua mereka). Ada terlalu banyak sukarelawan untuk berpartisipasi sekaligus, jadi penulis secara acak memilih setengah dari mereka untuk berpartisipasi selama semester musim gugur dan setengahnya lagi berpartisipasi selama semester musim semi. Anak-anak semester musim gugur berfungsi sebagai kelompok eksperimen dan, selama semester musim gugur, anak-anak lainnya berfungsi sebagai kelompok pembanding. Pada awal semester musim gugur, penulis meminta mereka semua untuk mengisi kuesioner tentang sikap mereka terhadap penggunaan narkoba, dll., kemudian kelompok eksperimen berpartisipasi dalam program sementara kelompok kontrol melakukan apa pun yang biasanya mereka lakukan, dan kemudian pada akhir semester, semua anak-anak kembali mengisi kuesioner yang sama. Benar saja, anak-anak kelompok eksperimen berubah menjadi lebih baik, sementara sikap anak-anak kelompok pembanding tetap sama (atau bahkan sedikit berubah). sama (atau bahkan sedikit berubah menjadi lebih buruk). Sepanjang program, kelompok eksperimen dan kelompok pembanding menjalani kehidupan mereka-penulis tentu saja tidak dapat mempertahankan kontrol eksperimental untuk memastikan bahwa satu-satunya perbedaan antara kedua kelompok adalah program yang dijalankan. 34
Desain penelitian yang sangat kuat dapat dikembangkan dengan menggabungkan salah satu desain longitudinal (deret waktu atau panel) dengan desain eksperimental atau kuasi- eksperimental. Dengan desain seperti itu, kita mengamati nilai-nilai variabel dependen untuk kelompok eksperimen dan kontrol (atau kelompok eksperimen dan kontrol (atau pembanding) pada beberapa titik waktu, kemudian kita mengubah (atau mengamati perubahan) variabel independen untuk kelompok eksperimen, dan kemudian mengamati nilai-nilai dependen variabel dependen untuk kedua kelompok pada beberapa titik waktu lagi. Hal ini sedikit membingungkan, tetapi sebuah contoh akan menjelaskannya: Bayangkan apotek di dalam kota setuju untuk mulai menyediakan buah-buahan dan sayuran segar, yang tidak mudah diakses oleh orang-orang yang tinggal di sekitarnya. Untuk mendapatkannya, kita mungkin ingin tahu apakah hal ini akan mempengaruhi kebiasaan makan penduduk setempat. Ada banyak cara yang dapat kita lakukan untuk melakukan penelitian ini, tapi mungkin desain terkuat adalah desain kuasi-eksperimental seri waktu. Begini cara kerjanya: Sebelum apotek mulai menyediakan produk segar, kita dapat melakukan survei dari pintu ke pintu terhadap orang-orang di dua lingkungan-satu tanpa apotek dan satu lagi dengan apotek. Kita dapat mensurvei rumah tangga sebulan sekali selama empat bulan sebelum produk dijalankan, bertanya kepada orang-orang tentang berapa banyak produk segar yang mereka makan di rumah. (Sekilas saja: Kita mungkin ingin berbicara dengan orang yang berbeda setiap kali, karena jika tidak, kita hanya terus bertanya kepada mereka tentang kebiasaan makan mereka, dan mungkin akan mengubah apa yang mereka makan-sebuah contoh artefak pengukuran, yang kita coba hindari. Kita ingin mengukur perubahan dalam variabel dependen, kebiasaan makan, yang disebabkan oleh perubahan variabel independen, ketersediaan produk di apotek, bukan karena partisipasi responden dalam penelitian itu sendiri). Setelah apotek mulai menyediakan produk segar, kita kemudian akan melakukan survei dari pintu ke pintu di kedua lingkungan itu lagi, mungkin mengulanginya sebulan sekali selama empat bulan. Setelah selesai, kita akan memiliki data yang sangat kaya untuk memperkirakan pengaruh ketersediaan yang tersedia pada kebiasaan makan. Kita bisa membandingkan dua lingkungan sebelum dan sesudah adanya produk yang tersedia untuk menentukan seberapa mirip kebiasaan makan mereka sebelumnya, dan kemudian kita bisa membandingkan kedua lingkungan tersebut sesudahnya. Kita mungkin akan melihat sedikit perbedaan satu bulan setelah produk tersedia karena orang-orang mulai menyadarinya, lalu mungkin perbedaan besar di bulan kedua sebagai tanggapan terhadap hal baru karena produk tersedia dengan mudah, dan kemudian mungkin perbedaan yang lebih moderat dan stabil pada bulan ketiga dan keempat karena beberapa orang kembali ke kebiasaan makan mereka yang lama dan yang lainnya terus membeli produk. Dengan desain ini, kita dapat memberikan bukti yang sangat persuasif bahwa kelompok eksperimen dan kelompok pembanding pada awalnya sama dalam hal variabel dependen, yang meningkatkan keyakinan bahwa setiap perubahan yang kita lihat nanti memang disebabkan oleh perubahan variabel bebas. Kita juga dapat mendapatkan informasi perubahan dari waktu ke waktu, yang sering kali sangat penting ketika kita mengukur perubahan perilaku yang cenderung berubah dari waktu ke waktu. 35
Desain penelitian studi kasus adalah desain penelitian yang unik dari desain penelitian formal. Banyak peneliti yang merasa nyaman dengan semua desain lainnya akan merasa tidak siap untuk melakukan studi kasus. Studi kasus adalah studi sistematis dari sebuah kasus kompleks yang mendalam dan holistik. Berbeda dengan desain lainnya, studi kasus hanya mempelajari satu kasus, yang biasanya berupa peristiwa, sepertipemilihan presiden, atau sebuah program, seperti pelaksanaan program pertukaran jarum suntik. Dengan desain lainnya, peneliti biasanya mengandalkan satu metode pengumpulan data, tetapi dengan desain penelitian studi kasus, kita menggunakan beberapa metode pengumpulan data, dengan penekanan besar pada pengumpulan data kualitatif. Dalam sebuah studi kasus, kita mungkin melakukan wawancara, melakukan diskusi kelompok, mengelola kuesioner, survei catatan administratif, dan melakukan observasi langsung yang ekstensif. Kita melakukan pengamatan yang cukup dengan berbagai cara yang berbeda untuk memungkinkan untuk menulis deskripsi kaya dan terperinci tentang kasus. Laporan tertulis ini, dengan sendirinya, disebut studi kasus. Keunggulan dari studi kasus menyoroti perbedaan utama desain ini dengan desain penelitian lainnya. Perbedaan dengan desain eksperimental adalah yang paling tajam: Jika Anda berpikir tentang desain eksperimental, keindahannya terletak pada pengabaian kompleksitas. Jika kita secara acak memilih sekelompok remaja ke dalam kelompok eksperimen dan kelompok kontrol, untuk mengabaikan semua jerawat, hormonal, canggung, kompleksitas yang riang dan bersemangat dan dinamika kelompok yang akan pasti akan muncul di kedua kelompok tersebut. Kita mengandalkan pemilihan acak dan kontrol eksperimental untuk membuat semua perbedaan antara kedua kelompok menjadi bersih kecuali perbedaan dalam variabel independen. Namun, dengan studi kasus, kita merangkul kompleksitas ini. Intinya adalah untuk menggambarkan kompleksitas yang kaya ini, dengan hanya membawa organisasi yang cukup untuk membuatnya dimengerti oleh orang-orang yang tidak dapat mengamatinya secara langsung-orang-orang yang pada akhirnya akan membaca studi kasus yang ditulis. Ada banyak penjabaran dari desain penelitian formal ini. Beberapa di antaranya, bersama dengan sistem notasi untuk menggambarkan desain penelitian, disajikan dalam Lampiran B. Analisis Data "Biarkan data berbicara sendiri" adalah diktum yang sering digunakan, yang secara tata bahasa salah dan tidak mungkin terjadi. Data yang sudah direkam, tidak kemudian berbicara sendiri. Data tidak memiliki makna selain dari bagaimana kita menafsirkannya. Analisis data dilakukan untuk menemukan makna dan pola dalam data kita. Hal ini juga berarti bagaimana kita memahami data, bagaimana kita memperoleh makna darinya. Cukup akurat untuk mengatakan bahwa analisis data kuantitatif membantu kita memahami data numerik sedangkan analisis data kualitatif membantu kita memahami data tekstual, tetapi itu terlalu menyederhanakan perbedaan keduanya. Bayangkan kita melakukan pengamatan langsung terhadap kampanye pemilihan presiden. Setiap kali kita mengamati sebuah pidato, kita mungkin ingin mencatat perkiraan jumlah orang yang hadir. Jelas, hal itu akan menghasilkan data numerik, dan kita kita akan menggunakan teknik analisis data kuantitatif untuk menemukan pola di dalamnya, seperti menghitung mean, median, dan standar deviasi untuk menyimpulkan kecenderungan sentral dan variasi ukuran kerumunan pada pidato-pidato tersebut. kita mungkin juga akan merekam pidato-pidato itu sendiri dan kemudian 36
mentranskripnya sehingga memiliki catatan tertulis dari setiap pidato. Kali ini, kita memiliki data tekstual dan menggunakan alat analisis data kualitatif untuk tema-tema yang mendasari dalam data tersebut. Namun, kita juga akan mencatat apakah setiap pidato disampaikan oleh kandidat Partai Republik atau kandidat Partai Demokrat, mungkin dengan mencentang kotak pada alat langsung, mungkin dengan mencentang kotak pada alat observasi. Dalam hal ini, data yang dicatat bersifat kualitatif; berupa teks. Namun, ketika kita menganalisis data ini, kemungkinan besar kita akan menggunakan data kuantitatif , dalam hal ini, mungkin hanya untuk menghitung frekuensi setiap nilai variabel, partai politik. Maka, pilihan antara alat analisis data kualitatif dan kuantitatif tidak sepenuhnya tergantung dari jenis data; akan tetapi juga ditentukan oleh apa yang akan kita lakukan dengan data tersebut. Jika kita melakukan perhitungan numerik, kita menggunakan alat analisis data kuantitatif, dan jika mengaitkan makna dari dan ke kata-kata, kita menggunakan alat analisis data kualitatif. (Bahkan hal tersebut sedikit menyederhanakan karena adanya area abu-abu seperti analisis konten, yang merupakan pendekatan kuantitatif untuk analisis data kualitatif). Proses analisis data kualitatif dan kuantitatif juga berbeda. Ketika kita melakukan analisis data kuantitatif, konsep yang kita ukur hampir selalu sudah ditentukan sebelumnya. Pertama-tama literasi politik, kemudian kita memutuskan untuk mengukur konsep mengoperasionalkan konsep tersebut dengan menulis daftar pertanyaan kuesioner, lalu mengumpulkan yaitu, melakukan analisis data kuantitatif sebagai indikator literasi politik. Dengan demikian, konseptualisasi adalah hal yang pertama dilakukan sebelum melakukan analisis. Ketika melakukan analisis data kualitati , hal ini tidak selalu terjadi. Jika kita ingin melakukan wawancara untuk memahami (dalam arti memahami, mengingat) apa yang responden percayai sebagai literasi politik, kita mungkin tidak tahu konsep apa yang akan kita identifikasi - itulah mengapa kita melakukan penelitian ini. Tentu saja, kita memiliki beberapa titik awal-teori formal, model, firasat, apa pun yang telah kita pelajari dari penelitian sebelumnya-atau kita tidak tahu apa yang harus ditanyakan. Namun, selama analisis data, kita mengidentifikasi konsep-konsep penting yang kita temukan pola-pola dalam data wawancara. Dengan demikian, konseptualisasi dan analisis dilakukan secara berulang; konsep adalah titik awal untuk pengumpulan data, konsisten dengan model penelitian, tetapi konsep juga merupakan produk dari analisis data kualitatif. seperti Proses analisis data kuantitatif lebih stabil daripada proses analisis data kualitatif. Hanya ada satu cara untuk menghitung deviasi standar sampel, dan jika Anda ingin membandingkan rata- rata dua kelompok, ada aturan yang hampir disepakati secara universal untuk membantu Anda memilih uji statistik yang sesuai. Namun demikian, jika Anda ingin mengidentifikasi tema- tema yang mendasari dalam sebuah pidato politik, tidak ada satu cara yang tepat untuk melakukan analisis. Ada banyak kubu analisis data kualitatif yang berbeda, beberapa saling melengkapi dan beberapa bersaing, dan bahkan dalam satu kubu, tidak ada harapan bahwa analisis data kualitatif akan mengarahkan Anda dan peneliti lain akan menghasilkan temuan yang sama persis. Kita tidak akan membahas "cara" analisis data di sini. Untuk itu, penulis mengarahkan Anda ke statistik pengantar dan kursus dan buku teks analisis data kualitatif. Sebagian besar siswa yang membaca tulisan ini juga akan mendapatkan mata kuliah pengantar statistik. Penulis pikir calon peneliti ilmu sosial akan merugi dengan tidak mewajibkan mata kuliah analisis data kualitatif. Para mahasiswa menemukan satu perbedaan terakhir yang menarik. Kebenaran yang sebenarnya adalah bahwa mahasiswa dapat melakukan penelitian berkualitas tinggi, menurut 37
standar profesional, dengan menggunakan alat analisis data kuantitatif yang dipelajari dalam mata kuliah pengantar statistik. Ada pengecualian, tetapi jenis penelitian kuantitatif yang dapat diterbitkan dalam jurnal ilmu sosial umumnya membutuhkan lebih banyak pelatihan statistik. Sebaliknya, mahasiswa dapat melakukan penelitian yang sangat baik dengan menggunakan analisis data kualitatif dasar. Banyak pekerjaan yang baik dilakukan dengan menggunakan alat- alat dasar. Anda tidak harus memilih data dan metode analisis berdasarkan hal ini, tentu saja, tetapi Anda harus didorong untuk mengetahui bahwa keterampilan analisis data kualitatif dapat diakses dan dapat memungkinkan mahasiswa untuk melakukan penelitian yang kuat. Titik awal yang bagus adalah David Thomas (2006) "A General Inductive Approach for Analyzing Qualitative Evaluation Data," American Journal of Evaluation, 27(2), 237-246; dan Virginia Braun dan Victoria Clarke (2021) Analisis Tematik: Sebuah Panduan Praktis (Sage). Penulis menemukan bahwa mahasiswa sering datang ke kelas metode penelitian masih sedikit tidak yakin tentang statistik inferensial, bahkan jika mereka baru saja lulus dari mata kuliah statistik. Itu bukan kritik terhadap mahasiswa atau mata kuliah statistik (kadang-kadang itu adalah mata kuliah penulis sendiri!) - sebagai mata kuliah yang sulit untuk dipahami pada awalnya. Jika Anda adalah salah satu dari mahasiswa yang tidak yakin, penulis menawarkan tinjauan singkat tentang analisis data di Lampiran C. Satu catatan terakhir tentang analisis data: dengan memasukkan variabel kontrol ke dalam analisis data, hal ini sering menjadi tantangan tersendiri bagi mahasiswa. Lampiran D menyajikan satu cara pendekatan yang disebut pemodelan elaborasi. Penulis memperkenalkan mahasiswa pada strategi ini karena logika tersebut dapat diterapkan di berbagai skenario analisis data kuantitatif dan kualitatif, dan membantu siswa untuk mempelajari konsep variabel kontrol. Membuat generalisasi dan Berteori Ketika kita telah menyelesaikan analisis data, sekarang saatnya untuk menyelesaikan rangkaian aktivitas, yang memerlukan setidaknya tiga pekerjaan yang agak tumpang tindih. Pertama, kita kembali ke pertanyaan penelitian kita, bukan menanyakannya, tapi menjawabnya. Apa yang kita pelajari? Sejauh mana kita dapat menggeneralisasi temuan kita-ke populasi yang lebih besar, ke konteks lain, ke kasus lain, ke waktu lain? Kita sebaiknya melakukan ini dengan rendah hati. Dalam penelitian sosial, klaim yang kita buat hampir selalu bersifat sementara. Kita juga jarang mengklaim untuk sepenuhnya "menjawab" pertanyaan penelitian, dan hampir tidak pernah mengklaim untuk "membuktikan" apa pun. Kita menyatakan kesimpulan sementara, menyadari bahwa penelitian di masa depan dapat memperbaiki, memperluas, atau bahkan bertentangan dengan temuan atau apa yang yang telah dipelajari. Kita juga mengakui keterbatasan penelitian (yang selalu ada) dan menyarankan arah untuk penelitian di masa depan. (Lihat Lampiran F tentang bagaimana menghindari kesalahan umum dalam menggeneralisasi dari kelompok ke individu). Kedua, kita menghubungkan apa yang telah kita pelajari dengan penelitian sebelumnya. Bagaimana dan apa yang telah kita pelajari konsisten dengan penelitian sebelumnya? Bagaimana dan apa yang berbeda? Di mana letaknya dalam tubuh pengetahuan yang lebih besar? Ketiga, kita menambah apa yang kita ketahui tentang teori. Dari perspektif deduktif, apakah teori yang mendorong penelitian kita tampaknya cocok dengan apa yang telah kita amati? Bagaimana pengamatan kita menunjukkan bahwa kita harus memodifikasi teori? Dari perspektif induktif, teori apa yang kita bangun berdasarkan pengamatan kita? Bagaimana penelitian di masa depan dapat menguji teori ini? 38
Mengevaluasi Penelitian: validitas dan reliabilitas Seperti yang mungkin sudah Anda duga, melakukan penelitian bukanlah sebuah ilmu pengetahuan. Anda mungkin telah memperhatikan bahwa penulis beralih dari "penelitian ilmu sosial" ke "penelitian sosial." Penulis ragu-ragu apakah yang apa yang kita lakukan adalah "sains," tepatnya-tergantung apa yang Anda maksud dengan "sains," dan para ilmuwan tidak begitu saja setuju pada titik itu. Penulis berdamai dengan ambivalensi seperti ini. Saat menulis, penulis sadar tentang bagaimana mengkualifikasikan "pernyataan penulis atau saya" telah menggunakan kata tersebut sebanyak 37 kali sejauh ini. Hal itu bukanlah tanda yang sangat bagus, tetapi itu mencerminkan sebuah poin penting: Tidak ada satu cara yang benar untuk melakukan proyek penelitian. Ketika kita membuat keputusan tentang bagaimana melakukan penelitian, kita dihadapkan pada banyak pilihan. Mengidentifikasi pilihan-pilihan ini adalah sebuah proses kreatif; kita melakukan brainstorming, bertukar ide dengan orang lain, mencari tahu implikasi dari dasar teori, kita melihat penelitian sebelumnya untuk mendapatkan inspirasi, dan kita memiliki banyak sekali pilihan. Jika kita tertarik untuk mempelajari gaya kepemimpinan manajer publik, kita dapat mewawancarai mereka, melakukan kelompok fokus dengan mereka, meminta mereka mengisi survei web, atau mengamati mereka saat beraksi. Kita dapat menyusun pengamatan kita dalam desain penelitian cross-sectional, membuat perbandingan lintas kasus, mengikuti para manajer dari waktu ke waktu, atau merancang eksperimen yang cerdas. Ketika kita mengoperasionalkan salah satu dari banyak konsep yang perlu diukur, kita dihadapkan dengan lebih banyak pilihan. Untuk memutuskan bagaimana mengoperasionalkan konsep seperti kepemimpinan transformasional, kita akan melihat ke sesama peneliti, teori, dan penelitian sebelumnya, tetapi kita masih akan mencari variasi yang tak terbatas tentang bagaimana kita dapat mengajukan pertanyaan, mengekstrak data dari catatan administratif, atau mencatat pengamatan langsung. Namun, sekreatif apapun melakukan penelitian, akan menyesatkan untuk mengatakan bahwa melakukan penelitian adalah sebuah seni. Memang benar bahwa penelitian adalah upaya kreatif, namun bukan berarti penelitian yang baik adalah "di mata orang yang melihatnya." Ini lebih seperti sebuah seni. Melakukan penelitian membutuhkan banyak kreativitas, tetapi dapat dilakukan dengan baik atau buruk. Melakukan penelitian bukanlah usaha yang sepenuhnya subjektif; ada standar yang dapat kita terapkan untuk menilai kualitas penelitian. Secara garis besar, ada dua standar yang digunakan untuk menilai kualitas penelitian adalah validitas dan reliabilitas. Kita menggunakan istilah-istilah ini sebagai bagian khusus dari jargon dalam metodologi penelitian, di mana mereka memiliki makna di luar apa yang kita maksudkan ketika menggunakannya dalam bahasa sehari-hari. (Dan untuk menambah kehebohan, penulis harus mencatat bahwa dari semua jargon yang telah kita bahas, jargon yang terkait dengan validitas dan reliabilitas adalah yang paling tidak konsisten diterapkan di antara para ahli metodologi ilmu sosial. Para ahli metodologi tampaknya memiliki cara mereka sendiri tentang bagaimana mereka menggunakan istilah-istilah ini, jadi pahamilah bahwa Anda akan mendapatkan revisi, dan belum tentu selalu sesuai dengan bagaimana Anda akan melihat istilah-istilah yang digunakan di tempat lain). Kita harus mengetahui menerapkan standar-standar ini karena hal ini membantu kita memutuskan berapa banyak informasi yang harus dimasukkan ke dalam penelitian yang kita baca dan karena mengetahui standar yang digunakan untuk menilai penelitian akan membantu kita merancang penelitian kita sendiri yang akan memenuhi standar- standar tersebut. 39
Kita dapat berpikir untuk mengevaluasi desain penelitian pada dua tingkat: desain penelitian secara keseluruhan dan operasionalisasi konsep-konsep spesifik. Untuk setiap proyek penelitian tertentu, kita dapat membuat evaluasi holistik atas manfaat dari keseluruhan proyek, dan kita juga dapat membuat evaluasi tentang bagaimana setiap konsep individu diukur, yang bisa berjumlah puluhan evaluasi terpisah untuk satu proyek penelitian. Ketika mengevaluasi keseluruhan desain proyek penelitian, kita menerapkan standar validitas internal, validitas eksternal, dan reliabilitas. Validitas internal adalah sejauh mana kesimpulan dari pengamatan adalah benar. Paling sering, standar validitas internal diterapkan pada kesimpulan kausal. Jika kita menilai validitas internal sebuah penelitian, maka, kita menilai sejauh mana desain penelitian itu memungkinkan kesimpulan yang meyakinkan tentang sebab dan akibat. Desain eksperimental, jika dilakukan dengan baik, memiliki validitas internal yang sangat tinggi; kita bisa yakin bahwa perubahan yang diamati dalam variabel dependen, memang, disebabkan oleh perubahan dalam variabel independen. Penting untuk melihat bahwa validitas internal yang kuat adalah fungsi dari desain penelitian; karakteristik desain penelitian itu sendiri-dalam kasus eksperimen, desain pemilihan secara acak ke kelompok eksperimen dan kontrol memungkinkan kita untuk membuat klaim kausal dengan penuh keyakinan. Yang cukup menarik, karakteristik eksperimen yang memperkuat validitas internal adalah karakteristik yang sama dan cenderung melemahkan validitas eksternal. Validitas eksternal adalah sejauh mana kita dapat menggeneralisasi kesimpulan yang kita buat dari pengamatan di luar kasus yang diamati. Menilai validitas eksternal menanyakan apakah kita dapat menerapkan apa yang telah kita pelajari dari pengamatan kita pada kasus, konteks, atau waktu yang lain. Ketika kita melakukan eksperimen, biasanya eksperimen itu sangat artifisial-seluruh pengaturan eksperimen harus dikontrol dengan ketat untuk memastikan komparabilitas kelompok eksperimen dan kontrol dalam segala hal kecuali untuk variabel independen. (Penulis harap Anda memikirkan hal itu ketika Anda membaca tentang siswa yang mendengarkan mendengarkan radio konservatif melalui earbud mereka selama empat jam berturut-turut sambil duduk di kelas-bukan skenario yang sangat realistis). Kontrol yang ketat ini sangat penting untuk mencapai validitas internal, tetapi sangat sulit untuk menerapkannya ke konteks lain (seperti kehidupan nyata) -hal itu membuatnya sulit untuk mencapai validitas eksternal. Reliabilitas adalah sejauh mana peneliti lain akan mendapatkan hasil yang sama jika penelitian diulang, baik oleh mereka sendiri atau oleh orang lain. Seringkali, menilai reliabilitas sulit diimplementasikan -sebuah aktivitas yang kita lakukan hanya dalam imajinasi kita. Mari kita kembali ke contoh survei terhadap orang-orang di lingkungan dalam kota tentang kebiasaan makan mereka. Jika saya harus menilai kehandalan desain penelitian kuasi-eksperimental, penulis akan memikirkan beberapa skenario hipotetis. Bagaimana jika ada orang lain yang melakukan penelitian ini? Saya seorang laki-laki kulit putih; bagaimana bagaimana jika seorang perempuan kulit hitam yang melakukan wawancara? Apakah dia akan mendapatkan hasil yang sama seperti saya? Bagaimana jika saya bisa menekan tombol reset kosmik, kembali ke masa lalu, dan melakukan penelitian ini lagi sendiri? Apakah saya sendiri akan mendapatkan hasil yang sama lagi? Ketika mengevaluasi sebuah penelitian pada tingkat operasionalisasi semua konsepnya, kita menerapkan standar validitas operasional dan, sekali lagi, reliabilitas. Validitas operasional adalah sejauh mana cara kita mengoperasionalkan sebuah konsep dan benar-benar mengukur 40
konsep tersebut. Mari kita pertimbangkan tantangan dalam mengoperasionalkan konsep yang sudah dikenal oleh mahasiswa, yaitu kesiapan kuliah. Jika definisi nominal tentang kesiapan kuliah adalah "kesiapan seseorang untuk untuk sukses di perguruan tinggi." Bagaimana kita mengoperasionalkan konsep ini? Kita memiliki banyak pilihan, tetapi katakanlah kita akan memberikan kuesioner tertulis kepada siswa perguruan tinggi, dan akan memasukkan pertanyaan berikut sebagai ukuran kesiapan kuliah: Berapa nilai Anda dalam (American College Testing) ACT? Kelihatannya cukup mudah, tetapi mari kita evaluasi operasionalisasi ini dalam hal validitas operasionalnya. Apakah pertanyaan ini benar-benar mengukur kesiapan kuliah? Kita dapat menilai validitas operasional dari empat sudut pandang yang berbeda: validitas muka, validitas isi, validitas diskriminasi, dan validitas kriteria. (Dalam memperkenalkan istilah-istilah ini, penulis harus menyebutkan sebuah dalih yang dimiliki dengan banyak penulis buku teks. Hal ini tidak benar-benar jenis yang berbeda dari validitas; semua adalah aspek-aspek yang berbeda dari validitas operasional - cara-cara yang berbeda dalam berpikir tentang apakah sebuah operasionalisasi benar-benar mengukur konsep yang ingin diukur atau tidak). Validitas muka adalah yang paling intuitif dari keempat cara untuk memeriksa validitas operasional. Ketika kita menilai validitas permukaan dari sebuah operasionalisasi, kita hanya bertanya apakah, pada permukaannya, operasionalisasi tampaknya mengukur konsep yang ditargetkan. Di sini, penulis akan mengatakan tentu saja-sepertinya sangat masuk akal untuk menggunakan skor ACT sebagai ukuran kesiapan kuliah. Sebagai bukti untuk validitas operasionalisasi ini dapat merujuk pada peneliti lain yang telah menggunakan operasionalisasi yang sama untuk mengukur kesiapan kuliah. Tentu saja, skor ACT mencapai validitas muka sebagai mengukur kesiapan kuliah. Selanjutnya, kita dapat berpikir tentang validitas operasional dengan menilai validitas isi dari ukuran tersebut (kadang-kadang disebut validitas konstruk). Banyak konsep abstrak yang ingin kita ukur bersifat luas dan kompleks. Pikirkan tentang kesiapan kuliah. Tentunya hal ini mencakup kesiapan akademis, yang memiliki banyak segi - keterampilan belajar yang memadai, keterampilan berpikir kritis, keterampilan matematika, keterampilan menulis, keterampilan komputer, dan sebagainya. Kesiapan kuliah mungkin juga mencakup faktor nonakademik, seperti motivasi diri, keterbukaan terhadap ide-ide baru, kemampuan bergaul dengan baik dalam kelompok, dan rasa ingin tahu. Penulis yakin Anda dapat memikirkan lebih isi, kita bertanya apakah banyak aspek kesiapan kuliah. Ketika menilai validitas operasionalisasi mengukur keseluruhan dan kompleksitas suatu konsep. Di sini, penulis pikir nilai ACT mungkin bermasalah. Dari sekian banyak aspek dari kesiapan masuk perguruan tinggi, nilai ACT hanya mengukur sebagian kecil dari kemampuan akademis. Kemampuan akademik tersebut memang merupakan indikator kesiapan masuk perguruan tinggi (dan karenanya nilai ACT mencapai validitas muka), tetapi jika kita hanya mengandalkan nilai ACT sebagai operasionalisasi penuh kesiapan kuliah, operasionalisasi ini gagal mencapai validitas isi. Kita hampir selalu membutuhkan beberapa pengukuran ketika mengoperasionalkan konsep-konsep yang kompleks untuk mencapai validitas isi. Pada titik ini, dalam desain penelitian, kita mungkin akan menambahkan beberapa item tambahan pada kuesioner untuk mengoperasionalkan kesiapan perguruan tinggi secara lebih lengkap. Namun, mari kita lanjutkan dengan menilai operasionalisasi, yang hanya mengandalkan skor ACT sebagai ukuran kesiapan kuliah. Kita dapat terus menilai validitas 41
operasional dari operasionalisasi ini dengan menilai validitas diskriminasi, yang menanyakan apakah cara kita mengoperasionalkan konsep akan memungkinkan kita untuk membedakan antara konsep yang ditargetkan dengan konsep lainnya. Kita semua memiliki teman di sekolah menengah yang tidak terlalu menyukai ACT dan tanpa disadari mengaitkan hasil yang buruk dengan validitas diskriminatif: "Nilai ACT hanya menunjukkan seberapa baik Anda dalam mengerjakan tes standar!" Teman Anda mengatakan bahwa ACT tidak mengoperasionalkan konsep yang dimaksudkan untuk mengoperasionalkan, kesiapan kuliah, tetapi konsep lain sama sekali, pengambilan tes standar kemampuan. Teman Anda tersebut cukup cerdik untuk mempertimbangkan apakah ACT mencapai validitas diskriminasi. Jika mempertimbangkan validitas muka adalah cara yang paling intuitif untuk menilai validitas operasional, mempertimbangkan validitas kriteria adalah cara yang paling formal. Ketika menilai validitas kriteria, kita menguji (biasanya secara statistik) apakah ukuran kita berhubungan dengan variabel telah berhasil mengoperasionalkan konsep target kita. Jika skor ACT berhasil mengoperasionalkan kesiapan masuk perguruan tinggi, nilai ACT siswa harus dikaitkan dengan apa secara statistik? Nah, jika skor ACT benar-benar merupakan ukuran kesiapan masuk perguruan tinggi, maka siswa yang memiliki nilai ACT yang lebih tinggi seharusnya juga cenderung memiliki IPK perguruan tinggi yang lebih tinggi. Jika kita menguji hubungan tersebut, kita menggunakan IPK perguruan tinggi sebagai variabel kriteria (karenanya validitas kriteria) untuk menentukan apakah skor ACT merupakan cara yang baik untuk mengoperasionalkan kesiapan kuliah. Jika ada hubungan yang kuat antara skor ACT dan IPK perguruan tinggi (variabel kriteria), maka kita akan menggunakannya sebagai bukti bahwa operasionalisasi kesiapan perguruan tinggi (konsep target) menunjukkan validitas operasional. Kita dapat memikirkan variabel kriteria lain juga-apakah siswa apakah siswa lulus dari perguruan tinggi dan berapa lama waktu yang dibutuhkan. Kita tidak selalu memiliki kesempatan untuk menguji validitas kriteria, tetapi ketika kita melakukannya, itu dapat memberikan bukti yang sangat kuat untuk validitas operasional dari pengukuran. lain sebagaimana mestinya jika kita Sama seperti ketika kita mengevaluasi desain penelitian secara keseluruhan, kita menerapkan standar reliabilitas ketika kita mengevaluasi operasionalisasi konsep individu, juga terlibat dalam pemikiran eksperimen untuk mempertimbangkan apakah kita akan mendapatkan hasil yang sama jika pengamatan dilakukan oleh peneliti lain atau bahkan oleh kita sendiri jika dapat kembali dan melakukannya lagi. Kita juga mempertimbangkan, dan terkadang mengukur dengan menggunakan alat statistik, sejauh mana pengukuran individu menunjukkan kesalahan acak. Dalam hal ini adalah jumlah variasi dalam pengukuran berulang, baik yang diulang dalam kenyataan atau hanya secara hipotesis. Katakanlah kita mengukur tinggi dinding menggunakan meteran. Kita tahu bahwa tinggi dinding tersebut adalah 96 inci. Anda dapat membayangkan, bahwa meteran Anda mungkin membaca 957/8 saat pertama kali Anda mengukurnya, 961/8 pada pengukuran kedua, dan 9515/16 pada pengukuran ketiga. Pengukuran Anda menunjukkan beberapa kesalahan acak. Jika Anda mengulangi hal ini berulang kali, maka pengukuran rata- rata akan menjadi benar, tetapi satu pengukuran pasti akan melenceng sedikit. Dalam penelitian sosial, beberapa jenis pengukuran lebih rentan terhadap kesalahan acak daripada yang lain. Bayangkan jika Anda diminta untuk menilai persetujuan atau ketidaksetujuan Anda terhadap pernyataan bahwa saya suka kampanye yang dicetak dengan huruf besar semua pada skala 7. Penulis tahu bahwa penulis tidak memiliki pendapat yang kuat tentang masalah ini, sungguh. Jika Anda bertanya kepada penulis pagi ini, penulis 42
mungkin akan memberikan nilai 5, tetapi sore ini, mungkin 4, dan besok mungkin 7. Kita sangat jarang melakukan pengukuran dari hal yang sama berulang-ulang (dan jika Anda melakukannya, saya mungkin akan selalu memberikan jawaban yang sama hanya demi terdengar konsisten dengan diri saya sendiri), jadi kita harus memikirkan tentang konsistensi dari pengukuran berulang yang bersifat hipotesis. Secara hipotetis, jika kita bertanya kepada seseorang untuk menilai seberapa besar dia menyukai tanda kampanye dalam huruf besar, tanyakan ingatannya tentang pengalaman itu, tanyakan lagi lagi, tanya lagi, tanya lagi, tanya lagi, tanya lagi, dan tanya lagi, penulis memprediksi bahwa kita akan mengamati banyak kesalahan acak, yang berarti pertanyaan itu mungkin bukan cara yang sangat andal untuk mengoperasionalkan konsep yang ditargetkan, preferensi untuk kapitalisasi teks tanda kampanye. Etika Penelitian Ketika mempelajari perilaku manusia, peluang untuk berperilaku tidak etis sangat mungkin terjadi. Para peneliti harus waspada terhadap praktik penelitian yang tidak etis. Ada banyak godaan untuk berbohong. Jika Anda ingin membuat nama besar untuk diri Anda sendiri sebagai peneliti, atau jika Anda berharap menggunakan penelitian untuk mendukung pendapat Anda, Anda akan tergoda untuk memalsukan data atau memalsukan temuan agar sesuai dengan kebutuhan Anda, terutama ketika temuan yang sebenarnya tidak sesuai. Kita telah melihat bahwa kita menggabungkan apa yang dipelajari dari penelitian sebelumnya selama proses penelitian, dan ketika melakukannya, kita selalu berhati-hati dalam mengutip sumber kata-kata dan gagasan yang bukan milik kita sendiri. Ketika kita mengumpulkan data dari orang-orang - mewawancarai mereka, mengamati mereka, memeriksa catatan administratif mereka-kita berusaha keras untuk tidak menyakiti mereka. Kita memastikan peserta penelitian mengetahui potensi risiko berpartisipasi dalam penelitian, termasuk hal-hal yang jelas seperti bahaya fisik, tentu saja, tetapi juga termasuk risiko bahwa informasi pribadi merekabetapapun kecilnya risiko yang kita anggap, informasi pribadi mereka akan diketahui oleh orang lain. Sering kali, kita menjanjikan kerahasiaan kepada peserta penelitian, dan bekerja keras untuk memenuhi komitmen etis tersebut. Peserta penelitian bukan sekadar "subjek," mereka bukan titik data atau nomor identitas, mereka tidak dapat sepenuhnya diketahui dengan nilai-nilai yang ditetapkan untuk variabel-variabelnya, dan mereka bukan perwakilan individu dari generalisasi yang diharapkan dapat diperoleh dari penelitian. Lihat Lampiran F pada poin terakhir ini). Orang-orang yang berpartisipasi dalam penelitian adalah individu-individu yang yang tak ternilai harganya dan bermartabat, dan mereka harus dihormati. Ketika melakukan penelitian di bawah naungan universitas atau lembaga pemerintah, etika penelitian dipantau oleh orang-orang yang ditunjuk sebagai Dewan Peninjau Institusi (Institutional Review Board/IRB). IRB menyatakan bahwa para peneliti telah dilatih dalam etika penelitian, biasanya dengan memverifikasi bahwa peneliti telah menyelesaikan modul pelatihan online. Kita menyerahkan rencana penelitian kepada dewan ini, termasuk rencana bagaimana akan memastikan pelaksanaan penelitian yang etis. Kita menyerahkan rencana penelitian kepada dewan tersebut, termasuk rencana bagaimana akan memastikan etika proyek penelitian, dan menunggu lampu hijau dari mereka sebelum melanjutkan proses penelitian lebih lanjut. Mereka memonitor kemajuan dan berfungsi sebagai kontak bagi siapa saja yang perlu menyampaikan kekhawatiran tentang perilaku etis para peneliti. Sejujurnya, IRB bisa sedikit merepotkan bagi peneliti yang hanya ingin bersenang-senang dengan pekerjaan yang 43
menyenangkan dalam melakukan penelitian, tetapi tanggung jawab mereka, terutama perlindungan subjek penelitian manusia, sangat diperlukan untuk memastikan etika penelitian sosial. Kata penutup Penulis harap Anda sekarang setuju bahwa melakukan penelitian ilmu sosial empiris bukanlah sebuah misteri, dan belajar dari dan mengevaluasi penelitian orang lain adalah sesuatu yang dapat Anda lakukan sendiri. Untuk terus belajar, bacalah laporan-laporan penelitian terdahulu. Apa pun jenis fenomena sosial yang Anda minati, dimana Anda akan menemukan banyak hasil penelitian yang mudah diakses daripada sebelumnya. Beberapa dari Anda akan melakukan penelitian sendiri, dan jika Anda tertarik melakukan penelitian sebagai jalan karier, Anda harus mendapatkan sebanyak mungkin pengalaman penelitian praktis, mulai sekarang. Anda dapat menggunakan apa yang telah anda pelajari di sini dengan melakukan penelitian sebagai warga negara yang dapat memahami dan berpartisipasi dalam argumen empiris yang masuk ke dalam wacana publik di tempat kerja, komunitas, negara, bangsa, dan dunia. Silakan lakukan. 44
Lampiran A: Penelitian terapan dan model logika program Anda mungkin pernah mendengar penelitian sosial disebut sebagai penelitian murni atau terapan. Penelitian murni bertujuan untuk membangun pengetahuan untuk kepentingannya sendiri; penelitian terapan bertujuan untuk melakukan hal-hal seperti memecahkan masalah, memanfaatkan sumber daya, mengidentifikasi peluang untuk perbaikan, dan merencanakan bagaimana mencapai suatu tujuan. Hal ini bisa menjadi perbedaan yang berguna, tetapi mereka bukanlah kategori yang eksklusif. Banyak penelitian murni yang pada akhirnya sangat berguna, dan banyak mencerahkan pengetahuan dihasilkan oleh penelitian terapan. Ketika melakukan penelitian terapan mengenai suatu program, organisasi, atau kebijakan, model mempunyai peran penting dalam proses penelitian. Di sini penulis akan fokus pada bagaimana model dapat membantu menghasilkan pertanyaan penelitian empiris. Model logika berikut ini, misalnya, menggambarkan bagaimana sebuah program bimbingan belajar setelah jam sekolah dapat berfungsi. Input meliputi semua sumber daya untuk program ini (tutor, kurikulum, dan kantin) dan permintaan untuk program (siswa sekolah menengah yang membutuhkan bantuan dalam pelajaran matematika). Kegiatan adalah tindakan utama yang dilakukan oleh program, dan outputnya adalah yang dapat diamati dan dapat dihitung dari unit layanan yang dihasilkan. 45
Hasil menggambarkan rantai yang dimaksudkan hasil program - cara-cara program dimaksudkan dapat menciptakan dunia (kondisi) yang lebih baik. Semua komponen model logika dapat menghasilkan pertanyaan penelitian terapan untuk memandu penyelidikan yang dapat membantu seluruh proses perencanaan dan evaluasi program. Berikut adalah beberapa contoh pertanyaan. Pertanyaan untuk memahami dan menetapkan kebutuhan akan program: 1. Berapa banyak siswa sekolah menengah yang membutuhkan bantuan? 2. Apa saja kekuatan akademis siswa sekolah menengah? 3. Konsep matematika apa yang paling menantang bagi siswa sekolah menengah? 4. Apa saja kebiasaan belajar anak sekolah menengah? 5. Bagaimana perasaan siswa sekolah menengah tentang belajar matematika? Pertanyaan tentang sumber daya program: 6. Keterampilan bimbingan belajar apa yang dimiliki oleh siswa sekolah menengah? 7. Pengetahuan matematika apa yang dimiliki oleh para siswa sekolah menengah? 8. Berapa banyak waktu yang dimiliki oleh para siswa sekolah menengah untuk berkomitmen pada program ini? 9. Apakah lingkungan kantin kondusif untuk belajar? Pertanyaan tentang kegiatan dan hasil: 10. Apakah para siswa SMA menggunakan praktik bimbingan belajar yang baik? 11. Apakah siswa SMA mengikuti kurikulum bimbingan kelompok? 12. Apakah siswa sekolah menengah tetap aktif terlibat dalam bimbingan belajar? 13. Apakah ada hambatan dalam partisipasi siswa sekolah menengah? 14. Apa yang menurut siswa sekolah menengah yang paling bermanfaat dari program ini? 15. Apa yang menurut siswa sekolah menengah sudah berjalan dengan baik? Kekhawatiran apa yang mereka miliki? Pertanyaan tentang hasil dan kemungkinan konsekuensi yang tidak diinginkan: 16. Apakah siswa sekolah menengah memperoleh pemahaman yang lebih baik tentang konsep matematika yang ditargetkan? 17. Apakah nilai matematika siswa sekolah menengah meningkat? 18. Apakah siswa sekolah menengah mengembangkan keterampilan belajar mandiri yang lebih baik? 19. Bagaimana kebiasaan belajar siswa sekolah menengah berubah? 20. Bagaimana program ini mempengaruhi siswa sekolah menengah? 21. Bagaimana program ini mempengaruhi sikap siswa sekolah menengah terhadap sekolah dan pembelajaran? 22. Bagaimana program ini mempengaruhi partisipasi siswa sekolah menengah dalam kegiatan ko-kurikuler? 23. Bagaimana program ini mempengaruhi aspirasi pendidikan siswa sekolah menengah? 24. Bagaimana program ini mempengaruhi prestasi akademik siswa ? 25. Perubahan apa yang terjadi pada siswa yang diamati oleh orang tua mereka? 26. Perubahan apa yang terjadi pada siswa yang diamati oleh guru mereka? 46
27. Bagaimana program ini akan mempengaruhi prestasi akademik siswa sekolah menengah tahun depan? Pertanyaan yang menghubungkan kegiatan, keluaran, dan hasil: 28. Berapa banyak waktu dalam tambahan pelajaran yang cukup untuk meningkatkan pemahaman siswa sekolah menengah tentang konsep matematika yang ditargetkan? 29. Apakah siswa sekolah menengah yang lebih sering berpartisipasi akan mencapai peningkatan yang lebih besar dalam lebih besar dalam prestasi akademik? 30. Siswa sekolah menengah mana yang paling diuntungkan dari sesi bimbingan kelompok? 31. Bagaimana prestasi akademik siswa yang berpartisipasi berbeda dengan siswa yang tidak berpartisipasi? 32. Bagaimana para siswa merasa bahwa mereka telah berubah setelah berpartisipasi dalam program ini? Melibatkan para pemangku kepentingan dalam desain proyek penelitian terapan adalah strategi yang paling penting untuk menghasilkan temuan yang bermanfaat. Mulailah dengan mengidentifikasi para pemangku kepentingan: Siapa saja yang dapat diuntungkan atau dirugikan berdasarkan apa yang kita pelajari? Siapa yang dapat membuat keputusan otoritatif berdasarkan apa yang kita pelajari? Siapa yang perlu menyetujui keputusan tersebut? Siapa yang akan bertanggung jawab untuk mengimplementasikan perubahan? Apakah pemangku kepentingan ini dapat dilibatkan dalam setiap tahap proses penelitian. Berkolaborasi dengan pemangku kepentingan, seperti manajer program, pada langkah awal pengembangan model program hampir selalu bermanfaat untuk mengidentifikasi kesenjangan dalam pengetahuan atau ketidaksepakatan tentang bagaimana program diasumsikan berfungsi oleh pemangku kepentingan yang berbeda. Hal ini merupakan peluang utama untuk mengembangkan pertanyaan penelitian. Pertanyaan-pertanyaan penelitian lainnya dapat diidentifikasi dengan menanyakan pemangku kepentingan tentang keputusan apa yang mereka harapkan untuk dibuat berdasarkan apa yang dipelajari dari proyek penelitian. Peneliti terapan harus yakin bahwa mereka memiliki pemahaman yang sama tentang makna dari konsep-konsep kunci. (Penulis pernah menghabiskan waktu berjam-jam untuk memastikan bahwa penulis memahami apa yang dimaksud dengan dengan visi). Para pemangku kepentingan harus setuju bahwa operasionalisasi konsep-konsep tersebut adalah valid. Seluruh proyek penelitian terapan akan gagal jika, pada akhirnya, pemangku kepentingan utama melihat beberapa temuan yang tidak diinginkan dan menolaknya dengan "Yah, kuesioner itu benar-benar bukan indikator yang baik untuk hasil program kita. 47
Lampiran B: Desain penelitian lainnya Lampiran ini merangkum beberapa desain penelitian formal yang tercakup dalam teks utama dan memperkenalkan beberapa penjabaran dari desain-desain tersebut. Kita akan mempelajari desain-desain ini sebagaimana diterapkan pada evaluasi program. Evaluasi program adalah penggunaan metode penelitian untuk mempelajari program-seperti program pelatihan kerja, program pencegahan putus sekolah, program penyalahgunaan NAPZA, program pengobatan, dan sebagainya - dengan tujuan untuk mempelajari efektivitasnya atau bagaimana meningkatkannya. Penulis menemukan bahwa siswa cenderung mendapatkan ide untuk menggunakan metode penelitian dengan cara ini dengan sangat secara intuitif, jadi ini adalah lensa yang sangat membantu untuk mempelajari metode penelitian secara umum. Anda telah banyak mengevaluasi program dengan santai - pikirkan mengapa Anda memilih satu perguruan tinggi X daripada yang lain, mengapa Anda memilih jurusan Anda, dan bagaimana Anda mendapatkan ide untuk membuat jurusan Anda menjadi lebih baik. Evaluasi program melakukan hal yang sama, tetapi berdasarkan pada pengamatan yang sistematis dengan menggunakan alat penelitian ilmu sosial empiris. Kita juga akan mempelajari sistem notasi standar untuk desain penelitian. Sistem notasi ini memudahkan kita untuk memahami dan berkomunikasi tentang desain penelitian, jadi pastikan Anda menguasai sistem notasi ini selain mempelajari desain evaluasi itu sendiri. Kita akan menggunakan notasi tiga huruf: R, X, dan O. R adalah singkatan dari random assignment (dan hanya akan digunakan untuk menggambarkan desain penelitian yang menggunakan pengambilan sampel/kasus acak). X mewakili program "kejadian" - "intervensi" dalam terminologi psikologi klinis. O adalah singkatan dari observasi. Hal ini mengacu pada pengamatan indikator hasil. Dalam jargon metode penelitian, X mewakili nilai variabel independen (IV) yang ingin kita ketahui pengaruhnya, dan O mewakili tindakan mengukur variabel dependen (DV). Jadi, jika kita sedang mengevaluasi program penempatan kerja, X akan mewakili klien yang berpartisipasi dalam program tersebut, dan O akan mewakili pengukuran hasil utama dari program tersebut-apakah klien dipekerjakan atau tidak dipekerjakan, atau mungkin penghasilan mereka. Implementasi program berfungsi sebagai variabel independen (hal ini "terjadi" pada orang-orang tertentu atau tidak), dan hasil (status pekerjaan, upah) berfungsi sebagai variabel terikat. Harapan manajer program adalah bahwa program (IV) akan memberikan dampak positif terhadap hasil (DV). Kita dapat menggunakan ketiga huruf ini untuk menggambarkan berbagai macam desain penelitian. Kita bisa mulai dengan yang sederhana pengukuran hasil. Dengan jenis evaluasi ini, kita melakukan pengamatan (O) terhadap hasilsekali saja-pada akhir dari sebuah contoh implementasi program (seperti pada akhir klien yang berpartisipasi dalam program). Hal ini akan mengingatkan Anda pada desain metode penelitian cross-sectional - pengamatan dilakukan pada satu titik waktu tanpa upaya untuk melacak perubahan dalam DV kita dari waktu ke waktu. 48
Kita dapat menggambarkan desain ini seperti ini: X O Kita membacanya dari kiri ke kanan: Program yang terjadi (X), dan kemudian kita melakukan pengamatan (O). Istilah lain untuk hal ini adalah desain evaluasi posttest-only kelompok tunggal. Hal ini berarti kita melakukan pengamatan hanya pada satu kelompok (biasanya orang-orang yang berpartisipasi dalam program) dan kita mengukur hasilnya hanya setelah program selesai. (Istilah post test, seperti pretest, yang akan kita lihat sebentar lagi, membuatnya terdengar seperti satu-satunya cara kita mengukur hasil adalah dengan memberikan tes-untungnya, hal tersebut tidak terjadi, tetapi ini adalah implikasi yang tidak menguntungkan dari istilah tersebut. Anda dapat menggunakan istilah lain, seperti sebelum dan sesudah untuk kebingungan itu, tetapi kita akan menggunakan istilah-istilah ini untuk saat ini). Desain evaluasi ini sangat sederhana, dan sangat umum. Kadang-kadang sudah cukup karena kita dapat dengan yakin mengaitkan hasil yang kita amati dengan program. Bayangkan sebuah program di di mana karyawan menghadiri lokakarya selama satu jam tentang cara menggunakan intranet kampus yang baru. Tidak ada dari mereka memiliki pengetahuan tersebut sebelumnya, jadi jika kita mengamati indikator pengetahuan mereka tentang sistem setelah program (seperti pada kuesioner - selalu menjadi cara yang menyenangkan untuk mengakhiri lokakarya!), kita bisa sangat yakin bahwa mereka memperoleh pengetahuan tersebut selama lokakarya. Namun, sering kali, desain post-only kelompok tunggal lemah karena kita tidak dapat mengetahui bahwa hasil yang diamati benar-benar disebabkan oleh program. (Hal ini akan menjadi validitas internal yang lemah, ingat, dalam slogan metode penelitian). Sebagai gantinya, bayangkan sebuah program 3 bulan lokakarya mingguan selama satu jam yang dimaksudkan untuk meningkatkan keterampilan komunikasi karyawan di tempat kerja. Anda bisa menggunakan desain X O yang sederhana, tapi bagaimana jika Anda mengamati indikator- indikator keterampilan komunikasi yang sangat baik di tempat kerja? Seberapa yakin Anda dapat mengaitkan hasil-hasil tersebut dengan program yang diimplementasikan? Bagaimana Anda tahu bahwa para peserta belum memiliki keterampilan komunikasi yang kuat? Atau bahwa mereka memulai dengan keterampilan komunikasi yang baik, dan sekarang mereka memiliki keterampilan komunikasi yang sedikit lebih baik? Atau mereka memulai dengan keterampilan komunikasi yang sangat baik, dan sekarang keterampilan mereka sebenarnya lebih buruk karena mereka sangat takut mengacaukannya? Desain X-O tidak memungkinkan kita untuk mengeksplorasi semua kemungkinan itu. Ada dua pendekatan utama (dan banyak sekali penjabaran dari kedua pendekatan ini) untuk memperkuat validitas internal evaluasi : (1) melakukan pengamatan dari waktu ke waktu, dan (2) membuat perbandingan. Mari kita mulai dengan melakukan pengamatan dari waktu ke waktu. Hal ini akan mengingatkan kita pada desain longitudinal kita-rangkaian waktu dan panel. Kita biasanya akan menggunakan desain panel. 49
Sebagai contoh, peserta lokakarya komunikasi di tempat kerja mungkin mengikuti pretest- untuk mengukur hasil sebelum program dan kemudian posttest untuk mengukur hasil setelah program. Dengan demikian, kita dapat melacak perubahan pada masing-masing peserta mengenai tingkat keterampilan komunikasi dari waktu ke waktu. Model ini adalah desain pretest/posttest kelompok tunggal, yang digambarkan seperti ini: O1 X O2 Perhatikan bahwa kita sekarang menunjuk pengamatan kita dengan nomor subskrip untuk membantu kita mereka tetap lurus/linier. Desain pretest/posttest satu kelompok merupakan peningkatan besar dibandingkan desain posttest satu kelompok. Kita sekarang dapat melihat apakah indikator hasil kita benar-benar berubah dari sebelum dan sesudah program. Desain Ini juga merupakan desain evaluasi yang sangat umum, dan, seperti desain X O, desain ini mungkin memadai jika Anda dapat dengan yakin mengaitkan perubahan yang Anda amati dengan program dan bukan dengan faktor lain. Jika kita melihat adanya peningkatan dalam kemampuan komunikasi di tempat kerja para peserta, kita mungkin akan cukup percaya diri dalam mengaitkan peningkatan tersebut dengan program. Namun, mari kita bayangkan skenario yang lain. Bagaimana jika kita mengevaluasi program pengembangan pemuda selama 12 minggu yang melibatkan pertemuan kelompok kecil mingguan dengan tujuan membantu siswa sekolah menengah untuk meningkatkan citra diri mereka? Sebuah desain pretest/posttest satu kelompok akan menjadi lebih baik daripada tidak sama sekali, tetapi bagaimana jika kita melihat peningkatan dalam indikator citra diri kita? Bagaimana kita akan tahu bahwa program tersebut telah membuat perbedaan? Bagaimana jika peningkatan dalam citra diri cenderung terjadi secara alami ketika anak-anak menjadi lebih terbiasa dengan sekolah menengah mereka dan membuat teman baru dan seterusnya? Atau bagaimana jika hal lain terjadi selama program berlangsung-seperti bagaimana jika mereka semua mulai melakukan yoga, dan hal itu membuat perbedaan dalam citra diri mereka? Bagaimana kita tahu bahwa citra diri anak-anak ini tidak akan meningkat bahkan tanpa program ini? Untuk menjawab pertanyaan-pertanyaan tersebut, kita perlu menggunakan strategi kedua untuk memperkuat validitas internal dari evaluasi kita yaitu membuat perbandingan. Di sinilah kita sampai pada desain evaluasi yang, seperti yang telah kita pelajari, dianggap sebagai standar emas dalam desain evaluasi yakni desain eksperimental. Berikut adalah cara menggambarkan desain eksperimental klasik: R O1 X O2 R O3 O4 Sekarang kita memiliki dua baris, yang mengindikasikan bahwa kita memiliki dua kelompok. Baris atas menggambarkan kelompok eksperimen, juga disebut kelompok perlakuan. Dalam program yang melayani klien, dimana akan menjadi sekelompok orang yang berpartisipasi dalam program kita. Baris kedua menggambarkan kelompok kontrol yaitu sekelompok orang yang tidak berpartisipasi dalam program-mereka tidak menerima layanan apa pun. 50
R menunjukkan bahwa klien yang berpartisipasi dalam evaluasi dipilih secara acak ke kelompok eksperimen dan kelompok kontrol. Ingat, acak bukan berarti sembarangan. Random /acak berarti bahwa semua kasus kita - biasanya orang-orang yang berpartisipasi dalam evaluasi kita - memiliki probabilitas yang sama untuk dimasukkan ke dalam kelompok eksperimen atau kelompok kontrol. Hal ini sangat penting karena dengan jumlah peserta yang cukup banyak, kita mendapatkan bahwa kedua kelompok tersebut, rata-rata, hampir sama. Mereka sama dalam hal yang mungkin kita pikirkan-seperti motivasi untuk berubah atau pengetahuan yang sudah ada sebelumnya, dan mereka juga sama bahkan dalam hal hal-hal yang tidak pernah kita pikirkan. Satu-satunya perbedaan, antara kedua kelompok adalah bahwa kelompok eksperimen berpartisipasi dalam program dan kelompok kontrol tidak. Fitur-fitur dari desain eksperimental memberi kita banyak kepercayaan diri dalam mengaitkan perubahan pada hasil program. Kita dapat melihat perubahan sebelum dan sesudah dengan membandingkan O1 dan O2, dan kita dapat mengesampingkan kemungkinan bahwa perubahan akan terjadi bahkan tanpa program dengan mengamati perubahan indikator hasil kelompok kontrol dari O3 ke O4. Ini adalah kuncinya-karena acak, kita dapat mengasumsikan bahwa kpemilihan edua kelompok memulai dengan kondisi yang hampir sama dalam hal hasil yang dan bahkan dalam hal hal lain yang mungkin mempengaruhi hasil-seperti motivasi atau pengetahuan yang sudah ada sebelumnya. Kita bahkan dapat memeriksa ulang dengan membandingkan O1 dan O3, yang kita harapkan hampir sama. Dan jika ada peningkatan "alami" dalam hasil bahkan tanpa program, kita bisa memperhitungkannya. Hal ini dicapai dengan menghitung perbedaan dalam perbedaan itu yaitu [(O2-O1)-(O4-O3)] - secara harfiah perbedaan antara kedua kelompok sebelum dan setelah program. Mari kita lihat beberapa angka untuk membantu membuatnya masuk akal. Katakanlah kita sedang mengukur efek program pembangunan pemuda terhadap citra diri peserta menggunakan jenis penilaian yang memberikan skor dari 0 hingga 100, dan bahwa kita mengamati skor rata-rata ini untuk kelompok eksperimental dan kontrol sebelum dan setelah program: R 60 X 80 R 60 70 Di sini, kita telah mengganti skor rata-rata pretest dan posttest kedua kelompok untuk O1, O2, O3, dan O4. Pertama, perhatikan bahwa pemilihan acak kita berhasil - ukuran hasil rata-rata sebelum program sama untuk kelompok eksperimental dan kontrol. (Dalam kehidupan nyata, angka-angka ini tidak akan sama persis, tetapi seharusnya mendekati.) Mari kita lihat beberapa angka untuk membantu membuatnya masuk akal. Katakanlah kita sedang mengukur efektivitas program. Jadi, apakah program kita berhasil? Nah, skor peserta program meningkat rata-rata 20 poin, jadi itu bagus. Tetapi skor kelompok kontrol meningkat rata-rata 10 poin, bahkan tanpa berpartisipasi dalam program. Lalu, apa ukuran keefektifan program kita? Kita menghitung perbedaan dalam perbedaan - kita menghitung perubahan untuk kelompok kontrol dan mengurangkan dari perubahan untuk kelompok eksperimental: 20 51
dikurangi 10, atau 10 poin. Kita dapat sangat yakin, bahwa program kita menyumbang untuk peningkatan 10 poin dalam skor citra diri peserta kita. Kita juga dapat melihat bagaimana desain eksperimental memberikan benefit yang lebih besar dibandingkan dengan desain lainnya. Bayangkan jika kita menggunakan desain posttest tunggal: X 80 Kita akan senang melihat skor hasil rata-rata yang bagus dan tinggi, tetapi kita tidak akan terlalu yakin dalam mengaitkan skor tersebut dengan program kita. Jika kita menggunakan desain pretest/posttest tunggal: 60 X 80 ... kita akan tahu bahwa pengukuran hasil kita, secara rata-rata, meningkat selama program. Namun, kita akan sangat keliru jika mengaitkan seluruh peningkatan ini dengan program kita - sesuatu yang tidak akan kita ketahui jika kita tidak memiliki kelompok kontrol untuk dibandingkan. Ada banyak variasi dalam desain eksperimental. Anda mungkin membandingkan dua model program yang berbeda daripada membandingkan program dengan tanpa program, yang bisa kita gambarkan seperti ini: R O1 X1 O2 R O3 X2 O4 ... Sekarang dengan dua kelompok eksperimental yang berpartisipasi dalam dua program yang berbeda, diwakili oleh dua X, bukan satu program dan satu kelompok kontrol tanpa perlakuan. Jika Anda khawatir tentang tes - kemungkinan bahwa tindakan mengambil pretest mungkin membantu peserta Anda mendapatkan skor yang lebih baik pada posttest, Anda dapat menjelajahi kemungkinan tersebut dengan desain Solomon 4-kelompok: R O1 X O2 R O3 O4 R X O5 R O6 Berhenti sejenak dan pikirkan bagaimana Anda akan mencari artefak tes. Pengamatan mana, atau perbedaan dari pra-ke-post yang akan Anda bandingkan? Baik. Semoga Anda memahami mengapa desain eksperimental dianggap sebagai standar emas untuk mengevaluasi efektivitas program. Desain-desain tersebut menggunakan strategi untuk memperkuat validitas internal desain kita - kita dapat mengukur perubahan dari waktu ke waktu, dan kita dapat membuat perbandingan yang baik. Pemilihan acak berarti bahwa kita dapat sangat yakin dalam perbandingan kita karena satu-satunya perbedaan antara kelompok 52
eksperimental dan kelompok kontrol adalah program, sehingga kita dapat mengaitkan perbedaan yang kita amati dalam hasil mereka dengan program yang dilakukan. Seringkali, desain eksperimental tidak dapat dilakukan. Sebuah program mungkin merupakan program cakupan penuh, yang berarti bahwa semua orang yang memenuhi syarat berpartisipasi, sehingga tidak ada kelompok kontrol yang layak. Atau mungkin menimbulkan dilema etis yang terlalu besar terhadap kelompok kontrol (meskipun mungkin Anda dapat mengatasi hal tersebut dengan memberikan layanan kepada kelompok kontrol setelah evaluasi). Atau mungkin terlalu rumit atau mahal - masalah yang sangat umum dengan desain eksperimental. Jika masalah-masalah ini tidak dapat diatasi, maka yang terbaik kedua seringkali adalah desain quasi-eksperimental. Ada banyak sekali jenis desain quasi-eksperimental. Salah satu buku tebal di rak buku penulis adalah ensiklopedia desain quasi-eksperimental. Jelas, kita tidak akan membahas semuanya, tetapi kesemuanya memiliki satu kesamaan: Desain evaluasi ini semua mencoba mendekati desain eksperimental sebanyak mungkin sambil secara kreatif mengatasi hambatan apa pun. Sebagian besar, kita akan meninggalkannya begitu saja - semua desain quasi-eksperimental sebagai solusi kreatif untuk mengatasi tantangan dalam melaksanakan desain eksperimental. Berikut adalah contoh paling umum. Jika desain eksperimental dasar kita terlihat seperti ini: R O1 X O2 R O3 O4 Maka desain quasi-eksperimental yang sangat dasar terlihat seperti ini: O1 X O2 O3 O4 Model ini sering disebut desain kelompok perbandingan tidak setara. Yang kita lakukan hanyalah menghilangkan randomisasi. Alih-alih pemilihan secara acak, kita menggunakan cara lain untuk mendapatkan kelompok perbandingan kita (yang harus diingat, sekarang harus kita sebut kelompok perbandingan, bukan kelompok kontrol - istilah kelompok kontrol dikhususkan untuk ketika kita telah menggunakan randomisasi). Mungkin kita menemukan kelompok yang serupa - seperti sebuah kelas siswa di ruang belajar untuk dibandingkan dengan kelas siswa yang berpartisipasi dalam program kita. Bagaimanapun kita menemukan kelompok perbandingan kita, tujuannya adalah memiliki kelompok perbandingan yang serupa dengan kelompok eksperimental kita sebisa mungkin - sama seperti kelompok kontrol murni. Hal ini bisa sangat sulit. Salah satu masalah besar adalah apa yang disebut bias pemilihan diri (self selection bias), yang sudah kita pertimbangkan sebelumnya. Jika anak-anak bersedia menjadi bagian dari program, artinya mereka memilih sendiri untuk bergabung, maka mereka mungkin cenderung berbeda dengan cara tertentu dari rata-rata non-partisipan. Jika kita hanya memilih sekelompok anak lain untuk menjadi kelompok perbandingan kita, maka, mereka mungkin sebenarnya bukan 53
kelompok perbandingan yang sangat baik. Kita perlu mencari cara untuk menemukan kelompok perbandingan yang memiliki motivasi yang serupa - seperti kelompok anak-anak yang bersedia untuk program tetapi tidak dapat berpartisipasi karena konflik jadwal atau harus ditempatkan dalam daftar tunggu karena terlalu banyak relawan. Ada banyak cara lain untuk menangani masalah ini dan masalah lain yang mungkin Anda hadapi saat merancang evaluasi quasi-eksperimental, tetapi kita akan mengakhiri diskusi kita di sini, dan Anda dapat mempelajari lebih lanjut tentang desain quasi-eksperimental sesuai kebutuhan saat Anda bekerja pada proyek evaluasi Anda sendiri. Kadang-kadang, Anda akan terjebak dengan desain kelompok tunggal, seperti dalam skenario tidak dapat cakupan penuh yang penulis sebutkan sebelumnya atau ketika Anda mengembangkan kelompok perbandingan yang kuat. Dalam hal itu, kita memiliki beberapa strategi untuk meningkatkan desain kelompok tunggal di luar dasar X O atau O1 X O2. Penulis yakin Anda dapat belajar satu cara hanya dengan melihat notasi. Lihat apakah Anda bisa menginterpretasikan ini: O1 O2 O3 O4 X O5 O6 O7 O8 Seperti yang pasti Anda pikirkan, di sini kita memiliki desain panel dengan beberapa pretest dan beberapa posttes. Desain ini disebut desain panel terputus (atau, jika kita mengamati kasus- kasus yang berbeda dari waktu ke waktu, desain deret waktu terputus - ingat perbedaan antara desain panel dan deret waktu). Dengan cara ini, kita dapat memiliki gambaran tentang perubahan yang sedang berlangsung sebelum program dan memperhitungkannya saat menginterpretasikan ukuran hasil kita setelah program. Jika citra diri siswa sekolah menengah itu secara bertahap membaik sebelum program dan kemudian terus membaik setelah program, kita harus sangat berhati-hati dalam menila perubahan pada program kita - sesuatu yang mungkin telah kita lewatkan jika kita hanya melakukan desain sebelum dan sesudah yang sederhana. Oh ya - untuk mundur sedikit - kita dapat memiliki desain kuasi-eksperimental yang sangat kuat dengan menggabungkan desain panel terputus dan desain kelompok perbandingan tidak setara seperti ini: O1 O2 O3 X O4 O5 O6 O7 O8 O9 O10 O11 O12 Model semacam ini disebut desain panel terputus ganda atau desain seri waktu terputus ganda. Jeda sebentar untuk memastikan Anda memahami apa yang kita lakukan di sini dan mengapa ini akan menjadi desain evaluasi yang sangat kuat. Kembali ke desain kelompok tunggal. Kita juga bisa melakukan sesuatu yang agak sulit untuk digambarkan dengan notasi kita: Buat beberapa ukuran hasil selama program itu sendiri. Hal ini, agak tidak elegan, disebut "selama" ukuran, dan Anda bahkan akan melihat desain ini disebut sebagai desain kelompok tunggal. Itu terdengar cukup mengerikan, tetapi juga sangat deskriptif! Penulis pernah melihat satu upaya untuk menggambarkan desain ini seperti ini: O1 [X ... O2 O3 O4 ... X] O5 54
Tanda kurung menunjukkan bahwa pengamatan sedang berlangsung saat program berjalan. Jika kita melakukan hal ini dengan program pengembangan pemuda 12 minggu, kita bisa melihat apakah ada perubahan dalam merespons bagian-bagian tertentu dari program. Desain ini memberi kita kesempatan untuk mengaitkan perubahan hasil dengan peristiwa-peristiwa tertentu dalam program, yang memberi kita kepercayaan yang lebih besar dalam mengaitkan perubahan hasil dengan program daripada desain sebelum-dan-sesudah yang sederhana. Salah satu opsi terakhir adalah desain tanggapan dosis. Desain ini mungkin digambarkan seperti desain kelompok tunggal lainnya, tetapi dalam desain sebelumnya, kita telah memperlakukan variabel independen sebagai dikotomi - apakah program itu terjadi atau tidak. Dengan desain tanggapan dosis, sebaliknya, kita memperlakukan variabel independen sebagai variabel kontinyu - sebagai program yang dapat terjadi sedikit atau banyak. Dalam program pengembangan pemuda, misalnya, beberapa anak mungkin berpartisipasi dalam program selama 6 jam, yang lain mungkin berpartisipasi selama 10 jam, yang lain mungkin berpartisipasi selama 12 jam, dan seterusnya. Kita dapat memanfaatkan variasi ini dalam variabel independen untuk menentukan apakah "lebih" atau frekuensi program menghasilkan hasil yang lebih baik. Kita harus memastikan bahwa kita tidak secara tidak sengaja melihat hasil dari sesuatu yang lain - seperti motivasi anak-anak untuk berpartisipasi - tetapi desain ini dapat memberi kita kesempatan untuk menentukan apakah perubahan dalam hasil benar-benar dapat diatribusikan kepada program, bahkan dengan hanya desain kelompok tunggal. Terakhir, kita juga dapat menggunakan pendekatan studi kasus untuk desain evaluasi program kita. Studi kasus, dengan sumber data yang beragam dan metode pengumpulan data yang beragam pula, menciptakan deskripsi program yang sangat mendalam dan holistik. Pendekatan ini sangat membantu jika evaluasi Anda dimaksudkan untuk mencapai tujuan formatif - tujuan untuk belajar bagaimana meningkatkan program. 55
Lampiran C: Statistik Inferensial Penulis menyertakan lampiran ini sebagai penyegaran tentang statistik inferensial bagi mahasiswa yang mungkin agak belum paham tentang konsep tersebut. Hal Ini juga akan membantu menghubungkan pemahaman antara apa yang dipelajari dalam kursus statistik dan konsep metode penelitian. Beberapa konsep metode penelitian juga disertakan dalam tinjauan ini untuk membantu Anda membuat koneksi-koneksi tersebut. Kita juga akan meninjau penggunaan dan keterbatasan nilai p (p-value) dan mempertimbangkan dua strategi untuk mengatasi keterbatasan tersebut. Statistik inferensial adalah cabang statistik yang membantu kita menggunakan karakteristik sampel untuk memperkirakan karakteristik populasi. Statistik inferensial berbeda dengan statistik deskriptif, yang merupakan alat statistik yang menggambarkan data yang ada tanpa berupaya untuk menggeneralisasikan ke populasi yang lebih luas. Kita sangat akrab dengan contoh-contoh statistik inferensial. Misalnya, laporan berita umumnya melaporkan hasil survei opini publik, seperti penilaian terhadap kinerja presiden. Para peneliti - seperti organisasi Gallup atau CNN - secara acak memilih mungkin 1.500 orang dewasa dari seluruh negara bagian dan menanyakan kepada mereka apakah mereka menyetujui kinerja presiden atau tidak. Mereka mungkin mengetahui bahwa, katakanlah, 45% dari yang disurvei menyetujui kinerja presiden. Namun, tujuannya adalah untuk memperkirakan persentase berapa banyak orang dewasa yang mendukung presiden, bukan hanya 1.500 orang dewasa yang mereka wawancara. Mereka menggunakan nilai persetujuan 45% sebagai perkiraan persetujuan semua orang dewasa. Mari menggunakan contoh diatas untuk memahami kosakata sebagai berikut: Populasi: Populasi adalah seluruh kasus yang ingin kita pelajari. Dalam contoh kita, populasi adalah semua orang dewasa di negara bagian tersebut. Namun, perlu diingat bahwa populasi tidak harus berupa orang. Kita juga bisa mempelajari populasi kabupaten, populasi keputusan Mahkamah Agung, populasi sekolah menengah, atau populasi sesi konseling. Sampel: Sampel adalah seperangkat kasus yang sebenarnya Anda kumpulkan datanya. Dalam contoh kita, sampelnya adalah 1.500 orang dewasa yang disurvei. Statistik: Tentu saja, kita sudah pernah melihat istilah ini sebelumnya (seperti di bagian atas halaman ini!), tetapi di sini, kita menggunakan istilah statistik dalam arti yang lebih sempit. Statistik adalah karakteristik sampel yang terkuantifikasi. Karakteristik terkuantifikasi bisa berupa mean, median, modus, frekuensi, deviasi standar, atau sejumlah ukuran lainnya. Dalam contoh kita, 45% adalah sebuah statistik. Itu adalah karakteristik dari sampel 1.500 orang dewasa yang disurvei. Parameter: Parameter adalah karakteristik terkuantifikasi dari populasi. Biasanya kita tidak tahu parameter tersebut - itu sebabnya kita mengumpulkan data dari sampel. Statistik, kemudian, digunakan untuk memperkirakan parameter. Dalam contoh kita, kita tidak tahu parameter yang kita kaji. Kita tidak tahu persentase dari semua orang dewasa yang menyetujui kinerja presiden. Kita hanya tahu statistiknya, jadi kita menggunakan itu untuk memperkirakan 56
parameter. Jika kita telah mengambil sampel yang berbeda, kita akan mendapatkan statistik yang berbeda, meskipun parameter tersebut sama. Kerangka sampling: Kerangka sampling adalah daftar dari mana kita memilih sampel. Idealnya, kerangka sampling akan mencakup setiap kasus dalam populasi. Dalam contoh, kerangka sampling ideal akan menjadi daftar setiap orang dewasa di Amerika Serikat dan nomor telepon mereka. Jelas, tidak ada daftar seperti itu, jadi para peneliti harus mencari strategi lain. Strategi sampling: Strategi sampling adalah seperangkat aturan yang diikuti dalam memilih sampel. Strategi sampling yang sangat umum adalah simple random sampling. Dalam simple random sampling, setiap kasus dalam populasi memiliki probabilitas yang sama (lebih besar dari nol) untuk dipilih sebagai sampel. Dalam contoh kita, jika kita bisa mengambil nama setiap orang dewasa, menulisnya di kartu indeks, membuang semua kartu indeks di topi raksasa, mencampur kartu-kartu dengan baik, dan kemudian mengambil 1.500 kartu, kita menggunakan strategi simple random sampling. Setiap kasus dalam populasi kita (yaitu, setiap orang dewasa di negara bagian) akan memiliki probabilitas yang sama untuk dipilih sebagai sampel. Kita telah mempelajari tentang strategi sampling lainnya sebelumnya. Tingkat keyakinan dan tingkat akurasi: Dua istilah, tetapi kita harus membicarakannya pada saat yang bersamaan. Ketika kita menggunakan statistik untuk memperkirakan parameter yang sesuai, kita harus melaporkan seberapa yakin kita dengan perkiraan tersebut. Dalam contoh, kita mungkin melihat laporan berita seperti 45% dari orang dewasa Amerika menyetujui kinerja presiden, dan kemudian ada keterangan, tingkat keyakinan 95%, +3%. Keterangan tersebut berarti bahwa jika kita mengulangi survei ini lagi dan lagi pada saat yang sama tetapi dengan sampel yang berbeda, kita akan mengharapkan statistik jatuh di antara 42% dan 48% dalam 95% survei tersebut. Dengan kata lain, kita 95% yakin bahwa parameter berada di antara 42% dan 48%. (hal ini disebabkan oleh teorema limit sentral, yang memberi tahu kita bahwa statistik, ketika dihitung dari populasi yang sama lagi dan lagi, banyak, banyak kali, akan mengikuti distribusi normal. Hal yang menakjubkan. Inilah yang membuat sebagian besar statistik inferensial berfungsi. Tetapi kembali ke keyakinan dan ketepatan) Dalam pernyataan dari laporan berita itu, 95% adalah (tentu saja) tingkat keyakinan, dan +3% adalah tingkat ketepatan. Inilah mengapa kita hanya dapat membicarakannya pada saat yang bersamaan: Dengan menggunakan survei yang sama terhadap 1.500 orang dewasa, jika kita ingin lebih yakin, seperti 99% yakin, kita harus menjadi kurang akurat dalam perkiraan kita, mungkin sekitar +10%. (Perhatikan bahwa +10% kurang akurat daripada +3% karena kurang presisi - jangan tertipu oleh angka yang lebih besar.) Jadi, dengan menggunakan survei yang sama, kita mungkin mengatakan bahwa kita 99% yakin (hampir pasti!) bahwa tingkat kinerja presiden dari persepsi populasi berada di antara 35% dan 55%. Tidak terlalu mengesankan, bukan? Mudah sekali untuk sangat yakin tentang perkiraan yang sangat tidak tepat. Kita sering menggunakan statistik inferensial untuk memperkirakan ukuran hubungan antara variabel dalam populasi. Misalnya, kita mungkin ingin tahu apakah pria dan wanita memiliki rata-rata tingkat persetujuan presiden yang berbeda. Kita bisa melihat data sampel kita, dari total 1.500 orang dewasa, yang mungkin mencakup 750 pria dan 750 wanita. Kita bisa menemukan dalam sampel kita bahwa 43% pria menyetujui kinerja presiden, tetapi 47% wanita 57
menyetujui kinerja presiden. Intinya adalah: Meskipun tingkat persetujuan presiden pria dan wanita mungkin sama persis dalam populasi, kita tidak akan mengharapkan mereka menjadi persis sama dalam sampel kita - itu akan menjadi kebetulan yang luar biasa. Kita tertarik untuk mengetahui apakah perbedaan antara pria dan wanita dalam sampel kita mencerminkan perbedaan nyata dalam populasi. Untuk melakukannya, kita akan melakukan apa yang disebut pengujian hipotesis. Kita membayangkan bahwa tidak ada hubungan antara dua variabel - gender dan persetujuan kinerja presiden - dalam populasi. Kita hanya membayangkan itu - kita tidak tahu (itulah sebabnya kita mengumpulkan dan menganalisis data!). Kita kemudian akan mempertimbangkan data sampel kita - persetujuan pria sebesar 43% dan persetujuan wanita sebesar 47% - dan bertanya, Berapa probabilitas kita akan melihat perbedaan sebesar itu antara pria dan wanita dalam sampel kita jika sebenarnya tidak ada perbedaan antara pria dan wanita di seluruh populasi? Dengan kata lain, kita bertanya Berapa probabilitas kita mengamati hubungan antara dua variabel (gender dan persetujuan presiden) jika sebenarnya tidak ada hubungan di populasi? Jika probabilitas itu benar-benar rendah, kita akan menolak gagasan bahwa tidak ada hubungan dan mengatakan kita benar-benar yakin bahwa kemungkinan besar ada hubungan antara variabel dalam populasi. Jika probabilitas itu tidak cukup rendah untuk memuaskan kita, kita akan mengatakan bahwa kita tidak memiliki bukti untuk menolak gagasan tersebut, jadi kita akan mengasumsikan bahwa tidak ada hubungan antara variabel di populasi sampai kita mendapatkan bukti bahwa ada. Asumsi awal kita bahwa tidak ada hubungan antara variabel di populasi disebut hipotesis nol. Ide bahwa ada hubungan antara variabel dalam populasi disebut hipotesis alternatif. Ini merupakan alternatif terhadap hipotesis nol yang disarankan oleh data sampel kita yang ingin kita uji. Terkadang disebut hipotesis penelitian. Statistik adalah bidang yang sangat hati-hati, sehingga kita cenderung memerlukan standar bukti yang tinggi sebelum kita menolak hipotesis nol dan menerima hipotesis alternatif. Seringkali kita menolak hipotesis nol dan "percaya" data sampel kita jika tidak lebih dari 5% kemungkinan kita menolak hipotesis nol padahal sebenarnya tidak demikian. Dengan kata lain, kita akan menolak hipotesis nol jika tidak lebih dari 5% kemungkinan hasil yang kita lihat dalam data sampel kita hanya karena kebetulan. Terkadang, orang akan menggunakan standar 1% atau 10%, standar yang cukup konservatif sehingga kita sangat yakin dengan kesimpulan yang kita ambil tentang populasi dari sampel kita. Bahkan dengan standar bukti yang sangat tinggi, masih ada kemungkinan bahwa kesimpulan kita salah. Itulah risiko yang kita ambil jika kita ingin menggunakan data sampel untuk menarik kesimpulan tentang seluruh populasi. Jika kita menolak hipotesis nol ketika seharusnya tidak, kita telah melakukan apa yang disebut kesalahan Tipe I. Jika kita gagal menolak hipotesis nol ketika seharusnya sudah harus dilakukan, maka kita telah melakukan kesalahan Tipe II. Dengan kata lain, jika kita menyimpulkan dari data sampel kita bahwa benar-benar ada hubungan antara variabel kita dalam populasi ketika sebenarnya tidak ada, kita telah melakukan kesalahan Tipe I; jika kita menyimpulkan dari data sampel kita bahwa tidak ada hubungan antara variabel kita dalam populasi ketika sebenarnya ada, kita telah melakukan kesalahan Tipe II. 58
Jika Anda mundur dua paragraf, Anda mungkin perhatikan bahwa penulis tidak menggunakan istilah nilai p, tetapi jika Anda baru saja mengambil kursus statistik, penulis yakin istilah itu akan terdengar akrab. Makna dari istilah ini hampir lucu diperdebatkan di antara ahli statistik dan metodologi. Penulis tidak mau masuk dalam perdebatan dan akan sepenuhnya mengutip Wikipedia. (Tolong jangan beritahu profesormu.) sebagai berikut: "Dalam pengujian hipotesis, nilai p atau nilai probabilitas adalah probabilitas untuk mendapatkan hasil uji setidaknya seekstrem hasil yang sebenarnya diamati, dengan asumsi bahwa hipotesis nol adalah benar. Nilai p yang sangat kecil berarti bahwa hasil yang diamati mungkin, tetapi tidak sangat mungkin di bawah hipotesis nol, bahkan di bawah penjelasan terbaik yang mungkin di bawah hipotesis tersebut. Melaporkan nilai p dari uji statistik adalah praktik umum dalam publikasi akademis di banyak bidang kuantitatif. Karena makna yang sebenarnya dari nilai p sulit dipahami, penyalahgunaan luas dan telah menjadi topik utama dalam value, diakses 10 Juli 2020) Kutipan diatas berisi definisi yang bagus. Debat ini berkaitan dengan bagaimana kita cenderung lupa, tepatnya, yang kita bandingkan dengan hasil yang diamati (hasil analisis statistik). Jujur, hal penting untuk diingat adalah bahwa nilai p yang sangat kecil - lagi, kurang dari 0,05 adalah konvensi umum - berarti hasil yang kita peroleh dari analisis statistik kita mungkin mewakili hubungan "nyata" dalam populasi, bukan hanya kebetulan dari analisis data kita. Penulis akan mengakhiri di situ, tetapi jika Anda ingin bersenang-senang dengan perdebatan tersebut, telusuri debat tentang interpretasi nilai p. Penulis ingin menegaskan bahwa nilai p penting, tetapi tidak mencukupi, untuk membuat kesimpulan dari analisis statistik. Hal ini ditekankan dalam kursus statistik pengantar jauh lebih sering daripada sebelumnya, tetapi penulis akan mengambil kesempatan ini untuk menegaskan di sini jika Anda belum pernah mengalaminya sebelumnya. Mari kita mulai dengan pertanyaan ini: Mengapa nilai p tidak cukup? Kita menggunakan nilai p sebagai ukuran signifikansi statistik - ukuran seberapa mungkin atau tidak mungkin hasil yang kita dapatkan (seperti dari korelasi atau uji t) jika memang tidak ada hubungan atau perbedaan - apa pun yang sedang diuji - sama sekali (dan jika semua data nyata dalam populasi terlihat seperti yang kita asumsikan, seperti berdistribusi normal). (Kalimat terakhir yang rumit memberi Anda gambaran tentang apa yang diperdebatkan dalam interpretasi nilai p!) Nilai p memungkinkan kita membuat kesimpulan seperti Sangat mungkin bahwa temuan kita adalah kebetulan; kita mungkin akan mendapatkan hasil yang sangat berbeda dengan sampel yang berbeda, dan Temuan kita hampir pasti bukan kebetulan; hampir pasti mewakili hubungan nyata dalam populasi. Perhatikan dua hal: (1) Kesimpulan ini tidak mengatakan seberapa kuat hubungannya, hanya bahwa itu kebetulan atau tidak, dan (2) nilai p sangat sensitif terhadap ukuran sampel. Mudah untuk mendapatkan temuan yang secara statistik signifikan untuk hubungan yang sangat lemah jika kita memiliki sampel yang cukup besar. Nilai p adalah penting tetapi tidak mencukupi. Kita perlu melakukan analisis tambahan, selain nilai p. Penulis merekomendasikan dua alat yaitu menekankan interval kepercayaan dan menghitung ukuran efek. 59
Kita sudah belajar tentang interval kepercayaan ketika kita membahas tingkat akurasi dalam bagian tentang pengambilan sampel. Statistik dapat menunjukkan tingkat ketepatan yang tidak pantas. Lebih jujur untuk melaporkan interval kepercayaan setiap kali kita bisa - misalnya, untuk mengatakan bahwa kita 95% yakin rata-rata jam belajar mingguan yang dihabiskan dalam populasi siswa berada di antara 10 dan 20 daripada hanya melaporkan statistik rata-rata 15 jam. Ukuran efek (effect size) mungkin istilah baru bagi Anda. Jadi kita akan menghabiskan lebih banyak waktu di sini. Ukuran efek adalah apa yang terdengar seperti - cara untuk mengukur "seberapa besar" efek dari variabel independen pada variabel dependen. Mereka juga bisa menjadi cara untuk mengukur kekuatan hubungan non-kausal. Ada banyak ukuran efek. Ada ukuran efek yang berbeda untuk berbagai uji statistik, dan setiap uji statistik biasanya memiliki beberapa ukuran efek yang berbeda untuk Anda pilih. Kita akan belajar tentang ukuran efek secara umum dengan mempelajari satu ukuran khusus: Cohen's d. Ini adalah ukuran yang sangat banyak digunakan yang memberikan informasi kepada kita ukuran efek ketika kita membandingkan rata-rata dari dua kelompok atau rata-rata dari kelompok yang sama dalam pengukuran sebelum dan sesudah. Terdengar familiar? Jika Anda sudah mengambil kursus statistik, ini seharusnya mengingatkan Anda pada uji t, dan, ya, Cohen's d sering dikaitkan dengan uji t. Uji t memberikan kita nilai p, ukuran signifikansi statistik, dan Cohen's d memberikan kita informasi lain yang kita inginkan, ukuran efek. Ada beberapa variasi dari Cohen's d. Kita akan menggunakan versi paling sederhana dan paling banyak digunakan. Versi ini menggunakan standar deviasi sebagai alat ukur; Anda dapat menginterpretasikan Cohen's d sebagai jumlah deviasi standar perbedaan antara dua rata-rata. (Jika Anda belum mengambil kursus statistik, teruslah membaca untuk mendapatkan gambaran umum dan kembali ke sini setelah Anda mengambil kursus tersebut.) Karena Anda menghitung rata-rata dari dua kelompok, kita dihadapkan pada pertanyaan tentang deviasi standar kelompok mana yang harus digunakan. Kita menghindari pertanyaan tersebut dengan hanya menggabungkan data kedua kelompok untuk menghitung deviasi standar, kemudian disebut deviasi standar tergabung. Rumus untuk Cohen's d adalah: [(rata-rata kelompok 1) - (rata-rata kelompok 2)] / (deviasi standar tergabung) Maknanya: Perbedaan rata-rata kedua kelompok dibagi oleh deviasi standar untuk kedua kelompok digabungkan. Kelompok mana yang harus menjadi kelompok 2 dan kelompok mana yang harus menjadi kelompok 1? Jika kita melakukan analisis sebelum dan sesudah, Anda ingin mengurangkan rata-rata kelompok "sebelum" dari rata-rata kelompok "setelah" sehingga peningkatan ukuran dari sebelum ke sesudah akan menghasilkan ukuran efek positif (dan penurunan akan menghasilkan ukuran efek negatif - ya, itu hal yang nyata). Anda bisa memikirkan rumus ukuran efek itu sebagai: [(rata-rata kelompok "setelah") - (rata-rata kelompok "sebelum")] / (deviasi standar tergabung) Jika Anda membandingkan rata-rata dua kelompok pada variabel terikat untuk menentukan efek dari variabel bebas, Anda perlu mempertimbangkan nilai dari variabel bebas yang ingin 60
Anda ketahui efeknya. Jika Anda mengevaluasi efek dari program dengan desain eksperimental, Anda akan memberikan program kepada satu kelompok orang dan tidak memberikan program kepada kelompok kedua. Ingat, kelompok-kelompok ini disebut masing- masing sebagai kelompok eksperimental dan kelompok kontrol. Variabel bebas Anda dapat disebut apakah seseorang berpartisipasi dalam program (sedikit bertele-tele, tetapi cukup jelas!), dan variabel terikat Anda akan menjadi ukuran efektivitas program Anda. Dalam situasi ini, Anda ingin mengurangi mean DV kelompok kontrol dari mean DV kelompok eksperimental sehingga jika program memiliki efek positif, ukuran efeknya positif (dan jika program memiliki efek negatif, ukuran efeknya negatif). Anda bisa memikirkan rumus ukuran efek tersebut sebagai berikut: [(mean kelompok eksperimental) - (mean kelompok kontrol)] / (standar deviasi tergabung) Berikut contohnya: Katakanlah kita ingin mengukur efektivitas program bimbingan matematika. Kita melakukannya dengan memberikan tes matematika kepada sekelompok siswa, kemudian kita mendaftarkan kelompok yang sama siswa tersebut ke dalam program bimbingan matematika selama 12 minggu, dan kemudian kita memberikan tes matematika yang sama kepada kelompok siswa tersebut lagi. Berikut data yang kita kumpulkan: Nilai rata-rata pada tes matematika sebelum program bimbingan: 68 Nilai rata-rata pada tes matematika setelah program bimbingan: 84 Standar deviasi dari semua tes (sebelum dan sesudah): 19. Kita akan menggunakan rumus yang kita lihat di atas untuk skenario sebelum-dan-sesudah dan memasukkan angka-angka tersebut: (84 - 68) / 19 = 0.84 Ukuran efek, seperti yang diukur oleh Cohen's d, maka adalah 0.84. Berikut contoh lainnya: Katakanlah kita akan mengukur efektivitas program bimbingan matematika tersebut, tetapi kita akan melakukannya dengan secara acak memilih satu kelompok siswa untuk berpartisipasi dalam program dan kelompok lainnya untuk tidak berpartisipasi dalam program. (Kita memilihnya mereka secara acak sehingga kedua kelompok tersebut serupa mungkin satu sama lain, kecuali satu kelompok berpartisipasi dalam program, tetapi yang lainnya tidak). Kita secara acak menempatkan mereka sehingga kedua kelompok serupa satu sama lain sebisa mungkin, kecuali satu kelompok ikut dalam program kita, tetapi yang lain tidak. Dengan cara ini, jika ada perbedaan dalam skor tes matematika kedua kelompok, kita dapat dengan percaya diri mengaitkan perbedaan itu dengan program tersebut daripada sesuatu yang lain, seperti motivasi atau pengetahuan siswa. Kita mendaftarkan kelompok pertama (kelompok eksperimental) dalam program bimbingan selama 12 minggu. Kita membiarkan kelompok kedua (kelompok kontrol) melakukan apa pun yang mereka lakukan. Pada akhir program bimbingan, kita memberikan tes matematika kepada kedua kelompok. Berikut adalah data yang kita kumpulkan: 61
Skor rata-rata kelompok eksperimental pada tes matematika: 80 Skor rata-rata kelompok kontrol pada tes matematika: 72 Standar deviasi dihitung berdasarkan semua tes matematika: 18 Kita memasukkan angka-angka tersebut ke dalam rumus untuk Cohen's d: (80 - 72) / 18 = 0.44 Dengan demikian, ukuran efek , seperti yang diukur oleh Cohen's d, adalah 0.44 Cohen (orang yang menciptakan ukuran ini) menyarankan beberapa aturan praktis untuk menginterpretasikan ukuran efek: d = 0,2 adalah efek kecil d = 0,5 adalah efek sedang d = 0,8 adalah efek besar Namun, Cohen sendiri menekankan bahwa ini hanyalah panduan kasar dan sebaiknya kita membandingkan ukuran efek yang kita dapatkan dengan apa yang diperoleh oleh penelitian lain dalam situasi yang serupa untuk mendapatkan gambaran tentang rentang skor tipikal dan apa yang mungkin dianggap "kecil" atau "besar" dalam konteks penelitian serupa tersebut. Namun, sebenarnya, kebanyakan orang cenderung menerapkan aturan praktis ini tanpa berpikir lebih dalam. Perhatikan satu manfaat lain dari Cohen's d: Kita bisa membandingkan evaluasi dari program yang sama menggunakan ukuran efektivitas yang berbeda. Misalnya, kita bisa membandingkan temuan dari evaluasi Program Bimbingan Matematika tahun 2001 yang menggunakan Tes Kemampuan Matematika Fraser sebagai ukuran efektivitas dengan evaluasi Program Bimbingan Matematika tahun 2010 yang menggunakan Tes Bakat Matematika Wendell sebagai ukuran efektivitas dengan membandingkan statistik Cohen's d keduanya. Praktik ini telah menjadi aplikasi yang sangat umum dan bermanfaat dari Cohen's d dan statistik ukuran efek serupa. 62
Lampiran D: Pemodelan elaborasi Ada beberapa cara untuk memasukkan variabel kontrol ke dalam analisis hubungan sebab akibat. Salah satu caranya adalah dengan menggunakan model elaborasi (juga disebut paradigma elaborasi, tetapi terdengar agak berlebihan karena ini adalah alat yang sangat sederhana). Kita akan melihat hal ini dalam konteks analisis statistik bivariat (satu variabel independen, satu variabel dependen). (Cara lain untuk memasukkan variabel kontrol adalah dengan menggunakan regresi berganda, dan masih ada teknik lain untuk jenis analisis statistik bivariat tertentu). Logika yang sama dapat diterapkan pada analisis data kualitatif juga. Sebuah model elaborasi cukup sederhana. Jika kita memperkenalkan variabel kontrol, kita ingin mengukur efek dari variabel independen (IV) terhadap variabel dependen (DV) sambil mengontrol variabel kontrol (CV). Ungkapan lainnya juga membantu untuk memahami apa yang kita cari: Apa efek dari IV terhadap variabel DV dengan mempertahankan CV tetap/konstan? Apa efek dari IV terhadap variabel DV yang bebas dari pengaruh CV? Apa efek dari IV terhadap variabel DV, terlepas dari CV? Sebagai contoh, kita mungkin melihat bahwa laki-laki mendapatkan upah lebih tinggi daripada perempuan, dan kita menemukan ini menjadi hubungan yang signifikan secara statistik menggunakan uji-t untuk membandingkan rata-rata upah laki-laki dan perempuan. Seseorang mungkin menantang temuan tersebut, mengatakan bahwa ada variabel ketiga yang berperan: Tahun atau lama bekerja. Perempuan lebih cenderung mengambil cuti untuk merawat anak, jadi mungkin mereka cenderung mendapatkan uang lebih sedikit karena hal itu. Apakah temuan ini bertahan terhadap tantangan ini? Kita ingin melihat apakah laki-laki mendapatkan upah lebih tinggi daripada perempuan, dengan mengontrol tahun bekerja. IV kita adalah jenis kelamin, DV kita adalah upah, dan CV kita adalah tahun bekerja. Kita bisa menguji pengaruh CV ini pada hubungan kausalitas dengan bertanya: Apa efek jenis kelamin terhadap upah, dengan mengontrol tahun di tempat kerja? Dengan kata lain, Apa efek jenis kelamin terhadap upah, mempertahankan tahun kerja pekerja tetap? Apa efek dari jenis kelamin terhadap gaji terlepas dari tahun bekerja? Sebuah model elaborasi secara harfiah menerapkan frasa "menahan CV tetap". Untuk menyelidiki pertanyaan ini, kita bisa membagi pekerja kita menjadi, misalnya, tiga kategori, berdasarkan nilai mereka untuk variabel kontrol: <6 bekerja, 6 - 10 bekerja, dan >10 tahun bekerja. Kemudian, kita bisa mengukur hubungan antara jenis kelamin dan upah dalam masing- masing dari tiga tingkatan tersebut. Itu akan menjadi tiga uji-t terpisah: Satu uji-t untuk hanya kelompok <6 tahun, satu untuk hanya kelompok 6 - 10 tahun, dan satu untuk hanya kelompok >10 tahun. Kita akan mengukur hubungan antara IV dan DV kita tiga kali, sambil secara harfiah menahan CV tetap. 63
Apa yang mungkin kita pelajari dari aplikasi model elaborasi? Variabel kontrol mungkin tidak memiliki pengaruh pada hubungan sebab-akibat: Jika kesenjangan upah tetap ada dalam ketiga uji-t, kita akan menyimpulkan bahwa pria mendapatkan upah lebih tinggi daripada wanita, dengan mengontrol tahun dalam angkatan kerja. Variabel kontrol mungkin sepenuhnya menjelaskan hubungan sebab-akibat yang diduga, artinya hubungan tersebut palsu: Jika kesenjangan upah menghilang dalam ketiga uji-t, kita akan menyimpulkan bahwa tidak ada hubungan antara jenis kelamin dan upah saat mengontrol tahun dalam angkatan kerja, dan bahwa hubungan bivariat sederhana antara jenis kelamin dan upah adalah palsu. Jenis kelamin dan upah keduanya berkaitan dengan tahun dalam angkatan kerja, tetapi mereka tidak langsung berkaitan satu sama lain. Variabel kontrol, seringkali, akan sebagian menjelaskan hubungan sebab-akibat yang sedang diselidiki, artinya sebagian, tetapi tidak semuanya, dari hubungan antara IV dan DV sebenarnya disebabkan oleh keduanya berkaitan dengan CV. Jika ketiga uji-t menunjukkan bahwa pria memiliki upah lebih tinggi daripada wanita, tetapi dalam tingkat yang lebih rendah daripada uji-t asli yang dilakukan dengan seluruh sampel sekaligus, kita akan menyimpulkan bahwa memang ada kesenjangan upah, tetapi sebagian dari kesenjangan upah tersebut disebabkan oleh perbedaan tahun kerja pria dan wanita. Variabel kontrol dapat membantu untuk lebih memperjelas hubungan antara IV dan DV: Jika uji t tidak menunjukkan adanya kesenjangan upah di antara pekerja <6 tahun, kesenjangan upah yang sedang di antara pekerja 6-10 tahun, dan kesenjangan upah yang lebih besar di antara pekerja >10 tahun, variabel kontrol telah membantu kita menjelaskan hubungan antara jenis kelamin dan upah dengan lebih spesifik. tidak umum, variabel kontrol dapat memiliki efek penekan, Dalam kasus-kasus mengungkapkan hubungan yang lebih kuat antara IV dan CV atau bahkan mengubah arah (langsung menjadi terbalik) dari hubungan antara IV dan CV. Jika tiga uji t kita menunjukkan bahwa, dalam setiap kelompok, wanita memiliki upah yang lebih tinggi daripada pria, kita akan menyimpulkan bahwa kita perlu menghabiskan lebih banyak waktu dengan data kita untuk mencari tahu hubungan sebab-akibat yang kompleks di antara jenis kelamin, upah, dan lama bekerja! 64
Lampiran E: Mempromosikan kesetaraan dalam dan dengan penelitian ilmu sosial Anda telah memahami bahwa penelitian sosial tidaklah bebas nilai. Nilai-nilai membentuk pilihan topik penelitian kita, pilihan metodologis kita, dan makna yang kita konstruksi dari hasil analisis data. Penelitian kita juga dapat digunakan untuk mengejar nilai-nilai, seperti dengan melakukan penelitian terapan untuk mengoptimalkan nilai-nilai seperti efektivitas atau efisiensi. Kesetaraan, atau keadilan, adalah nilai yang layak mendapat perhatian yang cermat. Pilihan metodologis kita dan apa yang kita pelajari melalui penelitian dapat mempromosikan kesetaraan atau secara tidak sengaja memperpetuasi ketidaksetaraan. Cara paling jelas penelitian dapat fokus pada kesetaraan adalah dalam pemilihan pertanyaan penelitian kita. Penelitian sosial biasanya digunakan untuk menjelajahi pertanyaan tentang disparitas di antara kelompok rasial dan etnis yang berbeda, wilayah geografis, gender, dan kelompok sosial ekonomi serta untuk mengidentifikasi cara untuk meningkatkan kesetaraan. Penulis baru saja memasukkan "disparitas rasial" di Google Scholar dan menemukan contoh-contoh penelitian ilmu sosial yang mencari untuk menggambarkan dan menjelaskan disparitas rasial dalam pendidikan, perawatan kesehatan, dan sistem peradilan pidana hanya pada halaman pertama hasilnya. Ada cara lain, mungkin lebih tidak jelas, bahwa pilihan penelitian kita dapat memengaruhi kesetaraan, apakah pertanyaan penelitian kita langsung tentang kesetaraan atau tidak. Di bawah ini, penulis menawarkan beberapa prinsip dan praktik untuk dipertimbangkan saat kita merencanakan dan melakukan penelitian kita sendiri dengan mempertimbangkan nilai kesetaraan. (1) Meneliti pertanyaan-pertanyaan penelitian dengan tujuan untuk menggambarkan dan menjelaskan ketidakadilan serta mengidentifikasi kemungkinan pengulangan. Penulis menyertakan ini pertama hanya berjaga-jaga jika Anda melewati paragraf di atas dan langsung melompat ke daftar angka. (Penulis sering melakukannya.) Kembali dan baca paragraf tersebut. Hal ini adalah strategi paling penting untuk mencapai tujuan kesetaraan dengan penelitian. (2) Memecah dan memilah data untuk mengidentifikasi ketidakadilan. Bahkan jika proyek penelitian kita bukan tentang ketidakadilan secara langsung, kita masih dapat menggunakan kesempatan untuk mencari bukti kesetaraan dan ketidakadilan. Hal ini sangat umum dalam evaluasi program. Tujuan utama dari evaluasi program bimbingan belajar setelah sekolah mungkin untuk menentukan apakah kinerja akademis siswa meningkat karena berpartisipasi dalam program tersebut. Namun, kita dapat menggunakan kesempatan tersebut untuk memecah data kita untuk mengajukan pertanyaan komparatif dari perspektif kesetaraan: Apakah program ini berfungsi sama baiknya untuk siswa dari gender yang berbeda? Ras yang berbeda? Usia yang berbeda? Bagi penutur asli dan non-penutur asli bahasa Inggris? Pertanyaan penelitian lanjutan dapat menjelajahi mengapa kita melihat disparitas atau tidak, yang dapat membantu orang yang memimpin program bimbingan belajar ini dan program serupa untuk meningkatkan atau mempertahankan hasil yang adil. (3) Melakukan analisis dalam kelompok. Penulis beranggapan bahwa kesempatan yang paling sering terlupakan untuk melakukan penelitian dari perspektif kesetaraan adalah untuk memeriksa variasi hasil dalam kelompok. Bayangkan bahwa kita melakukan evaluasi program bimbingan belajar di luar sekolah, memecah data kita, dan menemukan bahwa penutur asli bahasa Inggris mengalami peningkatan kinerja akademis sebagai hasil dari berpartisipasi dalam 65
program, tetapi penutur non-natif tidak. Langkah selanjutnya kemudian bisa untuk melihat variasi hasil dalam kelompok penutur non-natif. Kemungkinan besar, kita akan belajar bahwa, meskipun mereka mendapat manfaat kurang dari penutur asli rata-rata, masih ada variasi dalam hasil belajar di antara penutur non-natif. Beberapa dari siswa ini mungkin mendapat manfaat lebih dari program bimbingan belajar daripada yang lain. Kita mungkin bisa mengidentifikasi faktor-faktor yang membantu menjelaskan variasi tersebut. Apakah siswa yang merasa program ini membantu memiliki tutor yang juga berbicara dalam bahasa ibu mereka? Apakah siswa ini mencari bantuan dengan satu mata pelajaran lebih sering daripada yang lain? Apakah siswa ini memiliki tingkat dukungan orang tua yang berbeda? Dengan menjelajahi variasi dalam kelompok, kita dapat melampaui sekadar mengidentifikasi disparitas untuk mengidentifikasi strategi mungkin untuk mengurangi disparitas. (4) Berpikirlah tentang variabel kontrol demografi. Lampiran ini mengikuti lampiran tentang pemodelan elaborasi dengan harapan bahwa Anda sudah memiliki pemahaman yang baik tentang peran variabel kontrol dalam penelitian. (Jika Anda tidak yakin mengapa kita menggunakan variabel kontrol, membaca tentang pemodelan elaborasi terlebih dahulu adalah ide bagus), Faktor-faktor demografi sering dimasukkan dalam desain penelitian sebagai variabel kontrol. Strategi ini pada dasarnya adalah ide yang baik. Namun, kita harus berhati- hati dalam bagaimana kita menginterpretasikan temuan kita. Bayangkan membaca interpretasi hasil regresi berganda dalam artikel jurnal yang melaporkan hasil evaluasi program pelatihan kerja: Untuk setiap bulan tambahan pelatihan kerja, model memprediksi upah awal peserta akan meningkat sebesar $2 per jam, dengan tetap mempertahankan (variabel) ras Dalam contoh ini, variabel independen kita adalah bulan pelatihan kerja, variabel dependen kita adalah gaji awal, dan ras adalah variabel kontrol. Jika ini adalah sejauh mana interpretasi dari hasil, kita tidak bisa tahu apakah penulis mengabaikan hasil yang tidak adil, tetapi kita akan curiga bahwa hal ini mungkin terjadi dengan benar. Jika ras peserta digunakan sebagai variabel kontrol dalam model yang mereka presentasikan, kemungkinan itu adalah variabel kontrol yang signifikan secara statistik (atau mengapa memasukkannya dalam model akhir?). Kemungkinan perbedaan antara kelompok rasial itu tidak signifikan atau cukup substansial - kita tidak tahu. Ketika menggunakan ras atau karakteristik lain sebagai variabel kontrol, maka, penting untuk secara eksplisit mendeskripsikan hubungan antara ras dan variabel dependen. Kita seharusnya tidak sembrono memasukkan karakteristik demografis sebagai variabel kontrol hanya karena itulah yang dilakukan semua orang tanpa repot-repot menginterpretasikan dampak variabel kontrol tersebut pada temuan kita. (5) Jangan menganggap pria kulit putih sebagai "normal" ketika menggunakan variabel dummy. Jika ini adalah pertama kalinya Anda mendengar atau bertemu dengan istilah variabel dummy, Anda mungkin berpikir bahwa penulis akan memperingatkan tentang penggunaan istilah dummy. Tidak. Itu hanya istilah jargon yang digunakan untuk menggambarkan jenis variabel dikotomis tertentu. Jika kita memiliki variabel ras yang reguler, bukan dummy, menggunakan kategori Sensus Amerika Serikta, data kita untuk tiga responden survei mungkin terlihat seperti ini: 66
Nama Ed Margareth Alleen Ras Kulit putih Kulit hitam/Afro Amerika Asia-Amerika Pada tabel tersebut kita memiliki variabel yang berjudul Ras dengan nilai-nilai Putih, Hitam atau Afrika Amerika, Asia Amerika, ditambah dua lainnya yang tidak diwakili dalam data kita, Amerika Indian/Alaska Asli, dan Asli Hawaii/Pulau Pasifik. Jika kita menggunakan pengkodean dummy untuk variabel ras, data responden survei yang sama akan terlihat seperti ini: Nama Ed Margareth Alleen Kulit putih Kulit Hitam Asia Amerika 1 0 0 0 1 0 0 0 1 Alaska 0 0 0 Pasifik 0 0 0 Sekarang, kita memiliki lima variabel dummy, satu untuk setiap kategori. Masing-masing variabel dapat mempunyai nilai nol (yang berarti, pada dasarnya, tidak) atau satu (yang berarti ya). Pendekatan ini bertujuan dan mempunyai manfaat untuk mengubah data tingkat nominal menjadi tingkat rasio, yang memberi kita lebih banyak pilihan untuk analisis kuantitatif. Variabel dummy biasanya digunakan dalam analisis regresi. Ketika variabel ini digunakan sebagai variabel independen dalam analisis regresi, satu dari variabel dummy dihilangkan dari analisis dan menjadi kategori referensi. Berikut ini adalah contoh model regresi yang menggunakan nama singkatan untuk variabel dummy tentang ras di atas dan indeks hipotetis sikap terhadap kewirausahaan: Prediksi Sikap Kewirausahaan = β0 + β1*Kulit Hitam + β2*Asia + β3*Asia + β4*NHPI Perhatikan bahwa variabel dummy Kulit Putih tidak dimasukkan dalam model; variabel ini berfungsi sebagai referensi. Hal ini tidak masalah; tidak ada cara yang tepat untuk memilih kategori referensi, dan secara matematis, hal ini tidak menjadi masalah. Paket perangkat lunak statistik dapat memilih kelompok referensi berdasarkan abjad, atau kita dapat memilih kategori dengan jumlah kasus terbanyak. Namun, terkadang, kita memilih kategori referensi karena dianggap normal atau umum. Jika kita memberi kode dummy untuk variabel status COVID, misalnya, kita dapat memiliki variabel dummy untuk orang yang tidak pernah COVID, orang yang pernah terkena COVID, dan orang yang telah sembuh dari COVID. Dalam hal ini, akan masuk akal untuk menggunakan tidak pernah terkena COVID sebagai kategori referensi kita karena itu itu adalah "normal". Di sinilah kita harus berhati-hati dengan variabel dummy (dan jika Anda baru mengenal variabel dummy atau analisis regresi, ini adalah poin penting): Dalam menyajikan temuan kita, kita harus berhati-hati untuk tidak memperlakukan kelompok demografis yang berbeda sebagai "normal". Dalam model di atas, kita harus mempertimbangkan kembali jenis penyajian hasil ini: 67
Ras Kulit hitam/Afro Amerika Asia-Amerika Amerika Indian/Alaska Asli, Asli Hawaii/Pulau Pasifik Referensi : Kulit putih Prediksi indeks skor kewirausahaan -2 -1 +4 +3 Presentasi tersebut menyiratkan bahwa responden berkulit putih harus dianggap sebagai norma-standar yang digunakan untuk membandingkan kelompok-kelompok lain. Sebagai gantinya, kita dapat menyajikan, misalnya, nilai rata-rata untuk setiap kelompok dan menyoroti perbandingan yang lebih bermakna di antara mereka. (6) Libatkan pemangku kepentingan dalam perencanaan dan pelaksanaan penelitian dan (7) Periksa bias pada diri anda sendiri. Penulis menawarkan rekomendasi keenam dan ketujuh secara bersamaan karena keduanya sangat berkaitan erat. Dalam penelitian mengenai kelompok masyarakat, sebaiknya berkonsultasi dengan anggota kelompok tersebut dalam dalam merencanakan atau, lebih baik lagi, melakukan penelitian. Saya misalnya, seorang pria kulit putih paruh baya, telah menemukan bahwa hal ini sangat penting untuk mempelajari sikap anak muda, kebanyakan orang Afrika-Amerika dan Hispanik terhadap program pendidikan seks di sekolah menengah pertama dan menengah atas. Dengan meminta umpan balik dari perwakilan kelompok ini tentang item survei dan rencana untuk melaksanakan survei, kita dapat menghindari potensi kesalahpahaman dan penolakan terhadap partisipasi rekan-rekan mereka yang yang mungkin tidak akan saya antisipasi. Hal ini tidak terlepas dari bias saya sendiri. Saya berpikir tentang dunia dengan cara tertentu yang dibentuk oleh pengalaman saya sendiri, dan ini akan mempengaruhi pilihan metode penelitian yang konkret, seperti bagaimana saya menyusun pertanyaan yang saya ajukan kepada peserta penelitian, bagaimana saya mengundang orang untuk berpartisipasi dalam penelitian, dan bagaimana saya mengumpulkan data. Penting bagi saya untuk merefleksikan bagaimana bias saya sendiri dapat mempengaruhi pilihan-pilihan tersebut dan mungkin membaca tentang perspektif orang lain. (8) Menghormati kemanusiaan peserta penelitian. Kita tentu saja dapat memperpanjang daftar ini lebih jauh lagi, tetapi alih-alih daftar panjang kiat-kiat, penulis akan menyimpulkan dengan prinsip panduan ini yang seharusnya menjadi dasar bagi semua penelitian tentang manusia, yang diulang dari apa yang telah ditulis di tempat lain tentang etika penelitian: Partisipan penelitian kita bukan sekadar "subjek", mereka bukan titik data yang tidak dapat sepenuhnya diketahui melalui nilai yang kita berikan pada variabel untuk mereka, dan mereka bukan perwakilan individu dari generalisasi yang kita harapkan dari penelitian (lihat Lampiran F pada poin terakhir ini). Orang-orang yang berpartisipasi dalam penelitian adalah individu yang memiliki nilai dan martabat yang tak ternilai, dan mereka harus dihormati sebagaimana mestinya. 68
Lampiran F: Kekeliruan ekologis Para peneliti ilmu sosial sering kali mempelajari kelompok kasus, terutama kelompok masyarakat. Untuk menarik kesimpulan yang dapat dipertanggungjawabkan dari penelitian semacam itu, kita harus sangat jelas mengenai apakah kita menarik kesimpulan tentang kelompok atau individu. Kesalahan yang umum terjadi adalah mengaitkan karakteristik tingkat kelompok ke individu; kesalahan ini adalah kekeliruan ekologis. Seorang peneliti bisa saja terjerumus ke dalam kekeliruan ekologis dengan secara keliru menetapkan karakteristik kelompok-kebanyakan orang menyukai Star Wars kepada seorang individu. Kekeliruan ekologis semacam itu cukup mudah untuk dilihat. Yang lebih sulit dikenali adalah kekeliruan ekologis dengan mengasumsikan hubungan yang diamati di tingkat kelompok juga menggambarkan hubungan di tingkat individu. Kita dapat jatuh ke dalam perangkap ini ketika kita lupa bahwa statistik ringkasan kelompok, seperti rata-rata kelompok, dapat menyembunyikan banyak variasi di dalam kelompok. Sebagai contoh, bayangkan kita melakukan survei terhadap sukarelawan pada bank makanan di Downtown Food Bank, Midtown Food Bank, dan Uptown Food Bank, menanyakan berapa jam mereka menjadi sukarelawan per bulan dan apakah mereka menganggap diri mereka secara umum bahagia. Kita ingin mengetahui apakah ada hubungan antara jumlah waktu yang dihabiskan untuk menjadi sukarelawan dan kebahagiaan sukarelawan. Kita mengumpulkan data berikut ini: Food bank Down Town Down Town Down Town Down Town Down Town Down Town Down Town Mid Town Mid Town Mid Town Mid Town Mid Town Mid Town Mid Town Uptown Uptown Uptown Uptown Uptown Uptown Uptown Waktu sukarela per bulan 21 41 56 60 48 18 36 14 12 8 10 38 46 12 6 7 12 15 1 5 24 Secara umum bahagia Tidak Tidak Ya Ya Ya Tidak Tidak Ya Ya Tidak Tidak Ya Ya Tidak Ya Ya Ya Ya Tidak Tidak Ya 69
Ketika unit analisis adalah bank makanan, kita melihat adanya hubungan negatif antara rata- rata-rata jam kerja per bulan per relawan dan persentase relawan bank makanan yang secara umum merasa bahagia. Kita mungkin tergoda untuk menerapkan temuan ini di tingkat individu, menyimpulkan bahwa orang yang lebih banyak menjadi sukarelawan kurang bahagia. Namun, apa yang terjadi ketika kita melakukan analisis pada tingkatindividu? Mari kita bandingkan rata-rata jam kerja yang dilakukan oleh sukarelawan yang secara umum bahagia dengan rata- rata jam kerja oleh rekan-rekan mereka yang kurang bahagia-jadi, masih mencari hubungan antara variabel independen dan dependen, tapi kali ini tanpa terlebih dahulu mengelompokkan kasus-kasus kita: Rata-rata waktu sukarela/bulan Secara umum bahagia 28 Secara umum tidak bahagia 17 Sekarang, kita melihat adanya hubungan positif antara waktu yang dihabiskan untuk menjadi sukarelawan dan kebahagiaan secara umum; relawan yang menggambarkan diri mereka sebagai relawan yang secara umum bahagia, rata-rata, lebih banyak waktu sukarela per bulan daripada orang lain. Itu adalah kesimpulan yang berlawanan dengan apa yang telah kita capai sebelumnya! Apa bedanya? Sebelumnya, kita menerapkan temuan tentang hubungan antara dua variabel di tingkat kelompok untuk individu-disini kita mengemukakan kekeliruan ekologis.Peneliti sosial tertarik untuk membuat perbandingan kelompok karena mereka sering mengungkapkan hal tersebut menarik dalam dunia sosial kita. Kita semua mendasarkan banyak identitas diri kita keanggotaan kelompok kita, sehingga mudah untuk menerima hasil yang mengkonfirmasi bias kita tentang kelompok lain atau mengkonfirmasi persepsi diri kita yang positif, meskipun hasilnya mencerminkan kekeliruan ekologis. 70
Lampiran G: Glosarium metode penelitian Glosarium ini memberikan definisi metode penelitian yang ditemukan dalam buku ini dan untuk beberapa istilah lain yang mungkin Anda temui ketika Anda mempelajari lebih lanjut tentang metode penelitian. Level Akurasi (dalam pengambilan sampel): Luasnya interval di mana parameter dapat diestimasi menggunakan statistik dengan tingkat kepercayaan tertentu Data administratif: Data yang dikumpulkan selama pelaksanaan suatu kebijakan atau program atau suatu organisasi. Hipotesis alternatif: Lihat pengujian hipotesis Kemampuan generalisasi analitik: Sejauh mana sebuah teori berlaku ("menggeneralisasi") pada kasus yang diberikan menunjukkan generalisasi analitik dipegang oleh beberapa peneliti sebagai tujuan untuk penelitian kualitatif Variabel anteseden: Variabel independen yang menyebabkan perubahan pada variabel independen utama yang, pada gilirannya, menyebabkan perubahan pada variabel dependen Asosiasi: Hubungan probabilistik antara dua atau lebih variabel Pengodean aksial: Mengatur tema-tema yang muncul dari pengodean terbuka, sering kali dengan menggabungkan ke dalam tema umum yang dibagi lagi menjadi tema yang lebih spesifik dan mengidentifikasi hubungan di antara kode-kode, menghasilkan seperangkat kode yang terorganisir yang dapat digunakan dalam analisis data kualitatif Bias: Distorsi sistematis dari temuan-temuan yang disebabkan oleh kekurangan desain penelitian Desain penelitian perbandingan studi kasus: Desain penelitian di mana beberapa studi kasus dilakukan dan dibandingkan Desain penelitian studi kasus: Studi sistematis tentang suatu kasus yang kompleks (seperti peristiwa, program, kebijakan) yang yang mendalam, holistik, menggunakan berbagai sumber/metode/pengumpulan data teknik Kasus: Sebuah objek pengamatan sistematis; sebuah entitas yang kita berikan nilai untuk variabel Sensus: (1) Sampel yang terdiri dari seluruh populasi; (2) studi yang sampelnya terdiri dari seluruh populasi Pemotongan (Chunking): Mengidentifikasi segmen pendek dari data kualitatif yang bermakna untuk diberi kode dan dianalisis Pertanyaan tertutup: Pertanyaan survei atau wawancara yang mengharuskan responden untuk memilih dari serangkaian respons yang telah ditentukan sebelumnya 71
Pengambilan sampel kelompok: Desain pengambilan sampel probabilitas di mana kumpulan kasus yang lebih sempit secara berturut-turut dipilih sebelum akhirnya memilih kasus untuk dimasukkan ke dalam sampel Pengkodean: Lihat pengodean aksial, pengodean terbuka, pengodean selektif. Konsep: Sebuah abstraksi yang berasal dari kesamaan yang dimiliki oleh banyak contoh Validitas konkuren: Suatu jenis validitas kriteria yang menggambarkan sejauh mana suatu variabel (atau seperangkat variabel yang dimaksudkan untuk mengoperasionalkan konsep tunggal) berhubungan dengan variabel lain yang diukur pada saat yang sama seperti yang diharapkan jika variabel tersebut secara akurat mengukur apa yang dimaksudkan. Keyakinan, tingkat (dalam pengambilan sampel): Kepastian, dinyatakan sebagai persentase, yang dengannya parameter dapat diestimasi menggunakan statistik dengan tingkat akurasi tertentu; persentase parameter yang diestimasi diharapkan berada dalam rentang tertentu (tingkat akurasi) jika dihitung menggunakan data yang dikumpulkan dari sejumlah besar sampel hipotetis Kepercayaan Interval: Kisaran nilai yang kita perkirakan parameter populasi jatuh pada tingkat kepercayaan yang diberikan Validitas isi: Aspek validitas operasional yang menggambarkan sejauh mana operasionalisasi konsep abstrak mengukur luasnya makna yang dikonotasikan oleh konsep Variabel kontrol: Variabel yang mungkin mengancam ketidakjujuran saat memeriksa hubungan sebab akibat antara variabel independen dan variabel dependen; variabel kontrol secara masuk akal terkait dengan variabel independen dan dependen dan dengan demikian dapat menjelaskan hubungan yang diamati di antara mereka; dalam eksperimen atau kuasi- eksperimen, variabel kontrol adalah variabel-variabel yang dibuat konstan sehingga tidak dapat mempengaruhi variabel dependen Pengambilan nonprobabilitas di mana kasus dipilih karena kasus-kasus tersebut nyaman bagi peneliti sampel berdasarkan kemudahan: Desain pengambilan Wawancara percakapan: Wawancara yang dilakukan dengan mengikuti protokol yang sangat fleksibel yang menguraikan tema umum tetapi memungkinkan wawancara berkembang seperti percakapan alami antara antara peneliti dan responden Validitas kriteria: Sebuah aspek dari validitas operasional yang menggambarkan sejauh mana sebuah variabel (atau serangkaian variabel yang dimaksudkan untuk mengoperasionalkan konsep tunggal) dikaitkan dengan variabel lain seperti yang diharapkan jika variabel tersebut secara akurat mengukur apa yang dimaksudkan untuk diukur Desain penelitian cross sectional: Desain penelitian formal di mana data dikumpulkan dalam satu "gelombang" pengumpulan data, dengan analisis data yang tidak membedakan antara data yang dikumpulkan pada waktu yang berbeda Analisis data: Menemukan pola dalam data secara sistematis 72 sampel
Variabel dependen: Variabel dengan nilai yang bergantung pada nilai variabel lain ; dalam hubungan sebab-akibat, variabel yang mewakili efek Analisis data deskriptif: Analisis data kuantitatif yang meringkas karakteristik dari sampel Validitas diskriminasi: Sebuah aspek validitas operasional yang menggambarkan sejauh mana operasionalisasi konsep abstrak membedakan antara konsep target dan konsep lainnya Pengambilan sampel berstrata yang tidak proporsional: Desain pengambilan sampel probabilitas di mana proporsi kasus dalam populasi yang menunjukkan karakteristik yang diketahui secara sengaja dan secara strategis berbeda untuk kasus-kasus dalam sampel, biasanya untuk memungkinkan perbandingan di antara subset sampel yang mungkin memiliki terlalu sedikit kasus Diseminasi: Untuk membagikan hasil penelitian dan bagaimana penelitian itu dilakukan secara luas, biasanya dengan publikasi Pertanyaan berlaras ganda: Sebuah pertanyaan, seperti dalam wawancara atau survei, yang sebenarnya menanyakan dua pertanyaan sekaligus Variabel dummy dan pengkodean dummy: Variabel dummy adalah variabel yang memiliki dua nilai: satu (yang pada dasarnya berarti ya) dan nol (yang berarti tidak). Pengkodean dummy adalah proses mengubah variabel kategorikal tunggal menjadi serangkaian variabel dummy, dengan masing-masing nilai variabel kategorikal asli ditransformasikan menjadi variabel dummy tersendiri. Sebagai contoh, variabel variabel klasifikasi mahasiswa dengan nilai mahasiswa baru, mahasiswa tingkat dua, mahasiswa tingkat satu, dan mahasiswa tingkat akhir, dapat ditransformasikan menjadi empat variabel dummy, yaitu mahasiswa baru, mahasiswa tingkat dua, mahasiswa tingkat satu, dan mahasiswa tingkat mengambil nilai satu atau nol. Pengkodean dummy untuk variabel kategorikal menghasilkan serangkaian variabel tingkat rasio, sehingga memungkinkan pilihan analisis kuantitatif yang lebih luas. Kekeliruan ekologis: Temuan penelitian yang dibuat karena kesalahan dalam menerapkan apa yang telah dipelajari dari kelompok kasus ke kasus individu Ukuran efek: Ukuran kuantitatif dari besarnya hubungan statistik Penelitian empiris: Menghasilkan pengetahuan berdasarkan pengamatan sistematis Empiris: Berdasarkan pengamatan sistematis Empirisme: Pandangan bahwa satu-satunya hal yang "nyata" dan karena itu penting adalah hal-hal yang dapat diamati secara langsung; jangan disamakan dengan istilah empiris Desain penelitian eksperimental: Desain penelitian formal di mana kasus-kasus secara acak dipilih ke setidaknya satu kelompok eksperimen dan satu kelompok kontrol dengan peneliti menentukan nilai-nilai variabel independen yang akan diberikan kepada masing-masing kelompok dan variabel dependen diukur setelah (dan biasanya sebelum juga) manipulasi variabel independen 73
Validitas eksternal: Kemampuan generalisasi klaim yang dihasilkan oleh penelitian empiris di luar kasus yang diamati secara langsung Validitas muka: Sebuah aspek dari validitas operasional yang menggambarkan sejauh mana sebuah variabel (atau serangkaian variabel yang dimaksudkan untuk mengoperasionalkan konsep tunggal) muncul untuk mengukur apa yang dimaksudkan untuk mengukur Dikotomi fakta-nilai: Pandangan naif bahwa fakta dan nilai selalu sepenuhnya berbeda kategori Kelompok fokus: Sekelompok individu yang memiliki kesamaan yang relevan dengan yang diwawancarai bersama dan didorong untuk berinteraksi agar tema-tema muncul dari wacana kelompok Generalisasi: Membuat klaim di luar apa yang dapat diklaim berdasarkan pengamatan langsung, seperti membuat klaim tentang seluruh populasi berdasarkan pengamatan terhadap sampel populasi Efek Hawthorne: Bias yang dihasilkan dari perubahan perilaku peserta penelitian yang dipengaruhi oleh kesadaran mereka bahwa mereka sedang diamati Hipotesis: Pernyataan yang menggambarkan hubungan yang diharapkan antara dua variabel atau lebih Pengujian hipotesis: Metode yang digunakan dalam statistik inferensial di mana hubungan statistik yang diamati dalam data sampel dibandingkan dengan distribusi data hipotetis dalam yang tidak memiliki hubungan analog untuk menghasilkan estimasi seberapa besar kemungkinan atau hubungan yang diamati adalah; hubungan yang diamati yang sedang diuji dinyatakan sebagai hipotesis alternatif, yang dibandingkan dengan pernyataan tidak ada hubungan, hipotesis nol Variabel independen: Variabel dengan nilai yang, setidaknya sebagian, menentukan nilai variabel lain; dalam hubungan sebab-akibat, variabel yang mewakili penyebab Analisis data inferensial: Analisis data kuantitatif yang menggunakan statistik untuk memperkirakan parameter Persetujuan berdasarkan informasi (informed consent): Persetujuan formal individu untuk berpartisipasi dalam penelitian setelah menerima informasi tentang risiko dan manfaat penelitian, serta jaminan bahwa partisipasi bersifat sukarela, apa yang diperlukan untuk berpartisipasi, perlindungan kerahasiaan, dan siapa yang harus dihubungi jika mereka memiliki pertanyaan atau memiliki pertanyaan atau kekhawatiran tentang penelitian. Dewan Peninjau Institusi: Sebuah komite yang bertanggung jawab untuk memastikan kepatuhan terhadap standar etika dalam melakukan penelitian di sebuah institusi, seperti universitas Validitas internal: Kebenaran klaim kausal yang disimpulkan dari penelitian empiris 74
Skala pengukuran interval: Menggambarkan variabel dengan nilai numerik tetapi tidak ada nilai nol Variabel intervening: Variabel independen yang dipengaruhi oleh variabel independen utama independen utama dan kemudian, pada gilirannya, menyebabkan perubahan dalam variabel dependen Protokol wawancara: Seperangkat instruksi dan pertanyaan yang digunakan untuk memandu wawancara Variabel laten: Variabel yang tidak dapat diamati secara langsung, seperti konsep abstrak, sikap, atau perilaku pribadi Tinjauan pustaka: (1) Proses menemukan dan belajar dari penelitian sebelumnya sebagai salah satu langkah awal dalam proses penelitian; (2) makalah yang meringkas, menyusun, dan mengevaluasi pengetahuan yang ada untuk menjawab pertanyaan penelitian; (3) bagian dari laporan penelitian yang lebih besar yang merangkum, menyusun, dan mengevaluasi tubuh pengetahuan yang dibahas oleh penelitian dan menempatkan penelitian yang sedang dilaporkan dalam tubuh pengetahuan yang lebih besar tersebut. Model logika: Diagram yang menggambarkan cara kerja sebuah program, termasuk input, kegiatan, keluaran, dan hasil Variabel manifes: Variabel yang dapat diamati dan dianggap menunjukkan nilai-nilai variabel laten Membuat Memo: Menulis catatan untuk mendokumentasikan proses pemikiran peneliti kualitatif yang terkait dengan setiap langkah penelitian kualitatif dan ide-ide mereka yang berkembang tentang apa yang sedang dipelajari selama proses analisis data Meta-analisis: Sebuah metode untuk mensintesis penelitian sebelumnya dengan menggunakan teknik statistik yang menggabungkan hasil dari beberapa penelitian terpisah; Penelitian metode campuran: Penelitian yang menggunakan data kualitatif dan kuantitatif Eksperimen alami: Desain kuasi-eksperimental yang memanfaatkan kejadian "alamiah" variasi dalam variabel independen Skala pengukuran nominal: Menggambarkan variabel dengan nilai kategorikal yang tidak memiliki urutan yang melekat Analisis data nonparametrik: Analisis data kuantitatif dengan menggunakan teknik statistik cocok digunakan karena data tidak memiliki distribusi normal, varians yang homogen Desain pengambilan sampel nonprobabilitas: Strategi untuk memilih sampel di mana probabilitas kasus yang dipilih tidak diketahui atau tidak dipertimbangkan ketika memilih kasus untuk dimasukkan ke dalam sampel dengan pemilihan sampel dibuat untuk beberapa alasan lain (lihat pengambilan sampel sederhana, pengambilan sampel purposif, pengambilan sampel kuota, dan bola salju). Nonsurvival: Tidak disebabkan oleh faktor lain 75
Hipotesis nol: Lihat pada bahasan pengujian hipotesis Pengodean terbuka: Menetapkan label/descriptor/tag ke "potongan" data kualitatif yang mencatat signifikansi data untuk menjawab pertanyaan penelitian; langkah pertama dalam mengidentifikasi penting yang muncul dari data kualitatif Pertanyaan terbuka: Sebuah pertanyaan survei atau wawancara tanpa jawaban yang telah ditentukan sebelumnya Validitas operasional: Sejauh mana suatu variabel (atau serangkaian variabel yang dimaksudkan untuk mengoperasionalkan konsep tunggal) secara akurat dan menyeluruh mengukur apa yang dimaksudkan untuk mengukur Operasionalisasi: Untuk menjelaskan bagaimana pengamatan akan dilakukan sehingga nilai dapat diberikan kepada variabel untuk kasus-kasus Skala pengukuran ordinal: Menggambarkan variabel dengan nilai kategorikal yang memiliki urutan yang melekat Desain penelitian panel: Desain penelitian formal di mana data dikumpulkan pada waktu yang berbeda dari sampel yang sama Parameter: Karakteristik ringkasan yang dikuantifikasi dari suatu populasi Analisis data parametrik: Analisis data kuantitatif menggunakan teknik statistik yang sesuai hanya karena data memiliki distribusi normal yang mendasari, varians yang homogen Peninjauan sejawat: Proses peninjauan laporan penelitian (atau bentuk beasiswa lainnya) oleh oleh para ahli di bidangnya, biasanya sebagai prasyarat untuk publikasi Plagiarisme: Penyajian yang salah secara tertulis atas kata-kata atau gagasan orang lain sebagai milik sendiri Estimasi poin: Statistik yang dihitung dari data sampel yang digunakan untuk memperkirakan populasi parameter; biasanya disebut sebagai perbedaan dengan interval kepercayaan Model kebijakan: Penjelasan tentang bagaimana sebuah kebijakan seharusnya bekerja, termasuk inputnya, bagaimana dimaksudkan untuk diimplementasikan, hasil yang diharapkan, dan asumsi yang mendasari proses perubahan yang diinginkan Populasi: Jumlah keseluruhan kasus yang menarik; semua kasus yang ingin diterapkan dalam penelitian Validitas prediktif: Suatu jenis validitas kriteria yang menggambarkan sejauh mana suatu variabel (atau serangkaian variabel yang dimaksudkan untuk mengoperasionalkan konsep tunggal) memprediksi perubahan masa depan dalam variabel lain seperti yang diharapkan jika variabel tersebut secara akurat mengukur apa yang dimaksudkan untuk diukur Desain pengambilan sampel probabilitas: Strategi untuk memilih sampel di mana setiap kasus dalam populasi memiliki probabilitas yang diketahui (atau dapat diketahui) bukan nol untuk dimasukkan ke dalam sampel 76
Pengambilan sampel berstrata proporsional: Desain pengambilan sampel probabilitas di mana proporsi kasus dalam populasi yang menunjukkan karakteristik yang diketahui direplikasi dalam sampel Pengambilan sampel secara sengaja (purposive sampling): Desain pengambilan sampel nonprobabilitas di mana kasus dipilih karena kasus-kasus tersebut menarik, tipikal, atau atipikal sesuai dengan tujuan penelitian Data kualitatif: Data tekstual Data kuantitatif: Data numerik Desain penelitian kuasi-eksperimental: Desain penelitian formal yang mirip dengan desain penelitian eksperimental tetapi dengan pemilihan ke kelompok eksperimen dan pembanding yang dibuat secara secara tidak acak Pengambilan sampel kuota: Desain pengambilan sampel nonprobabilitas di mana kasus dipilih seperti dalam convenience sampling tetapi sedemikian rupa sehingga sampel menunjukkan proporsi dari karakteristik yang diinginkan, baik untuk mereplikasi karakteristik populasi yang diketahui atau memungkinkan perbandingan himpunan bagian dari sampel Skala pengukuran rasio: Menggambarkan variabel dengan nilai numerik dan angka nol alami Keandalan: Sejauh mana pengukuran berulang hipotetis dari variabel akan menghasilkan nilai yang sama untuk kasus yang sama Desain penelitian: 1) Secara umum, deskripsi dari keseluruhan proses penelitian; 2) secara lebih sempit, desain penelitian formal yang digunakan untuk menyusun penelitian, termasuk cross-sectional, time series, panel, eksperimental, kuasi-eksperimental, dan desain penelitian studi kasus Bias kumpulan respons: Bias yang dihasilkan dari kumpulan respons yang mengarahkan responden untuk memilih respon selain respon yang lebih akurat Kumpulan respons: Kumpulan respons yang dapat dipilih oleh responden ketika menjawab pertanyaan tertutup Sampel: Bagian dari populasi yang digunakan untuk mempelajari populasi; kasus-kasus yang diamati Kesalahan pengambilan sampel: Perbedaan antara statistik dan parameter yang sesuai Kerangka sampel: Daftar kasus yang menjadi dasar pemilihan sampel Data sekunder: Data yang dikumpulkan oleh orang lain selain peneliti, biasanya tanpa mengantisipasi bagaimana data tersebut pada akhirnya akan digunakan oleh peneliti Pengkodean selektif: Menetapkan seperangkat kode (seperti sistem kode yang dikembangkan melalui pengodean aksial)untuk "potongan-potongan" data kualitatif Wawancara semi-terstruktur: Wawancara yang dilakukan dengan mengikuti protokol wawancara yang menentukan pertanyaan dan pertanyaan lanjutan yang potensial tetapi 77
memungkinkan fleksibilitas dalam urutan dan susunan kata dari pertanyaan-pertanyaan tertentu Pengambilan sampel acak sederhana: Desain pengambilan sampel probabilitas di mana setiap kasus dalam populasi memiliki probabilitas yang sama untuk dipilih untuk dimasukkan ke dalam sampel Pengambilan sampel bola salju: Desain pengambilan sampel nonprobabilitas di mana satu kasus dipilih untuk sampel, yang kemudian mengarahkan peneliti ke kasus lain untuk dimasukkan ke dalam sampel, kemudian kasus lain, dan seterusnya (juga disebut pengambilan sampel jaringan ketika kasusnya adalah orang) Bias keinginan sosial: Kecenderungan orang yang diwawancarai untuk memberikan tanggapan yang menurut mereka lebih dapat diterima secara sosial daripada tanggapan yang akurat Standar Wawancara : Wawancara yang dilakukan dengan mengikuti protokol wawancara yang mensyaratkan kata-kata dan urutan pertanyaan yang sama untuk semua responden Statistik: Karakteristik ringkasan yang dikuantifikasi dari suatu sampel Pengambilan sampel sistematis: Desain pengambilan sampel probabilitas di mana setiap kasus dalam kerangka pengambilan sampel dipilih untuk dimasukkan ke dalam sampel; jika ada kerangka pengambilan sampel yang diskrit (sebagai lawan dari kerangka pengambilan sampel diskrit (berlawanan dengan hipotesis), sama dengan jumlah kasus dalam populasi dibagi dengan jumlah kasus yang ingin dimasukkan ke dalam sampel Teori: Seperangkat konsep dan hubungan di antara konsep-konsep tersebut yang dikemukakan dalam bentuk formal untuk menggambarkan atau menjelaskan fenomena yang menarik Desain penelitian deret waktu: Desain penelitian formal di mana data dikumpulkan pada titik-titik yang berbeda sepanjang waktu dari sampel independen Unit analisis: Entitas - siapa atau apa - yang sedang dipelajari; entitas yang pengamatan yang sedang dicatat dalam suatu penelitian Validitas: Kebenaran klaim yang dibuat berdasarkan penelitian; lihat validitas operasional, validitas muka , validitas isi, validitas diskriminatif, validitas kriteria, validitas konkuren, validitas prediktif, validitas internal, validitas eksternal Variabel: Pengelompokan atribut secara logis; kategori tempat atribut tersebut berada; faktor/kualitas/kondisi yang dapat memiliki lebih dari satu nilai/keadaan 78
Tentang penulis Penulis adalah Dalton Roberts Profesor di bidang Administrasi Publik dan Koordinator Program MPA di University of Tennessee di Chattanooga, tempat penulis mengajar program sarjana dan pascasarjana dalam metode penelitian, perencanaan program, dan evaluasi program. Penulis juga mendukung mahasiswa belajar di luar kelas melalui keterlibatan dalam komunitas. Penulis memiliki gelar Ph.D. di bidang Kebijakan Publik dari program gabungan Georgia Tech dan Georgia State University. Penelitian penulis berkaitan dengan interaksi antara kebijakan publik dan sektor nirlaba serta integrasi agama dan pekerjaan dalam administrasi publik. Selain menjadi profesor, penulis juga mengelola sebuah praktik konsultasi evaluasi program, menjadi anggota dewan sebuah organisasi nirlaba besar, mengajar Sekolah Minggu, bermain piano, membuat karya seni, dan menikmati hidup sebagai orang rumahan bersama istri dan empat anak. 79
Tentang penerjemah Arif Budy Pratama adalah dosen di Jurusan Ilmu Administrasi Negara, Fakultas Ilmu Sosial dan Ilmu Politik, Universitas Tidar. Arif mendapatkan gelar Doktor der Philosophie (Dr. phil.) dari Center for Development Research (ZEF), Rheinische Friedrich-Wilhelms-Universität Bonn, Jerman pada 2023 dan Master of Public Administration (With Distinction) pada tahun 2016 dari University of Exeter, Inggris. Arif mengajar mata kuliah: Metode Penelitian Sosial Kuantitatif, Metode Penelitian Administrasi Publik, Kebijakan Publik, dan Administrasi Pembangunan, dan mempublikasikan karya tulisnya di jurnal internasional bereputasi seperti: Public Personnel Management, Urban Governance, Urban Research & Practice, Public Administration and Policy, Anatolia, Administrative Theory & Praxis, Environment and Urbanization Asia, Advances in Southeast Asian Studies, Innovation & Management Review, dan International Journal of Tourism Policy. Sebelum berkarir dalam dunia akademik, Arif mengabdikan diri sebagai Pegawai Negeri Sipil/ASN di Kementerian Koordinator Bidang Politik, Hukum dan Keamanan, Republik Indonesia. 80