Sophia Dharma: Jurnal Filsafat, Agama Hindu, dan Masyarakat e-ISSN: 2829-6958 * https://e-journal.iahn-gdepudja.ac.id/ Volume 5 Nomor 1, Mei 2022

## KERAPUHAN EVIDENSI DALAM CIVIC LITERACY

## Andri Fransiskus Gultom
Universitas PGRI Kanjuruhan Malang Email: andri.franz@unikama.ac.id
Abstract Keywords: fragility of evidence, civic literacy, philosophical criticism. The  debate  about  civic  literacy  in  philosophical  discourse  in Indonesia is still rare. This paper may have initiated this debate by anchoring  philosophical  criticism  to  the  research  of  Armaidy Armawi and Raharjo in the Journal of Philosophy Vol 31, No. 1 of 2021  entitled:  "Evaluation  of  Civic  Literacy  Socialization Program  in  the  Formation  of  Young  Citizen  Ethics."  The fundamental aim of this paper lies in the power to critique research that has fragile evidence in the discussion of civic literacy. This study uses qualitative methods with verstehen, trouble mapping, interpretation, and Myra Zarnowski's thought experiments. The research findings: first, the fragility of the evidence occurred in the two  researchers  due  to  experiencing  the  epistemological  break. Second,  the  fragility  of  the  two  researchers'  evidence  is  in  the content  of  civic  literacy  because  the  evaluation  of  the  two researchers  missed  by  presenting  lack  of  data  so  that  the  peak achievement  in  civic  literacy  is  not  directed  at  the  well-inform citizens, but is concerned with the explanatory bias that exists in ethics. The recommendations of this study focus on civic literacy, which contains a structure on reading themes and civic values that can answer the needs of citizens. The implication is sense of the citizens engagement to realizing social justice.

## Abstrak
Kata kunci:
kerapuhan evidensi, civic literacy, kritik filosofis. Perdebatan ihwal civic literacy dalam diskursus filsafat di Indonesia  masih  jarang  ditemukan.  Tulisan  ini  boleh  jadi menginisiasi  perdebatan  tersebut  dengan  menjangkarkan kritik  filosofis  pada  penelitian  Armaidy  Armawi  dan Raharjo di Jurnal Filsafat Vol. 31, No. 1 tahun 2021 berjudul: “Evaluasi  Program  Sosialisasi  Civic  Literacy  Dalam Pembentukan Etika Warganegara Muda”. Tujuan mendasar dari  tulisan  ini  ada  pada  kekuatan  untuk  memberi  kritik pada  penelitian  yang  memiliki  kerapuhan  evidensi  dalam pembahasan  tentang  civic  literacy.  Penelitian  ini menggunakan metode kualitatif dengan verstehen, trouble mapping,  interpretasi,  dan  eksperimen  pikiran  Myra Zarnowski.  Temuan  penelitian  meliputi:  pertama, kerapuhan  evidensi  terjadi  pada  kedua  peneliti  karena mengalami  the  epistemological  break.  Kedua,  kerapuhan evidensi  kedua  peneliti  ada  pada  konten  civic  literacy karena  evaluasi  kedua  peneliti  meleset  dengan menghadirkan  minus  data  sehingga  capaian  puncak  pada civic literacy  bukan  terarah  pada  the  well-inform  citizens, tetapi  berkutat  pada  bias  ekplanasi  yang  ada  pada  etika. Rekomendasi penelitian ini terarah pada civic literacy yang memuat struktur tentang tema-tema bacaan dan nilai-nilai kewargaan yang bisa menjawab kebutuhan warga negara. Implikasinya, keterlibatan warga untuk peka mewujudkan keadilan sosial.

## Pendahuluan
Diskursus  tentang  kecakapan  seseorang  atau  komunitas  dalam  hal literasi memiliki beragam paradigma. Paradigma konvesional mengafirmasi bahwa ada pertautan langsung antara kecakapan membaca dengan tingkat kecerdasan.  Interpretasi  sederhananya,  seseorang  atau  komunitas  yang membaca banyak buku dengan serta merta memiliki kecerdasan yang bisa menambah  wawasan  dalam  milieu  akademik.  De  facto,  institusi-institusi pendidikan  formal  memiliki  keyakinan  adekuat  pada  paradigma konvensional  (termasuk  kemampuan  membaca  komprehensif)  tersebut, dengan menerapkan tes-tes  bahasa (seperti TOEFL, TOEIC, IELTS) sebagai syarat masuk menjadi mahasiswa-i, terutama di Perguruan Tinggi Negeri, untuk  menjadi  civil  servant  di  Badan  Usaha  Milik  Negara,  dan  menjadi

## Andri Fransiskus Gultom---Kerapuhan Evidency dalam Civic Literacy
karyawan di Korporasi Nasional serta Internasional.
Paradigma lainnya yang cukup menantang adalah paradigma bahasa dan dunia yang dihembuskan oleh Edward Sapir dalam bukunya Language: An  Introduction  to  the  Study  of  Speech.  Buku  ini  memberikan  paradigma khusus  tentang  subyek  bahasa  ketimbang  kumpulan  fakta.  Sapir  (2004) menegaskan bahwa pemahaman bahasa mencakup variabilitas dalam ruang dan  waktu,  dan  bertautan  dengan  beragam  problem  manusia  yang menantang seperti problem pikiran, proses historis,  ras, budaya, dan seni. Paradigma  ini,  tulis  Sapir  (2004),  bisa  berguna  untuk  kemampuan  bahasa para pelajar dan publik di luar pendidikan formal (the outside public). Situasi itu untuk menyadari bahwa ada tendensi untuk mereduksi bahasa sebagai bentuk  keangkuhan  seseorang  yang  berimplikasi  menjadi  bentuk kekosongan  pikiran  dan  terjadinya  kecerobohan.  Intinya,  tingkat  melek bahasa  dalam  diri  para  pelajar  bisa  memperluas  pengetahuan  dengan indikator-indikator sikap.
Kedua  paradigma  di  atas  mendistingsikan  bahwa  yang  pertama  ada dalam ruang pendidikan formal, dan yang kedua berada dalam pendidikan non formal. Kedua paradigma tersebut menjadi menarik bila dijangkarkan dalam  konteks  civic  literacy  di  Indonesia.  Civic  literacy  menjadi  diskursus dalam pembelajaran Pendidikan Kewarganegaraan (PKn), dan saya tertarik untuk mengkajinya, terlebih adanya kerapuhan evidensi dalam artikel yang mengkaji  tentang  “Evaluasi  Program  Sosialisasi  Civic  Literacy  Dalam Pembentukan Etika Warganegara Muda” (Armawi & Raharjo, 2021) Artikel tersebut  mengernyitkan  dahinya  atau  membingungkan  saya  karena kekurangan  insight,  minus  data,  dan  untuk  melihat  adanya  daya  mentak (kemungkinan)  dari  para  peneliti  untuk  melakukan  terobosan  kritis  dan evaluatif tentang civic literacy. Padahal, awal kehadiran civic literacy ada pada pesonanya yaitu daya kritis bagi para warga negara dalam mewujudkan civic intelligent, civic responsibility, dan civic participation (Winarno, 2011; Thakur & Thomas, 2014).
Pembelajaran  baik  formal  maupun  non-formal  bila  dihubungkan dengan civic literacy, maka bisa menggunakan beragam varian model yang mengarahkan warga negara (muda) untuk menjadi kritis. Varian model itu disebut  pembelajaran  multiliterasi  kritis  (Nurlinasari  &  Hamid,  2018). Pembacaan dengan beragam bidang ilmu tersebut tentunya relevan dengan pertanyaan  mendasar  yang  diajukan  Milner  (2002),  yaitu,  apa  yang  perlu dihasilkan dan dipertahankan dalam civic literacy? (Pertanyaan ini yang nanti akan menjadi  concern  dalam tulisan Armawi dan Raharjo tentang evaluasi program  sosialisasi  civic  literacy  dalam  pembentukan  etika  warganegara
muda).
Milner  menekankan  aspek  partisipasi  dalam  civic  literacy,  terutama peran  lembaga  politik  dan  terutama  keterlibatan  dalam  pemilihan  umum untuk  memberikan  peta  yang  jelas  dan  bermakna  bagi  politik  alternatif. Partisipasi,  tulis  Milner (2002),  terkait  erat  dengan  distribusi  sumber  daya intelektual  dan  pada gilirannya menjadikan civic literacy  menjadi program penting dalam memajukan suatu negara. Untuk itu, Milner menulis,
“Institutions  and  policies  promoting  civic  literacy,  we  shall  show,  can produce  a  virtuous  circle  by  themselves  fostering  informed  political participation. These, in their turn, can lead to more equitable socio-economic outcomes.  Such  outcomes  encourage  citizens  to  keep  well  informed  of governmental decisions – beginning the cycle once again. Civic literacy is thus both end and means” (Milner, 2002: 2).
Adanya  peran  dari  institusi  negara  melalui  kebijakan  membuat  civic literacy  memiliki  kontribusi  dari  warga  negara  untuk  memajukan  negara. Dari  sini,  civic  literacy,  tulis  Henry  Milner  (2002),  tidak  hanya  mencakup mencakup  pengetahuan  politik,  tetapi  juga  kesediaan  untuk  menerapkan pengetahuan itu melalui partisipasi politik.
Civic  literacy  dalam  sejarah  pemikiran  di  Amerika  terpengaruh  oleh aktivitas  dari  Tocquevillian  (para  pengikut  Alexis  de  Tocqueville)  dalam upaya untuk mengukur modal sosial kelas dari kelompok kelas atas di awal tahun 1960-an. Kemampuan membaca dalam konteks Amerika Serikat tidak hanya sekedar membaca teks di  buku-buku untuk memperoleh informasi, namun  kemampuan  membaca  buku  dibarengi  dengan  keterampilan mengakses  beragam  informasi,  program-program  kebijakan,  dan  mampu bertindak sebagai warga negara dalam wujud praksis.
Dalam sebuah esai dari Converse (2006) menyimpulkan bahwa  rata- rata  warga  negara  Amerika  mengalami  kekurangan  pada  orientasi  yang stabil pada politik dan memperlihatkan tingkat pengetahuan yang rendah, kurang  konsisten  pada  sikap,  ketidakstabian  pada  tindakan  politis,  dan adanya jawaban kosong pada pertanyaan yang terbuka (tentang partisipasi politik). Sejak saat itu para pelajar politik di Amerika secara sistematis diuji kembali pernyataannya, menggaungkan pengetahuan warga negara tentang institusi politik Amerika, proses, dan para pemimpin, dengan menghasilkan bahwa,  sebagai  satu  pengamat  yang  meringkas  situasi  (Bartels,  1996). Beragam  indikator  masif  dari  para  pemilih  di  Amerika  tersebut mengonfirmasi  ekspektasi  dari  Downs  tentang  rational  ignorance.  Adanya rational ignorance nanti menjadi cikal bakal lahirnya civic literacy di Amerika Serikat.
Proyek  untuk  membangunkan  peradaban  suatu  bangsa  ada  dengan

## Andri Fransiskus Gultom---Kerapuhan Evidency dalam Civic Literacy
meningkatkan  kecerdasan  literasi  warga  negara  dalam  keterlibatan  dalam politik juga terjadi di Indonesia (Sudibyo, 2010). Proyek tersebut ada dalam proses  pembelajaran  Pendidikan  Kewarganegaraan  (PKn)  untuk mengakomodir  keterampilan  mengenai  civic  literacy.  Civic  literacy,  tulis Thakur  &  Thomas  (2014),  adalah  suatu  pengetahuan  tentang  bagaimana berpartisipasi secara aktif dalam melakukan perubahan di suatu komunitas masyarakat,  sehingga  sebagai  masyarakat  demokratis  mereka  dapat melaksanakan  dan  mengetahui  fungsinya  untuk  menciptakan  suatu perubahan yang damai.
Perkembangan  pembelajaran  PKn  di  Indonesia  berkembang  seiring dengan  perkembangan  demokrasi  di  Indonesia.  Berdasarkan  hal  tersebut, menurut  (Winarno,  2011)  terdapat  paradigma  baru  Pendidikan Kewarganegaraan (PKn) diantaranya yaitu civic intelligent, civic responsibility dan  civic  participation.  Adapun  output  yang  diharapkan  dari  Pendidikan Kewarganegaraan  ini  dapat  dijelaskan  melalui  tiga  komponen,  yaitu  civic knowledge,  civic  skills  dan  civic  dispositions.  Ketiga  komponen  tersebut mendukung proyek civic literacy agar terhindar dari rational ignorance.

## Metode
Penulisan  artikel  ini  menggunakan  metode  kualitatif  dengan melakukan verstehen (memahami teks secara baik secara verbatim dan dalam thick description), trouble mapping (memetakan duduk persoalan), interpretasi (menafsirkan  pesan-pesan  eksplisit  dan  implisit,  dan  menegaskan  adanya kerapuhan  evidensi  dari  tulisan  Armawi  dan  Raharjo),  dan  eksperimen pikiran (yang diilhami oleh Myra Zarnowski). Adapun duduk perkara dalam tulisan ini adalah pertama, adanya kerapuhan evidensi terjadi pada kedua peneliti  (Armawi  dan  Raharjo)  karena  mengalami  patahan  epistemologis. Kedua, kerapuhan evidensi kedua peneliti ada pada konten civic literacy yang dievaluasi  dengan  tidak  menghadirkan  bentuk  evaluasi,  baik  secara kualitatif  (rendah,  menengah,  tinggi)  maupun  kuantitatif  (dalam  bentuk numerik).  Ada  juga  bias  ekplanasi  yang  melulu  mengarah  keluguan  dari etika.

## Hasil dan Pembahasan

## 1. Status Quaestionis pada Civic Literacy
Saya memulai pembahasan dengan mendeskripsikan terlebih dahulu status  quaestionis  atau  duduk  masalah  atas  kajian  yang  dilakukan  oleh Armaidy Armawi dan Raharjo. Lalu, saya menghighlight duduk perkara yang membuat  penelitian  mereka  menjadi  bias  dan  rapuh  secara  akademik.
Rangkaian  argumen  dan  data  akan  dipertanyakan  secara  kritis,  sembari memberi  fokus  secara  detail  pada  kekurangan  evidensi  yang  menjauhkan kedua peneliti dari prinsip mendasar homo academicus yaitu academic honesty.
Kedua  peneliti  memusatkan  penelitiannya  dua  persoalan:  pertama, bagaimana program sosialisasi civic literacy dalam pembentukan etika warga negara  muda  di  Kota  Surakarta?  Kedua,  bagaimana  evaluasi  program sosialisasi civic literacy dalam pembentukan etika warganegara muda di Kota Surakarta?  (Armawi  &  Raharjo,  2021).  Persoalan  pertama  diselesaikan dengan  mendeskripsikan  praktik  pendidikan  kewarganegaraan  secara informal  berupa  kegiatan  sosialisasi  civic  literacy  dengan  pembiasaan, pengembangan,  dan  pembelajaran.  Lokus  penelitian  ada  di  komunitas Dusun Binaan Mutiara Ilmu dan Solo Mengajar. Pertanyaan kedua dijawab: pertama,  bentuk  evaluasi  program  yang  dilakukan  pada  proses pembelajaran di mana seharusnya tentor  memiliki  sebuah  buku  pedoman atau  pegangan  yang dijadikan sebagai acuan sistematis dilaksanakannya sosialisasi civic literacy. Jawaban kedua, evaluasi  program  sosialisasi  civic literacy  dalam pembentukan  etika  warganegara  muda  di  Kota  Surakarta mengarahkan    pada    pola    pembentukan    warganegara    yang    baik.  Hal tersebut  diawali  dengan  memberikan  penanaman  nilai  pengetahuan kewarganegaraan.
Kedua  persoalan  yang  diajukan  Armawi  dan  Raharjo,  bagi    saya menjadi  problem  baru  yang  bertambah  rumit  karena  kekurang-akuratan dalam mendeteksi  pertanyaan dan  memberi  detail-detail untuk menjawab pertanyaan.  Bila  yang  ditanyakan  tentang  evaluasi,  maka  kedua  peneliti mesti  mendasarkan  pada  rangkaian  proses  penelitian  (research  and development) dan rangkaian data (data series). Kedua dasar tersebut diasalkan kedua  peneliti  pada  program  sosialisasi,  yang  bagi  saya  perlu  untuk dijernihkan arti dan tujuan sosialisasi tersebut.
Kedua peneliti merangkum arti sosialisasi dari David Goslin dan Peter Berger menjadi: “sebuah proses melaksanakan ide, dan proses atau aktivitas- aktivitas  baru  dengan  harapan  orang  lain  dapat  menerimanya  dan melakukan penyesuaian terhadap partisipasi masyarakat di kelompoknya." (Armawi  &  Raharjo,  2021:  6).  Pertanyaannya,  apakah  sosialiasi  yang dimaksud  ada  dalam  tahap  perkenalan  program  civic  literacy?  Karena sosialiasi  pada  dasarnya  dilakukan  untuk  memperkenalkan  ide,  gagasan, konsep  dalam  tahap  memperkenalkan  program  kerja.    Pertanyaan selanjutnya, siapa yang melakukan sosialisasi, para peneliti atau para aktivis di komunitas baca? Bila pada tahap ini yang dipersoalkan, maka sosialisasi mestinya tidak bernama sosialisasi, karena pemerintah melalui Kementerian Pendidikan  dan  Kebudayaan  (Kemendikbud)  telah  memperkenalkan  dan
melaksanakan  program  prioritas  yaitu  Gerakan  Literasi  Nasional  (GLN) sejak tahun 2016 (Puslitjakdikbud, 2019).

## 2. Kerapuhan Evidensi dan the Epistemological Break
Hal  ihwal  sosialisasi  kemudian  merapuhkan  gagasan  dasar  kedua peneliti  yang  menskematisasi sosialisasi  civic  literacy  memuat  pembiasaan, pengembangan, dan pembelajaran (Armawi & Raharjo, 2021: 14). Kerapuhan skema  tersebut  idealnya  ada  dalam  grand  design  manajemen  penelitian: menyusun  perencanaan  program,  melaksanakan  program,  memberi penguatan, dan mengevaluasi program (Terry, 1968). Lompatan logika yang dilakukan  adalah  mereka  melakukan  evaluasi  dengan  mendasarkan  pada tahap sosialisasi. Padahal, secara mendasar sosialisasi itu berada pada tahap memperkenalkan program. Lompatan logika itu mestinya bisa dijembatani dalam  (konteks  data  series)  bila  kedua  peneliti  mengakui  bahwa  pernah meneliti tentang penelitian yang pernah dilakukan di tahun 2017. Penelitian Armawi  &  Raharjo  (ditambah  Djoko  Soerjo)  berjudul  “Penguatan  Civic Literacy  Dalam  Pembentukan  Warga  Negara  Yang  Baik  (Good  Citizen)  dan Implikasinya  Terhadap  Ketahanan  Pribadi  Warga  Negara  Muda  (Studi Tentang Peran Pemuda HMP PPKn Demokratia Pada Dusun Binaan Mutiara Ilmu  di  Jebres,  Surakarta,  Jawa  Tengah)”  yang  telah  diterbitkan  di  Jurnal Ketahanan Nasional Vol.23, No.2, Agustus 2017, Hal 175-198.
Apa artinya? Kedua peneliti menjauhkan diri dan (pikiran mereka) dari academic honesty, bahwa pernah melakukan penelitian yang lokus penelitian sama  (Dusun  Binaan  Mutiara  Ilmu,  Jebres,  Surakarta).  Keduanya  tidak mencantumkan hasil penelitian di tahun 2017 sebagai bagian dari “penelitian sebelumnya”  (untuk  menentukan  state  of  the  art)  dan  juga  tidak  memberi ulasan di konten penelitian serta tidak mencantumkan penelitian tersebut di bagian  daftar  pustaka.  Apakah  ini  kedua  peneliti  mengalami  rational ignorance dengan mengambil sikap lupa atau lalai mencantumkan penelitian mereka sebelumnya? Bila asumsi ini dijadikan alibi, maka peristiwa lupa dan lalai  tersebut  adalah  bentuk  the  epistemological  break  alias  kecerobohan (pengetahuan)  yang  disengaja.  Kecerobohan  yang  disengaja  itu  ibarat seorang komedian yang (pura-pura) jatuh saat mau duduk, padahal kursinya tidak ditarik oleh siapapun.
Untuk  mendapatkan  pokok-pokok  deskripsi  tentang  grand  design penelitian dan data series, saya menghighlight alur penelitian dari Armawi dan Raharjo sebagai bentuk trouble mapping (memetakan duduk persoalan).
Tabel 1. Trouble Mapping
Periode  2017
2018  2019  2020  2021

## Tahun
Judul Riset Penguatan Civic Literacy Dalam Pembentukan Warga Negara
Yang Baik (Good Citizen) Dan
Implikasinya Terhadap Ketahanan Pribadi Warga Negara Muda (Studi Tentang Peran Pemuda HMP PPKn Demokratia Pada Dusun Binaan Mutiara Ilmu di Jebres, Surakarta, Jawa Tengah) Masa ko so ng Kedu a p en eli ti m en as ar kan data: tiga fase d an ke giatan p en gu ata n l iterasi Masa ko so ng
Evaluasi Program Sosialisasi Civic Literacy Dalam Pembentukan Etika
Warganegara Muda Terbit di  Jurnal Ketahanan Nasional Vol.23, No.2, Agustus 2017, Hal 175-198 Jurnal Filsafat Vol. 31, No. 1 (2021) p. 1–23 Penulis Raharjo, Armaidy Armawi, & Djoko Soerjo Armaidy Armawi & Raharjo Tempus  2017 2019 Locus Dusun Binaan Mutiara Ilmu, Jebres, Surakarta. Komunitas  Dusun Binaan  Mutiara  Ilmu dan  Komunitas  Solo Mengajar di Kota Surakarta Actus Pemuda HMP PPKn Demokratia Peneliti  berfokus pada  penguatan civic literacy Peneliti mengobservasi berbagai perbedaan subtansi  civic  literacy oleh  setiap organisasi volunteer pendidikan. Hasil

## Andri Fransiskus Gultom---Kerapuhan Evidency dalam Civic Literacy
observasi awal menunjukkan terjadi perbedaan  dalam muatan  subtansi civic  literacy  dari tiap organsiasi volunter  pendidikan di  Surakarta. Data 1. Proses penguatan civic literacy dilakukan
dengan cara sosialisasi dan lomba civic literacy tingkat persentase
kuesioner;
2. Implikasi
terhadap ketahanan pribadi pemuda
(tentor) dengan rata-rata sebesar 92% dan bagi murid 95%.
Tiga  fase program sosialisasi civic literacy & kegiatan penguatan literasi terkait “pengembangan 15 menit  membaca”
Armawi dan Raharjo menjauhkan diri dari academic honesty, karena ada penelitian  sebelumnya  (di  tahun  2017)  yang  juga  ditulis  oleh  Raharjo, Armaidy,  dan  Soerjo  tentang  penguatan  civic  literacy,  tetapi  saat  naskah publish di jurnal filsafat 2021, para peneliti tidak mencantumkan penelitian sebelumnya dari mereka di daftar pustaka. Apa artinya? Ada tendensi untuk melakukan  repetisi  pada  data  lama  (di  tahun  2017).  Tendensi    ini  terjadi disebabkan  oleh  minimnya  informasi  dan  sumber-sumber  kualitatif  yang kurang  adekuat.  Poin  saya  dengan  menyatakan  bahwa  para  peneliti melakukan  deskripsi  dan  bukan  menginterpretasi  adalah,  karena  mereka tidak membuat satu insight yang baru pada dua naskah yang telah terbit (satu di jurnal ketahanan nasional di tahun 2017) dan satu lagi di jurnal filsafat di tahun 2021). Ada kesejajaran gagasan konseptual dalam kedua penelitian itu. Armawi dan Raharjo bisa saja mengalami involusi dalam penelitian dengan
melakukan  simplifikasi  yaitu  teknik  parafrase.  Misalnya  di  tahun  2017 (pemuda) diganti dengan di tahun 2021 (generasi muda, dan warga negara muda).
Lantas,  bagaimana  dengan  masa  kosong  penelitian  (2018,  2020)  bisa menjadi  data  akurat  bagi  penelitian  yang  dipublikasikan  di  tahun  2021? Eksplanasi tentang masa dengan data kosong memiliki kemungkinan besar mengalami  missing  evident  (pembuktian  yang  meleset).  Data  kosong, demikian  tulis  Golebiewski  &  Boyd  (2018),  bisa  menghasilkan  data  keliru yang  dapat  dengan  mudah  diekploitasi.  Situasi  ini  sebenarnya  bisa dijembatani  bila  kedua  peneliti  melakukan  academic  honesty  dengan mengeksplisitkan bahwa mereka pernah melakukan penelitian sebelumnya tentang civic literacy. Bila data kosong diproblematisir lebih mendalam, maka penelitian  dengan  rentang  waktu  yang  mengabaikan  prinsip  grand  design manajemen  penelitian  dan  data  series,  memiliki  kerapuhan  evidensi. Kerapuhan tersebut karena begitu hasil dipublikasikan, maka kemungkinan besar langsung kedaluarsa (out of date). Kemungkinan ini karena data kosong dari masa penelitian yang tidak diakui oleh para peneliti amat dipengaruhi oleh  situasi  perubahan  kondisi  (moving  condition)  baik  manusianya  dan kebijakan dengan adanya faktor-faktor yang sangat cepat berubah seperti: sikap  dan  tingkah  laku para  peserta  di  komunitas  baca,  mood  peserta  saat membaca,  persistensi  peserta  dan  tutor,  infrastruktur  yang  berubah,  serta kondisi alamiah dari lingkungan komunitas baca tersebut. Ringkasnya, ada perubahan  dalam  diri  warga  negara  baik  itu  dari  dalam  dirinya  maupun karena adanya faktor dari luar dirinya (Gultom, Munir, & Ariani, 2019).
Bila  Armawi  dan  Raharjo  melakukan  penelitian  tahap  lanjutan (melakukan  evaluasi),  mereka  kurang  adekuat  untuk  memetakan  secara eksplisit  perihal  locus,  tempus,  dan  actus  dari  penelitian  mereka.  Artinya, proses  penelitian  tidak  diolah  secara  ksplisit  dengan  menyandarkan  pada kekayaan  data  di  lapangan.  Mereka  hanya  menampilkan  sedikit  petikan wawancara  dan  tabel  yang  sebenarnya  tidak  memiliki  koherensi  yang adekuat pada fokus penelitian mereka yaitu melakukan evaluasi.
Evaluasi  sebagai  klimaks  penelitian  tidak  secara  tegas  dinyatakan, karena evaluasi masih belum berada dalam distingsi yang jelas dengan saran atau  rekomendasi.  Hal  ini  secara  eksplisit  ada  dalam  kesimpulan  bahwa dalam  proses  pembelajaran,  tentor    seharusnya  memiliki    sebuah    buku pedoman    atau    modul  yang  dijadikan  sebagai  acuan  sistematis dilaksanakannya sosialisasi civic literacy. Evaluasi ini diulangi lagi menjadi bentuk saran (hlm. 20). Selain itu, proses evaluasi dengan pembahasan yang logis yang dibarengi dengan beragam datum pun belum memberikan suatu kajian  komprehensif  bila  penelitian  itu  terkategori  sebagai  evaluasi.  Arti,

## Andri Fransiskus Gultom---Kerapuhan Evidency dalam Civic Literacy
peneliti yang memosisikan diri sebagai evaluator atas penelitian yang pernah dilakukan mereka (di tahun 2017, yang tidak dibuat di penelitian terbaru di tahun  2021)  masih  terjebak  pada  the  last  data  memory.  Evaluasi  yang dilakukan  tidak  didasarkan  pada  trouble  mapping.  Implikasinya,  evaluasi tidak memiliki indikator-indikator yang detail tentang proses civic literacy.
Kritik logis lainnya bahwa ada lompatan berpikir saat Armawi dan Raharjo  mendeskripsikan  data  di  Surakarta  (hlm.  11)  terkait  penguatan literasi (yang diklaim diolah peneliti di tahun 2019), lalu di halaman 12, para peneliti melompat ke akses data konten media sosial di Indonesia sebesar 97, 4  persen.  Di  sini  ada  kedua  peneliti  mengalami  kekurangan  data,  terkait berbagai  indikator  dan  aspek-aspek  yang  (mestinya)  menjadi  materi evaluasi.  Idealnya,  evaluasi  diberikan  dengan  memberikan  kualifikasi mendasarkan  hasil  pengamatan,  atau  bisa  menguantifikasi  data  dalam bentuk statistik-numerik.
Tabel  2.  Dimensi dan aktivitas warga negara pada civic literacy
Dimensi Civic Literacy Aktivitas  Warga  Negara  sebagai  Indikator Mengevaluasi Civic Literacy Dimensi Kecakapan (Proficiency) kebiasaan  untuk  menambah  pengetahuan, hiburan, atau berekspresi melalui tulisan Dimensi Akses (Access) Menggunakan  fasilitas  perpustakaan  sekolah, adanya  petugas  pengelola  perpustakaan sekolah,  serta  indikator  akses  di  masyarakat seperti tergambar pada persentase perpustakaan umum, perpustakaan komunitas, rumah tangga yang membeli surat kabar,  dan  rumah  tangga  yang  membeli majalah/tabloid Dimensi Alternatif (Alternatives) menggunakan  perangkat  elektronik    dan teknologi  informasi  digital dalam  mengakses sumber  literasi  (ebooks, website, ensiklopedi online) Dimensi Budaya (Culture) kebiasaan  masyarakat  dalam  membaca  surat kabar  cetak,  media  elektronik/internet,  rutin mengunjungi  perpustakaan  ,  pemanfaatan taman bacaan secara terjadwal, dan buku yang sering dibaca para pengunjung.
Evaluasi yang kedua peneliti klaim sebagai evaluasi lebih didasarkan pada  hasil  wawancara  dan  pengamatan  tidak  dilandasi  oleh  rincian indikator-indikator evaluasi (seperti yang tertera secara eksplisit di tabel 2). Tahap evaluasi dari kedua peneliti, bila mau dikategorikan sebagai bentuk evaluasi,  maka  memerlukan  kelengkapan  dan  rincian  data.  Dari  situ minimnya  data  memungkinkan  terjadinya  kerapuhan  evidensi  pada penelitian.

## 3. Kerapuhan Evidensi dan Bias Ekplanasi Pada Etika.
Hal  ihwal  kerapuhan  evidensi  kedua  ada  dalam  penjelasan Armawi dan Raharjo tentang civic literacy yang bisa membentuk etika warga negara muda.  Pertanyaan  bantahan  yang  saya  ajukan,  bagaimana  upaya membentuk  etika  dalam  pendidikan  non-formal  (komunitas  baca) khususnya melalui kemelekwacanaan dalam pendidikan kewarganegaraan? Bila jawaban yang diberikan sesuai pengamatan kedua peneliti bahwa ada pembiasan,  pengembangan,  dan  pembelajaran,  maka  komunitas  baca (Komunitas  Dusun  Binaan  Mutiara  Ilmu  dan  Komunitas  Solo Mengajar) telah  sama  seperti  alur  dan  program  dari  pendidikan  formal  (seperti sekolah).  Artinya,  pertama  ada  kenaifan  para  peneliti  dalam  mengkaji program civic literacy bahwa gerakan membaca yang dilakukan komunitas- komunitas  baca  adalah  untuk  keluar  dari  pakem  kaku  dari  sekolah, membiarkan  para  peserta  untuk  lebih  leluasa  membaca,  dan  menjadikan momen membaca terprogram seperti kurikulum dan silabus di sekolah.
Tafsiran  kedua  saya  adalah  pembiasaan,  pengembangan,  dan pembelajaran  yang  diklaim  peneliti  bisa  membentuk  etika  warga  negara muda  berada  ada  wujud  ke-nekad-an  para  peneliti  yang  melakukan simplifikasi  untuk  menyambung-hubungkan  item-item  kualitatif  (seperti: sopan-santun,  saling  menghargai,  toleransi)  seperti  dengan  etika.  Padahal beragam item itu adalah bentuk-bentuk dari etiket (yang berbeda dari etika) seseorang yang lebih dipengaruhi oleh budaya Jawa (seperti: ewuh pakewuh, tepo  seliro,  dan  sungkan)  dengan  basis  tercipta  keselarasan  dalam  hidup. Dalam konteks ini, kedua peneliti menarik sangat jauh persoalan civic literacy dan mengambil peran besar padanya sampai pada dimensi universal yaitu etika. Persis di situlah bias ekplanasi kedua peneliti. Realitas mikro dalam civic literacy pada diri warga negara muda ditarik kesimpulan pada etika dan bentuk ketahanan diri.
Ekplanasi  yang  bias  berikutnya,  kedua  peneliti  lalai  pada  konten bacaan. Mereka kurang mengamati buku-buku bacaan apa saja yang dibaca oleh para peserta di komunitas baca. Hal ini terkait dengan rendahnya akses terhadap bacaan yang terkonfirmasi dari hasil survei Badan Pusat Statistik
(BPS)  mengenai  persentase  penduduk  di  atas  10  tahun  yang  mengakses media  (televisi)  ketimbang  surat  kabar/majalah.  Persentase  penduduk Indonesia  yang  menonton  televisi  pada  2009-2015  mencapai  lebih  dari  90 persen,  sementara  warga  yang  mendengarkan  radio  dan  membaca  surat kabar cenderung menurun. Pada 2009, pendengar radio sekitar 23,50 persen menjadi 7,5 persen di tahun 2015. Sedangkan pembaca surat kabar  sekitar 18,94    persen    di    tahun    2009,    menjadi    13,11    persen    di  tahun  2015 (Puslitjakdikbud, 2019).
Data  lainnya  bila  komparasi  tentang  ketertarikan  pada  aktivitas membaca di komunitas baca dengan mengakses media sosial, maka ada gap yang  cukup  mencengangkan.  Hasil  riset  situs  HootSuite  dan  agensi marketing,  We  Are  Social  bertajuk  "Digital  2021:  Global  Overview  Reports" menyatakan  jumlah  pengguna  media  sosial  telah  meningkat  lebih  dari  13 persen dalam satu tahun terakhir. Laporan yang dirilis akhir Januari tahun ini, menyebutkan pada tahun 2020 lalu, rata-rata lebih dari 1,3 juta pengguna baru  bergabung  dengan  beragam  platform  media  sosial  setiap  harinya. Indonesia masuk dalam 10 besar negara yang kecanduan media sosial. Posisi Indonesia  sendiri  berada  di  peringkat  9  dari  47  negara  yang  dianalisis. Kecanduan  mengakses  media  sosial  dinilai  dari  rata-rata  masyarakat Indonesia menggunakan media sosial, yaitu selama 3 jam 14 menit. Raihan waktu itu lebih tinggi dari rata-rata global selama 2 jam 25 menit. Pertanyaan statistiknya, berapa  lama  waktu  orang  Indonesia  habiskan  untuk  browsing internet?  Jawabannya,  Indonesia  menduduki  peringkat  delapan  dari  47 negara  terbanyak  menghabiskan  waktu  mengakses  internet.  Rerata  warga Indonesia  menghabiskan  8  jam  52  menit  untuk  berselancar  di  Internet. Perolehan  tersebut  sedikit  lebih  rendah  dari  warga  di  Malaysia  yang menghabiskan 9 jam 17 menit di internet. Peringkat tertinggi dalam kategori ini  ada  pada  warga  Filipina  dengan  total  waktu  10  jam  56  menit  (Kemp, 2021).
Bagaimana menafsirkan beragam datum di atas? Pertama, kemampuan membaca  dalam  buku  dan  membaca  teks  di  media  sosial  memiliki persamaan  dan  perbedaan.  Persamaannya,  ada  pada  membaca  teks,  yang satu ada di buku, yang satunya di layar digital. Perbedaannya, kemampuan membaca  di  buku  membutuhkan  waktu  lebih  lama  dengan  mengerti  alur atau  sistematika,  sedangkan  pada  media  sosial,  umumnya  kemampuan membaca lebih cepat. Kedua, adanya komparasi atas faktor kelelahan mata dalam  membaca baik  melalui  buku  dan  media  sosial  (layar  media  digital: smartphone, laptop, tablet komputer, kindle, komputer PC). Faktor kelelahan membaca lebih mudah ketika membaca teks di layar media digital ketimbang
membaca teks di buku. Walaupun ada teknologi dari Amazon yaitu kindle ebook  yang  menyediakan  bacaan  layaknya  membaca  buku  secara  digital, tetapi  membaca  buku  langsung  menjadi lebih  tidak  lelah  atau  daya  tahan membacanya  lebih  tahan  lama.  Ketiga,  dalam  membaca  di  media  sosial, netizen ada pada tendensi logika jangka pendek, yang lebih mengandalkan kecepatan  dan  informasi  cepat  berubah  sejalan  dengan  informasi  yang massif. Kemampuan literasi dalam membaca buku membuat para pembaca lebih teliti, membutuhkan ketelatenan, dan kemampuan untuk memetakan beragam teks yang panjang untuk digabungkan dalam konteks keseluruhan dalam isi buku.
Hal  lain  terkait  kelalaian  (demi  kelalaian)  yang  membuat  kedua peneliti  lupa  pada  tujuan  mendasar  dibentuknya  civic  literacy  yaitu  untuk menjadikan  warga  negara  memiliki  informasi  yang  baik  (the  well-inform citizens)  dalam  tautannya  dengan  res  publica  (Brookhiser,  2006).  Tujuan mendasar  tersebut  memiliki  dua  konsekuensi  yaitu  aksesibilitas  dan akseptabilitas.  Aksesibilitas  terkait  kemampuan  warga  negara  untuk memiliki  akses  untuk  berpartisipasi  dalam  politik.  Warga  negara  bisa mengakses  apa  saja  yang  menjadi  hak  dan  kewajibannya  sebagai  warga negara dan bisa terlibat juga dalam aktivitas pro bono publicum. Akseptabilitas adalah  dengan  kemampuan  literasi  (tentu  pada  tingkat  advance),  warga negara  mampu  menerima  beragam  informasi  (baik  hasil  bacaan  di  buku, maupun  di  sosial  media)  dan  melakukan  fact  checking  untuk  menghindari terjadinya  hoax.  Warga  negara  dengan  kemampuan  aksesibilitas  dan akseptabilitas  bisa  menjadi  bagian  untuk  ikut  menyelesaikan  masalah- masalah sosial yang terjadi (Epstein, 2014).
Lantas, pertanyaan kritis dari Henry Milner di atas mesti dijawab, apa yang perlu dihasilkan dan dipertahankan dalam civic literacy? Hal yang perlu dihasilkan  dari  adanya  gerakan-gerakan  civic  literacy  adalah  pertama, kemampuan  para  warga  muda  untuk  memiliki  kemampuan  kritis  pada dirinya. Hal ini sejalan dengan konsep yang dihembuskan oleh Chris Jenkins (2004) bahwa perlu adanya sikap kritis pada pembacaan teks-teks sastra dan budaya.  Kekritisan  yang  dimaksud  terkait  dengan  aksesibilitas  dan akseptabilitas yang perlu diajarkan pada warga negara muda sebagai citizen in  potentia,  yang  memiliki  potensi  untuk  memajukan  demokrasi.  Hal  ini mengingatkan  pada  kutipan  dari  Daoed  Joesoeftentang  keterkaitan  antara peran  warga,  literasi,  dan  demokrasi.  Ia  menulis,  “demokrasi  hanya  akan berkembang  di  suatu  masyarakat  yang  para  warganya  adalah  pembaca, adalah individu-individu yang merasa perlu untuk membaca, bukan sekadar pendengar dan gemar berbicara.” (Joesoef, 2004).
Pesan  tersebut  mengisyaratkan  bahwa  civic  literacy  ada  dalam
perwujudan dari civic engagement, dengan berada dalam kolektivitas sosial (Dudley & Gitelson, 2002).  Identifikasi tentang kewarganegaraan  tersebut terkait  dengan  kewajiban  yang  setara  dengan  hak,  kewajiban  pada komunitas dan pada individu itu sendiri. Hal ini mau menyatakan bahwa jiwa  dari  young  citizen  telah  menjadi  obyek  pemerintah  melalui  keahlian mereka (Jenks, 2005; Turner, 1986).
Pertanyaan  berikutnya,  apa  yang  perlu  dipertahankan  dalam  civic literacy?  Yang  perlu  dipertahankan  dalam  kemelekwacanaan  dalam pendidikan  kewarganegaraan  ada  pada  kemampuan  pikiran. Hal  tersebut akan  saya  jelaskan  dari  insight  Myra  Zarnowski,  seorang  professor  di Department  of  Elementary  and  Early  Childhood  Education  at  Queens College, CUNY.

## 4. Evaluasi Melalui Ekperimen Pikiran Zarnowski
Pintu masuk untuk memahami dan mempraktikkan civic literacy bisa melalui thought experiment (eksperimen pikiran) (Zarnowski, 2009). Thought experiment  mampu  merangsang  imajinasi  dan  dengan  demikian  membuat kegiatan  membaca  menjadi  menarik.    Zarnowski  (2009:  55)  menulis demikian:
“Thought  experiments  enable  students  to  think  about  persistent social  issues by drawing  on  both knowledge and imagination.  In this  article,  the  author  provides  examples  of  thought  experiments found in literature for adults and middle school students, a rationale for  doing    thought  experiments  in  the  classroom,  a  step-by-step procedure  to  follow,  and a rubric for evaluating student work.”
Pesan  yang  hendak  disampaikan  Zarnowski  bahwa  eksperimen pikiran  memungkinkan  para  pelajar  untuk  berpikir  secara  apriori  tentang masalah  sosial.  Apriori,  oleh  karena  para  pelajar  (baik  dalam  pendidikan formal maupun non formal) mampu untuk mengembangkan pengetahuan dan  imajinasinya. Kedua yang disebut terakhir inilah yang menjadi unsur penting  bagi  civic  literacy.  Unsur  penting,  bilamana  ada  kemampuan  dari para penggerak komunitas baca untuk mengondisikan milieu ruang baca dan para pesertanya saling mengenal satu dengan yang lainnya. Bila dikaitkan dengan  evaluasi  pada  civic  literacy,  maka  thought  experiment  dilakukan  di kelas  dengan  prosedur  yang  dibuat  guru  atau  tentor  dengan  berproses setahap  demi  setahap,  melakukan  narasi,  menceritakan  ulang,  membuat rubrik tugas sebagai bentuk evaluasi pekerjaan para pelajar.
Pertanyaan  yang  penting  dalam  kaitannya  dengan  penelitian  yang dilakukan Armawi dan Raharjo yaitu: bagaimana metode thought experiment
Zarnowski  bisa digunakan untuk membentuk etika warga negara? Dalam pengamatan  kedua  peneliti,  ada  yang  menarik  bahwa  adanya  sense  of belonging dan sikap toleran dari para peserta di rumah baca. Ringkasnya, ada sikap dasar yang saya sebut di atas muncul karena faktor budaya yang telah ada dalam diri para peserta yaitu dimensi kebersamaan (Gultom, 2019). Pada bagian  observasi  ini,  saya  sepakat  bahwa  dengan  adanya  kedua  sikap tersebut,  bisa  memampukan  tingkat  baca  para  peserta  berada  pada pengondisian  di  mana  akan  memunculkan  ketertarikan,  imajinasi,  dan adanya pertukaran informasi melalui dialog antar peserta.
Dalam  melakukan  tingkat  pembacaan  yang  tinggi  (advance),  para peserta  sebaiknya  diajak  untuk  membaca  buku  yang  menyimpan  enigma. Hal  pembacaan  ini  menjadi  penting,  karena  warga  negara  memerlukan pembacaan  kritis  untuk  membongkar  agenda  tersembunyi  (hidden  agenda) dari para pembuat kebijakan yang nantinya memiliki konsekuensi bagi akses keadilan  dan  perolehan  hak.  Maka,  tujuan  membaca  dengan  eksperimen pikiran bisa memecahkan enigma atau teka-teki dengan mengetahui duduk persoalan, lalu memberi beragam alternatif solusi dengan membaca. Artinya ada skill membaca dengan melatih seseorang melakukan eksperimen pikiran. Skill membaca tersebut memerlukan abstraksi dan imajinasi (Gultom, 2018). Misi  besarnya  adalah  ketika  para  guru  atau  tutor  menangani  literasi  dan kesadaran sosial sebagai aspek pemahaman bacaan, mereka melakukan lebih dari  sekadar  mengajar  anak-anak  membaca  kata-kata  dan  memahami  inti dari  teks untuk menangani  misi kewarganegaraan baik dalam pendidikan formal maupun pendidikan non formal (Zarnowski, 2009).

## Kesimpulan
Kerapuhan  evidensi  dalam  civic  literacy  dapat  disimpulkan  sebagai berikut,  pertama  konten  penelitian  yang  dikaji  oleh  Armawi  dan  Raharjo memuat  patahan  epistemologis  (the  epistemological  break).  Patahan  tersebut ada  karena  kecerobohan  kedua  peneliti  yang  tidak  mendasarkan penelitiannya  pada  grand  design  manajemen  riset  dan  data  series,  yaitu mengabaikan penelitian mereka sebelumnya (di tahun 2017) dan melakukan evaluasi penelitian dengan lokus yang sama (di tahun 2019) dan naskah yang terpublikasi di tahun 2021. Analisis ini ditemukan dengan melakukan higlight yaitu berfokus pada trouble mapping.
Kerapuhan evidensi yang kedua ada pada konten civic literacy karena evaluasi kedua peneliti meleset dengan menghadirkan minus data sehingga capaian puncak pada civic literacy bukan terarah pada the well-inform citizens, tetapi berkutat pada bias ekplanasi yang ada pada etika. Bias eksplanasi yang terjadi pada kedua peneliti karena menarik (dan membuat tafsiran) terlalu

## Andri Fransiskus Gultom---Kerapuhan Evidency dalam Civic Literacy
jauh proses civic literacy pada etika. Kerapuhan evidensi pada konten  civic literacy juga karena adanya kelupaan pada tingkat pemahaman literasi para peserta dan ketiadaan eksperimen pikiran sebagai pintu masuk bagi peserta di tingkat advance dalam civic literacy.
Rekomendasi  penelitian  ini  terarah  pada  civic  literacy  yang  memuat struktur  tentang  tema-tema  bacaan  dan  nilai-nilai  kewargaan  yang  bisa menjawab kebutuhan warga negara. Implikasinya, keterlibatan warga untuk peka mewujudkan keadilan sosial

## Daftar Pustaka
Armawi, A., & Raharjo, R. (2021). Evaluasi Program Sosialisasi Civic Literacy Dalam Pembentukan Etika Warganegara Muda. Jurnal Filsafat, 31(1), 1-23.
Bartels, L. M. (1996). Uninformed Votes: Information effects in presidential elections. American Journal of Political Science, 194-230.
Brookhiser, R. 2006. What would the founders  do?  Our  questions,  their answers. New York: Basic Books.
Converse, P. E. (2006). The Nature of Belief Systems In Mass Publics (1964). Critical Review, 18(1-3), 1-74.
Dudley, R. L., & Gitelson, A. R. (2002). Political literacy, civic education, and civic  engagement:  A  return  to  political  socialization?.  Applied Developmental Science, 6(4), 175-182.
Epstein, S. E. (2014). Teaching Civic Literacy Projects: Student Engagement With Social Problems, Grades 4-12. Teachers College Press.
Golebiewski,  M.,  &  Boyd,  D.  (2018).  Data  Voids:  Where  missing  data  can easily be exploited.
Gultom,  A.  F.  (2018).  Kerapuhan  Imajinasi  Dalam  Politik  Kewargaan  The Fragility of Imagination In The Politic of Citizenship. dalam Seminar Nasional  Kebudayaan  2  “Indonesia  Sebagai  Ruang  Imajinasi  – Memaknai 73th Indonesia Merdeka”. Malang: Universitas Brawijaya Gultom, A. F. (2019). Metafisika Kebersamaan Dalam Lensa Gabriel Marcel.
Antropologi Metafisika & Isu-Isu Kekinian, 1.
Gultom, A. F., Munir, M., & Ariani, I. (2019). Perubahan Identitas Diri Dalam Eksistensialisme  Kierkegaard:  Relevansinya  Bagi  Mental  Warga Negara Indonesia. Jurnal Pendidikan Kewarganegaraan, 9(2), 77-84. Jenks, C. (2005). Childhood, Critical Concepts in Sociology (vol. III). USA and Canada: Routledge
Jenks, C. (Ed.). (2004). Urban culture: critical concepts in literary and cultural studies (Vol. 1). Taylor & Francis.
Joesoef, Daoed. 2004. Bukuku Kakiku. Jakarta: Gramedia Pustaka Utama. Kemp, S. (2021,  January 27). Digital 2021: The Latest Insights into The State of Digital.  https://wearesocial.com/blog/2021/01/digital-2021-the- latest-insights-into-the-state-of-digital
Marshall, T.H. (1963). Citizenship and Social Class,' in Sociology at the Cross- roads, London: Heinemann.
Milner,  H. (2002).  Civic Literacy: How  informed  citizens  make  democracy work. Hanover & London: University Press of New England.
Nurlinasari, L., & Hamid, S. I. (2018). Efektivitas Model Multiliterasi Kritis
Dalam Mengembangkan Civic Literacy Siswa SD Pada Mata Pelajaran Pendidikan Kewarganegaraan. Jurnal Civicus, 18(2), 9-18.
Puslitjakdikbud.  (2019).  Indeks  Aktivitas  Literasi  Membaca  34  Provinsi. Jakarta:  Pusat  Penelitian  Kebijakan  Pendidikan  dan  Kebudayaan, Badan Penelitian dan Pengembangan, Kementerian Pendidikan dan Kebudayaan
Raharjo, R., Armawi, A., & Soerjo, D. (2017). Penguatan Civic Literacy Dalam Pembentukan  Warga  Negara  Yang  Baik  (Good  Citizen)  Dan Implikasinya  Terhadap  Ketahanan  Pribadi  Warga  Negara  Muda (Studi Tentang Peran Pemuda HMP PPKn Demokratia pada Dusun Binaan  Mutiara  Ilmu  di  Jebres,  Surakarta,  Jawa  Tengah).  Jurnal Ketahanan Nasional, 23(2), 175-198.
Sapir, E. (2004). Language: An Introduction to the Study of Speech. Courier Corporation.
Sudibyo,  A.  (2010).  Masyarakat  Warga  dan  Problem  Keberadaban.  Jurnal Ilmu Sosial dan Ilmu Politik, 14(1), 23-46.
Terry, G.R. (1968). Principles of Management. Illions: Richard D. Irwin, Inc. Turner, B.S. . (1986). Citizenship and Capitalism. London: Allen & Unwin Winarno. (2011). Paradigma Baru Pendidikan Kewarganegaraan. Jakarta: PT Bumi Aksara.
Zarnowski, M. (2009). The Thought Experiment: An Imaginative Way Into Civic Literacy. The Social Studies, 100(2), 55-62.