Jurnal Ilmiah Mandala Education http://ejournal.mandalanursa.org/index.php/JIME/index terakreditasi Peringkat 4 (No. SK: 36/E/KPT/2019)

## Bagaimana Kualitas Data pada Survey Web ?
Rizal Kamsurya 1 , Yetti Supriyati 2 , Ahmad Muchlisin Natas Pasaribu 3
1 Program Studi Pendidikan Matematika, Sekolah Tinggi Keguruan dan Ilmu Pendidikan Media Nusantara Citra
2 Program Studi Penelitian dan Evaluasi Pendidikan, Universitas Negeri Jakarta
3 Program Studi Kepelatihan dan Olahraga, Universitas Bhayangkara Jakarta Raya Email: 1 rizal_kamsurya@stkipmnc.ac.id; 2 yetti.supriyati@unj.ac.id;
3 ahmad.muchlisin@dsn.ubharajaya.ac.id
Abstract. The increase in internet networks in each region, accompanied by smartphone/tablet users' increase, made researchers abandon traditional data collection such as face-to-face and switch to utilizing technology for data collection, especially in survey research. This study aims to analyze the quality of data obtained in web surveys through various collection techniques and the types of instruments  used.  The  research  was  conducted  using  a  qualitative  approach  through  a  literature study to analyze the quality of data obtained through the survey web (online). The articles analyzed came from various sources, namely Google Scholar, Eric Library, and Scopus. Data analysis is done qualitatively, consisting of data reduction, data presentation, and conclusion drawing. The analysis results showed that the quality of data obtained in various web surveys with various data collection techniques has various problems resulting in systematic measurement errors and biases. Factors that influence  the  quality  of  data  obtained  in  web  surveys  are  sample  determination,  respondent movement  patterns  in  responding,  question  formats  used  in  instruments,  tools  used  in  providing HP/PC responses, and displays and reminders used in instruments.

## Keywords : Data Quality, Web Survey
Abstrak .  Peningkatan  jaringan  internet  di  setiap  daerah,  disertai  meningkatnya  pengguna smartphone/tablet membuat  peneliti  mulai  meninggalkan  pengumpulan  data  secara  tradisional seperti tatap muka dan beralih memanfaatkan teknologi untuk pengumpulan data, khususnya dalam penelitian  survey.  Penelitian  ini  bertujuan  untuk  menganalisis  kualitas  data  yang  diperoleh  dalam survey  web  melalui  berbagai  teknik  pengumpulan  serta  jenis  istrumen  yang  digunakan.  Penelitian dilakukan menggunakan pendekatan kualitatif melaui studi literatur untuk menganalisis kualitas data yang  diperoleh  melalui  survery  web (online). Artikel  yang  dianalisis  berasal  dari berbagai  sumber yaitu google scholar, eric library, dan scopus. Analisis data dilakukan secara kualitatif yang terdiri dari  reduksi  data,  penyajian  data,  dan  penarikan  kesimpulan.  Hasil  analisis  menunjukkan  bahwa kualitas data yang diperoleh dalam berbagai survey web dengan berbagai teknik pengumpulan data memiliki  berbagai  permasalahan  sehingga  menimbulkan  terjadinya  kesalahan  pengukuran  yang sistematis dan bias. Faktor yang mempengaruhi kualitas data yang diperoleh dalam web survey yaitu penentuan sampel, pola gerakan responden dalam memberikan tanggapan, format pertanyaan  yang digunakan  dalam  instrumen,  alat  yang  digunakan  dalam  memberikan  tanggapan  HP/PC,  serta tampilan dan pengingat yang digunakan dalam instrumen.
Kata Kunci: Kualitas Data, Survey Web

## PENDAHULUAN
Pandemi  Covid-19  mengharuskan  setiap orang  maupun  lembaga  pendidikan  untuk
melaksakaan  aktivitas  secara  online  dengan memanfaatkan  teknologi,  termasuk  bidang pendidikan  dan  penelitian  dengan  tujuan
Jurnal Ilmiah Mandala Education http://ejournal.mandalanursa.org/index.php/JIME/index terakreditasi Peringkat 4 (No. SK: 36/E/KPT/2019)
p-ISSN: 2442-9511 e-ISSN: 2656-5862
menghindari penyebaran virus corona (Kamsurya, 2020). Peningkatan jaringan internet  di  setiap  daerah,  disertai  meningkatnya pengguna smartphone/tablet membuat  peneliti mulai  meninggalkan  pengumpulan  data  secara tradisional  seperti  tatap  muka,  dan  beralih memanfaatkan  teknologi  untuk  pengumpulan data, khususnya dalam penelitian survey. Akibat dari  peningkatan  tersebut,  pengumpulan  data penelitian  survey  menjadi  lebih  mudah  dan berpotensi  mengatasi  masalah  batas  geografis dan  besarnya  biaya  dalam  proses  pengumpulan data (Blumenberg et al., 2019).
Permasalahan  utama  dalam  pengumpulan data  survey  web  yaitu  kualitas  data  yang diperoleh. Data yang dikumpulkan secara online mengakibatkan sampel (responden) tidak dipilih secara  ketat,  karena  tidak  terjadi  proses  tatap muka  (Silber  et  al.,  2019a).  Selain  itu,  akan berpotensi  terjadinya  kesalahan  pengukuran sebagai  akibat  kelalaian  atau  tidak  fokusnya responden dalam memberikan jawaban terhadap instrumen,  sehingga  berpengaruh  terhadap kualitas data survey  web  (Jones, House,  & Gao dalam  Silber  et  al.,  2019b).  Hasil  penelitian Blumenberg  &  Barros,  (2018)  menunjukkan bahwa  pengumpulan  data  menggunakan  survey web  memperoleh  tingkat  respon  yang  rendah dibandingkan pengumpulan data yang dilakukan secara tradisional (tatap muka).
Permasalahan di atas, mengakibatkan terjadinya  kesalahan  pengukuran  sistematis berdasarkan  data  yang  diperoleh  dalam  survey web. Penelitian ini bertujuan untuk menganalisis kualitas data yang diperoleh dalam survey web melalui berbagai teknik pengumpulan serta jenis istrumen yang digunakan.

## METODE
Penelitian dilakukan menggunakan pendekatan  kualitatif  melaui  studi  literatur untuk menganalisis kualitas data yang diperoleh melalui  survery  web (online). Literatur  review merupakan  suatu  analisis  yang  dilakukan terhadap  berbagai  sumber ilmiah  (artikel,  buku, dokumen lain yang relevan) untuk mendeskripsikan  suatu  fenomena  atau  keadaan dimasa  lalu  atau  dimasa  yang  akan  datang (Rahmatih  et  al.,  2020).  Artikel  yang  dianalisis
berasal  dari  berbagai  sumber  yaitu  google scholar,  eric  library,  dan  scopus.  Analisis  data dilakukan  secara  kualitatif  yang  terdiri  dari reduksi  data,  penyajian  data,  dan  penarikan kesimpulan (Miles & Huberman dalam Kamsurya, 2019)

## HASIL DAN PEMBAHASAN
1. Kualitas data pada Survey-Motion Survey-Motion (S-Motion) merupakan proses  pengumpulan  data  dalam  survey  dengan memanfaatkan smartphone sebagai  medianya. S-Motion dikembangkan menggunakan JavaScript berbasis penginderaan untuk mengukur  tingkat  gerakan  perangkat  seluler (Höhne  &  Schlosser,  2019).  Penggunaan  S- Motion  dalam  pengumpulan  data  mampu menganalisis  tingkat  gerakan  responden,  waktu yang  digunakan,  serta  kulitas  respon  (Höhne  & Schlosser,  2019).  Fokus  utama  penggunaan  S- Motion  yaitu  menganalisis  pola  responden dalam melakukan pengisian instrumen berdasarakan  waktu  yang  dibutukan  oleh  setiap responden.
Pertanyaan  dengan  pendekatan  presentasi grid (item-by-item) menghasilkan tingkat gerakan yang relatif tinggi yang mengakibatkan kualitas  respon  yang  rendah  dan  membutuhkan waktu  yang  lebih  lama,  dibandingkan  dengan tingkat  gerakan  yang  rendah  (Höhne  & Schlosser,  2019;  McGaha  &  D’Urso,  2019). Kualitas  data  yang  diperoleh  melalui  web survey berpotensi menimbulkan bias yang besar terhadap  hasil  penelitian.  Meskipun  sampel telah  ditentukan  secara  ketat,  namun  metode pemberian  jawaban  oleh  responden  dapat memberi  dampak  terhadap  kualitas  data  dan hasil yang akan diperoleh. Tingkat gerakan yang tinggi  responden  dalam  memberikan  jawaban terhadap  pertanyaan  penelitian  mengakibatkan kualitas  respon  yang  rendah  (Berchtold,  2019). Hal  tersebut  mengindikasikan  bahwa  saat menjawab  pertanyaan  penelitian,  responden juga  melakukan  aktivitas  lainnya  (berjalan  atau berbicara), sehingga berdampak terhadap kualitas jawaban yang diperoleh, serta membutuhkan waktu yang lebih lama (Kamsurya  &  Saputri,  2020).  Zwarun  &  Hall, (2014)  menjelaskan  bahwa  melakukan  suatu pekerjaan secara simultan membutuhkan
Jurnal Ilmiah Mandala Education http://ejournal.mandalanursa.org/index.php/JIME/index terakreditasi Peringkat 4 (No. SK: 36/E/KPT/2019)
p-ISSN: 2442-9511 e-ISSN: 2656-5862
sumber daya mental dan waktu yang lebih lama dalam penyelesaiannya.

## 2. Kualitas data pada responden yang menggunakan PC dan smartphone
Kualitas  data  yang  diperoleh  dalam  survey pada responden yang menggunakan PC (responden  PC)  dalam  menjawab  pertanyaan dibandingkan dengan responden yang menggunakan
smartphone (responden
smartphone ) dalam  menjawab pertanyaan menggunakan rank  order  question  layouts (Zwarun & Hall, 2014). Responden smartphone membutuhkan  waktu  penyelesaian  lebih  lama, tingginya  persentase  data  yang  hilang,  dan rendahnya kepatuhan responden terhadap petunjuk yang terdapat dalam instrumen dengan menggunakan order-by-click questions (Revilla, 2017) .
Kualitas  data  yang  diperoleh  dari  responden smartphone memiliki  kualitas  yang  rendah, meskipun tidak terdapat bukti yang menunjukkan  penggunaan  pertanyaan  item peringkat  satu  kolom  berbeda  dengan  dua kolom.  Penggunaan order-by-click  questions memiliki  pengaruh  yang  kecil terhadap  kualitas data  yang  diperoleh  dengan  menggunakan  PC maupun smarphone (Revilla  &  Couper,  2018) . Kualitas  data  yang  diperoleh  pada  responden smartphone memiliki kualitas yang rendah.  Hal ini  dapat  disebabkan  atas  berbagai  faktor  yaitu tampilan pada layar smartphone yang tidak utuh sehingga  responden  tidak  memberikan  jawaban sesuai  dengan  instruksi  yang  diberikan  dalam instrumen. Akibatnya, terdapat jawaban responden  yang  hilang  karena  memberikan jawaban  tidak  sesuai  dengan  instruksi  pada pertanyaan.  Selain  itu,  responden  cenderung memilih  jawaban  yang  tersedia  pada  urutan paling atas, meskipun opsi jawaban telah diacak dalam instrumen tersebut. Hal ini mengindikasikan  bahwa  tata  letak  urutan jawaban  cenderung  dipilih  oleh  responden smartphone sebagai  akibat  kurang  fokus  dan tidak memahami secara kolektif konten pertanyaan  yang  terdapat  dalam  instrumen (Toninelli & Revilla, 2016).
Secara  empiris  tidak  terdapat  perbedaan substansial berkaitan dengan pemrosesan pertanyaan  A/D  dan  IS.  Terdapat  perbedaan
yang  signifikan  dalam  fiksasi  dan  waktu. Pertanyaan IS diproses lebih intensif dibandingkan  pertanyaan  A/D,  karena  secara teknis  format  pertanyaan  A/D  memerlukan pemrosesan  kognitif  yang  lebih  kompleks dibandingkan  dengan  IS.  Pertanyaan  yang bersifat  tidak  langsung  dan  berulang  pada format  pertanyaan  A/D  berdampak  pada pemberian tanggapan yang itidak sesuai dengan kondisi  responden  yang  sebenarnya  (Revilla  & Couper, 2018)
Jenis format pertanyaan yang digunakan pada instrumen  penelitian  survey  web,  secara  tidak langsung  berdampak  pada  kualitas  data  hasil yang  diperoleh.  Penggunaan  pertanyaan  tidak langsung dan berulang dalam format pertanyaan A&D  mengakibatkan  tanggapan  responden dalam memberikan jawaban tidak sesuai dengan kondisi  yang  sebenarnya,  sebagai  dampak kompleksitas pertanyaan. Sebaliknya, penggunaan  pertanyaan  langsung  dalam  IS membuat responden untuk terlibat aktif memberikan tanggapan dalam setiap pertanyaan secara  bijaksana  dan  berhati-hati.  Selain  itu, dalam  aspek  validitas  dan  reliabilitas  format pertanyaan  IS  lebih    baik  dibandingkan  dengan A&D  (Sarie  et  al.,  dalam  Revilla  &  Couper, 2018)

## 3. Kualitas data survey (akibat ketidakpedulian responden)
Penggunaan  survey  web  dalam  bidang psikologi, namun tidak memperhatikan keterwakilan  sampel  dan  dampak  perhatian responden  terhadap  data  yang  diperoleh  (Liu, 2019).  Akibatnya,  keterwakilan  sampel  dapat mengakibatkan  kesalahan  pengukuran  yang sistematis serta kualitas data yang diperoleh dari tanggapan  responden  yang  memiliki  sifat ketidakpedulian  (kurang  perhatian).  Responden yang  perhatiannya  kurang  dalam  memberikan tanggapan  mengakibatkan  kesalahan  sistematis, serta  mengakibatkan  bias  yang  besar  terhadap validitas  dan  reliabilitas  instrumen  dengan menggunakan  skala  multi-item.  Jika  sampel memiliki  proporsi  responden  yang  kurang perhatian  yang  tinggi,  atau  melakukan  analisis dengan subkelompok pada sampel lengkap yang memiliki  risiko  ketidak-perhatian  yang  tinggi, maka perhatian mungkin memiliki dampak yang
Jurnal Ilmiah Mandala Education http://ejournal.mandalanursa.org/index.php/JIME/index terakreditasi Peringkat 4 (No. SK: 36/E/KPT/2019)
substansial  pada  perkiraan  keandalan  dan validitas (Liu, 2019).
Perhatian  menjadi  salah  satu  indikator  utama yang  penting  diperhatikan  dalam  melakukan survey  web/online  (Revilla,  2017).  Sebab kurangnya perhatian responden saat memberikan  tanggapan  memiliki  dampak  yang besar  terhadap  validitas  dan  keandalan  dari instrumen yang digunakan, serta dapat menimbulkan  bias  (Watson  &  Wooden,  2009; Saputri  &  Kamsurya,  2020).  Dengan  demikian, seorang  peneliti  harus  dapat  memahami dengan baik dan melakukan pemeriksaan awal terhadap karakteristik  responden  pada  saat  melakukan survey  web,  khususnya  pada  aspek  perhatian. Dengan  demikian,  agar  memperoleh  data  yang akurat  mengenai  objek  yang  diteliti  dalam survey web, maka dapat menggunakan pemeriksaan  terlebih  dahulu  atau  membagi responden  dalam  kategori  respon  tinggi  dan respon  rendah,  sehingga  dapat  menganalisis kualitas  data  yang  diperoleh  berdasarkan pertimbangan  aspek  perhatian  responden  (Yan et al., 2010).

## KESIMPULAN
Peningkatan penggunaan survey web sebagai alternatif  metode  penelitian  telah  banyak digunakan  dalam  berbagai  bidang.  Namun, kualitas  data  yang  diperoleh  dalam  survey  web harus  diperhatikan  dengan  baik,  sehingga memperoleh  suatu  hasil  yang  baik  dan  sesuai dengan tujuan penelitian. Hasil analisis menunjukkan bahwa kualitas data yang diperoleh  dalam  berbagai  survey  web  dengan berbagai  teknik  pengumpulan  data  memiliki berbagai  permasalahan  sehingga  menimbulkan terjadinya kesalahan pengukuran yang sistematis dan bias.  Faktor  yang mempengaruhi kualitas  data  yang  diperoleh  dalam  web  survey yaitu penentuan sampel, pola gerakan responden dalam memberikan tanggapan, format pertanyaan  yang  digunakan  dalam  instrumen, alat  yang  digunakan  dalam  memberikan tanggapan HP/PC, serta tampilan dan pengingat yang digunakan dalam instrumen.

## UCAPAN TERIMA KASIH
Peneliti  berterima  kasih  kepada  STKIP Media  Nusantara  Citra  yang  telah  memberikan dukungan  dan  pendanaan  untuk  pengembangan keilmuan dalam penelitian, hingga menghasilkan artikel ilmiah yang dapat dipublikasikan. Terima kasih kepada Universitas Negeri Jakarta yang telah bekerjasama  dalam  melaksanakan  penelitian, sehingga  memberikan  dampak  yang  signifikan terhadap  peningkatan  pada  bidang  pengukuran. Terima kasih kepada jajaran editor dan reviewer Jurnal Ilmiah Mandala Education yang bersedia mereview dan mempublikasikan artikel penelitian

## DAFTAR PUSTAKA
Berchtold,  A.  (2019).  Treatment  and  reporting of item-level missing data in social science research. International  Journal  of  Social Research  Methodology , 22 (5),  431–439. https://doi.org/10.1080/13645579.2018.156 3978
Blumenberg,  C.,  &  Barros,  A.  J.  D.  (2018). Response rate differences between web and alternative  data  collection  methods  for public health research: a systematic review of  the  literature. International  Journal  of
Public Health , 63 (6), 765–773.
https://doi.org/10.1007/s00038-018-1108-4
Blumenberg, C., Menezes, A. M. B., Gonçalves,
H.,  Assunção,  M.  C.  F.,  Wehrmeister,  F. C.,  Barros,  F.  C.,  &  Barros,  A.  J.  D. (2019).  The  role  of  questionnaire  length and reminders frequency on response rates to  a  web-based  epidemiologic  study:  a randomised  trial. International  Journal  of Social Research Methodology , 22 (6), 625– 635.
https://doi.org/10.1080/13645579.2019.162 9755
Höhne,  J.  K.,  &  Schlosser,  S.  (2019).
SurveyMotion:  what  can  we  learn  from sensor  data  about  respondents’ completion and  response  behavior  in  mobile  web surveys? International  Journal  of  Social Research  Methodology , 22 (4),  379–391. https://doi.org/10.1080/13645579.2018.155 0279
Kamsurya,  R.  (2019).  Desain  Research:
Jurnal Ilmiah Mandala Education http://ejournal.mandalanursa.org/index.php/JIME/index terakreditasi Peringkat 4 (No. SK: 36/E/KPT/2019)
p-ISSN: 2442-9511 e-ISSN: 2656-5862
Penerapan Pendekatan PMRI Konsep  Luas Permukaan  dan  Volum  Kerucut  untuk Meningkatkan  Kemampuan  Pemecahan Masalah Matematis. GAUSS: Jurnal Pendidikan Matematika , 2 (1), 56. https://doi.org/10.30656/gauss.v2i1.1386
Kamsurya,  R.  (2020).  Learning  Evaluation  of
Mathematics  during  the  Pandemic  Period COVID-19 in Jakarta. International Journal  of  Pedagogical  Development  and
Lifelong Learning , 1 (2), ep2008. https://doi.org/10.30935/ijpdll/8439
Kamsurya,  R.,  &  Saputri,  V.  (2020).  Influence of Auditory Intellectually Repetition (AIR) and  Self  Efficacy  Learning  Models  on HOTS  Problem-Based  Problem  Solving Ability. Jurnal Ilmiah Mandala Education ,
6 (2),
125–133. https://doi.org/10.36312/jime.v6i2.1396 Liu,  M.  (2019).  The  effect  of  interviewer evaluation  of  respondents’  attitudes  and understanding
on future survey participation in a panel study. International Journal  of  Social  Research  Methodology , 22 (4), 393–402. https://doi.org/10.1080/13645579.2018.155 6379 McGaha, K. K., & D’Urso, P. A. (2019). A non-
traditional  validation  tool:  using  cultural domain analysis for interpretive phenomenology. International  Journal  of Social Research Methodology , 22 (6), 585–
598. https://doi.org/10.1080/13645579.2019.162 1474
Rahmatih,  A.  N.,  Maulyda,  M.  A.,  &  Syazali, M.  (2020).  Refleksi  Nilai  Kearifan  Lokal (Local Wisdom) dalam Pembelajaran Sains Sekolah  Dasar:  Literature  Review. Jurnal Pijar Mipa , 15 (2), 151. https://doi.org/10.29303/jpm.v15i2.1663
Revilla,  M.  (2017).  Are  There  Differences
Depending  on  the  Device  Used  to
Complete a Web Survey (PC or Smartphone) for Order-by-click Questions? Field Methods , 29 (3), 266–280. https://doi.org/10.1177/1525822X1667470 1
Revilla,  M.,  &  Couper,  M.  P.  (2018).  Testing different  rank  order  question  layouts  for
PC and smartphone respondents. International  Journal  of  Social  Research Methodology , 21 (6), 695–712. https://doi.org/10.1080/13645579.2018.147 1371 Saputri, V., & Kamsurya, R. (2020). Mathematical  Representation  Ability  and Mathematics  Self  Efficacy  in  CORE Learning Models with Open-Ended Approach . 3 (2), 112–119.
Silber,  H.,  Danner,  D.,  &  Rammstedt,  B.
(2019a). The impact of respondent attentiveness  on  reliability  and  validity.
International  Journal  of  Social  Research Methodology , 22 (2), 153–164. https://doi.org/10.1080/13645579.2018.150
7378
Silber,  H.,  Danner,  D.,  &  Rammstedt,  B. (2019b).  The  impact  of  respondent attentiveness  on  reliability  and  validity. International  Journal  of  Social  Research Methodology , 22 (2), 153–164. https://doi.org/10.1080/13645579.2018.150 7378 Toninelli, D., & Revilla, M. (2016). Smartphones  vs  PCs:  Does  the  device affect  the  web  survey  experience  and  the measurement  error  for  sensitive  topics?  A replication  of  the  mavletova  &  Couper’s
2013 experiment. Survey Research Methods , 10 (2), 153–169. https://doi.org/10.18148/srm/2016.v10i2.6 274 Watson,  N.,  &  Wooden,  M.  (2009).  Identifying Factors  Affecting  Longitudinal  Survey Response. Methodology  of  Longitudinal Surveys , 1975 , 157–181. https://doi.org/10.1002/9780470743874.ch
10
Yan,  T.,  Curtin,  R.,  &  Jans,  M.  (2010).  Trends in  income  nonresponse  over  two  decades. Journal  of  Official  Statistics , 26 (1),  145– 164.
Zwarun,  L.,  &  Hall,  A.  (2014).  What’s  going on?  Age,  distraction,  and  multitasking during  online  survey  taking. Computers  in
Human Behavior , 41 , 236–244. https://doi.org/10.1016/j.chb.2014.09.041