MPPKI (November, 2023) Vol. 6 No. 11.

## Wawancara Kognitif untuk Adaptasi Instrumen Literasi Kesehatan Digital untuk Remaja di Gorontalo
Using Cognitive Interview to Adapt Electronic Health Literacy Scale for Adolescents in

## Gorontalo
Midyawati Ahmad 1 , Dien Anshari 2 *
1 Program Pascasarjana Ilmu Kesehatan Masyarakat, Fakultas Kesehatan Masyarakat, Universitas Indonesia
2 Departemen Pendidikan Kesehatan dan Ilmu Perilaku, Fakultas Kesehatan Masyarakat, Universitas Indonesia *Korespondensi Penulis: dienanshari@gmail.com

## Abstrak
Latar  belakang :  Tingkat  literasi  kesehatan  yang  rendah  dapat  menyebabkan  rendahnya  partisipasi  dalam  pengobatan,  alpa  mengambil keputusan tentang kesehatannya, dan rendahnya kapasitas mengelola penyakitnya secara mandiri.  Hingga saat ini masih minim pengukuran tingkat literasi kesehatan digital pada remaja di Indonesia.
Tujuan: Penelitian ini bertujuan untuk mengadaptasi instrumen literasi kesehatan digital ( eHEALS ) versi Bahasa Inggris ke dalam bahasa dan konteks sosial budaya remaja di Provinsi Gorontalo, Indonesia.
Metode : Instrumen eHEALS diadaptasi melalui dua cara, yaitu 1) Translasi ke dalam Bahasa Indonesia dan translasi ulang ( back translation ) ke dalam Bahasa Inggris, 2) Wawancara kognitif untuk menilai validitas konten eHEALS dengan menggunakan teknik probing dan thinking aloud kepada 10 remaja usia 16-18 tahun. Hasil wawancara kognitif dianalisis berdasarkan kejelasan, asumsi, pengetahuan, dan sensitivitas/bias dari setiap butir pertanyaan untuk mendapatkan instrumen eHEALS versi adaptasi yang siap guna.
Hasil : Proses terjemahan dan terjemahan ulang tidak menemukan perbedaan makna yang berarti. Namun, wawancara kognitif mengidentifikasi beberapa  masalah  seperti  susunan  kata  yang  kurang  jelas,  istilah  teknis  yang  tidak  dipahami,  kosakata  yang  membingungkan  dan  sulit dimengerti, serta masalah yang terkait dengan asumsi yang berpotensi tidak tepat. Tidak ada masalah yang muncul terkait sensitivitas bahasa. Modifikasi dilakukan terhadap item-item yang bermasalah, baik dari sisi bahasa, struktur kalimat, maupun pilihan kata sehingga dapat dipahami oleh sasaran remaja di Provinsi Gorontalo, Indonesia.
Kesimpulan : Instrumen eHEALS yang telah diadaptasi dapat digunakan untuk mengukur literasi kesehatan digital pada remaja di Gorontalo. Penelitian selanjutnya hendaknya melakukan validitas konstruk atas instrumen ini dengan instrumen yang telah baku.
Kata Kunci: eHEALS; Wawancara Kognitif; Literasi Kesehatan; Remaja; Gorontalo

## Abstract
Introduction: Low levels of health literacy can lead to low participation in treatment, negligent decision-making about their health, and a low capacity to manage their disease independently. Until now, there has been minimal measurement of the level of digital health literacy among adolescents in Indonesia.
Objective: This study aimed to adapt the English version of the digital health literacy instrument (eHEALS) into the local language and socio- cultural context of adolescents in Gorontalo Province, Indonesia.
Method: The  eHEALS  instrument  was  adapted  in  two  ways:  1)  Translation  into  Bahasa  Indonesia  and  back  translation  into  English;  2) Cognitive interviews to assess the content validity of eHEALS using probing and thinking aloud techniques with 10 adolescents aged 16–18 years. Cognitive interview results were analyzed based on the clarity, assumptions, knowledge, and sensitivity or bias of each question item to obtain a ready-to-use adapted version of the eHEALS instrument . Result: The translation and back translation of eHEALS found no meaningful differences. The cognitive interviews, however, identified several issues,  such  as  grammatically  inappropriate  for  the  targeted  youth,  as  well  as  unclear  wordings,  difficult  technical  terms,  confusing vocabularies, and potentially misleading assumptions. No issues were raised regarding language sensitivity. Modifications were applied where necessary in terms of word selection, language, and structures to meet our target audiences.
Conclusion: The adapted eHEALS instrument can be used to measure digital health literacy among adolescents in Gorontalo. Future research should examine the validity of this instrument with standardized instruments .
Keywords: eHEALS; Cognitive Interview; Health Literacy; Adolescents; Gorontalo

## ISSN 2597– 6052
DOI: https://doi.org/10.56338/mppki.v6i11.4030

## MPPKI

## Media Publikasi Promosi Kesehatan Indonesia The Indonesian Journal of Health Promotion
Research Articles
Open Access

## PENDAHULUAN
Menurut  laporan  Digital  Indonesia  2023,  sekitar  77%  populasi  Indonesia  telah  memiliki  akses  internet (1) . Sebagai negara dengan populasi terbesar ke-4 di dunia, pertumbuhan akses internet yang tinggi ini mencerminkan keterbukaan  informasi  dan  penerimaan  masyarakat  terhadap  perkembangan  teknologi  dan  informasi.  Tingginya jumlah pengguna internet di Indonesia tidak terlepas dari pesatnya perkembangan telepon seluler. Pada tahun 2021, tercatat 90,54% rumah tangga di Indonesia telah memiliki/menguasai minimal satu nomor telepon seluler. Angka ini meningkat jika dibandingkan dengan kondisi tahun 2018 yang baru mencapai 88,46% (2) . Namun, studi penggunaan teknologi  kesehatan  menunjukkan  baru sekitar  10%  penduduk  Indonesia  yang  sudah  menggunakan  aplikasi kesehatan digital dan hanya setengahnya (51%) yang memanfaatkan aplikasi ini untuk mencari informasi kesehatan serta lebih sedikit lagi (14%) yang menggunakannya untuk berkonsultasi dengan ahli kesehatan (3).
Seiring  dengan  perkembangan  teknologi  komunikasi,  intervensi  berbasis  teknologi  digital,  memungkinkan peningkatan  akses  perawatan  dan  hasil  kesehatan  yang  positif  dengan  meningkatkan  keterlibatan  pasien, keterampilan manajemen diri, serta penggunaan fitur interaktif (4,5) . Kemampuan ini tertuang dalam konsep literasi kesehatan  yang  mengacu  pada  kemampuan  membaca,  memahami,  dan  mengkomunikasikan  informasi  kesehatan untuk membuat keputusan kesehatan yang tepat (6) .
Literasi  kesehatan  juga  terkait  dengan  kemampuan  perawatan  diri,  promosi  kesehatan,  dan  akses  layanan kesehatan yang lebih baik (7,8). Namun, kemampuan ini tidak hanya sebatas pengetahuan profesional tentang kondisi kesehatan tertentu, tetapi juga membutuhkan pengetahuan tentang teknologi komunikasi seperti komputer, ponsel, Internet dan keterampilan menggunakannya (9,10) .  Literasi kesehatan di era digital, atau dikenal sebagai e-Health, memainkan peran kunci dalam membantu orang mencari informasi berbasis Internet dan menganalisis, menilai, serta menggunakan  informasi  tersebut  untuk  meningkatkan  kualitas  kesehatan  (11) .  Manfaat e-Health dapat  diperoleh jika pengguna memiliki keterampilan efektif dalam menggunakan informasi tersebut (12)
Survei literasi pertama di Indonesia tahun 2013-2014 menunjukkan bahwa 64% dari 1.029 responden memiliki tingkat literasi kesehatan yang rendah (tidak memadai dan bermasalah), dan mayoritas berusia 15-18 tahun (72%) (13)  Tingkat  literasi  kesehatan  yang  rendah  dapat  memicu  masalah  tambahan  karena  perawatan  kesehatan  terus berubah  dan  orang  semakin  diharapkan  untuk  berpartisipasi  dalam  pengobatan,  membuat  keputusan  terkait kesehatannya,  dan  mengelola  penyakitnya  secara  mandiri  (14).  Hasil  penelitian  terkait  Literasi  Kesehatan  Dan Perilaku  Mencari  Informasi  Kesehatan  Internet  Pada  Siswa  SMA  di  Palembang  tahun  2022,  dari  515  remaja diperoleh tingkat literasi kesehatan yang cukup (54,9%), bermasalah (31,06%), dan tidak memadai (14,17%). Remaja dengan tingkat literasi kesehatan  yang cukup bisa jadi  memiliki ketersediaan Internet untuk mengakses informasi kesehatan (13), namun belum banyak yang penelitian mengenai literasi kesehatan digital pada remaja di Indonesia.
Salah satu instrumen yang telah digunakan di berbagai negara untuk mengukur literasi kesehatan digital adalah eHEALS. Instrumen eHEALS terdiri dari 8 butir pertanyaan yang mengukur persepsi pengetahuan, kenyamanan dan kemampuan  konsumen  dalam  menemukan,  mengevaluasi,  dan  menerapkan  informasi  kesehatan  digital  untuk masalah kesehatan (12). Instrumen ini didasarkan pada model yang membedakan enam jenis keterampilan literasi: literasi tradisional, literasi kesehatan, literasi informasi, literasi sains, literasi komputer, dan literasi media (12).
Penelitian terdahulu telah melakukan uji reliabilitas dan validitas instrumen eHEALS dan menyimpulkan bahwa instrumen ini dapat digunakan pada kelompok mahasiswa program sarjana ilmu kesehatan (15). Selaras dengan hasil penelitian  tersebut,  uji  validitas  dan  reliabilitas  eHEALS  selama  pandemi  COVID-19  juga  menunjukkan  bahwa instrumen ini reliabel dan valid untuk studi yang mengukur literasi kesehatan digital pada populasi dewasa muda dan paruh baya di Indonesia (16).
Penelitian  yang  mengukur  literasi  kesehatan  digital  pada  remaja  di  Indonesia  masih  jarang,  terutama  untuk populasi  di  wilayah  Indonesia  bagian  tengah  dan  timur.  Pada  penelitian  ini,  adaptasi eHEALS dilakukan  pada kelompok remaja (16-18 tahun). Sasaran ini dipilih dengan mempertimbangkan remaja di era sekarang, yang nyaman dan  tertarik  dengan  teknologi  dan  penggunaan  perangkat  digital.  Telah  dilaporkan  bahwa  remaja  memiliki permintaan  dan  keterbukaan  yang  tinggi  terhadap  penggunaan  perangkat  digital  untuk  perilaku  kesehatan  dan perawatan diri (17–19). Oleh karena itu, penelitian ini bertujuan untuk melakukan adaptasi instrumen eHEALS ke dalam Bahasa Indonesia dan konteks lokal sehingga bisa digunakan untuk mengukur tingkat literasi kesehatan digital pada remaja di Gorontalo.

## METODE
Penelitian  kualitatif  ini  menggunakan  teknik  wawancara  kognitif  untuk  pengambilan  datanya.  Wawancara kognitif adalah metode untuk mengidentifikasi item kuesioner yang bermasalah dengan meminta peserta penelitian untuk  melaporkan  apa  yang  ada  dalam  pikiran  mereka,  baik  selama  atau  setelah  menanggapi  pertanyaan  survei sehingga peneliti dapat menganalisis cara informan memahami, memproses secara kognitif, dan menanggapi materi yang disajikan (20,21). Wawancara kognitif penting dilakukan sebagai bagian dari prosedur adaptasi lintas budaya dengan  menggambarkan  proses  melihat  bahasa  dan  isu  budaya  dalam  menyiapkan  kuesioner  untuk  digunakan  di
tempat lain (22,23). Penelitian ini diikuti oleh 10 remaja untuk berpartisipasi dalam wawancara kognitif yang direkrut secara purposif. Peneliti merekrut peserta dengan kriteria inklusi memiliki akses internet, fasih berbahasa Indonesia, berusia 16-18 tahun, siswa SMA/SMK di Gorontalo. Siswa yang setuju untuk mengambil bagian dalam penelitian ini dihubungi melalui Whatsapp  untuk mengkonfirmasi minat mereka dalam penelitian ini dan untuk menjadwalkan waktu wawancara.

## Instrumen
Adaptasi instrumen eHEALS yang terdiri dari 8 butir pertanyaan diawali dengan mengikuti proses penerjemahan ke  dalam  Bahasa  Indonesia  oleh  penerjemah  tersumpah  kemudian  dilanjutkan  dengan  terjemahan  balik  ke  dalam Bahasa  Inggris  untuk  dibandingkan  dengan eHEALS asli  (24).  Pada  langkah  berikutnya  10  remaja  menanggapi kuesioner dalam wawancara kognitif melalui tiga langkah untuk menguji validitas instrumen tersebut (25,26). Semua informan  diminta  untuk  mengomentari  pilihan  jawaban  dan  setiap  kata  atau  ungkapan  yang  dirasa  sulit  untuk dipahami. Informan diminta untuk menjelaskan dalam bahasa mereka sendiri apa arti kata atau ungkapan itu bagi mereka. Peserta diminta untuk berpikir keras saat menyelesaikan item pertanyaan, untuk mendapatkan  pengetahuan tentang penalaran dan proses pengambilan keputusan saat menjawab pertanyaan. Setelah itu, peneliti mengajukan beberapa  pertanyaan  lanjutan  terkait  dengan  item  pertanyaan  yang  tampaknya  menyebabkan  masalah  dalam memahami atau menjawab. Dengan cara ini, peneliti memperoleh informasi tentang keterbacaan dan kejelasan item dan mengubahnya sesuai dengan masukan dan respon dari peserta (26).
Tabel 1. Karakteristik informan dan penggunaan internet Karakteristik informan n (%) Umur 16 tahun 4 (40) 17 tahun 5 (50) 18 tahun 1 (10) Jenis kelamin Laki-laki 1 (10) Perempuan 9 (90) Domisili Perkotaan 4 (40) Pedesaan 6 (60) Prestasi sekolah Masuk 5 besar di kelas 8 (80) Masuk 6-10 besar di kelas 2 (20) Tidak masuk keduanya 0 Jurusan IPA 5 (50) IPS 0 Lain lain 5 (50) Durasi akses Internet di komputer per hari (jam) <1 5 (50) 1-3 2 (20) 4-7 2 (20) >8 1 (10) Durasi akses Internet di ponsel per hari (jam) <1 0 1-3 1 (10) 4-7 3 (30) >8 6 (60) Tujuan penggunaan internet Layanan jejaring sosial 5 (50) Mencari informasi 4 (40) Games 0 Lain-lain 1 (10) Mesin pencarian yang sering digunakan Google 7 (70) Yahoo 0 Youtube 0 Lain-lain 3 (30)

## Prosedur Pengumpulan Data
Wawancara  kognitif  dilakukan  secara  daring  dengan  menggunakan  aplikasi  Zoom.  Sebelum  wawancara, peneliti  menjelaskan  tujuan  penelitian,  waktu  yang  dibutuhkan,  sifat  kesukarelaan  dalam  berpartisipasi,  dan memberikan  lembar  persetujuan  untuk  ditandatangani  oleh  informan.  Setelah  itu,  peneliti  menjelaskan  proses wawancara  kepada  para  informan.  Wawancara  berlangsung  selama  15-30  menit  dan  direkam  untuk  mendapatkan transkripsinya. Wawancara kognitif dilakukan dengan teknik "menyuarakan pikiran" ( think aloud ) dan "penelusuran verbal"  ( verbal  probing ).  Dalam  menggunakan  teknik  "menyuarakan  pikiran",  peneliti  meminta  informan untuk
MPPKI (November, 2023) Vol. 6 No. 11.
membaca setiap item pertanyaan, dan mengatakan apa yang ada dalam pikiran mereka saat menanggapi setiap item pertanyaan. Ini untuk membantu peneliti menangkap pemahaman informan tentang setiap item pertanyaan yang ada di instrumen, dan untuk menentukan apakah mereka berusaha untuk memahami kata-kata atau memahami arti dari setiap  item  pertanyaan  tersebut.  Peneliti  kemudian  mengajukan  "penelusuran  verbal"  tentang  pemahaman  dan interpretasi  mereka  terhadap  item  atau  kata  tertentu,  bagaimana  peserta  akan  menyusun  ulang  item  pertanyaan tersebut,  mengapa  peserta  menjawab  seperti  itu,  dan  secara  umum,  seberapa  mudah  atau  sulitnya  menjawab pertanyaan dalam kuesioner (20,21).

## Metode Analisis Data
Peneliti menganalisis data hasil wawancara dengan menggunakan pendekatan Miles dan Huberman agar dapat memfasilitasi  penilaian  validitas  isi  instrumen  dengan  cara  yang  lebih  terstruktur  (27).  Dipandu  oleh  kerangka penilaian Willis, aspek utama yang digunakan untuk menganalisis setiap butir pertanyaan meliputi kejelasan, asumsi, pengetahuan atau memori, sensitivitas atau bias, kategori respon, dan masalah lainnya (28,29). Kerangka penilaian dari Willis ini dipakai untuk memastikan validitas konten dari instrumen dan mengidentifikasi masalah dalam proses adaptasinya berdasarkan umpan balik informan.

## HASIL Translasi instrumen
Setelah diterjemahkan ke dalam Bahasa Indonesia oleh penerjemah tersumpah, instrumen eHEALS yang terdiri dari 8 butir pertanyaan diterjemahkan kembali ke dalam Bahasa Inggris untuk melihat ada tidaknya perbedaan makna. Namun tidak ditemukan perbedaan makna  yang bergeser setelah melakukan penerjemahan ulang sehingga proses adaptasi bisa dilanjutkan dengan teknik wawancara kognitif.

## Karakteristik informan
Ada 10 remaja Gorontalo yang bersedia menjadi informan untuk diwawancarai oleh tim peneliti (karakteristik informan lihat Tabel 1). Sebagian besar informan berjenis kelamin perempuan (90%), berumur  16-17 tahun (90%), berdomisili dari pedesaan (60%), dan punya durasi harian akses Internet di ponsel >8jam (60%). Wawancara kognitif dilakukan  dengan  setiap  informan  di  waktu yang  berbeda  dari  tanggal  20 Mei  2023  hingga  tanggal  13  Juni  2023 Seluruh wawancara dilakukan secara daring melalui aplikasi Zoom dengan durasi 16-30 menit. Hasil dari wawancara kognitif menelusuri masalah terkait kejelasan, asumsi, pengetahuan, dan sensitivitas atau bias.

## Kejelasan
Dalam hal susunan kata , kejelasan dari butir pertanyaan memerlukan kata-kata yang tepat untuk menjelaskan pertanyaan yang diajukan. Peneliti menetapkan kata-kata yang bermasalah sebagai kata-kata yang tampak panjang, tidak sesuai tata bahasa, atau mengandung sintaksis yang sulit di pahami oleh informan. Misalnya, sebagian besar informan menyatakan bingung memahami kata 'dimana saja' dan 'sumber daya' dalam kalimat “Saya tahu dimana saja untuk dapat menemukan sumber daya kesehatan yang bermanfaat di Internet.” Ketika diminta untuk menafsirkan dengan kata-kata mereka sendiri, banyak yang merasa sulit untuk memahami item tersebut dan menyatakan bahwa masih susah menggambarkannya bahkan setelah membacanya beberapa kali. Seorang informan menyatakan: “Saya tidak mengerti sebenarnya dengan kata dimana saja dalam kalimat ini. Saya sulit menggambarkannya.”
Selain susunan kata, ditemukan juga istilah teknis yang kurang relevan bagi remaja. Ini termasuk istilah yang tidak terdefinisi, tidak jelas, rumit atau membutuhkan contoh tambahan yang relevan dengan remaja. Sebagian besar informan kesulitan mendefinisikan istilah sumber daya kesehatan dan sebagian mempunyai definisi yang beragam (butir pertanyaan 2-5 dan 8). Keraguan makna dari frasa yang digunakan juga muncul selama wawancara. Banyak informan  mengungkapkan  bahwa  cukup  sulit  menentukan  perbedaan  sumber  daya  kesehatan  kualitas  tinggi  dan sumber  daya  kesehatan  kualitas  rendah,  terutama  jika  tidak  ada  contoh  yang  diberikan.  Misalnya  pada  butir pertanyaan  7:  “Saya  dapat  mengetahui  sumber  daya  kesehatan  berkualitas  tinggi  dari  sumber  daya  kesehatan berkualitas rendah di Internet.”
Masalah kejelasan lainnya adalah kosakata yang sulit. Pemahaman teks dapat dipengaruhi oleh jumlah dan letak kata-kata sulit yang ada dalam kalimat. Misalnya pada butir pertanyaan 5: "Saya memiliki keterampilan yang saya perlukan untuk mengevaluasi sumber daya kesehatan yang saya temukan di Internet." Informan  yang berasal dari pedesaan tidak mengerti arti kata-kata tersebut tetapi mencoba menebak arti kata tersebut. “Sebenarnya saya kurang paham dengan pertanyaan ini, di bagian kata keterampilan dan mengevaluasi sumber daya kesehatan. " Informan berpendapat bahwa kata-kata seperti keterampilan dan mengevaluasi pada butir pertanyaan ini dapat diganti dengan kata-kata  yang  lebih  mudah.  Beberapa  informan  lain  menyampaikan  bahwa  kata  keterampilan  dan  mengevaluasi dapat  mereka  mengerti,  tetapi  menggantinya  dengan  kemampuan  dan  menilai  akan  lebih  mudah  dipahami  untuk
MPPKI (November, 2023) Vol. 6 No. 11.
menyampaikan  makna  yang  terkandung  dalam  pertanyaan  tersebut.  Seorang  informan  menyarankan, “Untuk  kata evaluasi baiknya diganti kata menilai biar saya lebih paham, dan kata keterampilan diganti dengan kemampuan."
Tabel 2. Aspek penilaian, temuan, dan perbaikan butir pertanyaan

## Asumsi
Beberapa  butir  pertanyaan  menggunakan  frasa  yang  membuat  informan  berasumsi  kurang  tepat,  atau mempengaruhi informan untuk memberikan jawaban yang diharapkan atau sesuai dengan asumsi peneliti. Misalnya butir pertanyaan 8: "Saya merasa percaya diri dalam menggunakan informasi dari Internet untuk membuat keputusan kesehatan”.  Sebagian  besar  informan  menggunakan  Internet  untuk  layanan  jejaring  sosial  dan  untuk  mencari informasi mengenai pendidikan yang memang ditempuh secara daring selama pandemik COVID-19, bukan untuk mencari informasi kesehatan. Informan menyarankan untuk mengubah kata percaya diri menjadi kata yakin dan kata keputusan menjadi kata pilihan.

## Pengetahuan
Masalah terkait pengetahuan yang diungkapkan oleh informan terutama dalam kemampuan mengingat ( recall ). Kemampuan  menanggapi  pertanyaan  penelitian  dengan  tepat  menuntut  informan  mengingat  kejadian  dalam hidupnya. Misalnya, butir pertanyaan 8: "Saya merasa percaya diri dalam menggunakan informasi dari Internet untuk membuat keputusan kesehatan." Pertanyaan ini mendapatkan respon yang bervariasi, tergantung pada kemampuan
Aspek Penilaian Temuan Butir pertanyaan awal (hasil terjemahan) Butir pertanyaan revisi Kejelasan Susunan kata kurang dipahami informan, formulasi kalimat panjang dan membingungkan. (6) Saya tahu bagaimana menggunakan Internet untuk menjawab pertanyaan saya tentang kesehatan. (6) Saya mengetahui bagaimana menggunakan Internet untuk menjawab pertanyaan saya tentang kesehatan. (3) Saya tahu bagaimana menggunakan informasi kesehatan yang saya temukan di Internet untuk membantu saya. (3) Saya mengetahui bagaimana menggunakan informasi kesehatan yang saya temukan di Internet untuk membantu saya. Istilah teknis yang yang kurang jelas, rumit atau membutuhkan lebih banyak contoh sesuai populasi remaja. (1) Saya tahu sumber daya kesehatan apa yang tersedia di Internet. (1) Saya mengetahui informasi kesehatan apa yang tersedia di Internet.
(4) Saya tahu cara menemukan sumber daya kesehatan yang bermanfaat di Internet. (4) Saya mengetahui cara menemukan informasi kesehatan yang bermanfaat di Internet. Keraguan makna yang memungkinkan informan untuk menafsirkan pertanyaan berdasarkan pemahaman mereka sendiri. (7) Saya dapat mengetahui sumber daya kesehatan  berkualitas  tinggi dari sumber daya kesehatan berkualitas rendah di Internet.
(7) Saya bisa membedakan informasi kesehatan  berkualitas tinggi dari pada informasi kesehatan  berkualitas  rendah  di Internet. Kosakata yang dianggap sulit atau tidak umum digunakan dikalangan remaja, termasuk kosakata ilmiah, idiom, serta yang perlu pemahaman dan pengetahuan khusus. (5) Saya memiliki keterampilan yang saya perlukan untuk mengevaluasi sumber daya kesehatan yang saya temukan di Internet. (5) Saya memiliki kemampuan yang saya perlukan untuk menilai informasi kesehatan yang saya temukan di Internet. Asumsi yang kurang  tepat Kosakata atau frasa yang membuat informan berasumsi atau mempengaruhi informan untuk mengikuti keinginan peneliti. (8) Saya merasa percaya diri dalam menggunakan informasi dari Internet untuk membuat keputusan kesehatan. (8) Saya merasa yakin dalam menggunakan informasi dari Internet untuk membuat pilihan tentang kesehatan. Pengetahuan dan kemampuan mengingat Kesulitan mengingat kembali informasi yang telah disimpan dalam ingatan untuk menjawab pertanyaan. (2) Saya tahu dimana saja untuk dapat menemukan sumber daya kesehatan yang bermanfaat di
Internet.
(2) Saya mengetahui dimana saya dapat menemukan informasi
kesehatan yang bermanfaat di Internet.
Sensitivitas/bias Tidak ada masalah
MPPKI (November, 2023) Vol. 6 No. 11.
informan dalam mengingat pengalaman pribadi dan persepsi mereka terhadap kegunaan informasi dari Internet dalam membuat  keputusan  kesehatan.  Seorang  informan  menyampaikan, " Saya  kurang  yakin  dengan  sumber  yang  saya dapatkan  dari  Internet,  misal  Google,  saya  dapat  masalah  kesehatan  kemudian  saya  cari  sumber-sumber  dari Internet, terus baca, disitu ada gejala begitu, saya merasa kurang yakin dengan informasi tersebut kalo saya benar- benar  dapat  penyakit  yang  dijelaskan  disitu.” Beberapa  informan  lain  merasa  bahwa  Internet  bermanfaat  dan memberikan  akses  mudah  ke informasi  yang  relevan,  sementara  yang  lain  mungkin  merasa  kurang  yakin  dengan informasi yang ditemukan.

## Sensitivitas atau Bias
Dalam upaya untuk memahami apakah pertanyaan survei bersifat sensitif atau kata-kata yang mengandung bias, peneliti bertanya apakah ada pertanyaan yang dianggap tidak pantas atau tidak sesuai dengan norma sosial budaya yang informan pahami. Semua informan menjawab tidak ada butir pertanyaan yang tidak pantas atau tidak sesuai norma. Begitu pula dengan pilihan jawaban yang disediakan, semua informan dapat memahami dan merasa tidak perlu diperbaiki.

## PEMBAHASAN Keterbatasan penelitian
Peelitian  ini  tidak  luput  dari  keterbatasan  yang  perlu  dipertimbangkan  dalam  memahami  hasilnya.  Pertama, semua wawancara dalam penelitian ini dilakukan secara daring melalui aplikasi Zoom. Meskipun secara prosedur dan materi wawancara tidak ada masalah berarti, namun ada kendala teknis dalam pelaksanaan, yakni keterbatasan konektivitas  dan  stabilitas  jaringan  Internet  terutama  bagi  informan  yang  tinggal  di  pedesaan  atau  didaerah  yang lemah  jangkauan  sinyal  Internetnya.  Beberapa  informan  harus  mematikan  fitur  kamera  untuk  mengurangi  beban akses Internet  ketika wawancara,  implikasinya  peneliti terbatas  dalam  memahami  ekspresi  dan  bahasa  tubuh dari informan.
Selain itu, informan penelitian ini didominasi oleh remaja putri dikarenakan kurangnya minat remaja putra untuk berpartisipasi.  Ini  bisa  saja  menyebabkan  hasil  wawancara  kognitif  kami  menjadi  bias  gender.  Namun,  hasil wawancara  dengan  satu-satunya  informan  putra  tidak  menunjukkan  perbedaan  tanggapan  yang  bermakna  dengan apa yang disampaikan oleh informan putri.

## Hasil penilaian dan adaptasi
Wawancara kognitif dipilih untuk mengevaluasi kejelasan, asumsi, pengetahuan, bias dalam item pertanyaan. Subtema yang muncul dari 4 aspek yang dinilai meliputi susunan kata, istilah teknis, ketidakjelasan, kosa kata yang sulit, asumsi yang tidak tepat, dan kemampuan mengingat kejadian lampau. Ketidakjelasan dapat menjadi mekanisme linguistik  dan  non-linguistik  yang  memungkinkan  informan  untuk  menafsirkan  pertanyaan  berdasarkan  apa  yang mereka  ketahui.  Hal  ini  dapat  menyebabkan  informan  menginterpretasikan  pertanyaan  dengan  berbagai  cara, berdasarkan  definisi  mereka  sendiri.  Hampir  seluruh  butir  pertanyaan  eHEALS  membutuhkan  sedikitnya kemampuan mengingat kejadian yang mereka alami. Wawancara kognitif mampu mengidentifikasi kata yang dapat mengurangi beban untuk mengingat kejadian lampau. Misalnya butir pertanyaan, "Saya tahu dimana saja untuk dapat menemukan  sumber  daya  kesehatan  yang  bermanfaat  di  Internet."  Frasa  "Saya  tahu  dimana  saja..."  membuat informan  merasa  harus  mengingat  banyak  kejadian  lampau.  Makna  menjadi  berbeda  ketika  frasa  diubah  menjadi "Saya tahu dimana saya dapat menemukan..."
Selanjutnya,  hasil  penilaian  menjadi  kunci  untuk  mengadaptasi.  Dalam  hal  ini,  tanggapan  dan  saran  dari informan  menjadi  rujukan  bagi  perbaikan  butir  pertanyaan.  Sebagian  besar  masalah  yang  diungkapkan  informan menunjukkan  perlunya  perbaikan  di  bagian  kejelasan,  asumsi,  dan  pengetahuan  yang  mendorong  peningkatan validitas isi dari setiap butir instrumen eHEALS. Dari 8 butir pertanyaan dalam instrumen eHEALS, semuanya perlu diubah untuk  menyesuaikan dengan karakteristik populasi remaja di Gorontalo. Kombinasi perbaikan antar aspek penilaian membuat butir pertanyaan menjadi lebih mudah dipahami oleh informan.
Menurut pandangan peneliti, agar konsisten dengan definisi eHEALS  yang luas dan inklusif,  peneliti merasa perlu memasukkan remaja yang tidak sekolah/putus sekolah menjadi peserta dalam proses wawancara. Remaja putus sekolah  yang  dilibatkan  dalam  wawancara  kognitif  mungkin  dapat  memberikan  informasi  penting  tentang pemahaman  yang  sebenarnya  orang-orang  yang  menjawab  kuesioner.  Ini  juga  memberi  remaja  putus  sekolah kesempatan untuk mempengaruhi proses adaptasi misalnya, berguna dalam menyusun kata-kata terkait hal-hal yang berhubungan dengan topik sensitif secara budaya, seperti kesehatan mental dan penyakit. Tidak hanya susunan kata- kata dalam item pertanyaan dapat berubah, tetapi juga mendorong peneliti untuk membalikkan respon skala, dimulai dengan "sangat setuju" bukan "sangat tidak setuju" seperti adaptasi Kuesioner Literasi Kesehatan Eropa, HLS-EU- Q16 ke dalam versi Islandia (30). Epstein dkk. (31) telah menunjukkan bahwa saat ini tidak ada konsensus tentang prosedur  adaptasi  lintas  budaya.  Namun,  peneliti  menyarankan  (32),  untuk  menyertakan  audiens  sasaran  yang
MPPKI (November, 2023) Vol. 6 No. 11.
berbeda secara demografis saat menerjemahkan kuesioner ke bahasa lain.
Mengingat perkembangan pesat dunia digital, jejaring media sosial yang digunakan remaja sangat beragam. Jika dibandingkan dengan Facebook, Instagram, dan Tik Tok , informan dalam penelitian ini lebih banyak menggunakan mesin  pencari Google .  Situs  web  dan  aplikasi  yang  sedang  tren  cenderung  berkembang  dengan  cepat,  instrumen seperti eHEALS harus dapat mencerminkan perubahan yang cepat secara tepat. Hasil penelitian ini selaras dengan hasil Park et al (33) bahwa beberapa istilah mungkin sudah ketinggalan zaman dan mungkin tidak mencerminkan gaya  remaja  saat  ini,  Remaja  tidak  menggunakan  Facebook  sebanyak  situs  jejaring  media  sosial  lainnya,  seperti Snapchat atau  Instagram.  Selain itu,  penggunaan  aplikasi  kesehatan  online  bukan  aktivitas  yang  sering  dilakukan oleh sebagian besar remaja pada penelitian ini sehingga dapat menimbulkan potensi bias terhadap validitas. Dengan demikian,  kita  tidak  boleh  berasumsi  bahwa  semua  remaja  menggunakan  media  sosial  atau  internet  untuk  tujuan yang berhubungan dengan kesehatan. Penting juga untuk memberikan contoh spesifik yang mencerminkan konteks atau kegiatan yang akrab bagi remaja saat mengembangkan item,  yang akan membuat item tersebut lebih relevan bagi remaja. Misalnya, pekerjaan rumah, informasi sekolah, dan kebiasaan makan akan menjadi contoh yang relevan dengan remaja dan dapat ditambahkan ke dalam item.
Manfaat dari sumber daya kesehatan online hanya bisa didapat jika pengguna mampu menggunakannya dengan benar (12). Begitu pula dengan pencarian informasi kesehatan, paparan informasi kesehatan dari sumber yang dapat dipercaya telah dikaitkan dengan skor eHEALS yang lebih tinggi (34). Oleh karena itu, peluang untuk pengembangan instrumen eHEALS agar mengikuti perkembangan terkini masih dapat dilakukan.

## KESIMPULAN
Penelitian kualitatif dengan wawancara kognitif ini berhasil mengadaptasi instrumen literasi kesehatan digital (eHEALS)  sehingga  lebih  reliabel  dan  valid  dari  versi  terjemahannya,  terutama  untuk  digunakan  pada  populasi remaja. Instrumen hasil adaptasi ini mengisi celah penting dalam mengukur tingkat literasi kesehatan digital untuk remaja.

## SARAN
Penelitian selanjutnya dapat menggunakan instrumen hasil adaptasi ini dalam survey kuantitatif guna menguji validitas konstruknya dengan alat ukur yang telah baku. Selain itu, instrumen hasil adaptasi ini juga dapat digunakan untuk mengambil data awal bagi pengembangan program kesehatan berbasis Internet bagi remaja, sekaligus sebagai alat evaluasinya.

## DAFTAR PUSTAKA
1. Riyanto AD. Andi.Link. 2023 [cited 2023 Jul 15]. Hootsuite (We are Social): Indonesian Digital Report 2023. Available from: https://andi.link/hootsuite-we-are-social-indonesian-digital-report-2023/
2. Badan  Pusat  Statistik. Statistik  Telekomunikasi  Indonesia  2021.  Sari  E et  all,  editor. Jakarta:  Badan  Pusat Statistik; 2021.
3. Petriella Y. Ekonomi Bisnis. 2019 [cited 2023 Aug 15]. Penggunaan Aplikasi Kesehatan di Indonesia Baru
10% dari Total Penduduk. Available from: https://ekonomi.bisnis.com/read/20190819/12/1138279/penggunaan-aplikasi-kesehatan-di-indonesia-baru-
10-dari-total-penduduk
4. Free  Carolina  et  al.  The  Effectiveness  of  Mobile-Health  Technology-Based  Health  Behaviour  Change  or Disease  Management  Interventions  for  Health  Care  Consumers:  A  Systematic  Review.  PLOS  Medicine [Internet]. 2013 [cited 2023 Apr 6];10(1):1–45. Available from: https://sci-
hub.se/10.1371/journal.pmed.1001362
5. Kim H, Park E, Lee S, Kim M, Park EJ, Hong S. Self-Management of Chronic Diseases Among Older Korean Adults:  An  mHealth  Training,  Protocol,  and  Feasibility  Study.  JMIR  Mhealth  Uhealth  2018;6(6):e147 https://mhealth.jmir.org/2018/6/e147 [Internet]. 2018 Jun 29 [cited 2023 Apr 6];6(6):e9988. Available from: https://mhealth.jmir.org/2018/6/e147
6. Chang BL, Bakken S, Scott Brown S, Houston TK, Kreps GL, Kukafka R, et al. Bridging the Digital Divide: Reaching Vulnerable Populations. J Am Med Inform Assoc. 2004;11:448–57.
7. Dumenci et al. Measurement of Cancer Health Literacy and Identification of Patients with Limited Cancer Health  Literacy.  J  Health  Commun  [Internet].  2014  [cited  2023  Apr  6];19(2):205-224,.  Available  from: https://sci-hub.se/10.1080/10810730.2014.943377
MPPKI (November, 2023) Vol. 6 No. 11.
8. Coleman  CA,  Hudson  S,  Maine  LL.  Health  Literacy  Practices  and  Educational  Competencies  for  Health Professionals: A Consensus Study. J Health Commun. 2013;18:82–102.
9. Van Der Vaart R, Van Deursen AJ, Drossaert CHC, Taal E, Van Dijk JA, Van De Laar MA. Does the eHealth Literacy Scale (eHEALS) Measure What it Intends to Measure? Validation of a Dutch Version of the eHEALS in Two Adult Populations. J Med Internet Res 2011;13(4):e86 https://www.jmir.org/2011/4/e86 [Internet]. 2011 Nov 9 [cited 2023 Mar 15];13(4):e1840. Available from: https://www.jmir.org/2011/4/e86
10. Parker  S,  Prince  A,  Thomas  L,  Song  H,  Milosevic  D,  Harris  MF.  Open  access  Electronic,  mobile  and telehealth  tools  for  vulnerable  patients  with  chronic  disease:  a  systematic  review  and  realist  synthesis  On behalf of the IMPACT Study Group. BMJ Open [Internet]. 2018 [cited 2023 Apr 6];8:19192. Available from: http://bmjopen.bmj.com/
11. Neter  E,  Brainin  E.  Perceived  and  Performed  eHealth  Literacy:  Survey  and  Simulated  Performance  Test. JMIR Hum Factors 2017;4(1):e2 https://humanfactors.jmir.org/2017/1/e2 [Internet]. 2017 Jan 17 [cited 2023 Apr 6];4(1):e6523. Available from: https://humanfactors.jmir.org/2017/1/e2
12. Norman  CD,  Skinner  HA,  Silverman  Global  Ehealth  Program  PA.  Original  Paper  eHEALS:  The  eHealth Literacy Scale. [cited 2023 Mar 15]; Available from: http://www.jmir.org/2006/4/e27/
13. Ditiaharman  F,  Agsari  H,  Syakurah  RA.  Literasi  Kesehatan  Dan  Perilaku  Mencari  Informasi  Kesehatan Internet  Pada  Siswa  Sekolah  Menengah  Atas.  PREPOTIF :  Jurnal  Kesehatan  Masyarakat.  2022  Jan 31;6(1):355–65.
14. Bresolin LB. Health literacy: Report of the council on scientific affairs. JAMA. 1999 Feb 10;281(6):552–7.
15. Sjamsuddin N AD. Reliabilitas dan Validitas Instrumen Literasi Kesehatan Digital untuk Mahasiswa Program Sarjana.  The  Indonesian  Journal  of  Health  Promotion  [Internet].  2023;6(1).  Available  from: https://doi.org/10.31934/mppki.v2i3
16. Wijaya MC, Kloping YP. Validity and reliability testing of the Indonesian version of the eHealth Literacy Scale during the COVID-19 pandemic. Health Informatics J. 2021;27(1).
17. Park E, Kwon M. Health-related internet use by children and adolescents: Systematic review. Vol. 20, Journal of Medical Internet Research. JMIR Publications Inc.; 2018.
18. Prensky M. Digital Natives, Digital Immigrants. Vol. 9. MCB University Press; 2001.
19. Wong CA, Merchant RM, Moreno MA. Using social media to engage adolescents and young adults with their health. Healthcare. 2014 Dec 1;2(4):220–4.
20. Beatty PC, Willis GB. Research synthesis: The practice of cognitive interviewing. Vol. 71, Public Opinion Quarterly. 2007. p. 287–311.
21. Willis GB. Cognitive Interviewing A “How To” Guide. In Research Triangle Institu; 1999.
22. Beaton et al. Guidelines for the Process of Cross-Cultural Adaptation of Self-Report Measures. Spine (Phila Pa  1976)  [Internet].  2000  [cited  2023  Apr  6];25(24):3186–91.  Available  from:  https://sci- hub.se/10.1097/00007632-200012150-00014
23. Hambleton KR et al. Adapting Educational and Psychological Tests for Cross-Cultural Assessment. London; 2005.
24. World  Health  Organization.  Process  of  translation  and  adaptation  of  instruments.  Geneva:  World  Health
Organization; 2016 [Internet]. [cited 2023 Apr 6]. Available from:
https://www.emro.who.int/search/en/index.htm?q=WHO+Guidelines+on+Translation
25. Hak T. The Three-Step Test-Interview (TSTI): An observation-based method for pretesting self-completion questionnaires Mediation View project migration
View project. Available from:
https://www.researchgate.net/publication/228670888
26. Ericsson KA, Simon HA. Verbal Reports as Data. Vol. 87, Psychological Review VOLUME. 1980.
27. Miles M, Huberman Michael. Qualitative Data Analysis. In: Sage. 1994.
28. Willis G. Cognitive interviewing in survey design: State of the science and future directions. In: The Palgrave Handbook of Survey Research. Springer International Publishing; 2017. p. 103–7.
29. Willis GB, Artino AR. What Do Our Respondents Think We’re Asking? Using Cognitive Interviewing to Improve Medical Education Surveys. J Grad Med Educ. 2013 Sep 1;5(3):353–6.
30. Gustafsdottir  SS,  Sigurdardottir  AK,  Arnadottir  SA,  Heimisson  GT,  Mårtensson  L.  Translation and  cross- cultural  adaptation  of  the  European  Health  Literacy  Survey  Questionnaire,  HLS-EU-Q16:  The  Icelandic version. BMC Public Health. 2020 Jan 14;20(1).
31. Epstein  J,  Santo  RM,  Guillemin  F.  A  review  of  guidelines  for  cross-cultural  adaptation  of  questionnaires could not bring out a consensus. Vol. 68, Journal of Clinical Epidemiology. Elsevier USA; 2015. p. 435–41.
32. Park H, Sha MM, Pan Y. Investigating validity and effectiveness of cognitive interviewing as a pretesting method for non-English questionnaires: Findings from Korean cognitive interviews. Int J Soc Res Methodol. 2014 Nov 2;17(6):643–58.
MPPKI (November, 2023) Vol. 6 No. 11.
33. Park E, Kwon M. Testing the digital health literacy instrument for adolescents: Cognitive interviews. J Med Internet Res. 2021 Mar 1;23(3).
34. Soellner R, Huber S, Reder M. The concept of ehealth literacy and its measurement: German translation of the eHEALS. J Media Psychol. 2014;26(1):29–38.