Gambaran Layanan Konsultasi Kesehatan Mental Aplikasi Riliv di Indonesia pada Masa ...: Riastuti Kusuma Wardani, dkk

## Gambaran Layanan Konsultasi Kesehatan Mental Aplikasi Riliv di Indonesia pada Masa Endemi COVID-19
Overview of Riliv Mental Health Consultation Service in Indonesia During COVID-19 Endemic

## Riastuti Kusuma Wardani, Balqis Dara Zenab
Fakultas Ilmu Kesehatan, Universitas Islam Negeri Jakarta, Jalan Kertamukti Nomor 5 Pisangan Ciputat Kota Tangerang Selatan Email: riastutikw16@gmail.com
Tanggal submisi: 9 September 2023; Tanggal penerimaan: 1 Februari 2024

## ABSTRAK
Layanan telepsikiatri mulai marak digunakan akibat dampak pandemi COVID-19 terhadap kesehatan mental masyarakat, namun masih terdapat keluhan oleh pengguna aplikasi layanan telepsikiatri seperti Riliv karena kesulitan dan ketidaksesuaian dalam penggunaan aplikasi. Riliv sebagai penyedia layanan telepsikiatri harus mempertahankan kemajuan serta meningkatkan dan mempertahankan standar perawatan. Melihat persepsi pengguna berdasarkan pengalaman mereka menggunakan layanan dapat membantu pemberi layanan dalam mengambil keputusan dan memberikan layanan yang tepat sesuai dengan kebutuhan pengguna. Penelitian ini bertujuan untuk mengetahui gambaran layanan konsultasi kesehatan mental aplikasi Riliv di Indonesia pada masa endemi COVID-19 menurut pengguna berdasarkan lima dimensi End User Computing Satisfaction (EUCS), yaitu isi, keakuratan, tampilan, kemudahan penggunaan, dan ketepatan waktu. Pendekatan yang diterapkan dalam penelitian ini adalah pendekatan kuantitatif dengan desain deskriptif. Data dikumpulkan secara daring pada Maret – Juni 2023 dengan teknik pengambilan sampel purposive sampling. Hasil penelitian menunjukkan bahwa sebanyak lebih dari setengah responden memiliki persepsi baik terhadap isi (56,8%), keakuratan (69,9%), tampilan (54,8%), dan kemudahan penggunaan (53,4%) serta lebih dari tiga perempat responden (87,7%) memiliki persepsi baik terhadap ketepatan waktu layanan konsultasi kesehatan mental di aplikasi Riliv. Pemberi layanan telepsikiatri di aplikasi Riliv disarankan untuk memastikan adanya pelatihan untuk meningkatkan self-efficacy dan kemampuan komunikasi digital bagi psikolog yang terdaftar di Riliv, melakukan optimalisasi sistem aplikasi Riliv, dan memastikan adanya pengembangan berkelanjutan pada aplikasi. Hal tersebut diharapkan dapat meningkatkan kualitas informasi yang diberikan kepada pengguna dan meningkat pemanfaatannya oleh masyarakat.
Kata kunci : Kesehatan Mental; Riliv; Telepsikiatri

## ABSTRACT
Telepsychiatry services have begun to be widely used due to the impact of the COVID-19 pandemic on people’s mental health, but there are still complaints by telepsychiatry applications, such as Riliv, users due to the difficulties and inconsistency in using telepsychiatry applications. Riliv as telepsychiatry service providers must maintain progress and also improve and maintain standards of care. Looking at user perceptions based on their experience using the service can help service providers make decisions and provide the right service according to user needs. This study aims to describe the Riliv application mental health consulting services in Indonesia during the COVID-19 endemic according to users based on the five dimensions of End User Computing Satisfaction (EUCS), namely content, accuracy, appearance, ease of use, and timeliness. The approach applied in this study is a quantitative approach with descriptive design. Data was collected online from March to June 2023 using a purposive sampling technique. The results showed that more than half of the respondents had good perceptions of content (56.8%), accuracy (69.9%), format (54.8%), and ease of use (53.4%) and more than three a quarter of respondents (87.7%) had a good perception of the timeliness of mental health consultation services on the Riliv application. Riliv application are advised to ensure that there is training to improve self- efficacy and digital communication skills for psychologists registered with Riliv, optimize the Riliv application system, and ensure continuous development of the application. This is expected to improve the quality of information provided to users and increase its utilization by the public.
Keywords : Mental Health; Riliv; Telepsychiatry

## JURNAL KEBIJAKAN KESEHATAN INDONESIA : JKKI
VOLUME 13
Artikel Penelitian

## PENDAHULUAN
Pandemi COVID-19 merupakan penyebab dari meningkatnya kejadian gangguan kesehatan mental. Menurut publikasi ilmiah oleh WHO, prevalensi kecemasan dan depresi global meningkat sebesar 25% di tahun pertama pandemi COVID-19 (1). Dalam penelitian yang dilakukan di negara- negara Afrika Utara dan Timur Tengah ditemukan
peningkatan stres akibat pekerjaan, keuangan, dan permasalahan di dalam rumah akibat pandemi COVID-19 (2). Di Bhutan peningkatan depresi dan kecemasan dilaporkan selama pandemi, prevalensi depresi meningkat dari rata-rata 9 per 10.000 antara tahun 2011 dan 2019 menjadi 32 per 10.000 pada tahun 2021 sedangkan prevalensi kecemasan meningkat dari rata-rata 18 per 10.000 menjadi 55
per 10.000 pada tahun 2021 (3). Prevalensi gejala kesehatan mental di Asia Tenggara menurut studi review terhadap masyarakat umum menemukan bahwa terdapat 27% prevalensi keseluruhan gejala gangguan mental pada populasi umum (4).
Peraturan untuk menjaga jarak, lockdown , serta  ketidakpastian  dari  pandemi  COVID-19 dapat menyebabkan isolasi sosial, kesepian, akses terbatas terhadap kebutuhan dasar, dan waktu bertemu dengan orang-orang yang terbatas (5). Selain itu, pandemi COVID-19 juga berdampak buruk terhadap ekonomi masyarakat, dan ekonomi yang menurun tersebut dapat menyebabkan kemiskinan, ketidakamanan finansial, dan PHK yang menyebabkan orang tersebut tidak dapat mendapat akses untuk pelayanan kesehatan. Hal tersebut dapat menjadi faktor yang dapat menimbulkan efek terhadap kesehatan fisik maupun mental seseorang (6).
Kesehatan mental merupakan permasalahan serius yang membutuhkan perhatian serta dukungan oleh negara (1). Kepolisian di Malaysia melaporkan sebanyak 468 kasus bunuh diri di antara Januari hingga Mei 2021, rata-rata 3 kematian akibat bunuh diri perhari ini meningkat dari rata-rata 0,93 kematian akibat bunuh diri perhari di antara tahun 2014 hingga 2018 (7). Dibandingkan dengan periode yang sama di tahun sebelumnya, kejadian bunuh diri di Thailand selama awal tahun 2020 di tengah krisis COVID-19 meningkat sebesar 22% menurut Departemen Kesehatan Mental Thailand (8).
Di Indonesia, Dr. Celestinus Eigya Munthe selaku Direktur Pencegahan dan Pengendalian Masalah Kesehatan Jiwa dan Napza, menjelaskan bahwa tingginya prevalensi orang dengan gangguan jiwa merupakan masalah kesehatan jiwa di Indonesia. Di tahun 2021, sekitar 20% populasi di Indonesia, atau sekitar 1 dari 5 penduduk, memiliki potensi masalah gangguan jiwa (9). Dalam infografis yang dirilis oleh Perhimpunan Dokter Spesialis Kedokteran Jiwa Indonesia (PDSKJI) terkait masalah psikologis 2 tahun pandemi COVID-19 di Indonesia melalui data  swaperiksa  PDSKJI  Maret  2020  hingga Maret 2022 ditemukan bahwa, 75% dari 14.988 swaperiksa memiliki masalah psikologis dengan rincian 71,7% memiliki masalah kecemasan, 72,9% memiliki masalah depresi, 84% memiliki masalah trauma psikologis, dan 85,1% memiliki masalah bunuh diri dan 36% dari mereka telah melakukan sesuatu atau bersiap mengakhiri hidup mereka. Dalam swaperiksa tersebut mayoritas merupakan pemakai swaperiksa berusia 20-30 tahun, yaitu sebesar 9286 orang (10).
Timbulnya efek COVID-19 terhadap kesehatan mental masyarakat selama masa pandemi COVID-19 mengakibatkan banyak muncul layanan kesehatan dalam jaringan atau telehealth , serta memunculkan layanan telepsikiatri yang mendapat perhatian yang meningkat. Para profesional dan perusahaan kesehatan menggunakan platform sosial media populer yang gratis seperti WhatsApp, Zoom, Facebook, dan lainnya untuk menyediakan layanan psikiatri dalam jaringan mereka (11). Walaupun masa pandemi sudah dilalui dan masuk pada masa endemis, pelayanan kesehatan berbasis internet terus berkembang dan meningkat penggunaannya.
Di Indonesia sendiri, berbagai aplikasi penyedia jasa konsultasi kesehatan mental online melaporkan peningkatan jumlah pengguna jasa akibat pandemi COVID-19.  Bulan  Oktober  2020, Managing Director dari aplikasi Good Doctor mengatakan bahwa terdapat peningkatan jumlah konsultasi psikolog sebesar tujuh kali lipat jika dibandingkan dengan awal pandemi (12). Aplikasi Riliv, salah satu aplikasi pemberi jasa konsultasi kesehatan mental online juga mengalami pertumbuhan jumlah pengguna yang dipicu oleh pandemi COVID-19. CEO aplikasi Riliv, Maximillian Herli, mengatakan bahwa terjadi kenaikan jumlah unduhan untuk aplikasi Riliv sebesar 50 persen di tahun 2020 serta kenaikan sebesar 400 persen untuk jumlah pengguna aplikasi tersebut di tahun 2022 (13,14). Tidak hanya Good Doctor dan Riliv, Halodoc juga meluncurkan laman untuk konsultasi kesehatan mental pada Juni tahun 2020, dan layanan tersebut berhasil meningkat secara signifikan saat pandemi COVID-19 dan masuk ke dalam 10 besar layanan konsultasi di aplikasi tersebut selama masa pandemi COVID-19 (15).
Maraknya penggunaan layanan konsultasi kesehatan mental menggunakan aplikasi tidak dibarengi dengan penelitian mengenai kualitas yang diberikan oleh penyedia layanan tersebut, studi review yang dilakukan oleh Narvaez (2022) menunjukkan bahwa tidak ditemukannya literatur penelitian sebagai bukti mengenai manfaat serta tantangan yang dihadapi layanan telepsikiatri yang dilakukan di Asia Tenggara (16).
Penelitian sebelumnya menemukan bahwa beberapa platform layanan kesehatan dalam jaringan masih sulit digunakan (17), belum sesuai harapan pengguna (17), sulit menginterpretasi tampilan, dan konten yang belum sesuai dengan tampilan aplikasi (18). Hal tersebut menunjukkan bahwa perkembangan pengguna layanan
Gambaran Layanan Konsultasi Kesehatan Mental Aplikasi Riliv di Indonesia pada Masa ...: Riastuti Kusuma Wardani, dkk
kesehatan umum maupun kesehatan mental harus diseimbangkan dengan perkembangan layanan yang dapat memenuhi harapan pengguna, yaitu pasien atau klien.
Aplikasi layanan telepsikiatri di negara-negara Asia Tenggara  sangat  baru  dan  memerlukan penelitian lebih lanjut dalam disiplin medis dan kesehatan terkait (16). Pelanggan atau pengguna yang bahagia merupakan dasar bisnis yang sukses karena mereka mengarah pada pembelian berulang, loyalitas, dan promosi dari mulut ke mulut ( word of mouth) yang positif (19). Satu pengalaman buruk dapat menyebabkan hilangnya bisnis di masa depan, terutama jika pengguna menyebarkan ketidaksenangan mereka melalui situs media sosial, analisis kepuasan pelanggan mungkin dapat mengidentifikasi sumber persepsi negatif (20).
Evaluasi positif yang diberikan terhadap layanan yang diperoleh pengguna merupakan salah satu alasan utama untuk pengguna untuk tetap melanjutkan pemakaian layanan, hal tersebut juga yang menjunjung tinggi loyalitas pengguna. Oleh sebab itu, tujuan dari penelitian ini adalah untuk melihat persepsi atau penilaian pengguna layanan konsultasi kesehatan mental di dalam aplikasi Riliv untuk mengetahui pengalaman mereka dalam menggunakan layanan dan menampung pendapat-pendapat mereka untuk peningkatan standar layanan telepsikiatri yang diberikan oleh aplikasi Riliv.

## METODE PENELITIAN
Penelitian ini menggunakan metode penelitian kuantitatif dengan desain studi cross-sectional. Metode digunakan untuk melihat gambaran layanan konsultasi kesehatan mental aplikasi Riliv di Indonesia pada masa endemi COVID-19 menurut lima dimensi dalam konsep End User Computing Satisfaction (EUCS) yang terdiri dari Isi, Keakuratan, Tampilan, Kemudahan Penggunaan, dan Ketepatan Waktu. Sumber data dalam penelitian ini adalah data primer dan pengambilan data dalam dilaksanakan di platform sosial media instagram pada Maret hingga Juni 2023. Sampel dalam penelitian ini merupakan pengguna aplikasi Riliv yang berusia ≥ 18 tahun. Data dianalisis menggunakan analisis univariat dan analisis bivariat berupa tabel tabulasi. Penelitian ini telah memperoleh persetujuan etik yang diterbitkan pada 31 Mei 2023 oleh Komisi Etik Fakultas Ilmu Kesehatan UIN Syarif Hidayatullah Jakarta dengan nomor persetujuan etik sebagai berikut Un.01/F.10/ KP.01.1/KE.SP/05.08.041/2023.

## HASIL DAN PEMBAHASAN

## Karakteristik Responden
Tabel 1. Distribusi Karakteristik Responden Pengguna Layanan Konsultasi Kesehatan Mental Aplikasi Riliv
Karakteristik Responden Frekuensi Persentase (%) Usia Remaja Akhir (18 – 25 tahun) 116 79,5 Dewasa Awal (26 – 35 tahun) 29 19,9 Dewasa Akhir (36 – 45 tahun) 1 0,7 Jenis Kelamin Laki-laki 18 12,3 Perempuan 128 87,7 Tahun Menggunakan Aplikasi Riliv 2021 70 47,9 2022 60 41,1 2021 dan 2022 16 11 Intensitas Penggunaan 1 – 5 kali 136 93,2 6 – 10 kali 6 4,1 11 – 15 kali 2 1,4 Lebih dari 15 kali 2 1,4 Total 146 100,0
Hasil yang didapatkan dalam penelitian ini menunjukkan bahwa sebagian besar dari pengguna layanan konsultasi kesehatan mental di aplikasi Riliv pada masa pandemi COVID-19 berjenis kelamin perempuan (87,7%) dan masuk ke dalam kelompok usia 18 – 25 tahun (79,5%). Tingginya  angka  pengguna  berjenis  kelamin perempuan konsisten dengan penelitian-penelitian yang menemukan bahwa, di masa pandemi COVID-19, perempuan lebih banyak mengidap kesehatan mental seperti depresi, kecemasan, dan stres dibandingkan dengan laki-laki, selain itu perempuan lebih banyak berhubungan dengan dampak psikologis dari pandemi COVID-19 serta gejala stress pasca trauma akibat lockdown saat pandemi COVID-19 dibandingkan dengan laki-laki (21–24).
Faktor lain yang dapat mempengaruhi tingginya pengguna perempuan dalam layanan konsultasi kesehatan mental di aplikasi Riliv dan rendahnya pengguna laki-laki adalah faktor laki-laki yang lebih enggan untuk mencari bantuan untuk kesehatan mental dan tekanan psikologis yang mereka alami, hal tersebut dapat muncul akibat beberapa faktor, salah satunya adalah norma maskulinitas tradisional yang melekat pada laki-laki (25–27). Pengguna layanan konsultasi kesehatan mental di aplikasi Riliv mayoritas masuk ke dalam kelompok umur 18 – 25 tahun. Hal tersebut dapat

## Jurnal Kebijakan Kesehatan Indonesia : JKKI
terjadi karena orang-orang yang masuk ke dalam kelompok umur yang lebih tua dapat merasa penggunaan layanan konsultasi kesehatan mental melalui aplikasi Riliv merupakan sesuatu yang sulit atau kompleks, sedangkan orang-orang yang masuk ke dalam kelompok umur produktif dapat beradaptasi lebih cepat terhadap teknologi. Hambatan yang dapat mereka rasakan tidak selalu mengenai akses, tetapi juga hambatan-hambatan yang berkaitan dengan usia, seperti kurangnya keterampilan dan pengalaman dalam menggunakan telehealth atau teknologi secara umum, kurangnya literasi kesehatan, dan kurangnya dukungan dari orang lain, selain kurangnya keterampilan dan pengalaman dalam menggunakan telehealth, orang yang lebih tua dapat merasakan hambatan dalam kepercayaan diri mereka saat menggunakan telehealth (28,29). Pada penelitian ini juga ditemukan bahwa, meskipun tidak jauh berbeda, terdapat lebih banyak pengguna yang menggunakan aplikasi Riliv untuk melakukan konsultasi kesehatan mental di tahun 2021 (47,9%) daripada pengguna yang menggunakan aplikasi Riliv di tahun 2022 (41,1%). Hal tersebut mungkin dapat disebabkan oleh pandemi yang kian membaik di Indonesia pada tahun 2022, sehingga masyarakat dapat kembali mengakses pelayanan kesehatan secara langsung dengan tetap menaati peraturan khusus yang dibuat untuk era normal baru atau new normal di Indonesia (30).

## Kualitas Layanan Konsultasi Kesehatan Mental Aplikasi Riliv
Tabel 2. Analisis Gambaran Kualitas Layanan Konsultasi Kesehatan Mental Aplikasi Riliv di Indonesia Pada Masa
Endemi COVID-19 Kualitas Layanan Konsultasi Kesehatan Mental Aplikasi Riliv Frekuensi Persentase (%) Baik Tidak Baik Total 73 73 146 50% 50% 100%
Hasil  penelitian  yang  tersaji  pada  tabel  2 menunjukkan bahwa terdapat setengah (50%) dari keseluruhan responden memiliki penilaian atau persepsi tidak baik terhadap kualitas layanan konsultasi kesehatan mental di dalam aplikasi Riliv.
Kualitas layanan memiliki peran sebagai penentu penting bagi keberhasilan dan kelangsungan hidup organisasi manapun dalam lingkungan yang kompetitif. Meskipun ada banyak faktor yang mempengaruhi sikap dan niat konsumen, namun
telah diakui bahwa persepsi kualitas layanan merupakan faktor yang paling penting (31).
Hasil analisis yang dilakukan dalam penelitian ini menunjukkan bahwa setengah dari responden, atau sebesar 50%, memiliki penilaian yang tidak baik terhadap kualitas layanan konsultasi kesehatan mental aplikasi Riliv secara keseluruhan berdasarkan lima dimensi, yaitu isi, keakuratan, tampilan, kemudahan penggunaan, dan ketepatan waktu. Masih tingginya angka responden yang memiliki penilaian yang tidak baik terhadap layanan konsultasi kesehatan mental aplikasi Riliv perlu menjadi perhatian bagi pengembang sebab kualitas layanan dapat mempengaruhi niat perilaku pengguna untuk menentukan apakah pengguna akan tetap menggunakan layanan atau meninggalkannya. Kualitas layanan yang baik akan meyakinkan pengguna untuk melakukan permintaan layanan kembali. Kualitas pelayanan yang memenuhi harapan pengguna akan menimbulkan loyalitas (32).
Kualitas layanan yang dirasakan oleh pengguna berefek kepada niat perilaku pengguna seperti word of mouth serta intensitas penggunaan kembali. Word  of  mouth dan intensitas penggunaan kembali dapat dilihat sebagai contoh bentuk dari loyalitas pengguna (33). Jika terdapat banyak pengguna yang merekomendasikan layanan konsultasi kesehatan mental kepada orang lain maka akan baik bagi aplikasi Riliv, sebab pasien dalam jaringan aktif mencari rekomendasi dan lebih menyukai pendapat orang lain yang berbagi tentang pengalaman mereka, ulasan positif berdampak signifikan pada layanan telehealth (34). Maka dari itu, pengembang aplikasi Riliv harus tetap memperhatikan kualitas layanan konsultasi kesehatan mental dalam aplikasi mereka dan selalu mempertimbangkan ulasan yang diberikan para pengguna.

## Isi
Tabel 3. Penilaian Responden Terhadap Isi Layanan
Konsultasi Kesehatan Mental Aplikasi Riliv Isi Frekuensi Persentase (%) Baik Tidak Baik Total 83 63 146 56,8% 43,2% 100%
Data dalam tabel 3 menunjukkan bahwa sebanyak 83 responden (56,8%) memberikan penilaian baik terhadap isi dalam layanan konsultasi kesehatan mental di aplikasi Riliv.
Gambaran Layanan Konsultasi Kesehatan Mental Aplikasi Riliv di Indonesia pada Masa ...: Riastuti Kusuma Wardani, dkk
Tabel 4. Analisis Isi dengan Kualitas Layanan Konsultasi
Kesehatan Mental Aplikasi Riliv Isi Kualitas Layanan Konsultasi Kesehatan Mental Aplikasi Riliv Baik Tidak Baik n % n % Baik 66 79,5 17 20,5 Tidak Baik 7 11,1 56 88,9 Total 73 50 73 50 Informasi dengan kualitas yang baik akan meningkatkan persepsi kegunaan pengguna dan meningkatkan penggunaan suatu sistem informasi (35). Dalam penelitian ini, masih terdapat pengguna yang merasa tidak setuju bahwa informasi yang diberikan saat melakukan konsultasi kesehatan mental di aplikasi Riliv relevan dengan masalah kesehatan mental yang sedang didiskusikan oleh pengguna dan psikolog yang menangani mereka. Selain itu, terdapat pengguna layanan konsultasi kesehatan mental di aplikasi Riliv yang merasa informasi yang diberikan saat melakukan konsultasi tidak membantu masalah kesehatan mental yang sedang mereka hadapi. Pada data yang disajikan pada tabel 3 menunjukkan bahwa mayoritas responden atau sebanyak 56 responden (88,9%) yang memiliki penilaian tidak baik terhadap isi juga memiliki penilaian tidak baik terhadap kualitas layanan konsultasi kesehatan mental aplikasi Riliv. Hal tersebut menunjukkan bahwa masih adanya ketidaksesuaian yang dirasakan oleh pengguna terhadap isi dalam layanan konsultasi kesehatan mental yang dilakukan di aplikasi Riliv. Psikolog sebagai pemberi informasi harus menyajikan informasi dengan cara yang mudah dipahami dan ringkas. Informasi yang tidak mudah ditafsirkan, sulit dipahami, atau tidak konsisten dapat menyebabkan pengguna menghindari penggunaan informasi tersebut dan mencari cara lain untuk menerima informasi (36). Selain itu, informasi berkualitas rendah, tidak lengkap, dan tidak akurat dapat mempengaruhi hasil dan keputusan perilaku pengguna (37).
Pemberian informasi yang tidak sesuai saat konsultasi mungkin saja berhubungan dengan penghalang yang dirasakan oleh psikolog dalam penggunaan layanan konsultasi kesehatan mental di aplikasi Riliv. Self-efficacy yang rendah dalam penggunaan telepsikiatri mungkin dirasakan oleh psikolog karena terdapat kesulitan yang mereka rasakan dalam menggunakan telepsikiatri untuk praktik konsultasi mereka serta kurangnya pelatihan yang didapat. Selain itu, mungkin terdapat
juga psikolog yang merasa takut mereka akan melewatkan perilaku pasien, seperti perubahan halus dalam kontak mata dan modulasi bicara, akan hilang saat tidak bertemu langsung dengan pasien (38).
Untuk memberikan perawatan efektif yang dapat membantu pasien, psikolog perlu didukung dalam menggunakan telepsikiatri. Hal ini mencakup memiliki cukup pelatihan atau sumber daya yang tersedia untuk membantu mereka mempraktikkan keahlian mereka secara paling efektif dari jarak jauh (39). Oleh sebab itu, pemberian pelatihan kepada para psikolog sebagai pemberi informasi dalam sesi konsultasi kesehatan mental perlu diperhatikan untuk menambah kualitas informasi yang akan diterima oleh pengguna. Pemberian pelatihan tersebut berguna untuk meningkatkan kemahiran serta self-efficacy para psikolog, terutama pelatihan untuk menangkap perilaku pasien dalam sesi konsultasi melalui aplikasi, agar kualitas informasi yang diberikan dapat relevan dan membantu menyelesaikan masalah pasien yang didiskusikan pada saat sesi konsultasi berlangsung.

## Keakuratan
Tabel 5. Penilaian Responden Terhadap Keakuratan Layanan Konsultasi Kesehatan Mental Aplikasi Riliv
Keakuratan Frekuensi Persentase (%) Baik Tidak Baik Total 102 44 146 69,9% 30,1% 100%
Berdasarkan tabel 5, diketahui bahwa lebih dari setengah responden atau sebesar 69,9% responden memberikan penilaian baik terhadap keakuratan dalam layanan konsultasi kesehatan mental di aplikasi Riliv.

## Tabel 6. Analisis Keakuratan dengan Kualitas Layanan
Konsultasi Kesehatan Mental Aplikasi Riliv Keakuratan Kualitas Layanan Konsultasi Kesehatan Mental Aplikasi Riliv Baik Tidak Baik n % n % Baik 66 64,7 36 35,3 Tidak Baik 7 15,9 37 84,1 Total 73 50 73 50
Meskipun sebagian besar responden merasa aplikasi Riliv sudah akurat, di dalam penelitian ini masih terdapat responden yang melaporkan bahwa masih terjadi error saat mereka melakukan konsultasi kesehatan mental di aplikasi Riliv dan
masih membutuhkan waktu loading yang lama dalam aplikasi Riliv. Hasil penelitian yang terdapat pada tabel 4 menunjukkan bahwa terdapat sebanyak 37 responden (84,1%) responden yang memiliki penilaian tidak baik terhadap keakuratan dan kualitas layanan konsultasi kesehatan mental aplikasi Riliv secara keseluruhan.
Peningkatan sistem perlu terus dilakukan agar kelemahan sistem seperti error dan lamanya waktu loading yang dirasakan oleh pengguna aplikasi Riliv dapat berkurang. Dalam penelitian oleh Justitia dkk (2019) terdapat hasil yang menunjukkan bahwa rendahnya kepuasan pengguna disebabkan oleh error atau kesalahan yang sering terjadi dalam server dan respons aplikasi yang lambat terhadap permintaan pengguna (40).  Hasil penelitian oleh Hoxmeier dan DiCesare (2000) juga mendapati hasil serupa, di mana saat waktu yang dibutuhkan oleh sistem untuk merespon meningkat terjadi penurunan kepuasan pengguna, dan hasil dari uji Fisher’s Exact Test pada penelitian tersebut menunjukkan bahwa ketidakpuasan akan waktu yang dibutuhkan sistem untuk merespons akan menyebabkan pengguna menghentikan pemakaian (41). Dalam mengakses konten yang tersedia dalam jaringan, jika terdapat penundaan dalam mengakses dapat menimbulkan berkurangnya kepuasan pengguna, sikap yang tidak menguntungkan terhadap penggunaan di masa mendatang atau mengunjungi kembali konten tersebut, dan mengurangi penjualan (41,42). Jika pelanggan merasa puas, informasi tersebut dapat mencapai empat pelanggan lainnya, namun jika pelanggan merasa tidak puas, informasi tersebut akan menyebar ke 10 orang lain atau bahkan lebih jika masalahnya serius (43). Dalam penelitian ini, pengguna layanan konsultasi kesehatan mental di aplikasi Riliv paling banyak berada di rentang 1 hingga 5 kali penggunaan, keakuratan dan daya tanggap sistem dalam pemberian informasi dalam aplikasi kesehatan mental Riliv harus diperhatikan karena dapat memberikan pengaruh terhadap kepuasan pengguna aplikasi Riliv yang dapat mendorong loyalitas pengguna.

## Tampilan
Tabel 7. Penilaian Responden Terhadap Tampilan Layanan Konsultasi Kesehatan Mental Aplikasi Riliv Tampilan Frekuensi Persentase (%) Baik Tidak Baik Total 80 66 146 54,8% 45,2% 100%

## Tabel 7 menunjukkan bahwa terdapat sebanyak
54,8% dari total responden menyatakan penilaian baik terhadap tampilan aplikasi Riliv.

## Tabel 8. Analisis Tampilan dengan Kualitas Layanan
Konsultasi Kesehatan Mental Aplikasi Riliv Tampilan Kualitas Layanan Konsultasi Kesehatan Mental Aplikasi Riliv Baik Tidak Baik n % n % Baik 65 81,3 15 18,8 Tidak Baik 8 12,1 58 87,9 Total 73 50 73 50 Tampilan antarmuka sebuah aplikasi memiliki beberapa aspek di dalamnya, seperti kemudahan penggunaan tombol pada layar, kesesuaian warna, kesesuaian fungsi dengan gambar yang digunakan, kewajaran menu yang ditampilkan, kemudahan daftar menu yang disediakan, dan tampilan yang menarik (44). Dalam penelitian ini, tampilan aplikasi Riliv dinilai berdasarkan menarik atau tidaknya tampilan aplikasi Riliv, kemudahan tampilan dalam membantu pengguna, kesesuaian tampilan dengan konten yang diterima, kemudahan dalam interpretasi tampilan, serta penggunaan warna. Berdasarkan hasil penelitian yang dilakukan, masih terdapat pengguna yang merasa desain dan tata letak menu di aplikasi Riliv belum tersusun dengan baik, selain itu masih terdapat juga pengguna yang merasa aplikasi Riliv tidak nyaman digunakan karena warna yang mencolok serta tampilan yang sulit diinterpretasikan dan tidak sesuai dengan konten yang diterima. Terdapat sebesar  87,9%  responden  yang  menyatakan penilaian tidak baik terhadap tampilan dan juga kualitas layanan konsultasi kesehatan mental aplikasi Riliv.
Keluhan terhadap tampilan aplikasi Riliv yang ditemukan dalam penelitian ini sejalan dengan hasil penelitian oleh Allifiandi dan Anggalih (2022), di mana pengguna aplikasi Riliv merasa masih terdapat masalah-masalah pada tampilan serta ilustrasi yang ada di aplikasi Riliv, seperti ilustrasi yang sama untuk beberapa konteks sehingga tidak sesuai dengan tujuan dan terkesan dipaksakan, ilustrasi yang sulit diinterpretasikan, serta ilustrasi yang tidak menjelaskan atau memvisualisasikan konteks yang dimaksud sehingga sulit diterjemahkan (18). Permasalahan terkait tampilan aplikasi Riliv tersebut harus diperhatikan karena keseimbangan kontras tampilan, kemudahan interpretasi gambar pada menu, serta kemudahan penggunaan fitur
Gambaran Layanan Konsultasi Kesehatan Mental Aplikasi Riliv di Indonesia pada Masa ...: Riastuti Kusuma Wardani, dkk
menu merupakan beberapa faktor preferensi utama yang sangat penting bagi pengguna dan hal tersebut dapat menentukan kepuasan pengguna dalam menggunakan aplikasi konsultasi dokter (Silalahi et al. , 2018). Keramahan atau user-friendly suatu aplikasi ditentukan oleh penggunaan grafis dan tampilan antarmuka yang sesuai, keramahan suatu aplikasi terkait dengan efektivitas serta efisiensi yang dapat memberikan atau membentuk perasaan puas bagi pengguna layanan konsultasi kesehatan mental di aplikasi Riliv atau pengguna aplikasi Riliv secara umum.
Pengguna mengutamakan kenyamanan saat menggunakan aplikasi untuk melakukan konsultasi, terlebih lagi jika mereka sudah merasakan kesulitan yang dialami akibat kondisi kesehatan mereka. Penggunaan aplikasi dapat meningkat saat pengguna merasakan aplikasi mudah dipelajari akibat desain antarmuka dan fitur aplikasi, sehingga memungkinkan munculnya kepuasan pada pengguna (46).

## Kemudahan Penggunaan
Tabel 9. Penilaian Responden Terhadap Kemudahan
Penggunaan Layanan Konsultasi Kesehatan Mental Aplikasi Riliv Kemudahan Penggunaan Frekuensi Persentase (%) Baik Tidak Baik Total 78 68 146 53,4% 46,6% 100%
Dari data yang terdapat pada tabel 9, diketahui bahwa terdapat lebih dari setengah responden atau sebanyak 53,4% responden memberikan penilaian yang baik terhadap kemudahan penggunaan dalam layanan konsultasi kesehatan mental di aplikasi Riliv.
Tabel 10. Analisis Kemudahan Penggunaan dengan
Kualitas Layanan Konsultasi Kesehatan Mental Aplikasi Riliv Kemudahan Penggunaan Kualitas Layanan Konsultasi Kesehatan Mental Aplikasi Riliv Baik Tidak Baik n % n % Baik 63 80,8 15 19,2 Tidak Baik 10 14,7 58 85,3 Total 73 50 73 50
Dari hasil analisis juga didapati bahwa mayoritas responden, atau sebesar 85,3%, yang memiliki penilaian tidak baik terhadap kemudahan penggunaan aplikasi Riliv juga memiliki penilaian
tidak baik terhadap kualitas layanan konsultasi kesehatan mental di aplikasi Riliv.
Penelitian yang dilakukan oleh Amalia dan Farudi  (2021)  menyatakan  kesulitan  dalam menggunakan sistem dapat sangat mempengaruhi kepuasan pengguna secara negatif serta menemukan bahwa terdapat hubungan positif yang signifikan antara persepsi kemudahan penggunaan dengan kepuasan pengguna yang dapat diartikan semakin banyak pengguna merasakan kemudahan penggunaan maka akan semakin besar juga tingkat kepuasan penggunanya (47). Di dalam penelitian oleh Alfiansyah (2020), Aini (2022), dan Wulandari (2020) juga ditemukan bahwa kemudahan penggunaan memiliki hubungan dengan kepuasan pengguna (48–50). Berdasarkan hasil analisis penelitian ini, masih ditemukan pengguna yang tidak setuju bahwa aplikasi Riliv mudah digunakan dan merasa pembuatan janji konsultasi kesehatan mental di aplikasi Riliv memiliki alur yang membingungkan. Hal tersebut menunjukkan bahwa aplikasi Riliv harus meningkatkan performa mereka agar aplikasi mudah digunakan namun masih disertai dengan efisiensi sehingga tidak membingungkan pengguna yang ingin melakukan konsultasi kesehatan mental.
Proses yang sulit dilakukan sebisa mungkin harus dihindari agar tidak timbul pengalaman negatif atau ketidakpuasan yang dialami oleh pengguna (51). Untuk meningkatkan kemudahan penggunaan layanan konsultasi kesehatan mental serta memudahkan pengguna dalam menggunakan aplikasi Riliv, aplikasi yang sederhana, mumpuni, kredibel, dan handal sangat dibutuhkan (52). Kepuasan pengguna yang timbul akibat mudahnya penggunaan aplikasi Riliv juga dapat mendukung niat seseorang untuk menggunakan layanan konsultasi kesehatan mental di aplikasi Riliv. Persepsi negatif terhadap aplikasi dapat mengurangi niat masyarakat untuk menggunakan aplikasi tersebut, persepsi negatif dapat tetap muncul jika aplikasi sulit digunakan meskipun aplikasi dinilai sangat bermanfaat bagi mereka (46).
Pada penelitian ini jumlah pengguna dewasa yang lebih tua jauh di bawah pengguna dalam kelompok usia remaja akhir, jika performa aplikasi Riliv serta layanan kesehatan mentalnya ditingkatkan agar lebih mudah dioperasikan dinilai dapat mempengaruhi penerimaan yang berdampak positif bagi niat penggunaan bagi masyarakat di kelompok usia yang lebih tua, sebab  kepuasan layanan medis, kemudahan penggunaan, dan kualitas informasi merupakan variabel penentu

## Jurnal Kebijakan Kesehatan Indonesia : JKKI
yang mempengaruhi penerimaan mereka untuk sistem telehealth (53).

## Ketepatan Waktu
Tabel 11. Penilaian Responden Terhadap Ketepatan Waktu Layanan Konsultasi Kesehatan Mental Aplikasi Riliv Ketepatan Waktu Frekuensi Persentase (%) Baik Tidak Baik Total 128 18 146 87,7% 12,3% 100%
Data dalam tabel 11 menunjukkan bahwa lebih dari tiga perempat total responden (87,7%) memberikan penilaian baik terhadap ketepatan waktu dalam layanan konsultasi kesehatan mental di aplikasi Riliv.
Tabel 12. Analisis Ketepatan Waktu dengan Kualitas Layanan Konsultasi Kesehatan Mental Aplikasi Riliv Ketepatan Waktu Kualitas Layanan Konsultasi Kesehatan Mental Aplikasi Riliv Baik Tidak Baik n % n % Baik 73 57 55 43 Tidak Baik 0 0 18 100 Total 73 50 73 50 Penelitian ini mendapati hasil bahwa sebanyak
87,7% responden menyatakan penilaian yang baik terhadap ketepatan waktu layanan konsultasi kesehatan mental aplikasi Riliv, selain itu seluruh responden yang memiliki penilaian tidak baik terhadap ketepatan waktu juga memiliki penilaian yang tidak baik terhadap kualitas layanan.. Dalam penelitian oleh Alfiansyah dkk (2020), Azzahrah dkk (2020), dan Hanesya dkk (2021) didapati hasil bahwa terdapat hubungan antara ketepatan waktu dengan kepuasan pengguna telemedicine dan sistem informasi yang berada di rumah sakit (48,54,55).
Hasil penelitian menunjukkan bahwa masih terdapat pengguna yang menyatakan konsultasi kesehatan di aplikasi Riliv tidak dilakukan tepat waktu dan respon psikolog pada saat konsultasi kesehatan mental masih membutuhkan banyak jeda. Adanya hubungan yang signifikan antara ketepatan waktu dan kepuasan pengguna menjadi penegas bahwa ketepatan waktu sangat penting karena hal tersebut juga dapat mempengaruhi kepercayaan pengguna terhadap psikolog pada layanan konsultasi kesehatan mental di aplikasi Riliv.
Kecepatan dan ketepatan pelayanan juga berkaitan dengan profesionalisme psikolog yang memberikan pelayanan, pegawai yang profesional akan mampu memberikan pelayanan secara tepat dan cepat (56). Toleransi pasien untuk menunggu menurun drastis setelah satu jam pertama dan penantian ini dapat mendorong tidak hanya penurunan kepuasan, namun juga penurunan kepercayaan pada penyedia serta kualitas perawatan yang dirasakan (57).

## KESIMPULAN
Layanan konsultasi kesehatan mental di aplikasi Riliv pada masa endemi COVID-19 menurut lima dimensi End User Computing Satisfaction (EUCS), yaitu  Isi,  Keakuratan, Tampilan,  Kemudahan Penggunaan, dan Ketepatan Waktu masih belum sepenuhnya dinilai baik oleh para pengguna. Aplikasi Riliv diharapkan dapat mempertahankan dan meningkatkan ketepatan waktu pelayanan yang sudah dinilai baik oleh pengguna dan dapat meningkatkan kualitas dari aspek isi, keakuratan, tampilan, dan kemudahan penggunaan aplikasi sehingga pemanfaatan oleh pengguna meningkat. Pengembang aplikasi Riliv diharapkan dapat terus memperhatikan masalah bug atau gangguan dalam sistem sehingga dapat meminimalisir error atau kesalahan sistem yang dialami oleh pengguna serta meningkatkan daya tanggap sistem aplikasi Riliv serta memastikan adanya simplifikasi yang tetap memperhatikan efisiensi terhadap aplikasi Riliv agar aplikasi Riliv dapat lebih mudah digunakan oleh seluruh masyarakat dari semua kelompok usia. Selain itu, diharapkan penelitian terkait pemberian layanan konsultasi mental dalam jaringan terus dilakukan agar pemberian pelayanan tersebut dapat terus dikembangkan.

## DAFTAR PUSTAKA
1.   WHO.  COVID-19  pandemic  triggers  25% increase in prevalence of anxiety and depression worldwide [Internet]. World Health Organization.  2022  [dikutip  3  Juli  2023]. Tersedia  pada:  https://www.who.int/news/ item/02-03-2022-covid-19-pandemic-triggers- 25-increase-in-prevalence-of-anxiety-and- depression-worldwide
2.   Al Dhaheri AS, Bataineh MF, Mohamad MN, Ajab A, Al Marzouqi A, Jarrar AH, et al. Impact of COVID-19 on mental health and quality of life: Is there any effect? A crosssectional study of the MENA region. PLoS One [Internet].
Gambaran Layanan Konsultasi Kesehatan Mental Aplikasi Riliv di Indonesia pada Masa ...: Riastuti Kusuma Wardani, dkk
2021;16(3 March):1–17. Tersedia pada: http:// dx.doi.org/10.1371/journal.pone.0249107 3.   Tsheten T, Chateau D, Dorji N, Pokhrel HP,
Clements ACA,  Gray  DJ,  et  al.  Impact  of COVID-19 on mental health in Bhutan: a way forward for action. Lancet Reg Heal - Southeast Asia [Internet]. 2023;11:100179. Tersedia pada: https://doi.org/10.1016/j.lansea.2023.100179 4.   Pappa S, Chen J, Barnett J, Chang A, Dong
RK, Xu W, et al. A systematic review and meta- analysis of the mental health symptoms during the Covid-19 pandemic in Southeast Asia. Psychiatry Clin Neurosci. 2022;76(2):41–50.
5.   Adhanom Ghebreyesus T. Addressing mental health needs: an integral part of COVID-19 response. World Psychiatry. 2020.
6.   Moreno C, Wykes T, Galderisi S, Nordentoft M, Crossley N, Jones N, et al. How mental health care should change as a consequence of the COVID-19 pandemic. The Lancet Psychiatry. 2020;7(9):813–24.
7.   Rahman S. Commentary: Malaysia’s white flag movement a symbol of hope and helping each other [Internet]. Channel News Asia. 2021. Tersedia pada: https://www.channelnewsasia. com/commentary/commentary-malaysias- white-flag-movement-symbol-hope-and- helping-each-other-2030226
8.   Nortajuddin A. Suicide: Thailand’s Epidemic In A Pandemic. The Asean Post. 2021.
9.   Biro Komunikasi dan Pelayanan Masyarakat. Kemenkes Beberkan Masalah Permasalahan Kesehatan Jiwa di Indonesia [Internet]. Kementerian Kesehatan RI. 2021. Tersedia pada: https://sehatnegeriku.kemkes.go.id/baca/ rilis-media/20211007/1338675/kemenkes- beberkan-masalah-permasalahan-kesehatan- jiwa-di-indonesia/
10.  Perhimpunan Dokter Spesialis Kedokteran Jiwa Indonesia. Masalah Psikologis 2 Tahun Pandemi COVID-19 di Indonesia (Swaperiksa PDSKJI Maret 2020 - Maret 2022) [Internet]. 2022. Tersedia pada: http://pdskji.org/home
11.  Soron TR, Shariful Islam SM, Ahmed HU,
Ahmed SI. The hope and hype of telepsychiatry during the COVID-19 pandemic. The Lancet Psychiatry [Internet]. 2020;7(8):e50. Tersedia pada:  http://dx.doi.org/10.1016/S2215- 0366(20)30260-1
12.  CNN Indonesia. Jumlah Konsultasi Psikologi
Telemedis  Meningkat  saat  Pandemi [Internet]. CNN Indonesia. 2020. Tersedia pada: https://www.cnnindonesia.com/gaya-
hidup/20201016145209-255-559263/jumlah- konsultasi-psikologi-telemedis-meningkat-saat- pandemi
13.  Suminar A. Tiga Startup Indonesia Tumbuh di  Tengah  Pandemi  [Internet].  Suara Surabaya. 2020. Tersedia pada: https://www. suarasurabaya.net/ekonomibisnis/2020/tiga- startup-indonesia-tumbuh-di-tengah-pandemi/
14.  Sugandi AT. East Ventures Suntik Pendanaan Awal ke Startup Riliv [Internet]. Bisnis.com. 2022. Tersedia pada: https://teknologi.bisnis. com/read/20220120/266/1491475/east- ventures-suntik-pendanaan-awal-ke-startup- riliv
15.  Andi D. Pengguna layanan kesehatan mental Halodoc meningkat signifikan saat pandemi Covid-19 [Internet]. Kontan. 2021. Tersedia pada: https://kesehatan.kontan.co.id/news/ pengguna-layanan-kesehatan-mental-halodoc- meningkat-signifikan-saat-pandemi-covid-19 16.  Narvaez  RA.  Benefits  and  challenges  of telepsychiatry services in SouthEast Asian nations  during  the  COVID-19  era:  An integrative review. Asian J Psychiatr [Internet]. 2022;73(January):103114. Tersedia  pada: https://doi.org/10.1016/j.ajp.2022.103114
17.  Putri CA, Yahya ES, Kania R, Kunci K. Sikap dan Niat Perilaku Generasi Milenial dalam Adopsi Platform Telemedicine untuk Layanan Konsultasi Kesehatan Mental. 2021;4–5.
18.  Allifiandi AR, Anggalih  NN.  Perancangan ilustrasi produk pada aplikasi riliv. J Barik. 2022;4(2):160–9.
19.  Momaya  J,  Muley  K.  Customer  Feedback System & Businesses. Int J Sci Res Eng Manag [Internet]. 2022;6(7):5–8. Tersedia pada: https:// ijsrem.com/download/customer-feedback- system-businesses/
20.  Zeel Shah, Shambhu Rai. A Research Paper on  the  Effects  of  Customer  Feedback  on Business. Int J Adv Res Sci Commun Technol. 2022;(July):672–5.
21.  Liu N, Zhang F, Wei C, Jia Y, Shang Z, Sun L, et al. Prevalence and predictors of PTSS during COVID-19 outbreak in China hardest-hit areas: Gender differences matter. Psychiatry Res  [Internet].  2020;287(March):112921. Tersedia  pada:  https://doi.org/10.1016/j. psychres.2020.112921
22.  Wang C, Riyu P, Xiaoyang W, Yilin T, Linkang X, Cyrus SH, et al. Immediate Psychological Responses and Associated Factors during the Initial Stage of the 2019 Coronavirus Disease
(COVID-19) Epidemic among the General Population in China. Int J Environ Res Public Health [Internet]. 2020;17(5):1–25. Tersedia pada:  https://www.ncbi.nlm.nih.gov/pmc/ articles/PMC7084952/
23.  Amerio A,  Bertuccio  P,  Santi  F,  Bianchi D, Brambilla A, Morganti A, et al. Gender Differences in COVID-19 Lockdown Impact on Mental Health of Undergraduate Students. Front Psychiatry. 2022;12(January):1–8.
24.  Rossi R, Socci V, Talevi D, Mensi S, Niolu C, Pacitti F, et al. COVID-19 Pandemic and Lockdown Measures Impact on Mental Health Among the General Population in Italy. Front Psychiatry. 2020;11(August):7–12.
25.  Staiger T,  Stiawa  M,  Mueller-Stierlin AS, Kilian R, Beschoner P, Gündel H, et al. Masculinity and Help-Seeking Among Men With Depression: A Qualitative Study. Front Psychiatry. 2020;11(November):1–9.
26.  Chatmon BN. Males and Mental Health Stigma. Am J Mens Health. 2020;14(4).
27.  Sagar-Ouriaghli I, Godfrey E, Bridge L, Meade L, Brown JSL. Improving Mental Health Service Utilization Among Men: A Systematic Review and Synthesis of Behavior Change Techniques Within Interventions Targeting Help-Seeking. Am J Mens Health. 2019;13(3).
28.  Haimi  M. The  tragic  paradoxical  effect  of telemedicine on healthcare disparities - a time for redemption : a narrative review. BMC Med Inform Decis Mak [Internet]. 2023;4:1–10. Tersedia pada: https://doi.org/10.1186/s12911- 023-02194-4
29.  Yu  J,  Bekerian  DA.  Telemental  Health and Diverse Populations amid COVID-19. Encyclopedia [Internet]. 2023;3(1):267–78. Tersedia pada: https://www.mdpi.com/2673- 8392/3/1/17
30.  Biro Komunikasi dan Pelayanan Masyarakat.
Pandemi COVID-19 di Indonesia Membaik [Internet]. Kementerian Kesehatan RI. 2022
[dikutip 26 Juni 2023]. Tersedia pada: https:// sehatnegeriku.kemkes.go.id/baca/rilis- media/20220412/4539638/pandemi-covid-19- di-indonesia-membaik/
31.  Aliman NK, Mohamad WN. Linking Service Quality, Patients’ Satisfaction and Behavioral Intentions: An Investigation on Private Healthcare in Malaysia. Procedia - Soc Behav
Sci [Internet]. 2016;224(August 2015):141–8.
Tersedia pada: http://dx.doi.org/10.1016/j. sbspro.2016.05.419
32.  Murhadi WR, Karsana W. Effect of Service Quality and Patient Satisfaction on Behavioral Intention. J Entrep Bus. 2021;2(1):25–36.
33.  Kitapci O, Akdogan C, Dortyol İT. The Impact of Service Quality Dimensions on Patient Satisfaction, Repurchase Intentions and Word-of-Mouth Communication in the Public Healthcare Industry. Procedia - Soc Behav Sci. 2014;148:161–9.
34.  Priescu I, Oncioiu I. Measuring the Impact of Virtual Communities on the Intention to Use Telemedicine Services. Healthc. 2022;10(9):1– 16.
35.  Nuryanti Y, Hutagalung D, Nadeak M, Abadiyah S, Novitasari D. Understanding the Links between System Quality , Information Quality , Service Quality , and User Satisfaction in the Context of Online Learning. Int J Scoial Manag Stud [Internet]. 2021;02(04):54–64. Tersedia pada: https://www.ijosmas.org/index. php/ijosmas/article/view/51%0Ahttps://www.
ijosmas.org
36.  Laumer S, Maier C, Weitzel T, Laumer S, Maier C. Information quality, user satisfaction, and the manifestation of workarounds: a qualitative and quantitative study of enterprise content management system users. Eur J Inf Syst. 2017;26(4):333–60.
37.  Jiang G, Liu F, Liu W, Liu S, Chen Y, Xu D. Effects of information quality on information adoption on social media review platforms: moderating role of perceived risk. Data Sci Manag [Internet]. 2021;1(1):13–22. Tersedia pada: https://doi. org/10.1016/j.dsm.2021.02.004
38.  Watson JD, Pierce BS, Tyler CM, Donovan EK, Merced K, Mallon M, et al. Barriers and Facilitators to Psychologists’ Telepsychology Uptake during the Beginning of the COVID-19 Pandemic. Int J Environ Res Public Health. 2023;20(8).
39.  Wilczewski H, Paige SR, Ong T, Barrera JF, Soni H, Welch BM, et al. Perceptions of Telemental Health  Care  Delivery  During  COVID-19: A  Cross-Sectional  Study  With  Providers, February-March  2021.  Front  Psychiatry. 2022;13(April):1–9.
40.  Justitia A, Semiati R, Ayuvinda NR. Customer Satisfaction Analysis of Online Taxi Mobile Apps. J Inf Syst Eng Bus Intell. 2019;5(1):85.
41.  Hoxmeier JA, DiCesare C. Association for Information Systems AIS Electronic Library (AISeL) System Response Time and User Satisfaction: An Experimental Study of Browser-
Gambaran Layanan Konsultasi Kesehatan Mental Aplikasi Riliv di Indonesia pada Masa ...: Riastuti Kusuma Wardani, dkk
based Applications Recommended Citation “System Response Time and User Satisfaction: An Experimental Study of B. AMCIS 2000 Proc [Internet]. 2000;347:2000. Tersedia pada: http:// aisel.aisnet.org/amcis2000http://aisel.aisnet. org/amcis2000/347
42.  Smith AC, Ralph BCW, Marty-Dugas J, Smilek D. Loading. . . Loading. . . The influence of download time on information search. PLoS One [Internet]. 2019;14(12):1–24. Tersedia pada: http://dx.doi.org/10.1371/journal.pone.0226112
43.  Prakash  B.  Patient  Satisfaction.  J  Cutan Aesthet Surg [Internet]. 2010;3(3):151–155. Tersedia pada: https://www.ncbi.nlm.nih.gov/ pmc/articles/PMC3047732/
44.  Thinnukool O, Khuwuthyakorn P, Wientong P, Panityakul T. Non-Prescription Medicine Mobile Healthcare Application : Smartphone-Based Software Design and Development Review. Int J Interact Mob Technol. 2017;11(5):130–46.
45.  Silalahi R., Hartono N, Tumpak M. Profile and preferences users of doctors consultation application in Indonesia Profile and preferences users of doctors consultation application in Indonesia. IOP Conf Ser Earth Environ Sci. 2018;195(1).
46.  Wardana  ENS,  Sihite  J. The  Influence  Of Ease Of Use, Usefulness, Privacy Risk, and Government Support Towards Young Adult’s Usage Intention On mHealth During Covid-19 In Jakarta (Case Study On Halodoc). Int Humanit Appl Sci J. 2021;4(2):64–74.
47.  Amalia AGR, Fahrudi ANLI. The Relationship Between Perceived Ease of Use , Perceived Usefulness and Perceived Loss of Control with User Satisfaction in Mandatory Setting. Adv Econ Bus Manag Res. 2021;191(AICoBPA 2020):171–3.
48.  Alfiansyah G, Fajeri AS, Santi MW, Swari SJ. Evaluasi Kepuasan Pengguna Electronic Health Record (EHR) Menggunakan Metode EUCS (End User Computing Satisfaction) di Unit Rekam Medis Pusat RSUPN Dr. Cipto Mangunkusumo. J Penelit Kesehat “SUARA
FORIKES” (Journal Heal Res “Forikes Voice”). 2020;11(3):258.
49.  Qurratu Aini N. Analisis Kepuasan Pengguna Layanan Aplikasi Telemedicine di DKI Jakarta Pada Masa Pandemi Covid-19. Andalas; 2022. 50.  Wulandari A, Febrianti F. Covid - 19 Self - Isolation Telemedicine Service User Satisfaction in Indonesia. Al-Sihah Public Heal Sci J. 2022;14(1):142–52.
51.  Christian M, Indriyarti ER, Sunarno S, Wibowo S. Determinants of Satisfaction Using Healthcare Application : A Study on Young Halodoc Users in Jakarta During the COVID-19 Pandemic. Appl Quant Anal. 2022;2(1):36–48.
52.  Tiara  K,  Antonio  F.  The  Influence  Of Telemedicine Usability On Patient Loyalty Mediated By Patients ’ Trust And Satisfaction : A Study At Hospitals Of State-Owned Enterprises In Indonesia. J Pendidik Tambusai. 2022;6(1):2326–41.
53.  Zhou M, Zhao L, Kong N, Campy KS, Qu S, Wang S. Factors influencing behavior intentions to telehealth by Chinese elderly : An extended TAM  model.  Int  J  Med  Inform  [Internet]. 2019;126(2):118–27. Tersedia pada: https:// doi.org/10.1016/j.ijmedinf.2019.04.001
54.  Hanesya AF, Novi Marchianti AC, Bukhori S. Evaluation of the Hospital Information System (HIS ) using EUCS and PIECES Methods on the Medical Record Section of RSUD dr. Haryoto Lumajang. Ijconsist Journals. 2021;3(1):13–20. 55.  Azzahrah F, Adian YAP, Budiarto W. Analisis Kepuasan Pengguna Mobile E-Health berdasarkan Metode End User Computing Satisfaction (Studi di 5 Puskesmas di Kota Surabaya). J Kesehat. 2020;11(3):395.
56.  Syam AR, Arifin S. Quality of Educational Services in Islam Perspective. Work Environ Sci Soc Technol. 2019;
57.  Bleustein C, Rothschild DB, Valen A, Valaitis E, Schweitzer L, Jones R. Wait times, patient satisfaction scores, and the perception of care. Am J Manag Care. 2014;20(5):393–400.