## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i1.5486

## Analisis Sentimen dan Pemodelan Topik Aplikasi Telemedicine Pada Google Play Menggunakan BiLSTM dan LDA
Siti Mutmainah * , Dhomas Hatta Fudholi, Syarif Hidayat
Fakultas Teknologi Industri, Magister Informatika, Universitas Islam Indonesia, Yogyakarta, Indonesia Email: 1,* 20917057@students.uii.ac.id , 2 085230103@uii.ac.id, 3 0355230703@uii.ac.id Email Penulis Korespondensi: 20917057@students.uii.ac.id
Abstrak− Pandemi  yang  disebabkan  oleh  coronavirus  2019  telah  merevitalisasi  telemedicine  sebagai  layanan  kesehatan berbasis teknologi informasi dan komunikasi dan sebagai media pelayanan dokter dalam mendiagnosis, mengobati, mencegah hingga mengevaluasi kondisi kesehatan. Aplikasi layanan telemedicine di indonesia salah satunya yaitu Alodokter, Halodoc, KlikDokter, SehatQ dan YesDok. Penelitian sebelumnya pada domain yang sama yaitu aplikasi telemedicine menggunakan machine  learning  untuk  melakukan pemodelan  sentimen,  Penelitian  ini  melakukan  analisis sentimen  menggunakan  metode BiLSTM (Bidirectional Long Short-Term Memory) yang dapat merepresentasikan informasi kontekstual lebih baik dan dapat membaca informasi  feedback pengguna  pada kedua arah. Kemudian analisis sentimen dideskripsikan secara eksplisit untuk mengidentifikasi  topik  dari  sentimen  pengguna  menggunakan  LDA  (Latent  Dirichlet  Allocation).  Feedback  pengguna kumpulkan  pada  14  agustus  2022  yang  didapatkan  pada  kelima  aplikasi  berjumlah  244.098,  Hasil  analisis  pada  feedback didapatkan  yaitu  112.013  sentimen  positive,  34.853  sentimen  neutral  dan  97228  sentimen  negative.  Model  BiLSTM  dan Word2Vec yang digunakan memiliki kinerja yang baik dalam mengklasifikasikan sentimen yaitu 95%, sedangkan pemodelan topik pada setiap sentimen memiliki nilai koherence 0.6437 pada topik positive, 0.6296 sentimen neutral dan 0.6132 sentimen negative.
Kata  Kunci: Analisis  Sentimen;  Bidirectional  Long  Short-Term  Memory;  Telemedis;  Pemodelan  Topik;  Latent  Dirichlet Allocation.
Abstract− The  pandemic  caused  by  the  2019  coronavirus  has  revitalized  telemedicine  as  information  and  communication technology-based health services and as a medium for doctors' services in diagnosing, treating, preventing and evaluating health conditions. One of the telemedicine service applications in Indonesia is Alodokter, Halodoc, KlikDokter, SehatQ and YesDok. Previous research on the same domain, namely applications telemedicine uses machine learning to perform sentiment modeling. This research performs sentiment analysis using the BiLSTM method (Bidirectional Long Short-Term Memory) which can better represent contextual information and can read user feedback information in both directions. Then sentiment analysis is described  explicitly  to  identify  topics  from  user  sentiment  using  LDA  (Latent  Dirichlet  Allocation).  User  feedback  was collected  on August 14,  2022  which  was obtained in the  five  applications  totaling 244,098.  The  results  of  the  analysis  on feedback obtained were 112,013 positive sentiments, 34,853 neutral sentiments and 97,228 negative sentiments. The BiLSTM and Word2Vec models used have a good performance in classifying sentiments, namely 95%, while the topic modeling for each sentiment has a coherence value of 0.6437 on positive topics, 0.6296 neutral sentiments and 0.6132 negative sentiments.
Keywords: Sentiment Analysis; Bidirectional Long Short-Term Memory; Telemedicine; Topic Modelling; Latent Dirichlet Allocation.

## 1. PENDAHULUAN
Pandemi yang disebabkan oleh coronavirus 2019 membuat seluruh dunia memiliki kebutuhan untuk mengurangi konsultasi secara langsung tanpa mengurangi kualitas dan akses terhadap pelayanan kesehatan, hal tersebut yang telah merevitalisasi penggunaan telemedicine [1]. Telemedicine merupakan bentuk pelayanan kesehatan jarak jauh yang  menggunakan  teknologi  sebagai  upaya  dalam  mengatasi  masalah  dalam  pelayanan  kesehatan  seperti keterbatasan akses dan fasilitas serta meningkatkan kualitas layanan dan efektifitas biaya [2].
Melalui  surat  edaran  menteri  kesehatan  republik  indonesia  merekomendasikan  pemanfaatan  teknologi informasi dan komunikasi berupa telemedicine dalam pelayanan kesehatan, Pelayanan kesehatan dilakukan oleh dokter dan ahli kesehatan dalam mendiagnosis, mengobati, mencegah serta mengevaluasi kondisi kesehatan pasien [3].  Menurut  orami.co.id  [4]  17  aplikasi  layanan  telemedicine  di  indonesia  lima  diantaranya  yaitu  Alodokter, Halodoc,  KlikDokter,  SehatQ  dan  YesDok.  Perkembangan  aplikasi  dan  layanan  kesehatan,  Maka  pentingnya untuk  melakukan  analisis  pada  layanan  sehingga  dapat  mengevaluasi  dan  meningkatkan  pelayanan  kesehatan telemedicine.  Salah  satu  yang  dapat  meningkatkan  kualitas  aplikasi  yaitu  dengan  menganalisis  feedback  yang ditinggalkan pengguna. Feedback atau pendapat pengguna berperan penting dalam pengambilan keputusan atau kebijakan dan analisis resiko yang ditimbulkan [5].
Google Play Store merupakan app store pada platform android yang menyediakan berbagai layanan seperti musik, buku, berbagai aplikasi hingga permainan. Pada tahun 2020 Google Play Store terhitung mencapai 80,6 miliar  unduhan  dan  tersedia  hingga  2,7  juta  aplikasi  [6].  Pada  Google  Play  Store  terdapat  fitur feedback  yang digunakan  untuk  meninggalkan  penilaian  dan  melihat  feedback  pengguna,  feedback  dapat  berisi  masukan  dan saran  yang  dapat  digunakan  untuk  meningkatkan  kualitas  aplikasi,  Dengan  demikian  penelitian  menggunakan feedback pengguna pada Google Play Store.
Feedback  yang  terlalu  banyak  tidak  dapat  diproses  secara  manual  untuk  mendapatkan  insight  secara menyeluruh, Analisis sentimen dapat digunakan untuk mengekstrak opini dari feedback pengguna secara otomatis [7].  Analisis  sentimen  atau  juga  disebut  opinion  mining  merupakan  bidang  penelitian  yang  menarik  karena

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i1.5486
Submitted: 07/01/2023 ; Accepted: 19/01/2023 ; Published: 28/01/2023
aplikasinya  dalam  berbagai  bidang.  Penelitian  sebelumnya  melakukan  analisis  terhadap  feedback  untuk merepresentasikan  sentimen  pengguna,  Metode  penelitian  utama  yang  digunakan  pada  analisis  sentimen  yaitu lexicon based dan machine learning.  Deep learning pendekatan yang paling disukai  pada analisis  sentimen  [8], Namun metode deep learning membutuhkan data dengan jumlah yang besar dan bergantung pada data berlabel. Pada penelitian sebelumnya melakukan pelabelan data menggunakan lexicon untuk membangun model machine learning  dan  deep  learning.  Penggunaan  lexicon  untuk  labeling  dalam  penelitian  sebelumnya  meningkatkan performa model dan menawarkan klasifikasi yang lebih baik [9].
Metode  deep  learning  yang  digunakan  dalam  analisis  sentimen  salah  satunya  yaitu  BiLSTM,  BiLSTM (Bidirectional Long Short-Term Memory) mampu merepresentasikan informasi kontekstual lebih baik dan mampu membaca feedback pada informasi kedua arah dengan layernya yaitu forward dan backward [10]. Penelitian yang telah dilakukan sebelumnya menerapkan BiLSTM memiliki kinerja yang baik serta membandingkannya dengan metode lainnya [11] [12] [13].
Analisis  sentimen  perlu  dideskripsikan  secara  eksplisit  untuk  mengidentifikasi  tema  atau  topik  yang mewakili  faktor  efektifitas  pada  sentimen  [14].  Pemodelan  topik  bertujuan  untuk  menentukan  topik  yang  ada dalam dokumen tekstual secara otomatis  [15]. Menerapkan pemodelan topik pada sentimen pada topik  tertentu dapat  digunakan  sebagai  fitur  yang  dapat  memperkaya  input  layer  model  deep  learning  serta  meningkatkan kemampuan eksplorasi model dalam mengevaluasi suatu aplikasi maupun layanan [16].
Pada  penelitian  yang  telah  dilakukan  sebelumnya  menerapkan  pemodelan  topik  pada  sentimen  domain berita  online  menggunakan  deep  learning  LSTM  [17]  dan  menggunakan  machine  learning  dalam  melakukan analisis sentimen pada parawisata [18], Video conference [19], dan Pandemik [20]. Penelitian-penelitian tersebut menggunakan  LDA  (Latent  Dirichlet  Allocation)  untuk  mendeskripsikan  topik-topik  yang  terkandung  pada sentimen pengguna. LDA dapat digunakan untuk mengekstrak atau mengelompokan topik dalam data feedback, Kelebihan LDA dapat mengektrak topik tanpa bergantung domain dan bahasa serta mendeskripsikan konten pada dokumen lebih komprehensif, akurat dan cepat [16], Serta dapat mengekstrak topik secara akurat pada dokumen yang cukup besar [18].
Penelitian pada domain yang sama yaitu telemedicine telah dilakukan sebelumnya menggunakan machine learning Naive Bayes dalam melakukan analisis sentimen, Pada aplikasi Halodoc [21] dan pada beberapa aplikasi telemedicine  Halodoc,  Alodokter  dan  KlikDokter  [22].  Terdapat  pula  penelitian  yang  melakukan  komparasi terhadap  Naive  bayes,  SVM  dan  KNN  pada  aplikasi  Halodoc  [23].  Ketiga  penelitian  tersebut  menggunakan machine  learning  dalam  pemodelan  sentimen,  Pada  penelitian  yang  diusulkan  melakukan  pemodelan  sentimen pada  feedback  beberapa  aplikasi  telemedicine  yaitu  Alodokter,  Halodoc,  KlikDokter,  SehatQ  dan  YesDok menggunakan  deep  learning  BiLSTM.  Penelitian ini  menerapkan  pemodelan  topik  sentimen  seperti  yang  telah dilakukan  pada  penelitiannya  [17],  namun  dalam  penelitian  ini  menerapkan  topik  sentimen  pada  domain  dan pemodelan sentimen yang berbeda.
Berdasarkan  penelitian  sebelumnya  pada  literature  review  dan  gap  dari  penelitian,  Pada  penelitian  ini melakukan  analisis  sentimen  untuk  menunjukan  secara  umum  feedback  pengguna  telemedicine  dalam  proses pengembangannya dari sisi negative, neutral dan positivenya. Hasil penelitian diharapkan dapat digunakan bagi pengembang  baru  dan  pengembang  lama  sebagai  masukan  untuk  dapat  memperhatikan  setiap  sisi  agar  dapat mendeliver  aplikasi  dan  memperbaiki  service  yang  lebih  baik.  Analisis  sentimen  menggunakan  feedback  yang ditinggalkan  pengguna  beberapa  aplikasi  telemedicine,  Metode  yang  digunakan  dalam  pemodelan  analisis sentimen yaitu BiLSTM yang memiliki kinerja yang baik pada penelitian sebelumnya dan dapat merepresentasikan informasi dari kedua arah, Serta menerapkan lexicon untuk labeling data dan LDA sebagai pemodelan topik untuk mendeskripsikan  topik  berdasarkan  sentimen  positive,  neutral  dan  negative  pengguna  sehingga  memperkaya insight yang diperoleh dalam analisis sentimen.

## 2. METODOLOGI PENELITIAN
Tahapan-tahapan yang dilakukan pada penelitian ini ditunjukan oleh Diagram Alir pada Gambar 1. Pada penelitian ini  memiliki  6  tahapan  yaitu  pertama  melakukan  pengumpulan  data  yaitu  feedback  pengguna  aplikasi, Preprocessing  feedback  yang  dikumpulkan,  Labeling  sentimen,  Pemodelan  analisis  sentimen  menggunakan BiLSTM, Pemodelan topik menggunakan LDA dan tahap terakhir yaitu melakukan evaluasi terhadap pemodelan sentimen dan topik.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i1.5486

## 2.1 Pengumpulan Data
Tahap awal dalam penelitian ini yaitu pengumpulan data, Data yang dikumpulkan merupakan feedback pengguna google play pada layanan telemedicine. Pengumpulan feedback menggunakan WEB scraping dengan memasukan URL  aplikasi  tujuan  seperti  yang  telah  dilakukan  pada  penelitian  sebelumnya  [19].  Scraping  dilakukan  pada tanggal 14 Agustus 2022, Feedback aplikasi telemedicine yang dikumpulkan yaitu Yesdok, SehatQ, KlikDokter, Halodoc, Alodokter dan difilter hanya dalam bahasa indonesia.
Total data yang dikumpulkan berjumlah 244.098 feedback yang  disimpan dalam bentuk CSV, Distribusi terbesar yaitu pada aplikasi  alodokter yaitu  51.9%. Distribusi keseluruhan feedback aplikasi  yang dikumpulkan disajikan pada Tabel  1 dan  pada Gambar 2  merupakan grafijk feedback yang  menyajikan distribusi  data setiap tahun dari keseluruhan feedback, Pengguna terbanyak serta mengalami kenaikan pada tahun 2019 dan 2020.
Tabel 1. Distribusi Feedback
Gambar 2. Distribusi Per-Tahun

## 2.2 Preprocessing
Pada  tahap  preprocessing  dilakukan  untuk  memahami  dan  meningkatkan  kualitas  data  yang  digunakan  seperti membersihkan data dan mengembalikan kata dalam data ke bentuk baku sehingga dapat memudahkan komputer dalam memproses data. Contoh hasil preprocessing yang diterapkan pada text feedback pengguna ditunjukan pada Tabel 2, langkah-langkah yang diterapkan dalam penelitian ini yaitu:
a. Teks Cleaning: Teks cleaning yaitu melakukan penghapusan tanda baca, emotikon, angka, link/URL dan case folding yaitu lawer case untuk menyamakan huruf pada feedback.
b. Teks Tokenizing: Kalimat pada feedback akan dipisahkan menggunakan karakter spasi menjadi perkata.
c. Normalization:  Pada  tahap  ini  kata  dalam  feedback  akan  diubah  dari  singkatan  dan  slang  atau  kata  alay menjadi kata baku menggunakan kamus slang berbahasa indonesia.
d. Stopword removal: Stopword menghentikan atau menghapus kata yang berukuran besar dan berulang namun tidak memiliki makna.
e. Stemming: Pada tahap ini berfungsi untuk mereduksi awalan dan akhiran kata.
Tabel 2. Preprocessing Data Tahapan Preprocessing Feedback Dari sekian aplikasi telemedicine yg pernah saya gunakan dan coba, ini platform yang sangat BURUK  dan  TIDAK  RECOMENDED,  beli  obat  tertera  ada,  tiba2  dibatalkan  toko  karena stok habis. Hasilnya pengembalian dana lamaaa bgt!!! Yg salah siapa yg suruh nunggu siapa! Pdhl ini first impression, udh dibuat gak suka! Kalo obatnya abis tolong update stok habis. Jgn kayak begini! Udah prosesnya lama. Kalo prosesnya gk lama sih gpp. Bikin kesel aja
Cleaning dari sekian aplikasi telemedicine yg pernah saya gunakan dan coba ini platform yang sangat buruk  dan  tidak  recomended  beli  obat  tertera  ada  tiba  dibatalkan  toko  karena  stok  habis hasilnya  pengembalian  dana  lama  bgt  yg  salah  siapa  yg  suruh  nunggu  siapa  pdhl  ini  first impression udh dibuat gak suka kalo obatnya abis tolong update stok habis jgn kayak begini udah prosesnya lama kalo prosesnya gk lama sih gpp bikin kesel aja
Teks Tokenizing ['dari',  'sekian',  'aplikasi',  'telemedicine',  'yg',  'pernah',  'saya',  'gunakan',  'dan',  'coba',  'ini', 'platform', 'yang', 'sangat', 'buruk', 'dan', 'tidak', 'recomended', 'beli', 'obat', 'tertera', 'ada', 'tiba', 'dibatalkan', 'toko', 'karena', 'stok', 'habis', 'hasilnya', 'pengembalian', 'dana', 'lama', 'bgt', 'yg', 'salah', 'siapa', 'yg', 'suruh', 'nunggu', 'siapa', 'pdhl', 'ini', 'first', 'impression', 'udh', 'dibuat', 'gak', Telemedicine Total Persentase Tahun Awal Alodokter 138185 51.6% 2016 Halodoc 88132 36.6% 2016 KlikDokter 4830 7.1% 2015 SehatQ 2655 3.3% 2019 YesDok 10292 1.5% 2017

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i1.5486
Tahapan Preprocessing 'suka',  'kalo',  'obatnya',  'abis',  'tolong',  'update',  'stok',  'habis',  'jgn',  'kayak',  'begini',  'udah', 'prosesnya', 'lama', 'kalo', 'prosesnya', 'gk', 'lama', 'sih', 'gpp', 'bikin', 'kesel', 'aja'] Normalization ['dari',  'sekian',  'aplikasi',  'telemedicine',  'yang',  'pernah',  'saya',  'gunakan',  'dan',  'coba',  'ini', 'platform', 'yang', 'sangat', 'buruk', 'dan', 'tidak', 'recomended', 'beli', 'obat', 'tertera', 'ada', 'tiba', 'dibatalkan',  'toko',  'karena',  'stok',  'habis',  'hasilnya',  'pengembalian',  'dana',  'lama',  'banget', 'yang',  'salah',  'siapa',  'yang',  'suruh',  'menunggu',  'siapa',  'padahal',  'ini',  'first',  'impression', 'sudah',  'dibuat',  'enggak',  'suka',  'kalau',  'obatnya',  'habis',  'tolong',  'update',  'stok',  'habis', 'jangan', 'kayak', 'begini', 'sudah', 'prosesnya', 'lama', 'kalau', 'prosesnya', 'tidak', 'lama', 'sih', 'enggak apa-apa', 'bikin', 'kesel', 'saja'] Stopword removal ['sekian',  'aplikasi',  'telemedicine',  'coba',  'platform',  'buruk',  'recomended',  'beli',  'obat', 'tertera',  'dibatalkan',  'toko',  'stok',  'habis',  'hasilnya',  'pengembalian',  'dana',  'banget',  'salah', 'suruh',  'menunggu',  'first',  'impression',  'suka',  'obatnya',  'habis',  'tolong',  'update',  'stok', 'habis', 'kayak', 'prosesnya', 'prosesnya', 'enggak apa-apa', 'bikin', 'kesel'] Stemming ['sekian', 'aplikasi', 'telemedicine', 'coba', 'platform', 'buruk', 'recomended', 'beli', 'obat', 'tera', 'batal',  'toko',  'stok',  'habis',  'hasil',  'kembali',  'dana',  'banget',  'salah',  'suruh',  'tunggu',  'first', 'impression',  'suka',  'obat',  'habis',  'tolong',  'update',  'stok',  'habis',  'kayak',  'proses',  'proses',
'enggak apa', 'bikin', 'kesel']

## 2.3 Labeling Data
Setelah melakukan pengumpulan data dan preprocessing proses selanjutnya dalam penelitian ini yaitu melakukan pelabelan data. Lexicon merupakan metode feature klasifikasi  data yang dapat  digunakan pada data yang tidak memiliki label [24]. Pada penelitian ini menggunakan indonesia sentimen lexicon InSet yang dibangun dan telah menjelaskan cara kerja InSet dalam penelitiannya[25], Lexicon berisi kamus yang memiliki nilai polaritas pada setiap kata, Kemudian akan digunakan untuk mengekstrak score dari masing-masing text pada feedback. Output yang akan dihasilkan berupa skor polaritas yang digunakan untuk menentukan sentimen sebuah kalimat feedback. Pada penelitian ini melakukan labeling sentimen menjadi tiga kelas berdasarkan nilai polaritas yaitu kelas positive dengan nilai sama atau lebih dari 1, negative dengan nilai dibawah  -1 dan neutral dengan nilai 0. Pada Tabel  3 merupakan contoh hasil penerapan kamus lexicon pada feedback yang dikumpulkan.
Tabel 3. Contoh Polaritas Sentimen Sentimen Feedback Polaritas Positive dr.satyadi  sangat  baik  sekali,beliau  benar2  membaca  chat  sya  seperti  bertatap  muka langsung.  setiap  pertanyaan  saya,beliau  jwb  dengan  real  chat  bukan  robot penjawab.padahal  konsultasi  ini  benar2  gratis,tp  beliau  tetap  care,sabar  menjawab keluhan2 saya.terima kasih Halodoc serta terima kasih kepada dr.satyadi.semoga amal baik dr.satyadi segera dibalas oleh ALLAH..amin 40 Neutral menunya masih agak membingungkan 0 Negative Ini apk halodoc kocak ya masa obat nya dikirim 4 hari setelah mesan,,lu pikir kami yg sakit ini bisa di pending sakit nya kan gak bisa dasar gila Lo,kalo orang sekarat make apk ini dah mati anak orang nunggu obat nya sampe kocak lo Masi bagus lah apk kipas angin dari pada apk ini Kucing ku dah mati obat blm jg sampe kusumpa Hin apk ini bangkrut -57

## 2.4 Feature Extraction
Tahapan sebelum melakukan pemodelan sentimen yaitu menerapkan feature extraction word embedding, Word embedding merupakan representasi kata dalam bentuk vektor untuk features sintaksis dan hubungan antar kata, Kata  yang  memiliki  konteks  yang  sama,  mirip  atau  relatif  akan  dikelompokan  dalam  vector  space  [26].  Pada penelitian  ini  menggunakan  Word2Vec  sebagai  word  embedding,  Word2Vec  diperlukan  karena  model  deep learning  tidak  dapat  mengolah  data  secara  langsung  dalam  bentuk  teks  sehingga  teks  terlebih  dahulu  dirubah menjadi  bentuk  vektor  [24]. Inputan yang dimasukan dalam Word2Vec pada saat  training merupakan feedback pengguna yang telah di terapkan praprocessing dan labeling, Output yang dihasilkan berupa representasi vektor pada setiap kata.

## 2.5 Sentimen Analisis (BiLSTM)
Pada penelitian ini pemodelan sentimen menggunakan BiLSTM (Bidirectional Long Short-Term Memory) yaitu metode yang memiliki kinerja dan prediksi lebih baik, BiLSTM telah banyak diterapkan dan telah menjelaskan arsitektur BiLSTM diantaranya yaitu pada [10][11][12][13]. BiLSTM menggabungkan BiRNN dan LSTM untuk dapat  menangkap informasi  konteks secara efektif sehingga dapat menghasilkan nilai vektor kalimat  lebih baik terwakili.  BiLSTM  memperlakukan  semua  input  kata  setara  dan  mempertimbangkan  informasi  konteks  dan memperoleh representasi teks dari kalimat dengan lebih baik [11]. BiLSTM memiliki arsitektur yang terdiri dari

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i1.5486
Submitted: 07/01/2023 ; Accepted: 19/01/2023 ; Published: 28/01/2023
dua layer yaitu forward dan backward sehingga dapat menangkap kata dari kedua arah kemudian mengabungkan prediksi,  Hal  ini  membuat  informasi  yang  didapatkan  menggabungkan  informasi  masa  depan  dan  masa  lalu sehingga informasi pada jaringan meningkat [27].
Sebelum melakukan pemodelan sentimen, Dataset akan dibagi menjadi 80% Training = 231889 dan 20% Testing = 12205 feedback. Pemodelan BiLSTM menggunakan dua layer Bidirectional LSTM sebanyak 100 dan dense  layer  dengan  16  neuron  dan  3  neuron  pada  output  layer.  Beberapa  parameter  lain  yang  digunakan  yaitu fungsi  aktivasi  relu dan softmax, Kemudian menerapkan optimizer adam, loss menggunakan sparse categorical crossentropy untuk klasifikasi multi kelas, batch_size 100 dan epochs 10.

## 2.6 Pemodelan Topik (LDA)
Tahap selanjutnya setelah analisis sentimen yaitu melakukan pemodelan topik pada sentimen, Pada penelitian ini menggunakan LDA (Latent Dirichlet Allocation). LDA pertama kali diusulkan pada tahun 2002 oleh Blei [28], LDA  merupakan  metode  probabilistik  generatif  dari  kumpulan  corpus,  Ide  dasar  LDA  merupakan  model unsupervised  untuk  pemodelan  topik  yang  digunakan  untuk  menemukan  informasi  tersembunyi  dan  hubungan antar kata, LDA mengelompokan topik pada kumpulan teks berdasarkan kesamaan data [19], Pada LDA dokumen merupakan campuran topik yang belum diketahui dan setiap topik terdiri dari distribusi kata [18].
Setelah melakukan pemodelan sentimen, kemudian akan dilakukan pemodelan topik pada setiap sentimen, Tahapan yang dilakukan pada pemodelan topik yaitu menentukan nilai parameter seperti chunksize = 500, passes =  20,  iterations  =  400,  eval  every  =  1,  alpha  =  auto  dan  random  state  =  100.  Pada  pemodelan  topik  perlu menentukan  jumlah  topik  yang  akan  digunakan  pada  setiap  sentimen,  Jumlah  topik  yang  tepat  dapat merepresentasikan kelompok topik yang baik. Penelitian ini menggunakan rentang 1 hingga 10 untuk menentukan jumlah topik terbaik pada setiap sentimen.

## 2.7 Evaluasi
Pada tahapan terakhir dalam penelitian ini yaitu melakukan evaluasi terhadap model yang telah dibangun, Evaluasi model sentimen menggunakan nilai akurasi, recall dan precision dengan confusion matrix.  Pada parameter yang prediksi yaitu  TP = Jumlah kelas Positive  yang diprediksi  benar, TN = Jumlah kelas  yang diprediksi  Negative benar, Tn = Jumlah kelas Neutral yang diprediksi benar, FN = Jumlah kelas Positif yang diprediksi salah, FP = Jumlah Kelas Negative yang diprediksi salah.
Accuracy = TP + TN + Tn Jumlah data x 100% (1) Precision = TP TP + FP x 100% (2) Recall = TP TP + FN x 100% (3)
Pada  pemodelan  topik  perlu  menentukan  jumlah  topik  yang  akan  dideskripsikan,  Nilai  koherensi  dapat digunakan untuk menentukan banyak topik yang tepat dari sebuah dokumen yang dimiliki. Semakin tinggi nilai koherensi  yang  dihasilkan  maka  akan  semakin  bagus  hasil  interpretasi  dari  sebuah  topik  modeling  [29].  Pada penelitian  ini  menggunakan  visualisasi  intertopic  distance  map  dalam  bentuk  pyLDAvis  untuk  menunjukan visualisasi pada setiap kelas sentimen.

## 3. HASIL DAN PEMBAHASAN

## 3.1 Hasil Pengumpulan Data
Feedback  yang  dikumpulkan  pada  kelima  aplikasi  telemedicene  berjumlah  244.098,  Setelah  dilakukan penghapusan data kosong feedback menjadi 244.094 record data. Feedback pengguna yang telah  dikumpulkan kemudian  dilakukan  preprocessing  dan  pelabelan  sentimen  menggunakan  kamus  lexicon  berbahasa  indonesia. Pada Tabel 4 menyajikan distribusi sentimen setelah dilakukan labeling, Distribusi sentimen paling banyak yaitu pada feedback positive yaitu sebesar 45.9%. Gambar 4 menunjukan grafik distribusi sentimen setiap tahun pada feedback yang dikumpulkan, Terlihat grafik sentimen setiap tahun dari tahun 2015 hingga tahun 2022 pada tahun 2020 memiliki sentimen positive paling tinggi namun pada tahun 2021 dan 2022 mengalami penurunan.
Tabel 4. Labeling feedback Sentimen Total Persentase Positive 112013 45.9% Neutral 34853 14.3% Negative 97228 39.8%

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i1.5486
Gambar 3. Visualisasi Sentimen Per-Tahun
Persebaran kata sentimen dapat dilihat dari visualisasi wordcloud yang menerapkan trigram pada Gambar 5,  Gambar  6  dan Gambar  7.  Pada feedback  sentimen  positive menggambarkan kelebihan layanan  telemedicene salah satunya pada ahli medis yang tersedia hal tersebut dapat dilihat pada seperti "dokter ramah-ramah", "bantu respon cepat", "konsultasi langsung dokter", "respon dokter cepat", "dokter cepat tanggap", "dokter ramah bangat". Feedback sentimen neutral cenderung positif seperti terdapat kata "bagus respon cepat", "alhamdulillah aplikasi bantu", "dokter ramah jelas", "suka bangat aplikasi", "aplikasi bantu konsultasi". Pada feedback sentimen negative terdapat  kata  "sesal  download  aplikasi",  "beli  obat  ribet",  "aplikasi  ribet-ribet",  "saldo  rekening  terpotong", "ujungnya suruh periksa" dan terdapat juga keluhan atau keresahan terhadap kebocoran data hal tersebut terlihat dari visualisasi wordcloud terdapat kata "tolong hapus data", "mohon hapus data", "data pribadi bocor".
Gambar 4. Wordcloud Sentimen Positive
Gambar 5. Wordcloud Sentimen Neutral

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i1.5486

## 3.2 Hasil Pemodelan Sentimen
Setelah  melakukan  pelabelan  data  dan  feature  extraction  menggunakan  Word2Vec,  tahap  selanjutnya  pada penelitian ini yaitu melakukan analisis sentimen menggunakan model deep learning BiLSTM. Hasil training model BiLSTM memiliki kinerja yang baik pada feedback, Hal ini ditunjukan oleh Tabel 5 dimana nilai akurasi dan loss pada training dan validasi menunjukan model BiLSTM memiliki akurasi yang stabil naik pada setiap epoch dan pada loss yang cenderung menurun pada setiap epoch. Akurasi validasi tertinggi pada training epoch = 10 yaitu 94.68% dan pada loss 0.1520 atau 15%.
Tabel 5. Training BiLSTM Epoch Akurasi Loss Training  Validasi  Training  Validasi 1 81.38 91.21 0.4415 0.2381 2 91.01 92.37 0.2447 0.2075 3 92.10 93.16 0.2141 0.1862 4 92.76 93.38 0.1978 0.1792 5 93.25 93.16 0.1850 0.1835 6 93.66 94.05 0.1744 0.1646 7 94.02 93.97 0.1657 0.1642 8 94.27 94.40 0.1585 0.1575 9 94.49 94.48 0.1521 0.1540 10 94.68 94.58 0.1475 0.1520
Pada Gambar 8 menunjukan hasil evaluasi pemodelan sentimen menggunakan data testing, Evaluasi dalam bentuk confusion matrix. Hasil evaluasi model memiliki akurasi sebesar 95%, precision sebesar 94% dan recall 93%. Model mampu mengklasifikasi sentimen positive dengan benar 1476, sentimen neutral 4672 dan sentimen negative 5431.

## Gambar 7. Confusion Matrix BiLSTM

## 3.3 Hasil Pemodelan Topik
Hasil  evaluasi  terhadap  pemodelan  topik  menggunakan  nilai  koherensi  sentimen  topik  1  hingga  topik  10  yang disajikan pada Tabel 6. Nilai koherence topik pada kelas sentimen positive terbaik pada topik ke 10 dengan nilai koherensi 0.6437, Sentimen neutral 0.6296 pada topik 9 dan sentimen negative 0.6132 pada topik 7.
Tabel 6. Koherence Topik
Topik Koherence C_V Positive  Neutral  Negative 1 0.4713 0.6489 0.5403 2 0.3147 0.5278 0.5694 3 0.4750 0.5185 0.3292 4 0.3966 0.4643 0.3357

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i1.5486
Topik Koherence C_V Positive  Neutral  Negative 5 0.3382 0.6220 0.3397 6 0.3862 0.5210 0.4905 7 0.3217 0.5017 0.6132 8 0.3802 0.5307 0.5947 9 0.3667 0.6296 0.3463 10 0.6437 0.5540 0.4036
Evaluasi  pemodelan  topik  pada  masing-masing  sentimen  dengan  nilai  koherence  tertinggi  topik menggunakan  dengan  melihat  nilai  kohenrensi  dengan  C_V  dan  U_MASS.  Pada  Tabel  7  menunjukan  nilai evaluasi yang dihasilkan setiap sentimen.
Tabel 7. Evaluasi Topik Sentiman Sentimen  Topik  U_MASS C_V Positive 10 -9.01416 0.4094 Neutral 9 -15.0411 0.5532 Negative 7 -5.4104 0.4781

## 3.3.1 Pemodelan Topik Sentimen Positive
Pada Gambar 9 menyajikan visualisasi pyLDAvis jarak setiap topik pada masing sentimen positive bertujuan untuk melihat jarak antar topik satu sama lainnya, Terlihat dari gambar topik 1, 7, 8, 5, 4 dan 2 saling beririsan.  Kata yang terkandung dalam topik sentimen positive disajikan pada Tabel 8, Pada Topik 1: Membicarakan mengenai kemudahan dalam memahami dan mengisi pada aplikasi, Topik 2: pelayanan live chat yang cepat tanggap, respon yang ramah dan memuaskan, Topik 3: Aplikasi sehat yang bermanfaat serta memuaskan dan semoga sukses, Topik 4:  Terima kasih  senang digunakan pasien, Topik 5:  download aplikasi  untuk membaca artikel  dan biaya kagak mahal,  Topik  6:  Puas  mantap  bangat  pokoknya  top  markotop  dan  murah,  Topik  7:  Dokter  fast  respon  dan rekomendasi vidio call tinggal klik, Topik 8:  Minat voucher dijual terpercaya, Topik 9: Coba pakai aplikasi chat online pakai pulsa dan oke hidup sehat, Topik 10: kosultasi gratis, bagus, keren dan langsung lebih mudah dari rumah sakit.
Gambar 8. Intertopic Distance Map Positive
Tabel 8. Topik Sentiman Positive
Topik Kata 1 0.590*good,  0.037*job,  0.037*  mudah_paham,  0.026*mudah_entri,  0.022*jelas,  0.021*isi,
0.018*very 0.017*paham, 0.015*entri, 0.012*free
2 0.156*cepat,  0.143*ramah,  0.104*  respon,  0.089*layan,  0.064*muas,  0.041*putar_sehat, 0.030*tambah, 0.027*live_chat, 0.022*moga_depan, 0.022*"tanggap
3 0.264*aplikasi,  0.152*sehat,  0.140*manfaat,  0.101*terimakasih,  0.049*guna,  0.041*moga, 0.024*halodoc, 0.021*baik, 0.021*sukses, 0.015*alhamdulillah
4 0.324*kasih, 0.259*terima, 0.036*senang, 0.030*bintang, 0.024*saran, 0.016*butuh, 0.016*thank, 0.015*pasien, 0.015*hasil, 0.014* alam
5 0.134*ribu,  0.077*nice,  0.065*kode,  0.045*download,  0.042*tarik,  0.033*is,  0.032*baca_artikel, 0.026*kagak, 0.025*biaya, 0.025*the_best
6 0.368*mantap,  0.196*banget,  0.070*suka,  0.065*puas,  0.036*top,  0.027*pokok,  0.016*akun, 0.013*batu, 0.012*murah, 0.010*top_markotop

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i1.5486
Topik Kata 7 0.144*dok, 0.139*fast_respon, 0.104*video_call, 0.056*fast, 0.048* klik, 0.042*call, 0.042*masuk,
0.042*respon, 0.024*lengkap, 0.018*rekomendasi
8 0.173*voucher,  0.091*minat,  0.080*  ig,  0.057*tau,  0.049*percaya,  0.038*video,  0.032*jual, 0.022*tatap_muka, 0.021*tolong, 0.021*kirim
9 0.216*oke,  0.076*chat,  0.070*coba,  0.067*pakai,  0.055*aplikasi,  0.047*jam,  0.043*hidup_sehat, 0.041*online, 0.029*kali, 0.024*pulsa
10 0.265*konsultasi,  0.107*mudah,  0.076*langsung,  0.066*bagus,  0.036*kak,  0.034*rumah_sakit, 0.033*gratis, 0.029*rumah, 0.026*keren, 0.020*sakit
Tabel 9 menyajikan contoh feedback sentimen positive yang diberikan oleh pengguna yang mewakili topik 2 yaitu mengenai kelebihan layanan yaitu cepat tanggap.
Tabel 9. Contoh Feedback Topik Sentiman Positive Topik Feedback 2 Pelayanan dokter yg cepat tanggap, baik, dan jg ramah. Sangat membantu sekali untuk konsultasi secara online dan diberi penjelasan yg tepat serta resep obat yg jelas. Terimakasih alodokter 🙏

## 3.3.2 Pemodelan Topik Sentimen Neutral
Pada  Gambar  10  menyajikan  visualisasi  pyLDAvis  jarak  setiap  topik  pada  masing  sentimen  neutral  bertujuan untuk melihat jarak antar topik, Terlihat dari gambar topik 1 dan topik 4 saling beririsan dan topik 5 dan topik 6 hampir beririsan. Pada kata sentimen neutral topik 1 hingga topik 9 yang disajikan pada Tabel 10, Topik sentimen neutral  memiliki feedback yang  cenderung positive  dan tidak jauh berbeda dengan topik  pada sentimen positif. Pada Topik 1: Suka pokoknya hebat is the best dan very_helpful, Topik 2: Terima kasih  sangat membantu dan mudah entri, Topik 3: Mantul sangat profesional dan rekomendasi tinggal klik fast respon, Topik 4: Ada voucher masuk untuk chat dan vidio call, Topik 5: Responnya cepat dan mantap, Topik 6: Aplikasi layanan rumah sakit dan membantu dari vidio, Topik 7: langsung download aplikasi konsultasi karena ramah dan keren bangat, Topik 8: Terima kasih aplikasi bermanfaat dan membantu konsultasi kesehatan rekomended, Topik 9: semoga aplikasi online beli obat keluarga fast respon.
Gambar 9. Intertopic Distance Map Neutral
Tabel 10. Topik Sentiman Neutral
Topik Kata 1 0.201*the_best, 0.112*best, 0.089*the, 0.072*hebat, 0.054*like, 0.037*very, 0.035*pokok, 0.033* is_the, 0.030*helpfull, 0. 029*very_helpful
2 0.253*terima  kasih,  0.115*kasih,  0.103*mudah,  0.088*terima,  0.023*mudah_erti,  0.022*sok, 0.020*like_this, 0.019*jelas, 0.018*sok_helpful, 0.015*very_useful
3 0.306*mantul,  0.083*jos,  0.029  amazing,  0.029*fast  respon,  0.024*klik,  0.024*helpful, 0.023*profesional, 0.023*mantul, 0.021*rekomendasi, 0.018*excellent
4 0.066*video_call, 0.055*pakai, 0.044*chat, 0.042*voucher, 0.040*kak, 0.036*masuk, 0.034*ribu, 0.028*call, 0.021*halo doc, 0.020*baik
5 0.247*cepat, 0.209*mantab 0.069*god, 0.061*respon, 0.039*responnya, 0.036*wow, 0.028*hidup_sehat, 0.022*mantap, 0.021*habis, 0.019*kode

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i1.5486
Topik Kata 6 0.255*sip,  0.147*layan,  0.084*rumah_sakit,  0.078*batu,  0.062*rumah,  0.054*jam,  0.033*sakit, 0.029*video, 0.018*application, 0.015*info
7 0.255*keren,  0.234*dokter,  0.110*banget,  0.087*bagus,  0.035*konsultasi,  0.028*ramah, 0.023*bintang, 0.019*langsung, 0.016*download, 0.016*mantap
8 0.270*aplikasi,  0.207*bantu,  0.068*sehat,  0.055*terimakasih,  0.050*konsultasi,  0.039*halodoc, 0.031*manfaat, 0.030*guna, 0.021*recommended, 0.016*recomended
9 0.090*moga,  0.077*obat,  0.059*fast_response,  0.058*aplikasi,  0.046*fast,  0.037*fast_respond, 0.036*online, 0.033*tau, 0.032*beli_obat, 0.025* keluarga
Tabel 11 menyajikan contoh feedback sentimen neutral yang diberikan oleh pengguna yang mewakili topik 2 yaitu mengenai kelebihan layanan yaitu sangat membantu.
Tabel 11. Contoh Feedback Topik Sentiman Neutral
Topik Feedback 2 Alhamdulillah sangat membantu sekali aplikasi sprti ini,,

## 3.3.3 Pemodelan Topik Sentimen Negative
Pada Gambar 11 menyajikan visualisasi  pyLDAvis jarak setiap topik pada masing  sentimen negative bertujuan untuk melihat jarak antar topik satu sama lainnya, Terlihat dari gambar Topik 6, 1, 4 dan 7 saling beririsan. Topik sentimen negative disajikan pada Tabel 12, Informasi yang terkandung pada topik 1 hingga topik 7 yaitu mengenai keluhan  dan  masukan  untuk  layanan  telemedicine  karena  mengandung  kata  seperti  salah,  hubung,  mohon  dan tolong, beberapa keluhan seperti tidak dapat memesan obat yang tidak tepat waktu atau membutuhkan waktu yang cukup  lama,  kemudian  keluhan  mengenai  susahnya  penggunaan  voucher,  penyesalan  dan  ribetnya penggunaan layanan dan pembayaran.
Topik  sentimen  negative  dapat  dijadikan  sebagai  masukan  untuk  pengembang  serta  bahan  perbaikan terhadap layanan telemedicine. Pada Topik 1: Salah apa saat terhubung mohon bantu anak kosan dan terimakasih, Topik 2: tolong cek enggak bisa klik pesan obat dikirim malam, Topik 3: Voucher responnya cepat untuk vidio call keren dm ig, Topik 4: Download aplikasi susah masuk kode dan sesal pakai voucher, Topik 5: Konsultasi beli obat  langsung  cepat  dan  dokter  mudah  bangat,  Topik  6:  Ribet  mending  ke  rumah  sakit  berguna,  Topik  7: Bermanfaat untuk orang tua yang takut  pandemi covid.
Gambar 10. Intertopic Distance Map Negative
Tabel 12. Topik Sentiman Negative
Topik Kata 1 0.076*terimakasih,  0.036*saat,  0.032*salah,  0.030*hubung,  0.025*yesdok,  0.025*mantul,
0.025*mohon, 0.024*anak_kosan, 0.022*batu, 0.022*apa
2 0.059*tolong, 0.032*klik, 0.030*pesan, 0.028*malam, 0.024*obat, 0.023*enggak_bisa, 0.023*cek, 0.021*kirim, 0.020*enggak, 0.018*biaya
3 0.146*keren,  0.053*kak,  0.041*video_call,  0.040*ribu,  0.037*dm_ig,  0.031*  responnya  _cepat, 0.025*voucher_ribu, 0.021*dm, 0.020*uang, 0.019*call
4 0.057*pakai, 0.040*download, 0.026*masuk, 0.026*kali, 0.022*buka, 0.022*aplikasi, 0.021*kode, 0.021voucher, 0.019*susah, 0.019*sesal
5 0.117*dokter,  0.080*banget,  0.070*konsultasi,  0.038*sehat,  0.033*obat,  0.026*beli_obat, 0.025*mudah, 0.020*cepat, 0.019*yesdok, 0.017* langsung

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i1.5486
Topik Kata
6 0.108*sakit,  0.105*rumah_sakit,  0.096*terima_kasih,  0.063*rumah,  0.051*guna,  0.046*kasih, 0.040*yesdok, 0.034*terima, 0.021*repot, 0.018*ribet
7 0.098*bayar,  0.097*manfaat,  0.064*pandemi,  0.035*covid,  0.029*gratis,  0.027*orang  tua, 0.025*takut, 0.020*pandemi_covid, 0.019*tampil, 0.019*recommended
Tabel  13  menyajikan  contoh  feedback  sentimen negative  yang  diberikan  oleh  pengguna  yang  mewakili topik 2 yaitu mengenai keluhan terhadap layanan yaitu pengiriman obat.
Tabel 13. Contoh Feedback Topik Sentiman Negative Topik Feedback 2
Gila ya, pesen obat dri jam 7 pagi, keterangan nya diterima sebelum jam 11 siang, tapi bru dikirim jam 8 malem! Katanya kirim instant, tapi hampir seharian. Sia2 amat, yg paling parahnya CS gak bales chat, nomor perushaan gabisa di hubungi, pesanan gabisa di cancel. GAJELAS!!!!

## 4. KESIMPULAN
Penelitian ini melakukan analisis sentimen menggunakan BiLSTM (Bidirectional Long Short-Term Memory) dan menerapkan pemodelan topik dengan metode LDA (Latent Dirichlet Allocation) yang diterapkan terhadap layanan kesehatan berbasis teknologi dan informasi atau telemedicine. Analisis sentimen dilakukan secara umum terhadap feedback pengguna aplikasi telemedicine yang didapatkan pada kelima aplikasi yaitu Yesdok, SehatQ, KlikDokter, Halodoc, Alodokter. Hasil analisis sentimen pada feedback pengguna yang berjumlah berjumlah 244.098 record didapatkan  menjadi  tiga  kelas  sentimen  yaitu  112.013  sentimen  positive,  34.853  sentimen  neutral  dan  97228 sentimen negative.  Pemodelan sentimen menggunakan  BiLSTM (Bidirectional Long Short-Term  Memory)  dan Word2Vec sebagai word embedding memiliki kinerja yang baik dalam mengklasifikasikan sentimen yaitu 95%, Sedangkan pemodelan topik pada setiap sentimen memiliki nilai koherence 0.6437 pada topik positive, 0.6296 sentimen  neutral  dan  0.6132 sentimen  negative.  Keluhan  dan  masukan  pengguna  dari  topik  sentimen  negative yaitu  kesalahan  atau  kesusahan  dalam  penggunakan  voucher  yang  tersedia  hingga  kurang  cepatnya  pelayanan pengantaran dan pemesan obat yang tidak tepat waktu atau membutuhkan waktu yang cukup lama serta beberapa prosedur  yang  dinilai  merepotkan  seperti  pada  pembayaran.  Topik  sentimen  negative  dapat  menjadi  masukan untuk pengembang lama dan pengembang baru sebagai bahan perbaikan terhadap layanan telemedicine. Sebagai saran pengembangan penelitian selanjutnya dapat dilakukan analisis secara kualitatif terhadap feedback pengguna berfokus pada perkembangan aplikasi setiap tahunnya.

## REFERENCES
[1] World  Health  Organization,  “Implementing  telemedicine  services  during  COVID-19:  guiding  principles  and considerations for a stepwise approach,” https://www.who.int/publications/i/item/WPR-DSE-2020-032, pp. 1–25, 2020, [Online]. Available: https://apps.who.int/iris/handle/10665/336862.
[2] M. Kay, J. Santos, and M. Takane, “Telemedicine: Opportunities and developments in Member States,” Observatory, vol. 2, p. 96, 2010, [Online]. Available: http://www.who.int/goe/publications/goe_telemedicine_2010.pdf.
[3] Kementerian Kesehatan RI, “Surat Edaran Menteri Kesehatan Republik Indonesia Nomor Hk.02.01/Menkes/303/2020 Tahun  2020,”  Tentang  Penyelenggaraan  Pelayanan  Kesehat.  Melalui  Pemanfaat.  Teknol.  Inf.  Dan  Komun.  Dalam Rangka Pencegah. Penyebaran Corona Virus Dis. 2019, vol. 2016, pp. 2–5, 2020.
[4] www.orami.co.id,  “7  Aplikasi  Telemedicine  yang  Sediakan  Obat  Gratis  untuk  Pasien  Isolasi  Mandiri,  Catat!,” www.orami.co.id, p. https://www.orami.co.id/magazine/aplikasi-telemedi, 2022.
[5] K. Khan, B. Baharudin, A. Khan, and A. Ullah, “Mining opinion components from unstructured reviews: A review,” J. King Saud Univ. - Comput. Inf. Sci., vol. 26, no. 3, pp. 258–275, 2014, doi: 10.1016/j.jksuci.2014.03.009.
[6] R.  timlo.  ne.  Ario,  “Jumlah  Unduhan  Aplikasi  di  Google  Play  Capai  28  Miliar,”  timlo.net,  2020. https://timlo.net/baca/115867/jumlah-unduhan-aplikasi-di-google-play-capai-28-miliar/ (accessed Jul. 12, 2022).
[7] Suwanda Aditya Saputra, Didi Rosiyadi, Windu Gat, and Syepry Maulana Husain, “Analisis Sentimen E-Wallet Pada Google Play Menggunakan Algoritma Naive Bayes Berbasis Particle Swarm Optimization,” J. RESTI (Rekayasa Sist. dan Teknol. Informasi), vol. 1, no. 3, pp. 377–382, 2017.
[8] M. B. N. Taj and G. S. Girisha, “Insights of strength and weakness of evolving methodologies of sentiment analysis,” Glob. Transitions Proc., vol. 2, no. 2, pp. 157–162, 2021, doi: 10.1016/j.gltp.2021.08.059.
[9] S.  Sanagar  and  D.  Gupta,  “Unsupervised  Genre-Based  Multidomain  Sentiment  Lexicon  Learning  Using  Corpus- Generated Polarity Seed Words,” IEEE Access, vol. 8, pp. 118050–118071, 2020, doi: 10.1109/ACCESS.2020.3005242.
[10]  Z. Hameed and B. Garcia-Zapirain, “Sentiment Classification Using a Single-Layered BiLSTM Model,” IEEE Access, vol. 8, pp. 73992–74001, 2020, doi: 10.1109/ACCESS.2020.2988550.
[11]  G. Xu, Y. Meng, X. Qiu, Z. Yu, and X. Wu, “Sentiment analysis of comment texts based on BiLSTM,” IEEE Access, vol. 7, pp. 51522–51532, 2019, doi: 10.1109/ACCESS.2019.2909919.
[12]  S. Siami-Namini, N. Tavakoli, and A. S. Namin, “The Performance of LSTM and BiLSTM in Forecasting Time Series,” Proc. - 2019 IEEE Int. Conf. Big Data, Big Data 2019, pp. 3285–3292, 2019, doi: 10.1109/BigData47090.2019.9005997.
[13]  N.  Afrianto,  D.  H.  Fudholi,  and  S.  Rani,  “Prediksi  Harga  Saham  Menggunakan  BiLSTM  dengan  Faktor  Sentimen Publik,” J. RESTI (Rekayasa Sist. dan Teknol. Informasi), vol. 6, no. 1, pp. 41–46, 2022, doi: 10.29207/resti.v6i1.3676.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i1.5486
Submitted: 07/01/2023 ; Accepted: 19/01/2023 ; Published: 28/01/2023
[14]  O. Oyebode, F. Alqahtani, and R. Orji, “Using Machine Learning and Thematic Analysis Methods to Evaluate Mental Health  Apps  Based  on  User  Reviews,”  IEEE  Access,  vol.  8,  pp.  111141–111158,  2020,  doi: 10.1109/ACCESS.2020.3002176.
[15]  N. A. S. ER, “IMPLEMENTASI LATENT DIRICHLET ALLOCATION (LDA) UNTUK KLASTERISASI CERITA BERBAHASA  BALI,”  J.  Teknol.  Inf.  dan  Ilmu  Komput.,  vol.  8,  no.  1,  pp.  127–134,  2021,  doi: 10.25126/jtiik.202183556.
[16]  Y. Zhang and L. Zhang, “Movie Recommendation Algorithm Based on Sentiment Analysis and LDA,” Procedia Comput. Sci., vol. 199, pp. 871–878, 2022, doi: 10.1016/j.procs.2022.01.109.
[17]  C. Naury, D. H. Fudholi, and A. F. Hidayatullah, “Topic Modelling pada Sentimen Terhadap Headline Berita Online Berbahasa  Indonesia  Menggunakan  LDA  dan  LSTM,”  J.  Media  Inform.  Budidarma, vol.  5,  no.  1,  p. 24, 2021,  doi: 10.30865/mib.v5i1.2556.
[18]  N. L. P. M. Putu, Ahmad Zuli Amrullah, and Ismarmiaty, “Analisis Sentimen dan Pemodelan Topik Pariwisata Lombok Menggunakan  Algoritma  Naive  Bayes  dan  Latent  Dirichlet  Allocation,”  J.  RESTI  (Rekayasa  Sist.  dan  Teknol. Informasi), vol. 5, no. 1, pp. 123–131, 2021, doi: 10.29207/resti.v5i1.2587.
[19]  Janu Akrama Wardhana and Yuliant Sibaroni, “Aspect Level Sentiment Analysis on Zoom Cloud Meetings App Review Using  LDA,”  J.  RESTI  (Rekayasa  Sist.  dan  Teknol.  Informasi),  vol.  5,  no.  4,  pp.  631–638,  2021,  doi: 10.29207/resti.v5i4.3143.
[20]  H. A. Prakosa, A. B. Riyanto, and S. Nasiroh, “Analisis sentimen dan pemodelan topik pandemi Covid-19 pada media sosial Twitter menggunakan Naïve Bayes Classifier dan Latent Dirichlet Allocation,” Jnanaloka, pp. 73–78, 2021, doi: 10.36802/jnanaloka.2021.v2-no2-73-78.
[21]  A. Hendra and F. Fitriyani, “Analisis Sentimen Review Halodoc Menggunakan Nai ̈ve Bayes Classifier,” JISKA (Jurnal Inform. Sunan Kalijaga), vol. 6, no. 2, pp. 78–89, 2021, doi: 10.14421/jiska.2021.6.2.78-89.
[22]  N.  R.  Wardani  and  A. Erfina,  “ANALISIS  SENTIMEN  MASYARAKAT TERHADAP  LAYANAN KONSULTASI DOKTER  MENGGUNAKAN  ALGORITMA  NAIVE  BAYES,”  SISMATIK  (Seminar  Nas.  Sist.  Inf.  dan  Manaj. Inform., pp. 11–18, 2021.
[23]  E. Indrayuni, A. Nurhadi, and D. A. Kristiyanti, “Implementasi Algoritma Naive Bayes, Support Vector Machine, dan K-Nearest  Neighbors  untuk  Analisa  Sentimen  Aplikasi  Halodoc,”  Fakt.  Exacta,  vol.  14,  no.  2,  p.  64,  2021,  doi: 10.30998/faktorexacta.v14i2.9697.
[24]  G. Xu, Z. Yu, H. Yao, F. Li, Y. Meng, and X. Wu, “Chinese Text Sentiment Analysis Based on Extended Sentiment Dictionary,” IEEE Access, vol. 7, pp. 43749–43762, 2019, doi: 10.1109/ACCESS.2019.2907772.
[25]  F.  Koto  and  G.  Y.  Rahmaningtyas,  “Inset  lexicon:  Evaluation  of  a  word  list  for  Indonesian  sentiment  analysis  in microblogs,” Proc. 2017 Int. Conf. Asian Lang. Process. IALP 2017, vol. 2018-Janua, no. December, pp. 391–394, 2018, doi: 10.1109/IALP.2017.8300625.
[26]  Alvi Rahmy Royyan and Erwin Budi Setiawan, “Feature Expansion Word2Vec for Sentiment Analysis of Public Policy in  Twitter,”  J.  RESTI  (Rekayasa  Sist.  dan  Teknol.  Informasi),  vol.  6,  no.  1,  pp.  78–84,  2022,  doi: 10.29207/resti.v6i1.3525.
[27]  E. I. Setiawan and I. Lestari, “Stance Classification Pada Berita Berbahasa Indonesia Berbasis Bidirectional LSTM,” J. Intell. Syst. Comput., vol. 3, no. 1, pp. 41–48, 2021, doi: 10.52985/insyst.v3i1.148.
[28]  D. M. Blei, A. Y. Ng, and M. T. Jordan, “Latent dirichlet allocation,” Adv. Neural Inf. Process. Syst., 2002.
[29]  D. Ridhwanulah and D. H. Fudholi, “Pemodelan Topik pada Cuitan tentang Penyakit Tropis di Indonesia dengan Metode Latent Dirichlet Allocation,” J. Ilm. SINUS, vol. 20, no. 1, p. 11, 2022, doi: 10.30646/sinus.v20i1.589.