## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i3.6194

## Analisis Sentimen Berbasis Aspek Ulasan Aplikasi Mobile JKN dengan Lexicon Based dan Naïve Bayes
Salsabila Roiqoh, Badrus Zaman * , Kartono
Fakultas Sains dan Teknologi, Sistem Informasi, Universitas Airlangga, Surabaya, Indonesia Email: 1 salsabila.roiqoh-2019@fst.unair.ac.id, 2,* badruszaman@fst.unair.ac.id, 3 kartono@fst.unair.ac.id Email Penulis Korespondensi: badruszaman@fst.unair.ac.id
Abstrak− Badan  Penyelenggara  Jaminan  Sosial  (BPJS)  Kesehatan  adalah  badan  hukum  penyelenggara  program  jaminan kesehatan masyarakat. Pada tahun 2017, BPJS Kesehatan merilis aplikasi Mobile JKN untuk menunjang berbagai kegiatan layanan Kesehatan dengan menggunakan device masing-masing. Mobile JKN seharusnya mampu memberikan layanan terbaik bagi masyarakat. Namun, aplikasi Mobile JKN masih belum sepenuhnya mendapatkan presepsi publik yang positif dan masih memiliki banyak kekurangan. Berdasarkan hal tersebut, maka perlu dilakukan evaluasi dan analisis lebih dalam untuk aplikasi Mobile JKN. Penelitian ini berfokus pada analisis sentimen berbasis aspek ulasan pengguna pada Google Play Store untuk mengevaluasi aplikasi Mobile JKN. Data ulasan yang digunakan adalah 2 versi terakhir yaitu 4.2.3 dan 4.3.0. Penelitian ini dilakukan  dengan  pemodelan  aspek/topik  menggunakan  metode  Latent  Dirichlet  Allocation  dan  analisis  sentimen menggunakan Naïve Bayes dan Lexicon Based. Penelitian ini menghasilkan 3 aspek yaitu Pelayanan dan Fitur, Register dan Login, dan Kepuasan Pengguna. Hal ini didapatkan berdasarkan model dengan nilai coherence score tertinggi sebesar 0,6392 yang diperoleh pada looping model dengan jumlah topik 1 hingga 9, random state = 42, passes = 50, dan iteration = 60 dan 70. Sedangkan hasil analisis sentimen, metode Naïve Bayes lebih baik dibandingkan Lexicon Based (Inset Lexicon). Hal ini terlihat dari hasil evaluasi Naïve Bayes yang lebih unggul, Naïve Bayes mendapatkan nilai akurasi tertinggi 94,75% sedangkan lexicon based dengan Inset Lexicon mendapatkan akurasi sebesar 59,99%.
Kata  Kunci: Aspect  Based  Sentiment  Analysis  (ABSA);  Latent  Dirichlet  Allocation;  Lexicon  Based;  Naïve  Bayes;  Text Mining; Topic Modeling.
Abstract− Badan  Penyelenggara  Jaminan  Sosial  (BPJS)  Kesehatan  is  a  legal  entity  that  provides  social  health  insurance programs for the public released application called Mobile JKN to support various health services activities using users devices. Mobile JKN has not fully received a positive public perception and still has many shortcomings. It is necessary to conduct a deeper evaluation and analysis of the Mobile JKN. This study focuses on aspect-based sentiment analysis of user reviews on the Google Play Store to evaluate the Mobile JKN. The review data used are the last two versions, 4.2.3 and 4.3.0. This study was carried out by modeling aspects/topics using the Latent Dirichlet Allocation method and sentiment analysis using Naïve Bayes and Lexicon-Based methods. This research resulted in 3 aspects, namely Services and Features, Register and Login, and User Satisfaction. This was obtained based on the model with the highest coherence score of 0.6392 obtained in the model looping with the number of topics from 1 to 9, random state = 42, passes =50, and iteration = 60. Meanwhile, based on the sentiment analysis results, the Naïve Bayes method is better than the Lexicon-Based (Inset Lexicon) method. This is evident from  performance  of  the  Naïve  Bayes  with  the  highest  accuracy  score  of  94.75%  and  Lexicon  Based  with  Inset  Lexicon obtained an accuracy score of 59.99%.
Keywords : Aspect Based Sentiment Analysis (ABSA); Latent Dirichlet Allocation; Lexicon Based; Naïve Bayes; Text Mining; Topic Modeling.

## 1. PENDAHULUAN
Kesehatan  merupakan  hak  asasi  yang  harus  dipenuhi  oleh  negara  untuk  kesejahteraan  rakyatnya[1].  Sebagai bentuk  upaya negara memberikan pelayanan kesehatan, Pemerintah membentuk  Badan Penyelenggara Jaminan Sosial  (BPJS)  Kesehatan.  Badan  Penyelenggara  Jaminan  Sosial  (BPJS)  Kesehatan  adalah  badan  hukum penyelenggara  program  jaminan  kesehatan  masyarakat  yang  menyelenggarakan  program  Jaminan  Kesehatan Nasional-Kartu  Indonesia    Sehat  (JKN-KIS)  sebagai  program  perlindungan  dan  penjaminan  atas  pemenuhan kesehatan  masyarakat  dengan  membayarkan  iuran  pada  pemerintah.  Hingga  September  2022,  peserta  program JKN sudah mencapai 244.600.449 jiwa [2].
Untuk  meningkatkan  pelayanan  kesehatan  pada  peserta  JKN,  pada  tahun  2017,  BPJS  Kesehatan  merilis aplikasi Mobile JKN. Aplikasi ini mampu menunjang berbagai kegiatan layanan Kesehatan dengan menggunakan device masing-masing [3]. Aplikasi Mobile JKN merupakan aplikasi teratas pada kategori kedokteran di Google Play Store Indonesia. Sebagai aplikasi penyedia layanan pemerintah, Mobile JKN seharusnya mampu memberikan layanan terbaik bagi masyarakat. Namun, aplikasi Mobile JKN masih belum sepenuhnya mendapatkan presepsi publik yang positif dan masih memiliki banyak kekurangan [4]. Berdasarkan hal tersebut, maka perlu dilakukan evaluasi dan analisis lebih dalam untuk aplikasi Mobile JKN.
Review pengguna sangat efektif digunakan untuk menemukan informasi dari prespektif pengguna sehingga dapat dijadikan acuan terhadap hal-hal yang harus diperbaiki atau belum diketahui oleh pengembang aplikasi [5]. Karena  banyaknya  jumlah  review  yang  diberikan  pengguna,  salah  satu  metode  yang  dapat  digunakan  adalah analisis sentimen. Jenis analisis sentimen yang akan digunakan pada penelitian ini adalah Aspect Based Sentiment Analysis (ABSA) untuk membahas keseluruhan sentimen dengan aspek-aspek yang spesifik.
ABSA  terdiri  dari  2  proses  yaitu  aspect  extraction  dan  sentiment  analysis  [6].  Aspect  extraction  yang digunakan adalah Topic Modeling. Teknik sentiment analysis terbagi menjadi 2 kategori yaitu lexicon-based dan

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i3.6194
machine learning based [7]. Pada penelitian ini, akan dilakukan analisis sentimen menggunakan 2 metode tersebut. Metode lexicon based adalah metode klasifikasi yang menggunakan kamus kata-kata opini. Kamus lexicon yang akan digunakan adalah Inset Lexicon yang memiliki akurasi yang tinggi bila dibandingkan dengan kamus lexicon berbahasa Indonesia lainnya [8]. Sedangkan untuk machine learning based, menggunakan metode Naïve Bayes. Metode Naïve Bayes adalah metode yang sering digunakan pada klasifikasi teks. Pada penelitian [9] menunjukkan bahwa metode Naïve Bayes memiliki akurasi yang lebih tinggi dibandingkan decision tree dan random forest.
Penelitian serupa dilakukan oleh Fajri, dkk di tahun 2021 yang bertujuan untuk mengeksplorasi user review pada aplikasi Zenius untuk menentukan prioritas pelayanan penyedia aplikasi Zenius. Penelitian ini menghasilkan 6  topik  yaitu  live  class,  tryout,  subject  matter,  user  account,  tutorial  video,  dan  free  learning  access.  Hasil klasifikasi  dengan SentiStrength ID menghasilkan akurasi  92.75%  [10]. Berdasarkan hasil NRS, terlihat  bahwa topik  yang  perlu  diprioritaskan  adalah  pada  user  account.  Penelitian  lainnya  dilakukan  oleh  Viny  Gilang Ramadhan dan Yuliant Sibaroni pada tahun 2021 dengan judul Sentiment Analysis of Public Opinion Related to Rapid Test Using LDA Method yang bertujuan untuk mengetahui opini publik mengenai rapid test. Penelitian ini menggunakan  Latent  Dirichlet  Allocation  (LDA)  untuk  topic  modeling  dan  menghasilkan  4  topik  utama  yang dibahas  yaitu  convenience,  service,  regulation  dan  informative  dengan  hasil  akurasi  terbaik  yaitu  94%  [11]. Penelitian terkait lainnya adalah penelitian yang dilakukan oleh Shinta Prima Astusi di tahun 2020 dengan tujuan melakukan analisis sentimen berbasis aspek pada aplikasi Tokopedia untuk mengetahui kelebihan dan kekurangan aplikasi  Tokopedia.  Penelitian  ini  menghasilkan  4  topik  yang  dibahas  yaitu  kebermanfaatan,  pelayanan, pengalaman belanja, dan tampilan. Hasil akurasi yang didapatkan dari analisis sentimen dengan Naïve Bayes ini adalah 92,5% [12].
Penelitian ini berfokus pada analisis sentimen berbasis aspek pada aplikasi Mobile JKN berdasarkan ulasan pengguna pada Google Play Store. Penelitian ini dilakukan dengan pemodelan aspek/topik menggunakan metode Latent  Dirichlet  Allocation  dan  klasifikasi  sentimen  menggunakan  Naïve  Bayes  dan  Lexicon  Based.  Dengan menggunakan analisis sentimen berbasis aspek pada ulasan pengguna aplikasi Mobile JKN, bisa dijadikan peluang dalam  menggali  informasi  tentang  penilaian  publik  terhadap  aplikasi  ini  dari  berbagai  aspek  yang  ada  serta memberikan pandangan dan pertimbangan terhadap pengembangan aplikasi kedepannya.

## 2. METODOLOGI PENELITIAN

## 2.1 Tahapan Penelitian
Secara umum, penelitian ini memiliki 8 tahapan penelitian yaitu pengumpulan data, labeling data, preprocessing, topic modeling, klasifikasi sentimen dengan metode lexicon based dan Naïve Bayes, evaluasi serta visualisasi dan analisis.Gambaran umum alur penelitian ditunjukkan pada pada Gambar 1.

## Gambar 1. Alur Penelitian

## 2.2 Pengumpulan Data
Pengumpulan data dilakukan dengan web scraping pada ulasan pengguna Aplikasi Mobile JKN pada Google Play Store pada 2 versi terakhir, yaitu versi 4.2.3 dan 4.3.0. Pengambilan data dilakukan pada tanggal 1 Februari 2023 dengan jumlah total ulasan yang digunakan adalah 10.752 ulasan dari  10.798 data ulasan yang didapatkan dari scraping.  46  data  ulasan  tidak  digunakan  karena  yang  tidak  memiliki  arti  dan  ulasannya  tidak  sesuai  dengan konteks penilaian terhadap aplikasi contohnya “99ppppp9ppp9p99p p99ga pp” dan “Rr”.

## 2.3 Labeling Data
Labeling Data dilakukan untuk memberikan label jenis sentimen pada setiap ulasan pengguna. Labeling dilakukan oleh  3  orang  mahasiswa  program  studi  Bahasa  Indonesia  dengan  menggunakan  metode  majority  voting,  yaitu

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i3.6194
sentimen setiap ulasan ditentukan berdasarkan jumlah label sentimen terbanyak yang diberikan annotator. Label yang diberikan adalah sentimen positif, sentimen negatif dan sentimen netral.

## 2.4 Preprocessing
Sebelum  melakukan  pengolahan  data,  hal  pertama  yang  dilakukan  adalah  melakukan  preprocessing  pada  text document [13]. Text preprocessing adalah proses yang digunakan untuk mengolah data tidak terstruktur menjadi data yang siap dipakai  untuk  text mining  [14]. Secara general, terdapat  5 tahapan pada text preprocessing [15] yaitu:
a. Case  folding,  proses  preprocessing  berupa  pengubahan  dan  penyeragaman  setiap  huruf  atau  karakter  pada dokumen menjadi bentuk yang sama.
b. Tokenizing,  proses  pemecahan  kalimat  menjadi  kata-kata/token.  Pemisahan  ini  dilakukan  dengan menghilangkan setiap tanda baca yang ada.
c. Normalization,  proses  untuk  mengubah  teks  menjadi  bentuk  baku/bentuk  umum.  Contohnya  kata  “sj” merupakan kata yang berasal dari kata “saja”.
d. Filtering,  proses  pengambilan  kata/token  yang  penting  dan  bermakna  dari  dokumen  dengan  menghilangkan stopword.
e. Stemming, proses pengubahan kata-kata yang ada, menjadi akar kata/kata dasar dengan menghilangkan semua imbuhan yang ada pada kata.

## 2.5 Topic Modeling dengan Latent Dirichlet Allocation
Topic Modeling adalah metode text mining yang mengidentifikasi pola dokumen dan melakukan penggolongan tiap  kata menjadi  topik  yang  menggambarkan  dokumen.  Metode  ini  menggunakan  pendekatan  clustering  yaitu pengelompokkan kata pada teks dokumen menjadi beberapa topik tertentu [16]. Latent Dirichlet Allocation (LDA) adalah  salah  satu  teknik  pemodelan  topik  yang  digunakan  untuk  memunculkan  topik-topik  terkait  dari  sebuah dokumen. LDA memiliki kemampuan yang baik pada penggunaannya di data yang besar [17]. Model LDA ditunjukkan pada Gambar 2. Generatif proses pada LDA dijelaskan sebagai berikut [18]: 1. Untuk setiap topik K ϵ {1,..,K}, dipilih probabilitas 𝛷 𝑘 ~ Dir(β) 2. Untuk setiap dokumen d ϵ {1,..,M}: a. Pilih 𝜃 𝑑 ~ Dir(α) b. Untuk setiap kata j ϵ 1,.., 𝑁 𝑑 pada dokumen d:
1) Pilih topik 𝑧 𝑑,𝑗 ~ multinominal ( 𝜃 𝑑 ) 2) Pilih kata 𝑤 𝑑,𝑗 ~ multinominal ( 𝜙 𝑧𝑑𝑗 )
Hasil dari topic modeling adalah sekumpulan topik yang berisi gugus-gugus kata yang telah terclustering berdasarkan pola dokumen [19]. Pemilihan jumlah topik menjadi salah satu yang penting dalam pemodelan. Topic coherence digunakan untuk  evaluasi  sebuah topic modeling  dalam menentukan jumlah topik. Topic Coherence adalah pengukuran nilai dari suatu topik dengan mengukur tingkat kesamaan semantik antara kata-kata yang ada dalam  topik.  Semakin  tinggi  nilai  topic  coherence,  maka  semakin  baik  interpretasi  sebuah  topik  oleh  manusia, sehingga menghasilkan kualitas yang baik pada topik [20]

## Gambar 2. Model Latent Dirichlet Allocation

## 2.6 Lexicon Based
Metode Lexicon Based (berbasis lexical) digunakan untuk mengekstraksi  kalimat opini secara otomatis dengan menggunakan kamus kata-kata opini yang akan digunakan sebagai  acuan dalam klasifikasinya. Kamus tersebut menjadi dasar identifikasi kalimat opini dengan menghasilkan nilai presisi yang tinggi [21]. Pendekatan berbasis lexical  ini  tidak  memerlukan  pembelajaran  model  dan  pelatihan  dataset  karena  merupakan  pendekatan  kamus (dictionary  based  approach).  Kamus  yang  digunakan  adalah  Indonesia  Sentimen  (InSet)  Lexicon  yaitu  kamus lexicon Indonesia disusun oleh Fajri Koto dan Gemal Y. Rahmaningtyas. Kamus Inset dipilih karena menghasilkan akurasi  yang maksimal  sebagai  kamus lexicon di  bahasa indonesia  [8]. InSet terdiri dari 3.609 kata positif dan 6.609 kata negatif dengan masing-masingnya memiliki bobot nilai antara -5 hingga +5.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i3.6194
Jika sentiment score > 0, maka Sentimen Positif Jika sentiment score < 0, maka Sentimen Negatif Jika sentiment score = 0, maka Sentimen Netral

## 2.7 Naïve Bayes
Naïve  Bayes  adalah  teknik  klasifikasi  yang  menggunakan  peluang  statistik  untuk  memprediksi  peluang  masa depan,  dengan  apa  yang  telah  terjadi  sebelumnya  [22].  Naïve  Bayes  yang  dikembangkan  oleh  Thomas  Bayes, merupakan metode klasifikasi  yang sederhana dan efisien untuk  klasifikasi  text  [23]. Naïve Bayes menghitung nilai statistik per kelas dengan pelatihan dokumen yang menghemat waktu komputasi [24]. Pada text classification, Naïve Bayes ditunjukkan pada persamaan 1 [25]:
𝑐 𝑛𝑏 =  𝑎𝑟𝑔 𝑚𝑎𝑥 𝑙𝑜𝑔 𝑃(𝑐)   + ∑ 𝑙𝑜𝑔 𝑃(𝑤 𝑖 |𝑐) 𝑖∈𝑝𝑜𝑠𝑖𝑡𝑖𝑜𝑛𝑠 (1)
Dimana: 𝑤 𝑖 : kata pada sebuah dokumen d 𝑃(𝑐) : Probabilitas kelas c 𝑃(𝑤 𝑖 |𝑐) : Probabilitas kata ke-i pada sebuah kelas c 𝑃(𝑐) didapatkan  dari  probabilitas  sebuah  dokumen  ada  pada  sebuah  kelas  yang  ditunjukkan  pada persamaan 2.
𝑃(𝑐) = 𝑁 𝑐 𝑁 𝑑𝑜𝑐 (2)
Dimana: 𝑁 𝑐 : Jumlah dokumen pada kelas c 𝑁 𝑑𝑜𝑐 : Jumlah dokumen Sedangkan 𝑃(𝑤 𝑖 |𝑐) didapatkan dari probabilitas kata pada kelas c yang ditunjukkan pada persamaan 3.
𝑃(𝑤 𝑖 |𝑐) = 𝑐𝑜𝑢𝑛𝑡(𝑤 𝑖 ,𝑐)+1 ∑ (𝑐𝑜𝑢𝑛𝑡(𝑤,𝑐)+1)+|𝑉 𝑤∈ 𝑉 | (3)
Dimana: 𝑐𝑜𝑢𝑛𝑡(𝑤 𝑖 |𝑐) : Jumlah kata-i pada kelas c (𝑐𝑜𝑢𝑛𝑡(𝑤, 𝑐) : Jumlah kata pada kelas c 𝑉 : Jumlah seluruh kata

## 3. HASIL DAN PEMBAHASAN
Penelitian ini menggunakan bahasa pemrograman pyhton dengan tools Google Collabs. Keseluruhan jumlah data ulasan yang dipakai  adalah 10.752 ulasan. Berdasarkan hasil labeling yang telah dilakukan, didapatkan jumlah ulasan positif sebanyak 8138, ulasan negatif sebanyak 2406 dan netral sebanyak 208 seperti yang ditujukkan pada Gambar  3.  Setelah  melewati tahapan  preprocessing,  terdapat  data  ulasan  hasil  preprocessing  yang  menjadi  list kosong. Hal ini terjadi karena data ulasan hanya berisi emoji, angka, character ataupun stopword. Maka dilakukan penghapusan terhadap data tersebut  sehingga menghasilkan 10.424 baris data yang akan dipakai untuk  tahapan selanjutnya.

## Gambar 3. Jumlah ulasan berdasarkan sentimen

## 3.1 Topic Modeling
Topic  modeling  dilakukan  dengan  library  gensim.  Pemodelan  topik  dimulai  dengan  pembuatan  dictionary  dan corpus. Dictionary adalah kumpulan kata-kata unik dari keseluruhan data ulasan. Sedangkan corpus adalah matrix frekuensi  dari  masing-masing  kata.  Penentuan  jumlah  topik  terbaik  dilakukan  dengan  mencari  topik  dengan coherence score tertinggi. Maka dari itu dilakukan looping model dengan jumlah topik 1 hingga 9 seperti yang
n = 10.752

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i3.6194
dilakukan pada penelitian [16] dan [26]. Random state yang digunakan adalah 42. Nilai passes dan iteration yang digunakan adalah 10, 20, 30, 40, 50, 60, 70, 80, 90 dan 100.
Percobaan  dilakukan  dengan  bergantian mengubah  nilai  passes  dan  iteration.  Berdasarkan  hasil  looping model dengan mengubah iteration dan passes, dibuat sebuah tabel yang menampilkan coherence score tertinggi dari  masing-masing  hasil  running  model.  Hasil  looping  dengan  coherence  value  tertinggi  ditunjukkan  pada Gambar  4  dimana  blok  warna  merah menandakan  hasil  coherence  score  tertinggi  di  tiap  passes  pada  berbagai iteration. Blok warna kuning menandakan hasil coherence score tertinggi di tiap iteration pada berbagai passes. Sedangkan blok  hijau menandakan hasil coherence score tertinggi  pada passes dan iteration. Berdasarkan hasil looping model yang dilakukan, nilai tertinggi coherence score adalah 0,6392 pada passes 60, 70 dan iteration 50.
Gambar 4. Hasil coherence score tertinggi masing-masing iteration dan passes
Jumlah topik yang digunakan adalah 3 topik, pada model dengan iteration 50 dan passes 60, 70 sebagai model dengan coherence score tertinggi. Model  pada iteration 50 dan passes 60, 70 menghasilkan  model yang sama dengan coherence score 0,6392 seperti yang ditunjukkan pada Tabel 1. Bila divisualisasikan, ketiga model tersebut ter clustering masing-masing dan tidak ada yang saling tumpang tindih. Visualisasi model dengan 3 topik dengan PLDAvis ditunjukkan pada Gambar 5.
Gambar 5. Visualisasi model 3 topik menggunakan PLDAvis
Tabel 1. Hasil Run Coherence Score tertinggi
Passes  Iteration Hasil 60 50 Num Topic 1 has coherence values of 0.3585 Num Topic 2 has coherence values of 0.5291 Num Topic 3 has coherence values of 0.6392 Num Topic 4 has coherence values of 0.5567
Num Topic 5 has coherence values of 0.5225 Num Topic 6 has coherence values of 0.5434
Num Topic 7 has coherence values of 0.539 Num Topic 8 has coherence values of 0.5503
Num Topic 9 has coherence values of 0.5697
70 50 Num Topic 1 has coherence values of 0.3893 Num Topic 2 has coherence values of 0.5388 Num Topic 3 has coherence values of 0.6392 Num Topic 4 has coherence values of 0.5567 Num Topic 5 has coherence values of 0.5225
Num Topic 6 has coherence values of 0.5414 Num Topic 7 has coherence values of 0.539

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i3.6194
Passes  Iteration

## Hasil
Num Topic 8 has coherence values of 0.5503 Num Topic 9 has coherence values of 0.5697
Topic model tersebut menghasilkan 3 topik yang terdiri dari kumpulan kata dengan nilai probabilitas kata terhadap topik. Hasil topic modeling dengan 3 topik ditunjukkan pada Gambar 6.
Gambar 6. Hasil topic modeling 3 topik
Berdasarkan ketiga topik yang telah terkluster, dilakukan penentuan nama berdasarkan kata yang ada pada masing-masing topik. Berdasarkan kumpulan kata pada topik 0, menggambarkan kepuasan pengguna dengan kata kunci “bantu”, “mudah”, “mantap” dengan beberapa kata yang menggambarkan subjek seperti “layan”, “faskes”, “ubah” dan  “data”. Maka dari itu, topik 0 dinamai dengan Pelayanan dan Fitur.
Berdasarkan  kumpulan  kata  pada  Topik  1  di  Gambar  4.16,  terdapat  kata  yang  merujuk  pada  “daftar”, “masuk”, “login”, sehingga topik 1 dinamai dengan Register dan Login. Sedangkan berdasarkan kumpulan kata pada  topik  2  pada  Gambar  4.17,  kebanyakan  kata  menggambarkan  bentuk  kepuasan  pengguna  seperti  “oke”, “bagus”,  “keren”  dan  lain-lain.  Tidak  terdapat  subjek  lain  pada  topik  ini,  sehingga  topik  2  dinamai  dengan kepuasan pengguna.
Selanjutnya,  setiap  ulasan  akan  dikategorikan  pada  masing-masing  topik  berdasarkan  besar  probabilitas topik di setiap ulasan. Ulasan dengan nilai probabilitas topik paling besar di salah satu topiknya, maka akan masuk ke  topik  tersebut.  Setelah  masing-masing  ulasan  dilabeli  dengan  3  topik  di  atas,  didapatkan  bahwa  topik  0 (Pelayanan  dan  Fitur)  sebanyak  4882  ulasan,  topik  1(Register  dan  Login)  sebanyak  3333  ulasan,  dan  topik  2 (Kepuasan Pengguna) sebanyak 2209 ulasan.

## 3.2 Analisis Sentimen dengan Lexicon Based
Kamus lexicon yang digunakan pada penelitian ini adalah Inset Lexicon. Inset Lexicon terdiri dari kamus positif dan kamus negatif. Berdasarkan kamus tersebut, setiap kata pada ulasan dinilai dengan score pada kamus. Hasil dari jumlah score kata positif dan kata negatif di sebuah ulasan digunakan untuk menilai sentimen ulasan tersebut. Nilai score yang positif menunjukkan sentimen positif, score negatif menunjukkan sentimen negatif dan score 0 menunjukkan sentimen netral. Contoh hasil penilaian sentimen dengan lexicon based ditunjukkan pada Tabel 2.
Tabel 2. Contoh hasil penilaian sentimen dengan Inset Lexicon
Ulasan Kata Terdeteksi Score Akhir Ulasan Sentimen aplikasi susah, biasanya tidak seribet ini buat daftar, malah harus verifikasi nomor, dan pakai biaya pulsa sendiri. mohon di perbaiki. aplikasi ginian ada untuk mempermudah bukan untuk mempersulit
(dibuat kolom berbeda) -11 Negatif daftar : 1 mohon : 2
baik : 3 mudah : 4 aplikasi : -4 susah : -3 daftar : -3 pulsa : -3
mohon : -2
baik : -1 aplikasi : -4 mudah : -1

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i3.6194
Ulasan Kata Terdeteksi Score Akhir Ulasan Sentimen Aplikasi Mobile JKN ini sangat membantu sekali, Sangat mudah untuk merubah data tanpa harus datang dan Capek antri di Kantor BPJS. Cukup dirumah sambil Sarapan, Data langsung bisa dirubah. Terima Kasih Mobile JKN.
bantu : 3 4 Positif mudah : 4 capek : 4
rumah : 3 sarap : 3
langsung : 3 terima : 2 kasih : 2 aplikasi : -4 bantu : -4 mudah : -1 data : -3
capek : -4 data : -3 kasih : -1
Pelabelan sentimen dengan Inset Lexicon menghasilkan 4635 ulasan positif, 4618 ulasan negatif dan 1171 ulasan netral yang ditunjukkan pada Gambar 7.
Gambar 7. Jumlah ulasan berdasarkan label sentimen Inset Lexicon

## 3.3 Analisis Sentimen dengan Naïve Bayes
Library  sklearn  digunakan  untuk  analisis  sentimen  dengan  metode  Naïve  Bayes.  Metode  ini  dimulai  dengan membuat  matriks  frekuensi  kata  pada  setiap  ulasan.  Selanjutnya  dilakukan  pembagian  data  testing  dan  data training dengan train_test_split dan pemodelan dengan MultinomialNB(). Random state yang digunakan adalah 42. Pada penelitian ini dilakukan percobaan untuk mengubah banyaknya data testing dan data training dari 10% hingga 90%. Jumlah ulasan berdasarkan masing-masing sentimen dari model Naïve Bayes ditunjukkan pada Tabel 3.
Tabel 3. Jumlah ulasan dengan perubahan data training dan testing model Naïve Bayes

## 3.4 Evaluasi
Berdasarkan hasil evaluasi metode lexicon based (Inset Lexicon) dan Naïve Bayes, didapatkan nilai akurasi, rata- rata precision, rata-rata recall dan rata-rata f1-score yang ditunjukkan pada Tabel 4. Metode  Naïve Bayes lebih unggul daripada lexicon based. Kemudian, Naïve Bayes dengan data training 70% dan testing 30%, mendapatkan nilai yang tertinggi dibandingkan dengan komposisi presentase data testing dan training lainnya.
Metode  lexicon  based  dengan  Inset  Lexicon  mendapatkan  hasil  yang  lebih  rendah  dibandingkan  Naïve Bayes. Hal ini bisa terjadi karena terdapat kata-kata pada ulasan yang tidak ada pada kamus Inset sehingga kata tidak terdeteksi atau bernilai 0. Selain itu, juga terdapat beberapa kata yang masuk dalam kamus negatif dan positif sekaligus sehingga berpengaruh pada hasil sentimen. Contohnya kata “cepat” bernilai -3 di kamus negatif dan 3
Training (%) Testing (%) Jumlah Ulasan Positif  Negatif  Netral 10 90 7216 2165 1 20 80 6384 1953 3 30 70 5529 1764 4 40 60 4732 1518 5 50 50 3921 1283 8 60 40 3146 1014 10 70 30 2369 751 8 80 20 1588 491 6 90 10 803 238 2

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i3.6194
di kamus positif, kata “mudah” bernilai -1 di kamus negatif dan 4 di kamus positif dan kata “bantu” bernilai -4 di kamus negatif dan 2 di kamus positif.
Tabel 4. Hasil evaluasi metode lexicon based dan Naïve Bayes
Metode Data training (%) Data testing(%) Akurasi (%) Rata-rata precision (%) Rata-rata recall (%) Rata-rata f1-score (%) Lexicon based (Inset Lexicon) - - 59,99 45,96 52,16 43,36 Naive Bayes 10 90 93,63 62 61,13 61,56 20 80 93,89 62,37 61,3 61,83 30 70 94,1 63,06 69,76 62,57 40 60 94,18 62,93 61,55 62,23 50 50 94,51 63,24 61,83 62,53 60 40 94,46 63,13 61,87 62,49 70 30 94,75 64,32 70,32 64,55 80 20 94,53 63,7 67,4 63,8 90 10 94,24 62,71 61 61,84

## 3.5 Visualisasi dan Analisis
Berdasarkan labeling 3 topik sebelumnya, dilakukan visualisasi topik terhadap sentimennya yang ditunjukkan pada Gambar 8. Topik 0 (Pelayanan dan Fitur) dan Topik 2 (Kepuasan Pengguna) mendapatkan banyak sentimen positif dan sedikit mendapatkan ulasan negatif. Berbeda dengan Topik 1 (Register dan Login) yang mendapatkan ulasan negatif  lebih  banyak  dari  pengguna,  bila  dibandingkan  dengan  ulasan  positifnya.  Sedangkan  ulasan  dengan sentimen netral paling banyak masuk ke Topik 1 (Register dan Login).
Pada data hasil scraping, data ulasan versi 4.2.3 lebih banyak daripada versi 4.3.0. Bila dibandingkan antara versi 4.2.3 dan versi 4.3.0, keduanya menghasilkan diagram yang serupa. Topik 0 (Pelayanan dan Fitur) dan Topik 2 (Kepuasan Pengguna) memiliki sentimen positif lebih banyak, sedangkan Topik 1 (Register dan Login) memiliki ulasan dengan sentimen negatif lebih banyak. Hal ini menunjukkan bahwa meski sudah ada update ke versi 4.3.0, sentimen pengguna mengenai Register dan Login masih tetap sama, yaitu negatif.

## Gambar 8. Diagram topik terhadap sentimennya
Selanjutnya dilakukan visualisasi dengan wordcloud pada masing-masing topik dan sentimennya. Semakin besar kata pada wordcloud, maka semakin banyak kata tersebut muncul pada ulasan. Gambar 9 menunjukkan topik 0 (Pelayanan dan Fitur) pada sentimen positif yang didominasi kata “bantu”, “mudah”, “mantap”, dan “manfaat” menunjukkan bahwa aplikasi Mobile JKN cukup membantu, mudah dan bermanfaat. Kata “layan”, “sehat” dan “cepat”  saling  berkaitan  menunjukkan  pelayanan  kesehatan  yang  baik  dan  cepat.  Kata  “data”  dan  “ubah” menunjukkan  kemudahan  dalam  perubahan  data.  Kata  “faskes”  berkaitan  dengan  kemudahan  pengguna melakukan pindah faskes.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i3.6194
Sedangkan untuk  ulasan negatif pada topik Register dan Login  yang ditunjukkan pada Gambar 10, kata “aplikasi”, “daftar” dan “login” membahas kesulitan pengguna untuk login dan daftar ke aplikasi. Kata “daftar” juga membahas tentang kendala pendaftaran antrian online pengguna. Kata “nomor”, “verifikasi”, “kode”, “pulsa” dan  “email”  saling  berkaitan  membahas  mengenai  nomer/kode  verifikasi  yang  tidak  masuk.  Kata  “update” berkaitan dengan error yang terjadi setelah update. Kata “data” terkait pada data pribadi yang tidak sesuai.
Gambar 10. Wordcloud topik register dan login sentimen negatif
Wordcloud  topik  Kepuasan  Pengguna  dengan  sentimen  positif  ditunjukkan  pada  Gambar  11.  Sentimen positif pada topik ini dipenuhi dengan kata pujian terhadap aplikasi seperti “bagus”, “oke”, “bantu”, “keren” dan lain-lain. Ulasan yang masuk pada topik dan sentimen ini sebagian besar adalah ulasan pendek yang hanya berisi pujian mengenai kepuasan pengguna aplikasi Mobile JKN.
Gambar 11. Wordcloud topik kepuasan pengguna sentimen positif
Berdasarkan hasil analisis di atas, aplikasi Mobile JKN sudah memberikan pelayanan yang membantu dan memudahkan penggunanya. Hal ini dapat dilihat dari komentar bersentimen positif pengguna Mobile JKN lebih dari  70%. Namun, masih  banyak komentar negatif terkait  aplikasi ini. Hal ini ditunjukkan pada Topik  Register dan Login  yang memiliki banyak komentar bersentimen negatif. Berikut adalah beberapa saran pengembangan aplikasi yang dapat diberikan:
a. Mempermudah sistem login dan daftar pada aplikasi  karena banyak pengguna yang kesulitan ketika tahapan verifikasi.
b. Mengoptimalkan sistem verifikasi yang ada sehingga tidak menyulitkan pengguna.
c. Menyediakan kontak layanan pengguna yang mudah diakses untuk memudahkan pengguna bertanya mengenai kesulitan penggunaan aplikasi.
d. Mengoptimalkan  dan  memaksimalkan  sistem  pendaftaran  antrian  di  aplikasi  maupun  pengaplikasiannya  di lapangan.
e. Memperbaiki dan mengoptimalkan data pribadi pengguna sehingga tidak muncul data-data yang tidak sesuai dengan masing-masing pengguna.
Dengan beberapa saran di atas, diharapkan aplikasi mampu memberikan pelayanan yang lebih baik bagi pengguna aplikasi Mobile JKN.

## 4. KESIMPULAN
Berdasarkan hasil penelitian, didapatkan topik terkait aplikasi  Mobile JKN ada  tiga, yaitu Pelayanan dan Fitur, Register dan Login, dan Kepuasan Pengguna. Berdasarkan hasil analisis sentimen, metode Naïve Bayes lebih baik dibandingkan Lexicon Based (Inset Lexicon); Berdasarkan evaluasi, Naïve Bayes dengan data training 70% dan data  testing  30%  lebih  unggul  dibandingkan  dengan  presentase  data  training  dan  testing  lainnya.  Naïve  Bayes dengan data training 70% dan data testing 30% mendapatkan nilai  akurasi tertinggi 94,75%, rata-rata precision 64,32%, rata-rata recall 70,3% dan rata-rata f1-score 64,55%. Sedangkan  Lexicon Based dengan Inset  Lexicon mendapatkan akurasi  sebesar 59,99%, rata-rata precision  45,96%, rata-rata recall 52,16% dan f1-score 43,36%. Berdasarkan penelitian ini, dapat dilakukan pengembangan penelitian dengan menggunakan data ulasan yang lebih banyak, menggunakan metode topic modeling dengan pendekatan lainnya seperti Latent Semantic Analysis (LSA)

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i3.6194
dan Non Negative Matrix  Factorization (NMF). Selain itu, analisis sentimen menggunakan lexicon based pada penelitian ini menghasilkan akurasi yang tidak cukup tinggi. Maka dari itu, dapat dilakukan pengembangan dengan kamus lexicon lain dengan seperti VADER yang memiliki 7500 lexical feature meskipun implementasinya harus melakukan translasi kata ke Bahasa Inggris [27].

## REFERENCES
[1]  M. Ardinata, “Tanggung Jawab Negara terhadap Jaminan Kesehatan dalam Perspektif Hak Asasi Manusia (HAM),” Jurnal HAM, vol. 11, no. 2, hlm. 319, Agu 2020, doi: 10.30641/ham.2020.11.319-332.
[2]  BPJS Kesehatan, “BPJS Kesehatan,” 20 September 2022. https://Bpjs-Kesehatan.go.Id/Bpjs/ (diakses 19 Juni 2023).
[3]  BPJS Kesehatan, “Panduan Layanan JKN-KIS,” 22 September 2022. https://www.bpjs- kesehatan.go.id/bpjs/arsip/view/1477 (diakses 19 Juni 2023).
[4]  T.  K.  Putri,  B.  Irawan,  dan  D.  Zulfiani,  “Presepsi  Publik  dalam  Pelaksanaan  Inovasi  Pelayanan  Jaminan  Kesehatan Berbasis Teknologi Melalui Mobile JKN Oleh BPJS Kesehatan Indonesia,” eJournal Administrasi Publik, vol. 9, no. 4, hlm. 5710–5721, 2022. ISSN 2541-674x.
[5]  P.  E.  P.  Utomo,  M.  Manaar,  U.  Khaira,  dan  T.  Suratno,  “Analisis  Sentimen  Online  Review  Pengguna  Bukalapak Menggunakan Metode Algoritma TF-IDF,” JUSS (Jurnal Sains dan Sistem Informasi), vol. 2, no. 2, hlm. 35–39, Nov 2021, doi: 10.22437/juss.v2i2.8469.
[6]  W. Chen, P. Lin, W. Zhang, J. Du, dan Z. He, “Hierarchical Interactive Network for joint aspect extraction and sentiment classification,” Knowl Based Syst, vol. 256, hlm. 109825, Nov 2022, doi: 10.1016/j.knosys.2022.109825.
[7]  Y. Yiran dan S. Srivastava, “Aspect-based Sentiment Analysis on mobile phone reviews with LDA,” dalam Proceedings of the 2019 4th International Conference on Machine Learning Technologies, New York, NY, USA: ACM, Jun 2019, hlm. 101–105. doi: 10.1145/3340997.3341012.
[8]  Y. Fauziah, B. Yuwono, dan A. S. Aribowo, “Lexicon Based Sentiment Analysis in Indonesia Languages : A Systematic Literature Review,” RSF Conference Series: Engineering and Technology, vol. 1, no. 1, hlm. 363–367, Des 2021, doi: 10.31098/cset.v1i1.397.
[9]  V. A. Fitri, R. Andreswari, dan M. A. Hasibuan, “Sentiment Analysis of Social Media Twitter with Case of Anti-LGBT Campaign in Indonesia using Naïve Bayes, Decision Tree, and Random Forest Algorithm,” Procedia Comput Sci, vol. 161, hlm. 765–772, 2019, doi: 10.1016/j.procs.2019.11.181.
[10] A. F. Akbar, H. B. Santoso, P. O. H. Putra, dan S. B. Yudhoatmojo, “User Perception Analysis of Online Learning Platform ‘Zenius’ During the Coronavirus Pandemic Using Text Mining Techniques,” Jurnal Sistem Informasi, vol. 17, no. 2, hlm. 33–47, Okt 2021, doi: 10.21609/jsi.v17i2.1065.
[11] V. G. Ramadhan dan Y. Sibaroni, “Sentiment Analysis of Public Opinion Related to Rapid Test Using LDA Method,” Jurnal  RESTI  (Rekayasa  Sistem  dan  Teknologi  Informasi),  vol.  5,  no.  4,  hlm.  672–679,  Agu  2021,  doi: 10.29207/resti.v5i4.3139.
[12] S. P. Astuti, “Analisis Sentimen Berbasis Aspek pada Aplikasi Tokopedia menggunakan LDA dan Naïve Bayes,” B.S thesis, Fakultas Sains dan Teknologi, UIN Syarif Hidayatullah Jakarta, Jakarta, 2020.
[13] M. A. Rosid, A. S. Fitrani, I. R. I. Astutik, N. I. Mulloh, dan H. A. Gozali, “Improving Text Preprocessing For Student Complaint Document Classification Using Sastrawi,” IOP Conf Ser Mater Sci Eng, vol. 874, no. 1, hlm. 012017, Jun 2020, doi: 10.1088/1757-899X/874/1/012017.
[14] L. Hermawan dan M. B. Ismiati, “Pembelajaran Text Preprocessing berbasis Simulator Untuk Mata Kuliah Information Retrieval,” Jurnal Transformatika, vol. 17, no. 2, hlm. 188, Jan 2020, doi: 10.26623/transformatika.v17i2.1705.
[15] D. A. Prabowo dan Sudianto, “Analisis Sentimen Sepak Bola Indonesia pada Twitter menggunakan K-Nearest Neighbors dan  Random  Forest,” JSAI  (Journal  Scientific  and Applied  Informatics),  vol.  6, no.  2, hlm. 217–227,  Jun 2023, doi: 10.36085/jsai.v6i2.5337.
[16] A.  Nurlayli  dan  Moch.  A.  Nasichuddin,  “Topik  Modeling  Penelitian  Dosen  JPTEI  UNY  pada  Google  Scholar Menggunakan Latent Dirichlet Allocation,” Elinvo (Electronics, Informatics, and Vocational Education), vol. 4, no. 2, hlm. 154–161, Nov 2019, doi: 10.21831/elinvo.v4i2.28254.
[17] E.  Wahyudi dan  R.  Kusumaningrum,  “Aspect  Based  Sentiment  Analysis in E-Commerce User  Reviews  Using  Latent Dirichlet  Allocation  (LDA)  and  Sentiment  Lexicon,”  dalam  2019  3rd  International  Conference  on  Informatics  and Computational Sciences (ICICoS), IEEE, Okt 2019, hlm. 1–6. doi: 10.1109/ICICoS48119.2019.8982522.
[18] Y.  Sahria  dan  D.  H.  Fudholi,  “Analysis  of  Health  Research  Topics  in  Indonesia  Using  the  LDA  (Latent  Dirichlet Allocation) Topic Modeling Method,” Jurnal RESTI (Rekayasa Sistem dan Teknologi Informasi), vol. 4, no. 2, hlm. 336– 344, Apr 2020, doi: 10.29207/resti.v4i2.1821.
[19] C.  Naury, D.  H.  Fudholi,  dan  A.  F. Hidayatullah,  “Topic  Modelling  pada  Sentimen Terhadap Headline  Berita  Online Berbahasa Indonesia Menggunakan LDA dan LSTM,” JURNAL MEDIA INFORMATIKA BUDIDARMA, vol. 5, no. 1, hlm. 24, Jan 2021, doi: 10.30865/mib.v5i1.2556.
[20] A.  F.  Hidayatullah,  W.  Kurniawan,  dan  C.  I.  Ratnasari,  “Topic  Modeling  on  Indonesian  Online  Shop  Chat,”  dalam Proceedings of the 2019 3rd International Conference on Natural Language Processing and Information Retrieval, New York, NY, USA: ACM, Jun 2019, hlm. 121–126. doi: 10.1145/3342827.3342831.
[21] Y.  Azhar,  “Metode  Lexicon-Learning  Based  untuk  Identifikasi  Tweet  Opini  Berbahasa  Indonesia,”  Jurnal  Nasional Pendidikan Teknik Informatika (JANAPATI), vol. 6, no. 3, hlm. 237, Jan 2018, doi: 10.23887/janapati.v6i3.11739.
[22] G.  H.  Herlambang,  A.  Nugroho,  dan  B.  Zaman,  “Klasifikasi  Perkiraan  Kelulusan  Mahasiswa  Jenjang  Magister Menggunakan Metode Naive Bayes,” NJCA (Nusantara Journal of Computers and Its Applications), vol. 5, no. 1, hlm. 40–46, 2020, doi: 10.36564/njca.v5i1.186.
[23] D. Pratmanto, R. Rousyati, F. F. Wati, A. E. Widodo, S. Suleman, dan R. Wijianto, “App Review Sentiment Analysis Shopee Application In Google Play Store Using Naive Bayes Algorithm,” dalam Journal of Physics: Conference Series, Nov 2020. doi: 10.1088/1742-6596/1641/1/012043.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i3.6194
[24] B. Zaman, A. Justitia, K. N. Sani, dan E. Purwanti, “An Indonesian Hoax News Detection System Using Reader Feedback and Naïve Bayes Algorithm,” Cybernetics and Information Technologies, vol. 20, no. 1, hlm. 82–94, Mar 2020, doi: 10.2478/cait-2020-0006.
[25] D. Jurafsky dan J. H. Martin, “Naive Bayes and Sentiment Classification,” dalam Speech and Language Processing, Third Edition.Stanford University, 2021.
[26] Y.  Matira  dan  I.  Setiawan,  “Pemodelan  Topik  pada  Judul  Berita  Online  Detikcom  Menggunakan  Latent  Dirichlet Allocation,”  Estimasi:  Journal  of  Statistics  and  Its  Application,  vol.  4,  no.  1,  hlm.  53–63,  2023,  doi: 10.20956/ejsa.vi.24843.
[27] V. Nurcahyawati dan Z. Mustaffa, “Vader Lexicon and Support Vector Machine Algorithm to Detect Customer Sentiment Orientation,” Journal of Information Systems Engineering and Business Intelligence, vol. 9, no. 1, hlm. 108–118, Apr 2023, doi: 10.20473/jisebi.9.1.108-118 .