## ANALISIS SENTIMEN REVIEW PENGGUNA APLIKASI FIZZO NOVEL DI GOOGLE PLAY MENGGUNAKAN ALGORITMA NAIVE BAYES
Teguh Arlovin 1* , Kusrini 2 , Kusnawi 3 1,2,3 Teknik Informatika, Universitas Amikom Yogyakarta Email: arlovint@amikom.ac.id 1*
Abstrak : Perkembangan teknologi memiliki dampak besar pada evolusi dunia digital, termasuk munculnya platform bacaan digital seperti Wattpad, Novelah, GoNovel, NovelFul, Inkitt dan Fizzo Novel. Analisis sentimen pada ulasan di platform digital menjadi penting untuk mengidentifikasi opini positif, negatif, atau netral. Studi ini fokus pada klasifikasi sentimen ulasan Fizzo Novel  menggunakan  algoritma Naive  Bayes ,  mengingat  jumlah  ulasan  yang banyak  dan  variatif  di  tahun 2022.  Tujuannya adalah untuk mengevaluasi akurasi algoritma dalam memprediksi sentimen. Metodologi melibatkan pengumpulan dan pra- pemrosesan data ulasan, diikuti oleh pengembangan sistem klasifikasi. Hasil menunjukkan tingkat akurasi 83%, dengan presisi 85%, recall 82%, spesifisitas 85%, dan F1 Score 83%, menunjukkan efektivitas model dalam mengklasifikasikan sentimen. Penelitian ini menggarisbawahi pentingnya analisis sentimen dalam meningkatkan pengalaman pengguna di platform bacaan digital.
Kata Kunci : analisis sentimen, fizzo novel, naives bayes , platform digital
Abstract: Technological advancements have a significant impact on the evolution of the digital world, including the emergence of digital reading platforms such as Wattpad, Novelah, GoNovel, NovelFul, Inkitt, and Fizzo Novel. Sentiment analysis of reviews on these digital platforms is crucial for identifying opinions as positive, negative, or neutral.  This  study  focuses  on  the  classification  of  sentiment  in  Fizzo  Novel  reviews  using  the  Naive  Bayes algorithm,  considering  the  extensive  and  varied  reviews  in  2022.  The  objective  is  to  evaluate  the  algorithm's accuracy  in  predicting  sentiment.  The  methodology  involves  the  collection  and  pre-processing  of  review  data, followed by the development  of a classification system. The results demonstrate an accuracy rate of  83%, with precision at 85%, recall at 82%, specificity at 85%, and an F1 Score of 83%, indicating the model's effectiveness in  classifying  sentiment.  This  research  highlights  the  importance  of  sentiment  analysis  in  enhancing  user experience on digital reading platforms.
Keywords : sentiment analysis, fizzo novel, digital platform, naive bayes

## PENDAHULUAN
Perkembangan teknologi informasi di Indonesia,  khususnya  dalam  penggunaan  aplikasi mobile,  telah  mengalami  lonjakan  yang  signifikan. Pada  tahun  2022,  Indonesia  mencatat  penetrasi pengguna internet  melalui mobile phone tertinggi di dunia,  dengan  angka  mencapai  98,3%    [1].  Lebih lanjut,  aktivitas  berselancar  di  internet  melalui perangkat mobile mencapai  hingga  60%  dari  total populasi  [2].  Pertumbuhan  ini  didorong  oleh  faktor seperti  peningkatan  jaringan  seluler  dan  teknologi 4G, serta kehadiran berbagai startup dan perusahaan teknologi  yang  aktif  menawarkan  layanan  aplikasi mobile.
Di  sektor  aplikasi  bacaan,  khususnya  novel, terdapat  berbagai  aplikasi  yang  populer  seperti Wattpad,  Novelah,  GoNovel,  NovelFul,  Inkittt,  dan Fizzo  Novel.  Fizzo  Novel,  khususnya,  menarik perhatian  karena  jumlah  pengguna  dan  reviewnya yang  banyak  di Google  Play  Store ,  menjadikannya subjek yang cocok untuk analisis sentimen. Terlebih lagi,  peningkatan  belanja  aplikasi  di  Indonesia mencapai  US$  532  juta  pada  tahun  2021  [3], menunjukkan potensi besar di sektor ini.
Meski  aplikasi  mobile  telah  menjadi  bagian penting  dalam  kehidupan  sehari-hari,  kepuasan pengguna,  terutama  terhadap  aplikasi  seperti  Fizzo Novel,  belum  sepenuhnya  dipastikan.  Perbedaan pengalaman pengguna menciptakan kebutuhan untuk menganalisis  sentimen  pada  review  pengguna  di Google  Play  Store ,  yang  belum  banyak  diteliti sebelumnya.
Aplikasi  bacaan  seperti  fizzo  novel  menjadi perangkat membaca yang sangat populer di kalangan anak muda, fizzo novel menyediakan platform  yang memudahkan  pengguna  untuk  mengakses  berbagai jenis novel, cerita pendek, dan bacaan lainnya secara digital. Ini memungkinkan pengguna untuk membaca kapan saja dan di mana saja, asalkan mereka memiliki perangkat  mobile  dan  akses  internet.  Fizzo  Novel menawarkan  berbagai  pilihan  konten  yang  dapat diakses  oleh  penggunanya.  Dari  fiksi  hingga  non- fiksi,  genre  yang  beragam  memungkinkan  pembaca menemukan  cerita  yang  sesuai  dengan  preferensi mereka. Dengan adanya aplikasi bacaan digital, lebih banyak  orang,  terutama  generasi  muda,  menjadi tertarik  untuk  membaca.  Fizzo  Novel  dapat berkontribusi  dalam  meningkatkan  minat  baca  di kalangan masyarakat.
Terdapat  banyak  komentar  positif  maupun negatif  para  pengguna  aplikasi  fizzo  novel  setelah menggunakan aplikasi tersebut. Fizzo novel menyediakan  sumber-sumber  ulasan  yang  banyak, sebagai contoh data yang di ambil ulasan yaitu 90.936 ulasan pada tahun 2022 mempunyai sentimen positif yaitu  sebanyak  80.162  dan  sentimen  negatifnya 10.774.
Analisis  sentimen  disebut  juga  dengan opinion  mining (penambangan  opini)  yaitu  proses untuk  mengekstrak  suatu  opini  atau  pendapat  dari dokumen untuk topik tertentu [4]. Analisis sentimen dilakukan  untuk  mengetahui  kecenderungan  opini seseorang  terhadap  sebuah  peristiwa  atau  masalah, apakah  cenderung  beropini  positif  atau  negatif. Teknik yang digunakan yaitu text mining . Text mining merupakan  sebuah  teknik  yang  digunakan  untuk mengekstraksi informasi yang berguna dari data teks yang  tidak  terstruktur. Text  mining mengekstraksi kata  kunci  atau  mengekstraksi  pendapat  dan  ulasan analisis text sehingga  dapat  mendukung  untuk memahami pendapat masyarakat dalam data text [5]. Dalam  proses  analisis  sentimen  terdapat  beberapa metode Naïve  Bayes,  Maximum  Entropy,  SVM  dan Neural  Network  . Penelitian  ini  bertujuan  untuk menganalisis  sentimen  pengguna  aplikasi  Fizzo Novel  menggunakan  metode  Naive  Bayes  dan  K- Means.  Naive  Bayes  akan  digunakan  untuk mengidentifikasi  sentimen  positif  dan  negatif, Setelah  hasil  sudah  didapatkan,  kemudian  hasil klasifikasi  akan dievaluasi  accuracy,  precision, recall dan f1-score dari pemodelan yang menggunakan algoritma Naïve Bayes.Tujuan utamanya  adalah  untuk  memperoleh  pemahaman mendalam tentang kepuasan pengguna dan memberikan umpan balik bermanfaat bagi pengembang aplikasi.

## TINJAUAN PUSTAKA
Penelitian  sebelumnya  menjadi  acuan  untuk penelitian  ini  guna  mengetahui  hubungan  dengan penelitian terdahulu dan menghindari unsur duplikasi dengan  penelitan  sebelumnya.  Berikut  ini  adalah penelitian-penelitian tentang sentiment Analysis .
Pada  penelitian  sebelumnya  yang  dilaksanakan oleh [6]  penelitian tersebut menggunakan algoritma Naïve  Bayes  Classifier memperoleh  hasil  penelitian dengan nilai akurasi sebesar 85% dengan nilai akurasi yang  baik  maka  penelitian  ini  menggunakan algoritma  Naïve  Bayes  dengan  membedakan  ulasan dari aplikasi yang berbeda. Selain itu, pada penelitian yang  ditulis  oleh  [7]    menyarankan  agar menggunakan  dataset  yang  besar  dan  tidak  terlalu jauh variasi perbandingan komentar antara positif dan negatif. Maka, penelitian kali ini akan menggunakan dataset yang lebih banyak dan variasi komentar yang berimbang.
Analisis  Sentimen  Menggunakan  Naive  Bayes dan  Particle  Swarm  Optimization  yang  dilakukan
oleh penelitian oleh [8] mengeksplorasi penggunaan Naive  Bayes  dengan  seleksi  fitur  melalui Particle Swarm  Optimization (PSO)  untuk  meningkatkan akurasi  klasifikasi  sentimen.  Mereka  menunjukkan bahwa  penggunaan  PSO  dalam  Naive  Bayes  dapat meningkatkan  akurasi  dari  82,00%  menjadi  88,24% pada dataset ulasan aplikasi Flip. Ini mengindikasikan potensi  PSO  dalam  meningkatkan  kinerja  metode Naive Bayes dalam analisis sentimen.
Literature  riview yang  selanjutnya  yaitu analisis  sentimen  pada  aplikasi  novel  online  [9] melakukan  analisis  sentimen  pada  ulasan  aplikasi novel  online (Wattpad dan Dreame) di  Google Play Store. Mereka menggunakan analisis deskriptif untuk menilai  baik-buruknya  aplikasi  berdasarkan  ulasan pengguna. Analisis deskriptif yang diperoleh dengan rating  total  4.137  ulasan  pengguna  Wattpad mengungkapkan  bahwa  33,12  persen  pengguna sangat  tidak  suka,  17,04  persen  tidak  suka,  15,71 persen  netral,  11,31  persen  suka,  dan  22,82  persen suka,  sedangkan  aplikasi  Dreame  menerima  10,94 persen  pengguna  sangat  tidak  suka,  13,24  persen tidak  suka,  27,86  persen  netral,  21,85  persen  suka, dan  26,12  persen  pengguna  sangat  menyukai  dari 3.090  ulasan.  Hasil  dari  rating  tersebut,  Dreame mengungguli  Wattpad.menemukan  bahwa  Dreame secara umum memiliki rating lebih tinggi dibandingkan Wattpad.
Penelitian  yang  terakhir  [10]  memfokuskan penelitian  mereka  pada  analisis  sentimen  pengguna terhadap  aplikasi  e-government  "Sentuh  Tanahku" dengan  menggunakan  Algoritma  Naïve  Bayes. mendapatkan  respon  positif  dari  pengguna  dengan perbandingan  407  ulasan  positif  dan  235  ulasan negatif. Hasil pengujian analisis sentimen menggunakan  algoritma  Naïve  Bayes  dengan pembobotan  TF-IDF  menghasilkan  akurasi  sebesar 89%, precision sebesar 83%, dan recall sebesar 87%. Mereka  menemukan  bahwa  aplikasi  tersebut cenderung mendapatkan respon positif, dengan Naive Bayes menghasilkan akurasi sebesar 89%.

## METODE
Penelitian yang dilakukan akan dilakukan dengan berbagai  tahapan,  secara  umum  dengan  melakukan proses  pengumpulan  data  (scraping),  text  pre processing  ( case  folding,  cleansing,  tokenizing,  dan stemming) ,  pembobotan  kata  ( vectorizing TF-IDF), pengolahan  data,  pengujian  klasifikasi  mengunakan algoritma Naïve Bayes lalu kemudian hasil klasifikasi [11]. Pada penelitian kali ini akan menggunakan tools Google Colab dengan menggunakan bahasa pemrograman Python .  Dukungan library menjadi salah satu  penggunaan Python dalam proses analisis sentiment  semakin  mudah. Library yang  digunakan dalam  proses  perhitungan  harus  di-instal  terlebih dahulu. Library ini  termasuk  pandas,  numpy, matplotlib,  sklearn,  dan  sastrawi.  Diagram  alur
tahapan  penelitian  dapat  dilihat  pada  Gambar  1 berikut.
Gambar 1 Alur Peneltian

## 2.1 Scarping Data
Pengambilan  data  pada  penelitian  kali  ini menggunakan  hasil scraping data.  Data  yang  ingin diolah  adalah  rating  dan  ulasan  dari  pengguna aplikasi  Fizzo  Novel  di Google  Play  Store . Rating tersebut  akan  digunakan  untuk  memilah  sentimen positif  dan  negatif.  Data  yang  diambil  untuk melakukan  analisis  sentimen  yaitu  pada  tahun  2022 .Pengklasifikasian rating sebagai berikut yaitu rating 4 dan 5 sebagai sentimen positif, rating 1, 2 dan 3 sebagai  sentimen  negatif.  Hasil scraping yang diambil  pada  ulasan  setelah  melakukan  proses pengolahan  hasil  data  yang  telah  dihimpun  dan dilakukan  pelabelan  data  dapat  dilihat  pada Tabel  1 berikut.
Tabel 1. Contoh Dataset Ulasan Riview

## 2.2 Pre-Processing Data
Text  Pre-processing merupakan  tahap  pertama dalam pemrosesan data supaya data dapat diolah dan data siap untuk proses penelitian salah satunya analisa sentimen.  Proses text  pre-processing dapat  berupa cleaning , case-  folding , tokenizing , stemming ,  dan filtering [3].
a. Case Folding
Casefolding merupakan tahapan yang mengubah suatu kata atau huruf pada ulasan menjadi huruf yang kecil  semua  ataummenjadi  huruf  besar  semua.  Pada implementasi casefolding untuk  penelitian  yang sekarang  mengubah  semua  tulisannmenjadi  huruf kecil semua. Contoh proses casefolding dapat dilihat pada Tabel 2 berikut.
Tabel 2. Tahap Casefolding Ulasan
Sesudah Casefolding
b. Tokenizing
Tokenizing  merupakan  tahapan  yang  yang membuat  setiap  kata  menjadi  berurutan  dari  suatu kalimat,  setiap  kata  akan  di  pisah-pisah  atau dilakukan  separasi.  Contoh  proses tokenizing dapat dilihat pada Tabel 3 berikut.
Sebelum Casefolding
Tabel 3. Tahap Tokenizing Ulasan
c. Stopword Removal
Stopword  Removal merupakan  bagian  dari tahapan preprocessing teks yang bertujuan untuk menghapus  kata  yang  tidak  relevan  didalam suatu kalimat berdasarkan daftar stopword [12]. Daftar stopword yang biasa digunakan berbentuk  digital  library  yang  daftarnya  sudah tersedia  sebelumnya,  namun  tidak  semua  kata- kata  yang  terdapat  didalam  digital  library merupakan kata yang tidak relevan dalam suatu data  tertentu. Contoh  proses  stemming  dapat dilihat pada Tabel 4 berikut.
Tabel 4. Tahap Stopword Removal
d. Stemming
Stemming merupakan tahapan yang
digunakan  untuk  mengkonversikan  kata-kata yang  berimbuhan  menjadi  kata  dasar  atau menghilangkan  imbuhan.  Menggunakan  library sastrawi yang  digunakan sebagai acuan ketentuan bahasa Indonesia, maka keluaran hasil stemming akan sesuai dengan ketentuan library sastrawi. Contoh process stemming dapat dilihat pada Tabel 5 berikut.
Tabel 5. Tahap Stemming Ulasan
2.3 Vectorizing TF-IDF
Pembobotan kata dengan menggunakan vectorizing TF-IDF  dilaksanakan  dengan  cara memberikan  bobot  pada  setiap  kata  dari  masing- masing  dokumen/kalimat  dengan  keseringan  kata yang  muncul  terbanyak  akan  ditampilkan  terlebih dahulu yang sudah melalui tahap pre-processing . Ada dua  proses  yang  digunakan  dalam  tahapan pembobotan  kata  yaitu  tahap Term  Frequency (TF) dan tahap Inverse Document Frequency (IDF). Term Frequency (TF)  merupakan  suatu  term  dalam dokumen terkait yang dihitung frekuensi kemunculannya.  Bobot  kata  akan  semakin  tinggi apabila  banyak  jumlah  kata  yang  sering  muncul (term) dalam  suatu  dokumen  semakin  banyak. Inverse  Document  Frequency (IDF)  merupakan hubungan  ketersedian  sebuah  term  dalam  seluruh
dokumen  yang  menunjukan  sebuah  perhitungan. Besar nilai  IDF  akan semakin besar apabila  besaran dokumen  yang  didalamnya  terdapat  suatu  term tertentu  semakin  sedikit  [13].  Persamaan  berikut untuk menghitung TF-IDF bobot setiap kata. tf −idft. d = tfd ∗ idft 2.4 Word Cloud Word  Cloud berfungsi  dalam  mevisualisasikan kumpulan  kata  dalam Term  Document  Matrix menjadi sebuah tampilan yang lebih menarik. Adapun hasil dari Fizzo Novel ditunjukan pada Gambar 2 dan gambar 3.
Gambar 2. Word Cloud Positif Gambar 3. Word Cloud Negatif
2.5 Pengujian Klasifikasi Confusion Matrix
Confusion  matrix merupakan  suatu  matriks pengukuran  performa  yang  berisi  nilai  perkiraan benar  dan  nilai  perkiraan  salah  dimana  keluarannya dapat  berupa  dua  kelas  atau  lebih.  Nilai  recall, precision,  accuracy  dan  f1-score  akan  menjadi evaluasi dalam pengujian keakuratan hasil pencarian nilai dalam penelitian [14]. Struktur Confusion matrix akan menghasilkan angka yang terdapat pada Tabel 6 berikut.
Tabel 6. Confusion Matrix Actual Positive Actual Negative Predicted Positive (1) TP FP Predicted Negative (0) FN TN
Tabel 6 menjelaskan 4 sisi nilai dari confusion matrix terdiri  dari  TP  merupakan  singkatan  dari  True
Positive, yaitu angka perkiraan positif sesuai dengan nilai aktual benar. FP merupakan singkatan dari False Positive,  yaitu  angka  perkiraan  positif  tidak  sesuai dengan  nilai  aktual  salah,  FN  merupakan  singkatan dari  False  Negative,  yaitu  angka  perkiraan  negatif tidak  sesuai  dengan  nilai  aktual  benar  dan  TN merupakan singkatan dari True Negative, yaitu angka perkiraan  negatif  sesuai  dengan  nilai  aktual  salah [15].
Accuracy dapat  memprediksi  nilai  dengan  benar sehingga menggambarkan seberapa akurat  dan tepat ( machine  learning ).  Dengan  kata  lain,  merupakan perbandingan  rasio  kasus  yang  diidentifikasi  benar ( negative dan positive ) dengan semua data yang ada. Rumus accuracy adalah :
Accuracy = 𝑇𝑃+𝑇𝑁 𝑇𝑃+𝑇𝑁+𝐹𝑃+𝐹𝑁
Precision mengevaluasi kemampuan tingkat ketelitian data antara data aktual dengan hasil prediksi dalam  model  untuk  menemukan  peringkat  yang paling relevan. Rumus precision adalah :
Precision = 𝑇𝑃 𝑇𝑃+𝐹𝑃 Recall untuk memaparkan keberhasilan model dalam mendapatkan  kembali  sebuah  informasi.  Sehingga recall untuk mengevaluasi kemampuan sistem untuk menemukan  informasi  yang  sesuai  dari  semua  data yang benar positif. Rumus recall adalah :
Recall = 𝑇𝑃 𝑇𝑃+𝐹𝑁 F1-Score adalah  komparasi  perhitungan  rata-rata nilai dari recall dan precision yang telah di bobotkan.
F1 Score = 2𝑥 𝑅𝑒𝑐𝑎𝑙𝑙 𝑥 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 𝑅𝑒𝑐𝑎𝑙𝑙 + 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛

## HASIL DAN PEMBAHASAN
Data  ulasan  yang  telah  diambil  datanya  dengan melakukan  scraping  di  aplikasi  Fizzo  Novel  pada platform Google  Play  Store .  Dataset  yang  akan digunakan dalam penelitian kali ini yaitu ulasan  pada rentang waktu Tahun 2022 , terdiri dari 90.936  data yang  didalamnya  terdapat  data  dari  data  ulasan negatif  sebanyak  10.774  dan  data  ulasan  positif sebanyak 80.162. Dataset ulasan lalu dipecah menjadi dua bagian yaitu 80% data latih sebanyak 72.748 dan 20% data uji sebanyak 18.187. Dataset terdiri dari 2 kolom  yang  berisi  ulasan  dari  pengguna  dan  kolom yang menjadi value label yaitu positive dan negative yang diberikan pada setiap komentar.
Gambar 4 Hasil Confusion Matrix
Analisis  performa  model  klasifikasi  pada  gambar  4 dilakukan  menggunakan  confusion  matrix,  yang memberikan nilai-nilai berikut: 13,628 True Positives (TP),  2,321  False  Positives  (FP),  2,951  False Negatives  (FN),  dan  13,165  True  Negatives  (TN). Dari nilai-nilai ini, kami menghitung metrik performa utama untuk mengevaluasi efektivitas model.
Gambar 5. Hasil Naïve Bayes Clasifier
Model  menunjukkan Accuracy sebesar  83%, menandakan  bahwa  model  dapat  membuat  prediksi yang benar pada keseluruhan kasus. Precision model adalah  85%,  yang  mengindikasikan  bahwa  ketika model  memprediksi  kelas  positif. Recall dari  model adalah  82%,  menunjukkan  bahwa  model  berhasil mengidentifikasi  dari  semua  kasus  positif  yang sebenarnya. Specificity sebesar  85%  menunjukkan kemampuan  model  untuk  mengidentifikasi  kasus negatif  dengan  akurat.  Terakhir,  F1 Score yang mencapai  83%  merefleksikan  keseimbangan  antara precision dan recall .

## KESIMPULAN DAN SARAN
Berdasarkan  analisis  yang  dilakukan,  model klasifikasi yang dikembangkan menunjukkan kemampuan  yang  baik  dalam  mengklasifikasikan data dengan akurasi yang signifikan sebesar 83%. Hal ini  ditunjukkan  oleh  nilai  precision  sebesar  85%, yang  mengindikasikan  efektivitas  model  dalam menghasilkan  proporsi  prediksi  positif  yang  benar. Recall yang dihasilkan sebesar 82%
menggarisbawahi kemampuan model dalam mengidentifikasi  kasus  positif  yang  sesungguhnya. Specificity  dari  model  yang  tinggi  menunjukkan keakuratan dalam mengidentifikasi kasus negatif. F1 Score  yang  mencapai  hampir  84%  menandakan bahwa model ini mencapai keseimbangan yang relatif baik antara precision dan recall.
Dataset  yang  dijadikan  objek  penelitian, dilihat  dari  dari  data  yang  berdasarkan  label  positif dan  negatif  ulasan  aplikasi,  hasil  analisis  sentimen aplikasi  Fizzo  Novel    cenderung  bersifat  positf. Analisis  sentiment  positf  yaitu  "bagus,"  "suka," "cerita," "novel," "seru,".
.Penelitian  selanjutnya,  disarankan  untuk melakukan  perbandingan  terhadap  algoritma  lain, tidak menggunakan algoritma Naïve Bayes Classifier untuk melakukan analisis tetapi dapat menggunakan algoritma  lain  seperti  K-NN  dan  Decision  Tree sehingga  melakukan  perbandingan  yang  dapat diketahui  mana  algoritma  yang  terbaik  untuk melakukan analisis sentimen.

## DAFTAR PUSTAKA
[1]  W.  A.  Social,  Datareportal,  and  Meltwater,  “APAC: mobile internet user share by country 2022,” Statista. [Online]. Available: https://www.statista.com/statistics/1252976/apac- mobile-internet-users-by-country-and-device/
[2]  W.  A.  S.  Singapore,  “THE  GLOBAL  STATE  OF DIGITAL IN OCTOBER 2022,” We Are Social. Oct. 2022. [Online]. Available: https://wearesocial.com/sg/blog/2022/10/the-global- state-of-digital-in-october-2022/
[3]  DataReportal,  “Indonesia:  consumer  spending  on mobile apps 2021,” DataReportal. Feb. 2022. [Online]. Available: https://www.statista.com/statistics/1333760/indonesia- consumer-spending-on-mobile-apps/
[4]  P.  Kaur,  “Sentiment  analysis  using  web  scraping  for live  news  data  with  machine  learning  algorithms,” Materials Today: Proceedings, vol. 65, pp. 3333–3341, Jan. 2022, doi: 10.1016/J.MATPR.2022.05.409.
[5]  T.  Matsumoto,  W.  Sunayama,  Y.  Hatanaka,  and  K. Ogohara, “Data Analysis Support by Combining Data Mining  and  Text  Mining,”  in  2017  6th  IIAI International Congress on Advanced Applied Informatics (IIAI-AAI), Hamamatsu: IEEE, Jul. 2017, pp. 313–318. doi: 10.1109/IIAI-AAI.2017.165.
[6]  I. Saputra, T. Djatna, R. R. A. Siregar, D. A. Kristiyanti, H.  R.  Yani,  and  A.  A.  Riyadi,  “Text  Mining  of PeduliLindungi  Application  Reviews  on  Google  Play Store,” vol. 15, no. 2, 2022.
[7]  G.  K.  Locarso,  “Analisis  Sentimen  Review  Aplikasi Pedulilindungi Pada Google Play Store Menggunakan Nbc,” no. 2, 2022.
[8]  O. Irnawati and K. Solecha, “Analisis Sentimen Ulasan Aplikasi  Flip  Menggunakan  Naïve  Bayes  dengan Seleksi Fitur PSO Flip App Review Sentiment Analysis Using Naïve Bayes with PSO Feature Selection,” Jurnal Ilmiah  Intech :  Information  Technology  Journal  of UMUS, vol. 4, no. 02, pp. 189–199, 2022.
[9]  S. I. Nurhafida and F. Sembiring, “Analisis Sentimen Aplikasi  Novel  Online  Di  Google  Play  Store Menggunakan  Algoritma  Support  Vector  Machine (SVM),” vol. 6, 2022.
[10]  A. I. Tanggraeni and M. N. N. Sitokdana, “Analisis Sentimen Aplikasi E-Government pada Google Play Menggunakan Algoritma Naïve Bayes,” JATISI, vol.
9, no.  2, pp. 785–795,  Jun. 2022, doi: 10.35957/jatisi.v9i2.1835.
[11]  A. Voutama, “Sistem Antrian Cucian Mobil Berbasis Website Menggunakan Konsep CRM dan Penerapan UML,” Komputika, vol. 11, no. 1, pp. 102–111, Feb. 2022, doi: 10.34010/komputika.v11i1.4677.
[12]  T.  Shaik,  X.  Tao,  C.  Dann,  H.  Xie,  Y.  Li,  and  L. Galligan, “Sentiment analysis and opinion mining on educational  data:  A  survey,”  Natural  Language Processing Journal, vol. 2, p. 100003, Mar. 2023, doi: 10.1016/J.NLP.2022.100003.
[13]  H.  P.  Doloksaribu  and  Y.  T.  Samuel,  “Komparasi Algoritma  Data  Mining  Untuk  Analisis  Sentimen
Aplikasi Pedulilindungi,” Jurnal Teknologi Informasi:  Jurnal  Keilmuan  dan  Aplikasi  Bidang Teknik  Informatika,  vol.  16,  no.  1,  pp.  1–11,  Jan. 2022, doi: 10.47111/jti.v16i1.3747.
[14]  E.  H.  Muktafin,  K.  Kusrini,  and  E.  T.  Luthfi, “Analisis Sentimen pada Ulasan Pembelian Produk di Marketplace  Shopee  Menggunakan  Pendekatan Natural  Language  Processing,”  Jurnal  Eksplora Informatika, vol. 10, no. 1, pp. 32–42, Sep. 2020, doi:
10.30864/eksplora.v10i1.390.
[15]  R.  Ferryawan,  K.  Kusrini,  and  F.  W.  Wibowo, “Analisis Sentimen Wisata Jawa Tengah Menggunakan Naϊve Bayes,” Jurnal Informa : Jurnal Penelitian dan Pengabdian Masyarakat, vol. 5, no. 3, pp. 55–60, Jan. 2020, doi: 10.46808/informa.v5i3.146.