## Journal of Applied Informatics and Computing (JAIC)
Vol.7, No.2, December 2023, pp. 240~245 e-ISSN: 2548-6861
Sentiment Analysis on Fuel Purchase Policy Through MyPertamina Application Using NB and SVM Methods Optimized by PSO as Weight Optimation
Rousyati 1 *, Dany Pratmanto 2 **, Angga Ardiansyah 3 ***, Sopian Aji 4 *** * Sistem Informasi Kampus Kota Tegal, Universitas Bina Sarana Informatika ** Teknologi Komputer Kampus Kota Tegal, Universitas Bina Sarana Informatika *** Sistem Informasi Akuntansi Kampus Kota Tegal, Universitas Bina Sarana Informatika rousyati.rou@bsi.ac.id 1 , dany.dto@bsi.ac.id 2 , angga.axr@bsi.ac.id 3 , sopian.sop@bsi.ac.id 4
Article Info

## ABSTRACT
Article history: Received 2023-01-30 Revised 2023-07-28 Accepted 2023-07-29
Sentiment analysis on the MyPertamina application can serve as a means to extract customer opinions about the  application. This  method involves collecting reviews from  users  who  have  utilized  the  MyPertamina  application  and  classifying  these reviews  as  positive  or  negative  using  sentiment  analysis  algorithms.  After  the reviews  are  classified,  themes  discussed  in  positive  and  negative  reviews  can  be extracted, such as ease of use, payment speed, or technical issues. This provides a general  overview  of  user  expectations  for  the  MyPertamina  application  and  areas that  may  need  improvement.  Sentiment  analysis  of  MyPertamina  application comments using Naïve Bayes (NB) and Support Vector Machine (SVM) methods is a process to evaluate  whether user comments on the MyPertamina application are positive or negative. NB and SVM are machine learning methods used to predict the category of an input based on given training data. In this study, user comments on the MyPertamina application are used as input and classified as positive, negative, or neutral based on previous training data. The goal of this sentiment analysis is to understand user perceptions of the MyPertamina application and enhance its quality. The  research  concludes  that  the  implementation  of  data  mining  can  assist  in categorizing  sentiments  of  MyPertamina  reviews.  The  NB  algorithm  with  the addition  of  Particle  Swarm  Optimization  (PSO)  proves  to  be  the  most  effective method  in  this  study  compared  to  NB  alone,  SVM,  and  SVM  +  PSO.  The  NB algorithm with PSO optimization yields an accuracy of 79.49%, the highest precision of  79.57%,  recall  of  79.38%,  and  the  highest  AUC  of  95.30%,  falling  into  the category of excellent classification.
Keyword:
Sentiment analysis, MyPertamina, Naïve Bayes, Particle Swarm Optimization.
This is an open access article under the CC–BY-SA license.

## I. P ENDAHULUAN
MyPertamina adalah aplikasi resmi PT Pertamina (Persero) yang memungkinkan pelanggan untuk membeli BBM (Bahan Bakar  Minyak)  secara  online  melalui  smartphone  atau perangkat  mobile  lainnya.  Dalam  aplikasi  ini,  pelanggan dapat membeli berbagai jenis BBM, seperti Premium, Solar, Pertamax,  dan  Pertalite.  Pelanggan  juga  dapat  membayar pembelian  BBM  melalui  berbagai  metode  pembayaran, seperti  kartu  kredit,  debit,  atau  e-wallet  [1].  Kebijakan pembelian  BBM  melalui  aplikasi  MyPertamina  mungkin berbeda-beda  sesuai  dengan  peraturan  dan  regulasi  yang
berlaku  di  setiap  wilayah.  Namun,  umumnya,  pelanggan dapat melakukan registrasi terlebih dahulu untuk menggunakan  layanan  ini  dan  dapat  menyediakan  data pribadi yang valid. Selain itu, pelanggan harus menyediakan nomor kendaraan yang sesuai dengan jenis BBM yang akan dibeli  [2].  Analisis  sentimen  (sentiment  analysis)  adalah proses  yang  digunakan  untuk  mengekstrak  opini,  perasaan, atau  tingkat  kepuasan  dari  teks.  Ini  biasanya  dilakukan dengan  menggunakan  algoritma  Machine  Learning  atau teknologi  Natural  Language  Processing  (NLP)  untuk mengklasifikasikan  teks  sebagai  positif  dan  negatif  [3]. Analisis  sentimen  dapat  digunakan  dalam  berbagai  bidang,
Sentiment Analysis on Fuel Purchase Policy Through MyPertamina Application Using NB and SVM Methods Optimized by PSO as Weight Optimation (Rousyati, Dany Pratmanto, Angga Ardiansyah, Sopian Aji)
241
seperti  pemasaran,  riset  produk,  atau  pemantauan  media sosial. Dalam pemasaran, analisis sentimen dapat digunakan untuk  mengukur  respons  pelanggan  terhadap  suatu  produk atau merek, sementara dalam riset produk, analisis sentimen dapat  digunakan  untuk  mengevaluasi  respon  terhadap prototipe produk [4]. Analisis sentimen adalah teknologi yang masih  berkembang  dan  memerlukan  data  yang  cukup  dan pelatihan yang tepat untuk mencapai hasil yang baik. Namun, dengan menggunakan teknologi yang tepat dan metode yang tepat,  analisis  sentimen  dapat  menjadi  alat  yang  berguna untuk mengekstrak informasi penting dari teks dan membuat keputusan  yang  lebih  baik  dalam  berbagai  bidang  [5]. Analisis  sentimen  tentang  aplikasi  MyPertamina  dapat digunakan  untuk  mengekstrak  opini  pelanggan  tentang aplikasi  tersebut.  Hal  ini  dapat  dilakukan  dengan mengumpulkan ulasan dari pelanggan yang telah menggunakan aplikasi MyPertamina dan mengklasifikasikan ulasan  tersebut  sebagai  positif,  negatif,  atau  netral menggunakan algoritma analisis sentimen [6].
Setelah  ulasan  diklasifikasikan,  dapat  mengekstrak  tema- tema  yang  dibahas  dalam  ulasan  positif  dan  negatif,  seperti kemudahan  penggunaan,  kecepatan  pembayaran,  atau masalah  teknis  [7].  Ini  akan  memberikan  gambaran  umum tentang  apa  yang  diharapkan  pelanggan  dari  aplikasi MyPertamina dan di mana aplikasi tersebut dapat diperbaiki. Hasil  analisis  sentimen  dapat  digunakan  oleh  PT  Pertamina (Persero) untuk meningkatkan layanan aplikasi MyPertamina dan  meningkatkan  kepuasan  pelanggan.  Misalnya,  jika banyak  ulasan  negatif  menyatakan  masalah  teknis, perusahaan  dapat  bekerja  untuk  mengatasi  masalah  tersebut dan  meningkatkan  kinerja  aplikasi.  Sebagai  tambahan, analisis  sentimen  dapat  digunakan  untuk  membandingkan aplikasi MyPertamina dengan aplikasi pesaing lainnya dalam industri yang sama dan mengevaluasi seberapa baik aplikasi MyPertamina dibandingkan dengan aplikasi lainnya.
Analisis  sentimen  menjadi  sangat  penting  dalam meningkatkan  kualitas  pelayanan  dan  membuat  keputusan yang  tepat,  Namun  perlu  diingat  bahwa  analisis  sentimen tidak  selalu  menunjukkan  fakta  yang  sebenarnya,  perlu  di cross check dengan data lain seperti survey dan data lainnya [8]. Analisis Sentimen Review Aplikasi Media Berita Online Pada Google Play menggunakan Metode Algoritma Support Vector Machines (SVM) Dan Naive Bayes. Hasil  eksperimen menunjukkan    bahwa    keauratan    SVM    (Support    Vektor Machines)  88  %  lebih mengunguli dari pada Naive Bayes 87%,  dan  didapatkan  pula  kecenderungan  opini  publik  di google  play  tentang  aplikasi  media  berita  online  condong positif,  hal  tersebutdapat  dilihat  dari  jumlah  opini  positif sebesar 5160 sedangkan negatif 455 [9].
Pada penelitian tentang analisis Sentimen Ulasan Aplikasi Flip  Menggunakan  Naïve  Bayes  dengan  Seleksi  Fitur  PSO diambil  sebanyak  200  dataset  yang  dibagi  menjadi  100 data  positif  dan  100  data  negatif  diolah menggunakan rapid miner  dengan  menerapkan  metode  naïve  bayes  yang dioptimasi  dengan  PSO.  Hasil  pengolahan  menggunakan naïve  bayes  82,00%,  kemudian  di  optimasi  dengan  PSOdan
didapatkan hasil 88,24% [10]. Dalam penelitian yang berjudul Analisis Sentimen E-Wallet Pada Google Play Menggunakan Algoritma Naive Bayes Berbasis Particle Swarm Optimization Algoritma  yang  digunakan  dalam  penelitian ini    adalah  Naive    Bayes  Classifier  (NB),dengan    optimasi penggunaan  Feature    Selection    (FS)  Particle    Swarm Optimization.Hasil    dari  cross  validation  NB  tanpa  FS adalah82.30  %  untuk  accuracy  dan  0.780untuk  AUC. Sedangkan  untuk  NB  dengan  FS  adalah  83.60  %untuk accuracy  dan  0.801  untuk  AUC.  Peningkatan  sangat signifikan dengan penggunaan Feature Selection (FS) Particle Swarm Optimization [11].
Kebaruan atau kontribusi yaitu penelitian ini berfokus pada analisis sentimen yang berkaitan dengan kebijakan pembelian bahan  bakar  minyak  (BBM)  melalui  aplikasi  MyPertamina. Pemanfaatan  aplikasi  dalam  transaksi  BBM  merupakan langkah  baru  dan  menarik,  sehingga  analisis  sentimen terhadap  penggunaan  aplikasi  ini  memberikan  kontribusi penting  dalam  memahami  pandangan  dan  tanggapan masyarakat terhadap kebijakan ini. Penelitian ini menggunakan dua metode klasifikasi yang umum digunakan dalam  analisis  sentimen,  yaitu  Naive  Bayes  dan  Support Vector Machine (SVM). Melalui penerapan kedua metode ini, penelitian  dapat  membandingkan  kinerja  dan  efektivitas keduanya  dalam  melakukan  analisis  sentimen  terhadap  data yang diberikan. Salah satu kontribusi utama dari penelitian ini adalah  penggunaan  fitur  PSO  untuk  melakukan  optimasi bobot  (weight)  dalam  analisis  sentimen.  PSO  adalah algoritma  optimasi  yang  terinspirasi  oleh  perilaku  sosial dalam  mencari  solusi  terbaik.  Dalam  konteks  ini,  PSO digunakan untuk menentukan bobot optimal yang digunakan dalam  klasifikasi  sentimen  menggunakan  NB  dan  SVM. Dengan  cara  ini,  penelitian  mencoba  meningkatkan  akurasi dan performa klasifikasi sentimen.
Analisis  sentimen  komentar  aplikasi  Mypertamina menggunakan  Naïve  Bayes  (NB)  dan  Support  Vector Machine  (SVM)  adalah  proses  untuk  mengevaluasi  apakah komentar  yang  diberikan  oleh  pengguna  tentang  aplikasi Mypertamina  positif  atau  negatif.  NB  dan  SVM  adalah metode  pembelajaran  mesin  yang  digunakan  untuk memprediksi  kategori  suatu  input  berdasarkan  data  training yang  diberikan.  Dalam  hal  ini,  komentar  pengguna  aplikasi Mypertamina akan digunakan sebagai input dan diklasifikasikan  sebagai  positif,  negatif,  atau  netral berdasarkan  data  training  yang  telah  diberikan  sebelumnya. Penelitian  ini  bertujuan  untuk  menganalisis  sentimen pengguna  terhadap  kebijakan  pembelian  BBM  melalui aplikasi  MyPertamina.  Dengan  menggunakan  analisis sentimen,  penelitian  ini  akan  mengidentifikasi  pandangan positif,  negatif,  atau  netral  dari  pengguna  terkait  kebijakan tersebut. Tujuan ini membantu dalam memahami persepsi dan perasaan  pengguna  terhadap  inisiatif  MyPertamina  dalam pembelian BBM.
II. M ETODE P ENELITIAN
242
Dalam merancang metode penelitian eksperimen, digunakan  metode penelitian standar  yang digunakan dalam data mining yaitu CRISP-DM yang terdiri dari 6 tahap, yaitu Pemahaman  Bisnis,  Pemahaman  Data,  Persiapan  Data, Modelling, dan Evaluasi [12].

## Gambar 1. Tahapan Metode CRISP DM

## A. Business Understanding
Pada tahap Business Understanding, dilakukan pemahaman  terhadap  objek  penelitian  dengan  menemukan informasi melalui ulasan pengguna Google Play Store tentang aplikasi  MyPertamina  yang  mengekspresikan  berbagai macam  pendapat  baik  negatif  maupun  positif  pada  kolom ulasan  yang  disediakan.  Tujuan  dari  tahap  ini  adalah  untuk mencari  metode  analisis  sentimen  terbaik  yang  dapat membantu  dalam  menentukan  model  yang  tepat  untuk digunakan berdasarkan perbandingan hasil dari algoritma NB dan SVM dengan PSO.

## B. Data Understanding
Pada  tahap  Data  Understanding,  bertujuan  untuk mengumpulkan, mengidentifikasi, dan memahami data yang dimiliki. Data tersebut harus dapat diverifikasi kebenarannya. Data yang digunakan dalam penelitian ini adalah data ulasan
aplikasi  MyPertamina  pada  aplikasi  Koinworks  yang  terdiri dari kategori positif dan negatif. Data yang digunakan berasal dari ulasan aplikasi Koinworks di Google Play Store.

## C. Data Preparation
Tahap  Data  Preparation  diperoleh  dari  crawling  data menggunakan  aplikasi  script  phyton  dari  ulasan  aplikasi MyPertamina  yang  terdiri  dari  kategori  positif  dan  negatif. Kemudian  dilakukan  cleansing  data  untuk  mengurangi  data redundan, tokenizing, stopword removal, dan stemming.
Gambar 2. Data Preparation

## 1. Transform cases
Transform  cases  digunakan  untuk  mengubah  huruf  besar menjadi huruf kecil [13] seperti kalimat kalimat pada table 1.
TABEL I H ASIL T RANSFORM C ASES Data sebelum diolah Data sesudah diolah Mantap my Pertamina sempurna  secara  keseluruhan tinggal  tambahkan  fitur  jalan tol, bandara, pelabuhan, logistik,e-commerce,SPBU  dan skplu  Pertamina  agar  semua ekosistem terintegrasi dan ulasan  dan  masukan  agar  my Pertamina mantap  my  pertamina  sempurna secara keseluruhan tinggal tambahkan fitur jalan tol,
bandara,  pelabuhan,  logistik,e- commerce,spbu dan skplu pertamina  agar  semua  ekosistem terintegrasi  dan  ulasan  dan masukan agar my pertamina

## 2. Tokenize
Tokenize  digunakan  untuk  menghilangkan  tanda  baca [14]seperti kalimat pada tabel 2.
TABEL 2 H ASIL T OKENIZE Data sebelum diolah Data sesudah diolah Mantap my Pertamina sempurna  secara  keseluruhan tinggal  tambahkan  fitur  jalan tol, bandara,
pelabuhan, logistik,e-commerce,SPBU  dan skplu  Pertamina  agar  semua ekosistem terintegrasi dan ulasan  dan  masukan  agar  my Pertamina mantap  my  pertamina  sempurna secara keseluruhan tinggal tambahkan  fitur  jalan  tol  bandara pelabuhan  logistic  e  commerce spbu  dan  skplu  pertamina  agar semua  ekosistem  terintegrasi  dan ulasan  dan  masukan  agar  my pertamina
3. Filter Stopword
Filter  stopword digunakan  untuk  mengambil  kata-kata penting [15] dari hasil token seperti kalimat pada tabel 3.
e-ISSN: 2548-6861
Sentiment Analysis on Fuel Purchase Policy Through MyPertamina Application Using NB and SVM Methods Optimized by PSO as Weight Optimation (Rousyati, Dany Pratmanto, Angga Ardiansyah, Sopian Aji)
243
TABEL 3 H ASIL STOPWORD
Data sebelum diolah Data sesudah diolah mantap my pertamina sempurna secara keseluruhan tinggal tambahkan fitur jalan tol
bandara  pelabuhan  logistic  e commerce  spbu  dan  skplu pertamina agar
semua ekosistem terintegrasi dan
ulasan  dan  masukan  agar  my pertamina
mantap  my  pertamina  sempurna tinggal  tambahkan  fitur  jalan  tol bandara  pelabuhan  logistic  e commerce  spbu  skplu  pertamina ekosistem  terintegrasi  ulasan masukan my pertamina
4. Stemming
Stemming digunakan untuk menghilangkan kata imbuhan seperti kalimat pada tabel 4.
TABEL 4 H ASIL STEMMING Data sebelum diolah Data sesudah diolah mantap my pertamina sempurna tinggal tambahkan fitur jalan tol bandara  pelabuhan  logistic  e commerce spbu skplu pertamina ekosistem  terintegrasi  ulasan masukan my pertamina mantap  my  pertamina  sempurna tinggal  tambah  fitur  jalan  tol bandara abuh logistic e
commerce  spbu  skplu  pertamina ekosistem  integrasi  ulas  masuk my pertamina

## D. Modelling
Dalam  tahap  Modelling  ini  akan  dilakukan  teknik pengklasifikasian data yang paling akurat. Untuk membandingkan  atau  mengkomparasi,  pada  penelitian  ini akan  digunakan  algoritma  Naïve  Bayes  dan  Support  Vector Machine dengan fitur PSO.

## E. Evaluation
Dalam  tahap  Modelling  ini  akan  dilakukan  Model  yang terbentuk  akan  diuji  menggunakan  confusion  matrix  yang akan  mengetahui  tingkat  akurasi.  Confusion  Matrix  akan menggambarkan hasil akurasi mulai dari prediksi positif yang benar, prediksi positif yang salah, prediksi negatif yang benar dan  prediksi  negatif  yang  salah.  Akurasi  akan  dihitung  dari seluruh  hasil  prediksi  yang  benar  (baik  prediksi  positif  dan negatif) dibandingkan dengan seluruh data testing. Semakin tinggi nilai akurasi, semakin baik pula model yang dihasilkan. Pengujian  juga  diukur  dengan  menggunakan  ROC  Curve. ROC Curve akan menggambarkan kelas positif dalam bentuk kurva.  Pengujian  dilakukan  dengan  menghitung  nilai  Area Under  Curve  (AUC),  semakin  tinggi  nilai  AUC  dan  ROC Curve,  maka  semakin  baik  pula  model  klasifikasi  yang terbentuk.

## III. H ASIL DAN P EMBAHASAN
Data yang digunakan pada penelitian ini adalah berasal dari kolom  ulasan  aplikasi  MyPertamina  yang  ada  di  website Google Play Store. Google Play Store adalah aplikasi resmi milik Google untuk perangkat yang menggunakan sistem baik operasi  Android  maupun  Web.  Bagi  pengguna  bisa mendapatkan  aplikasi  MyPertamina  dapat  dengan  cara mengunduh  di  Google  Play  Store.  Pada  Google  Play  Store
juga terdapat kolom ulasan yang berisi ulasan para pengguna. Banyaknya  dan  beragam  ulasan  tersebut  dapat  dijadikan sebagai bahan penelitian di bidang data mining.  Cara untuk mendapatkan ulasan tersebut dilakukan proses script Python. Hasil dari cleansing data yang digunakan dalam menganalisa sentimen aplikasi MyPertamina dengan total 1999 .
TABEL 5 JUMLAH DATA Label Jumlah Positive 999 Negative 1000
Tahap  data  preparation    merupakan  tahap  dengan  proses penyiapan data yang bertujuan untuk mendapatkan data yang bersih dan siap untuk digunakan dalam penelitian. Dalam text mining tahapan  awal  yang  akan  dilakukan  adalah  tahap text preprocessing, pada  tahap  ini  peneliti  menggunakan  tools Rapid  Miner.  Berikut  model  pre-processing  di  tools  Knime untuk  mengatasi  data  redundan,  tokenizing,  stopword removal, dan stemming.

## Gambar 3. Modelling
Modelling  merupakan  fase  pemilihan  teknik  mining dengan menentukan algoritma yang digunakan. Dalam tahap Modelling ini dilakukan teknik pengklasifikasian data dengan membandingkan  dua  algoritma  yaitu  Naïve  Bayes  dan Support  Vector  Machine  menggunakan  Particle  Swarm Optimization .

## Gambar 4. Hasil Akurasi Naïve Bayes dengan PSO
Akurasi  yang  diperoleh    dengan  metode  Naïve  Bayes ditambah fitur PSO yaitu 79,49% dari 1999 data ulasan positif dan ulasan negatif tentang aplikasi MyPertamina. Data ulasan positif yang sesuai prediksi yaitu 793 data. Data ulasan negatif yang termasuk ke dalam prediksi positif yaitu 204 data. Data berita  positif  yang  termasuk  kedalam  prediksi  negatif  yaitu 206 data dan data negatif yang sesuai prediksi yaitu 796 data.\

## Gambar 5. Hasil AUC Naïve Bayes dengan PSO
Kurva  AUC  NB+PSO  dengan  nilai  AUC  (Area  Under Curve) yang dihasilkan dari gambar 5 sebesar 0,953 dimana diagnosa  hasilnya adalah excellent classification.  Confusion Matrix  memberikan  penilaian  performance  klasifikasi berdasarkan objek benar dan salah.  Confusion  Matrix berisi informasi aktual dan prediksi pada sistem klasifikasi.
TABEL 6 HASIL ACCURACY , RECALL , PRECISION DAN AUC . Accuracy Recall Precision AUC NB 78.69% 73.12% 83.01% 95.00% SVM 75.76% 96.39% 68.70% 94.00% NB + PSO 79.49% 79.38% 79.57% 95.30% SVM + PSO 77.24% 96.29% 69.79% 93.00%
Gambar 6. Perbangdingan Hasil Accuracy, Recall, Precision dan AUC
Berdasarkan  Gambar  6  dapat  disimpulkan  bahwa  analisa sentimen dengan menggunakan metode NB + Particle Swarm Optimization (PSO) menghasilkan nilai accuracy , precision terbaik  dibandingkan  dengan  SVM  atau  SVM  +  PSO. Penggunaan metode NB dengan Particle Swarm Optimization menghasilkan  AUC  terbaik  yaitu  0,953  sehingga  termasuk excellent classification. Sehingga dapat disimpulkan bahwa akurasi  NB  + Particle  Swarm  Optimization (PSO) mendapatkan akurasi yang sama dan lebih tinggi.

## IV. K ESIMPULAN
Berdasarkan  hasil  penelitian  dapat  ditarik  kesimpulan bahwa    bahwa  penerapan data  mining dapat  membantu mengkategorikan sentimen  ulasan  MYPertamina,  Algoritma NB  dengan  penambahan Particle  Swarm  Optimization merupakan  metode  yang  terbaik  dalam  penelitian  ini dibandingkan dengan  NB saja atau SVM serta SVM + PSO, untuk melakukan klasifikasi sentimen analisis teks berbahasa Indonesia  dalam  analisis  sentiment  aplikasi  MyPertamina. Algoritma NB  dengan Optimization (PSO) menghasilkan Accuracy 79,49% precision tertinggi  yaitu  dengan  79.57%, recall 79.38%  dan  AUC    tertinggi  yaitu  95.30%  yang termasuk dalam excellent classification . Usulan penggunaan Parameter  Optimization (PSO)  pada  algoritma  klasifikasi terbukti  berpengaruh  meningkatkan accuracy algoritma  NB namun  tidak  secara  signifikan.  Sehingga  dapat  disimpulkan bahwa penerapan optimasi yang terbaik pada model ini adalah algoritma  NB + PSO  dapat  memberikan  solusi  terhadap permasalahan klasifkasi sentimen pada aplikasi MyPertamina.

## U CAPAN T ERIMA K ASIH
Terima kasih pada berbagai pihak yang telah mendukung penulisan artikel ilmiah ini.

## D AFTAR P USTAKA
[1]  G. Salsabila, S. Promosi, L. Program, and M. Pertamina, “Gina Salsabila: Strategi Promosi Loyalty Program My Pertamina.....,” J.  Visi  Komun. , vol. 17, no. 01, pp. 23–44, 2018.
[2]  A.  Lutfi,  “Efekvitas  Penggunaan  Aplikasi  My  Pertamina  Di  Era Kenaikan  Bbm  Bersubsidi,” Pros.  Semin.  Nas.  Pendidikan,  Bahasa, Sastra,  Seni,  dan  Budaya ,  vol.  1,  no.  2,  pp.  244–253,  2022,  [Online]. Available:
http://badanpenerbit.org/index.php/MATEANDRAU/article/view/189.
[3]  M.  Lailiyah,  “Sentiment  Analysis  Menggunakan  Rule  Based  Method Pada  Data  Pengaduan  Publik  Berbasis  Lexical  Resources,”  2017, [Online]. Available: http://repository.its.ac.id/42409/.
[4]  F.  Alvianda and P. P. Adikara, “Analisis Sentimen Konten Radikal Di Media Sosial Twitter Menggunakan Metode Support Vector Machine ( SVM ),” J. Pengemb. Teknol. Inf. dan Ilmu Komput. Univ. Brawijaya , vol. 3, no. 1, pp. 241–246, 2019.
[5]  N.  Faridhotul  Hidayah,  K.  Paranita  Kartika  R.,  and  S.  Nur  Budiman, “Penerapan  Metode  Naive  Bayes  Dalam  Analisis  Sentimen  Aplikasi Sentuh Tanahku Pada Google Play,” JATI (Jurnal Mhs. Tek. Inform. , vol. 6, no. 2, pp. 679–683, 2022, doi: 10.36040/jati.v6i2.5610.
[6]  D.  Darwis,  N.  Siskawati,  and  Z.  Abidin,  “Penerapan  Algoritma  Naive Bayes Untuk Analisis Sentimen Review Data Twitter Bmkg Nasional,” J.  Tekno  Kompak ,  vol.  15,  no.  1,  p.  131,  2021,  doi: 10.33365/jtk.v15i1.744.
[7]  B.  Gunawan,  H.  S.  Pratiwi,  and  E.  E.  Pratama,  “Sistem  Analisis Sentimen pada Ulasan Produk Menggunakan Metode Naive Bayes,” J. Edukasi  dan  Penelit.  Inform. ,  vol.  4,  no.  2,  p.  113,  2018,  doi: 10.26418/jp.v4i2.27526.
[8]  D.  Tuah  Fitriano  Putra,  “Kapabilitas  Dynamic  Governance  Dalam Pencapaian  Pertumbuhan  Ekonomi  Provinsi  Kepulauan  Riau  Tahun 2012 – 2017,” KEMUDI  J. Ilmu Pemerintah. , vol. 4, no. 2, pp. 144–176, 2020, doi: 10.31629/kemudi.v4i2.1460.
[9]  U.  Kusnia  and  F.  Kurniawan,  “Analisis  Sentimen  Review  Aplikasi Media Berita OnlinePada Google Playmenggunakan Metode Algoritma Support Vector Machines (SVM) Dan Naive Bayes,” Explor. IT , vol. 14, no. 36, pp. 24–28, 2022, [Online]. Available: https://jurnal.yudharta.ac.id/v2/index.php/EXPLORE-
IT/article/view/3116/2133. 60.00% 70.00% 80.00% 90.00% 100.00% Accuracy Recall Precision
AUC NB SVM NB + PSO SVM + PSO
Sentiment Analysis on Fuel Purchase Policy Through MyPertamina Application Using NB and SVM Methods Optimized by PSO as Weight Optimation (Rousyati, Dany Pratmanto, Angga Ardiansyah, Sopian Aji)
[10] O.  Irnawati  and  K.  Solecha,  “Analisis  Sentimen  Ulasan  Aplikasi  Flip Menggunakan Naïve Bayes dengan Seleksi Fitur PSO,” J.  Ilm.  Intech Inf.  Technol.  J.  UMUS ,  vol.  4,  no.  02,  pp.  189–199,  2022,  [Online]. Available: http://jurnal.umus.ac.id/index.php/intech/article/view/868/538.
[11] S. A. Aaputra, Didi Rosiyadi, Windu Gata, and Syepry Maulana Husain, “Sentiment  Analysis  Analisis  Sentimen  E-Wallet  Pada  Google  Play Menggunakan  Algoritma  Naive  Bayes  Berbasis  Particle  Swarm Optimization,” J. RESTI (Rekayasa Sist. dan Teknol. Informasi) , vol. 3, no. 3, pp. 377–382, 2019, doi: 10.29207/resti.v3i3.1118.
[12] D.  Kurniawan  and  M.  Yasir,  “Optimization  Sentimen  Analysis  using
CRISP-DM and Naive Bayes Methods Implemented on Social Media,” Cybersp.  J.  Pendidik.  Teknol.  Inf. ,  vol.  6,  no.  2,  p.  74,  2022,  doi: 10.22373/cj.v6i2.12793.
[13] A. T. J. H, “Preprocessing Text untuk Meminimalisir Kata yang Tidak Berarti dalam Proses Text Mining,” pp. 1–9.
[14] Surohman, S. Aji, Rousyati, and F. F. Wati, “Analisa Sentimen Terhadap Review  Fintech  Dengan  Metode  Naive  Bayes,” Evolusi  J.  Sains  dan Manaj. ,  vol.  8,  no.  1,  pp.  93–105,  2020,  [Online].  Available: https://ejournal.bsi.ac.id/ejurnal/index.php/evolusi/article/view/7535/40 65.
[15] M.  S.  Utomo,  “Stopword  Dinamis  dengan  Pendekatan  Statistik,” J. Inform. Upgris , pp. 140–148, 2015.