## Komparasi Algoritma Support Vector Machine Dengan Naive Bayes Untuk Analisis Sentimen Pada Aplikasi BRImo
Anggi Puji Astuti 1 , Syariful Alam 2 , Irsan Jaelani 3
Teknik Informatika, Sekolah Tinggi Teknologi Wastukancana Jl. Cikopak No. 53  Mulyamekar, Kec. Babakancikao, Sadang, Kabupaten Purwakarta, Jawa Barat
1 anggipuji20@wastukancana.ac.id, 2 syarifulalam@wastukancana.ac.id, 3 irsan@wastukancana.ac.id
Intisari  —  Perbankan  merupakan  industri  yang  saat  ini  sudah  berkembang  dalam  pemanfaatan  teknologi  informasi  dengan meningkatkan  standar  kualitas  layanan  agar  dapat  bersaing  dipasar  pada  era  digital  yang  semakin  ketat.  Pada  saat  ini  bank  BRI sedang  menarik  perhatian  masyarakat  akan  kualitas  pembaharuan  dengan  meluncurkan  aplikasi  mobile  banking,    maka  dari  itu dilakukanlah  analisis  mengenai  ulasan  pengguna  mobile  banking    BRImo  untuk  dijadikan  sebagai  objek  penelitian    dengan melakukan  komparasi  metode  klasifikasi  text  mining.  Penelitian  ini  bertujuan    untuk      mengetahui  hasil  komparasi  algoritma Support  vector  machine  dan  Naive  bayes.  Algoritma    Support  vector  machine  dan  Naive  bayes    adalah  suatu  metode    klasifikasi untuk mengolah data berupa teks dengan  tingkat akurasi yang baik.  Algoritma ini biasanya  digunakan untuk analisis text mining dengan 4 tahapan yaitu Scrapping data, Preprocessing, Klasifikasi dan evaluasi. Pada tahap preprocessing memiliki beberapa proses diantaranya filtering, labeling, case folding, tokenization, stopword removal & Stemming  dan normalisasi agar mendapatkan suatu kata  yang  bisa  diklasifikasikan.  Hasil  dari  penelitian  ini  yaitu  algoritma  Support  vector  machine  merupakan  algortima  yang  lebih baik  dalam  klasifikasi  data  ulasan  aplikasi  mobile  banking  BRImo  dengan  nilai  akurasi  sebesar  97,69%  dibandingkan  algoritma Naive Bayes dengan nilai akurasi sebesar 96,53%.
Kata kunci — Support vector machine, Naive  bayes, perbankan, Aplikasi dan Mobile banking BRImo
Abstract — Banking is an industry that is currently developing in the use of information technology by increasing service quality standards in order  to  compete  in  the  market  in  an  increasingly  tight  digital  era.  At  this  time,  BRI  bank  is  attracting  public  attention  to  the  quality  of renewal by launching a mobile banking application, therefore an analysis of reviews of BRImo mobile banking users is carried out to serve as an  object  of  research  by  comparing  text  mining  classification  methods.  This  study  aims  to  determine  the  results  of  the  comparison  of  the Support vector machine and Naive Bayes algorithms. Support vector machine and Naive Bayes algorithm are classification methods used to process data in the form of text with a good level of accuracy. This algorithm is usually used for text mining analysis with 4 stages, namely data  scrapping,  preprocessing,  classification  and  evaluation.  At  the  preprocessing  stage,  there  are  several  processes  including  filtering, labeling, case folding, tokenization, stopword removal & stemming and normalization to get relevant words to be classified. The results of this study are the Support vector machine algorithm has a better performance in classifying the BRImo mobile banking application review data with an accuracy value of 97,69% compared to the Naive Baye algorithm with an accuracy value of 96,53%.
Keywords —  Support vector machine, Naive bayes, Bank, Aplication and Mobile banking BRImo

## I. P ENDAHULUAN
Perbankan  merupakan  industri  yang  saat  ini  sudah berkembang  dalam  pemanfaatan  teknologi  informasi  dengan meningkatkan  standar  kualitas  layanan  agar  dapat  bersaing dipasar  pada  era  digital  yang  semakin  ketat.  Pada  saat  ini perusahaan  bank  memiliki  aplikasi mobile  banking (m- banking)  yang  digunakan  oleh  nasabahnya.  Akan  tetapi perusahaan  bank  harus  mengumpulkan  informasi  terkait pelayanan  yang  dibutuhkan  oleh  nasabah.  [1].  Penelitian  ini dilakukan  untuk  mengetahui  ulasan  Aplikasi  BRImo  pada Google  Play  Store yang  dijadikan  sebagai  objek  penelitian dikarenakan Bank BRI adalah bank tertua di Indonesia saat ini sedang menarik perhatian masyarakat akan kualitas
pembaharuan  dengan  meluncurkan  aplikasi mobile  banking . Selain  itu  analisis  sentimen  juga  dilakukan  dengan menggunakan algoritma data mining untuk melakukan proses, analisa  dan  mengubah  data  yang  berupa  teks  kedalam  suatu objek atau entitas.
Berdasarkan  penelitian  serupa  yang  telah  dilakukan memiliki  perbedaan  mengenai  metode  atau  algoritma  serta penambahan  fitur  pembobotan  kata  yang  digunakan.  Pada penelitian  [2]  algoritma Support  Vector  Machine dan Naive Bayes kemudian  ditambah  fitur Genetic Algorithm agar  nilai akurasi  pengklasifikasian  tersebut  menentukan  pola  positif atau  negatif  mengenai  Calon  Gubernur  Jabar  2018-2023 berdasarkan  data  pengguna  twitter  dengan  hasil  yang diperoleh  membuktikan  bahwa  model  agoritma  SVM berbasis GA adalah model algoritma terbaik dalam pengujian
dan  pengklasifikasi  dibandingkan  hasil  yang  diperoleh  oleh algoritma  NB  berbasis  GA.  Penelitian  selanjutnya  [3] menggunakan  algoritma Neural  Network,  K-Neighbor,  Naive Bayes,  support  Vector  Machine dan Decision  Tree untuk melakukan ekstraksi atribut dalam ulasan agar diklasifikasikan menjadi  ulasan  positif  dan  negatif  mengenai  usaha  waralaba berdasarkan  data  twitter  dengan  hasil  algoritma Neural Network,  Support  Vector  Machine dan Naive  Bayes sebagai klasifikasi  algoritma  terbaik.  Penelitian  [4]  algoritma K- Nearest  Neighbor dan Support  Vector  Machine dengan K- Fold  Cross  Validation atau  tanpa K-Fold  Cross  Validation dengan  objek  teks  sentimen  bertujuan  untuk  melakukan perbandingan  agar  diketahui  algoritma  yang  lebih  baik  dari segi akurasi dan waktu yang menghasilkan bahwa metode K- Nearest  Neighbor tanpa K-Fold  Cross  Validation memiliki performa  yang  lebih  baik.  Penelitian  [5]  algoritma Naive Bayes , Random  Forest dan Support  Vector  Machine dengan tujuan  untuk  mengetahui  eksperimen  mengenai  ulasan  yang ada  pada  aplikasi  belajar  RuangGuru  dengan  melakukan pengujian  menggunakan Cross  Validation serta K-Fold sebanyak  K  10  dengan  hasil  akhir  analisa  dari  beberapa pengujian  model  klasifikasi  tersebut,  didapatkan  jumlah komentar  positif  lebih  banyak  dari  komentar  negatif  dengan performa  menunjukan  algoritma Random  Forest memperoleh akurasi  yang  tinggi.  Penelitian  [6]  melakukan  klasifikasi terhadap  aplikasi  jenius  yang  memeiliki  komentar  di Google Play  Store dengan  algorittma Naive  Bayes dengan  hasil performa  yang  didapat  tersebut  dapat  disimpulkan  bahwa ulasan    pada  aplikasi  jenius  memiliki  nilai  yang  dihasilkan oleh akurasi relatif kecil yaitu 0,57. Selanjutnya penelitian[7] menggunakan  algoritma Support  Vector  Machine dan menambahkan  fitur Word  N-Gram untuk  melakukan identifikasi  kata  melalui  pendekatan  dengan  tujuan penelitian agar  mengetahui pengaruh penerapan Word N-Gram terhadap nilai  akurasi  yang  diperoleh  dengan  hasil  kenaikan  tertinggi yaitu  pada  penerapan  tri-gram  sebesar  0,92%  sehingga penerapan Word  N-Gram dapat  meningkatkan  suatu  akurasi berjumlah banyak dengan data yang digunakan.
Berdasarkan penelitian
sebelumnya, penelitian menggunakan  algoritma Support  Vector  Machine dan  Naive Bayes dengan  tujuan  untuk  melakukan  komparasi  agar mengetahui nilai akurasi dengan dikombinasikan menggunakan pembobotan kata TF-IDF.

## II. M ETODOLOGI P ENELITIAN

## A. Diagram Alur Penelitian
Pada  Diagam  Alur  memimiki  tahapan  untuk  proses penelitian. Gambar 1 berikut menjelaskan mengenai gambaran umum alur penelitian.

## Gambar 1. Alur Penelitian
B. Pengumpulan Data
Pada tahapan ini, peneliti mengumpulkan data menggunakan  teknik scrapping dengan  bantuan Google Colab . Scrapping data  digunakan  untuk  mengambil  data komentar  atau  ulasan  dari  sebuah  halaman website atau aplikasi  android  dari Google  Play  Store yang  kemudian  data tersebut  diolah  kedalam  suatu  format  yang  dapat  disimpan menggunakan python [8]  di google  colab dengan  link  tujuan aplikasi BRImo yaitu “id.co.bri.brimo” menggunakan library pandas  dan numpy. Hasil scrapping sebanyak  5000  data ulasan  pengguna.  Berikut  adalah  alur  dalam  melakukan scrapping data pada gambar 2. :
Gambar 2. Pengumpulan Data

## C.
Preprocessing
Setelah didapatkan data hasil scrapping maka selanjutnya  dokumen  ulasan  pengguna  ini  akan  dilakukan
tahapan preprocessing . Preprocessing digunakan  dalam dokumen  mentah  hingga  siap  untuk  dilakukan  analisis  teks yang telah disiapkan [9].Tahapan preprocessing penelitian ini yaitu filtering, labeling, case folding, tokenization, stopwword removal  &  stemming dan  normalisasi.  Berikut  adalah  tabel penjelasan mengenai tahapan Preprocessing pada tabel 1. :
T ABEL I P ENJELASAN T AHAPAN P REPROCESSING No Tahapan Penjelasan 1 Filtering Digunakan untuk menghilangkan atau menghapus data duplikat dan memilih atribut apa saja yang akan digunakan. 2 Labeling Untuk menentukan kelas daripada suatu ulasan dalam dokumen untuk menentukan label pada setiap ulasan antara positif atau negatif 3 Case folding Untuk  mengubah  semua  tulisan menjadi huruf kecil
4 Tokenization Untuk  pemecahan  kalimat  dan
menghilangkan tanda baca 5 Stopword removal & stemming Teknik  utuk  menghapus  kata berimbuhan 6 Normalisasi Proses  untuk  mengubah  bahasa baku
D. Klasifikasi
Tahapan  klasifikasi  merupakan  proses  perhitungan  yang menerapkan  algoritma  data  mining  untuk  mengolah  dataset ulasan  dari  aplikasi  BRImo  pada Google  Play  Store yang sudah  melewati  tahap preprocessing terlebih  dahulu. Algoritma  yang  digunakan  yaitu Naive  Bayes dan Support Vector  Machine dibantu  dengan  pembobotan  TF-IDF.  Pada tahap algoritma Naive Bayes dilakukan perhitungan kumpulan dari  probabilitas  dengan  cara  menjumlahkan  frekuensi  dan kombinasi  nilai.  Sedangkan  tahap  yang  dilakukan  algoritma Support  Vector  Machine yaitu  mengklasifikasi proses  data untuk  mengetahui hyperplanes ,  dengan  tepi  terbesar  dari hyperplanes menjadi pembagi data antar kelas.

## E. Evaluasi
Tahapan  evaluasi  yang  digunakan  yaitu  metode Confusion  Matrix yang  biasa  digunakan  untuk  melakukan perhitungan  akurasi  dan  evalusi  model  klasifikasi.  Setelah metode Confusion  Matrix ini  selesai  maka  proses  terkahir yang dilakukan pada evaluasi yaitu menampilkan wordcloud pada  masing-masing  label  positif  atau  negatif.  Berikut  rumus Confussion Matrix bisa dilihat di tabel 2. Dibawah ini :
T ABEL II R UMUS C ONFUSSION M ATRIX Data Kelas Prediksi 1 0 Kelas Sebenarnya 1 TN FN 0 FP TP Keterangan :
TP ( True Positive )   = jumlah dokumen dari kelas 1 yang benar di klasifikasikan sebagai kelas 1
TN( True Negative )  = jumlah dokumen dari kelas 0 yang benar diklasifikasikan   sebagai kelas 0
FP ( False Positive ) = jumlah dokumen dari kelas 0 yang salah diklasifikasikan sebagai kelas 1
FN( False Negative ) = jumlah dokumen dari kelas 1 yang  salah  diklasifikasikan  sebagai kelas 0

## III. H ASIL DAN P EMBAHASAN

## A. Data
Data  yang  diambil  pada  situs Google  Play  Store merupakan  ulasan  pengguna  aplikasi  BRImo.  Pengambilan data  menggunakan  teknik scrapping dengan  memanfaatkan Google  Colab .  Pada  penelitian  ini Google  Colab digunakan untuk mengambil data ulasan dan mengolah data menggunakan  bahasa  pemrograman python dengan  jumlah data yang didapatkan sebanyak 5000 data ulasan terbaru yang didapatkan. Berikut hasil Scrapping Data pada gambar 3. :
Gambar 3. Dataset Hasil Scrapping

## B. Preprocessing
Data  yang  sudah didapatkan pada  tahap Scrapping akan diolah menjadi data terstruktur atau biasa disebut Preprocessing. Berikut  merupakan  tahapan Preprocessing yang dilakukan:
1. Filtering
Dari  hasil Scrapping atribut  yang  diperoleh  yaitu UserName,  Score,  at  dan  content. Pada  tahap filtering , atribut  yang  digunakan  hanya score dan content yang nantinya akan di analisis. Berikut adalah data yang sudah dilakukan Filtering pada tabel 3. :
T ABEL III H ASIL FI LTERING Score Content
5 Terima kasih aplikasi ini sangat bermanfaat...
5  mantap BRI
2. Labeling
Proses  yang  dilakukan  yaitu  menentukan  kelas  dari setiap ulasan yang di dapat apakah masuk kedalam kelas positif  atau  kelas  negatif.  Proses  pelabelan  ini menggunakan bahasa pemrograman phyton pada Google Colab . Pada tabel 4. merupakan proses Labeling :
T ABEL I V P ROSES L ABELING Score Content Sentiment 5 Terima kasih aplikasi ini sangat bermanfaat... positif 1 Gak bisa daftar brimo padahal foto ktpnya sudah pas dan gak blurr anehh buang'' data aja download negatif
3. Case Folding
Proses  konversi  seluruh  ulasan  untuk  mengubah  tulisan dari huruf kapital menjadi lowercase . Proses case folding pada tabel 5 dibawah ini :
T ABEL V P ROSES C ASE F OLDING Input
Gak bisa daftar brimo padahal foto ktpnya sudah pas dan gak blurr anehh buang'' data aja download Output
gak  bisa  daftar  brimo  padahal  foto  ktpnya sudah pas dan gak blurr anehh buang'' data aja download
4. Tokenization
Merupakan proses pemecahan setiap kata atau teks ulasan sekaligus  proses  untuk  menghilangkan  tanda  baca.  Pada tabel 6. merupakan proses dari tokenization.
T ABEL VI P ROSES T OKENIZATION
Input terbaik!!! tingkatkan terus pelayananya, segala urusan menjadi mudah dengan apk brimo ðŸ‘•ðŸ‘• Output [terbaik,  tingkatkan,  terus,  pelayanannya, segala,  urusan,  menjadi,  mudah,  dengan, apk, brimo]
5. Stopword removal & stemming
Merupakan  proses  untuk  menghapus  konjungsi  atau imbuhan seperti “ke”, “dan” atau “yang” sehingga hanya kata yang memiliki makna penting yang digunakan. Pada tabel  7.  merupakan  proses  dari stopword  removal dan stemming.
T ABEL VII
P ROSES S TOPWORD R EMOVAL & S TEMMING
Input transaksi lebih mudah tidak perlu ke atm Output [transaksi, lebih, mudah, tidak, perlu, atm]
6. Normalisasi
Merupakan  proses  untuk  mengubah  kata  yang  tidak sesuai  dengan  ejaan  (tidak  baku)  berdasarkan  database kamus kata yang dibuat sendiri dari data yang digunakan. Pada table 8. berikut merupakan proses dari normalisasi.
T ABEL VIII P ROSES N ORMALISASI
Input [bgus, sekli, mudah, transfer, atm] Output [bagus, sekali, mudah, transfer, atm] C. Klasifikasi Pada tahapan klasifikasi diawali menggunakan pembobotan  TF-IDF  dengan  pengelompokan  label.  Setelah proses pembobotan TF-IDF selesai maka data dibagi dua yaitu data training dan data testing .
1. Pembobotan TF-IDF
Setelah  tahap Preprocessing selesai,  maka  dilakukan pemberian  bobot  pada  setiap  kata.  Nilai  bobot  yang diberikan  akan  memberi  pengaruh  kemiripan  saat megukur kata dari suatu dokumen. Pembobotan TF-IDF ini  melihat  dari  jumlah  lebel  positif  dan  negatif  yang sudah  ditentukan,  label  positif  memiliki  jumlah  2140 sedangkan label negatif berjumlah 194.
2. Data Training dan Data Testing
Proses Data Training dan Data Testing dibagi menjadi 3 (tiga) nilai perbandingan untuk memperkuat nilai akurasi yang diperoleh. Nilai perbandingan pertama dengan nilai Data Training 70%  dan  data testing 30%  pada  tabel  9 dibawah ini:
T ABEL IX
P ERBANIDINGAN 70 : 30 Jenis Data Presentase Jumlah
Data Training 70% 1.633,4 = 1.633 Data T esting 30% 700,6 = 701 Jumlah 100% 2.334
Kemudian  nilai  perbandingan  kedua  dengan  nilai  data training 80%  dan  data testing 20%  pada  tabel  10 dibawah ini :
T ABEL X P ERBANDINGAN 80:20 Jenis Data Presentase Jumlah Data Training 80% 1.867,2 = 1867 Data Testing 20% 466,8 = 467 Jumlah 100% 2.334
selanjutnya  nilai  perbandingan  ketiga  atau  terkahir dengan  nilai  data training 90%  dan  data testing 10% pada tabel 11 dibawah ini :
T ABEL XI
P ERBANDINGAN 90:10 Jenis Data Presentase Jumlah Data Training 90% 2.100,4 = 2.100 Data Testing 10% 233,6 = 234 Jumlah 100% 2.334 3. Klasifikasi Support Vector Machine dan Naive bayes.
Proses pengujian dilakukan dengan bahasa pemrograman python pada google  collab dengan  dikombinasikan menggunakan    pembobotan  kata  TF-IDF.  Pada  tahap klasifikasi  ini  di  uji  5  kali  percobaan  dengan randomstate yang  berbeda-beda.  Hasil  dari  klasifikasi antara  algoritma Support  Vector  Machine dan Naive bayes dapat dilihat pada tabel 12. dibawah ini :
T ABEL XII H ASIL P ERBANDINGAN A KURASI
Percobaan Akurasi Model SVM NB Perbandingan 70:30 Percobaan 1 97,28% 96,43% Percobaan 2 97,00% 95,72% Percobaan 3 97,86% 96,14% Percobaan 4 96,86% 96,57% Percobaan 5 97,57% 95,72% Rata-Rata 97,31% 96,12%
Percobaan Akurasi Model SVM NB Perbandingan 80:20 Percobaan 1 97,85% 97,00% Percobaan 2 97,21% 96,35% Percobaan 3 97,64% 97,21% Percobaan 4 97,43% 96,14% Percobaan 5 97,43% 97,64% Rata-Rata 97,51% 96,87% Perbandingan 90:10 Percobaan 1 97,86% 95,29% Percobaan 2 96,58% 95,29% Percobaan 3 97,43% 97,43% Percobaan 4 99,14% 97,00% Percobaan 5 98,29% 97,86% Rata-Rata 97,86% 96,57% Rata-Rata Total 97,56% 96,52%
Berdasarkan  hasil  perbandingan  akurasi  algoritma Support Vector Machine memiliki nilai lebih besar untuk semua percobaan kecuali pada percobaan kelima dengan perbandingan  80:20  nilai  akurasi  Naive  bayes  lebih besar  .  Sehingga  dapat  disimpulkan  berdasarkan  hasil rata-rata  total  akurasi  yang  diperoleh  metode Support vector  machine memperoleh  akurasi  yang  besar  yaitu 97,56%  dibandingkan  dengan  metode Naive  bayes memiliki rata-rata total akurasi sebesar 96,52%.

## D. Evaluasi
Pada  tahap  evaluasi  akan dilakukan  perhitungan manual confusion matrix untuk menguji hasil klasifikasi dengan hasil sesungguhnya  [10].  Selain  itu  akan  ditampilkan  hasil wordcloud berdasarkan  dataset  yang  sudah  melalui  proses pengolahan data.
1. Confusion Matrix
Pada  tahapan  ini  dilakukan  pengukuran  performa permasalahan  klasifikasi.  Dalam Confusion  matrix memiliki  4  tabel  campuran  berbeda  pada  setiap  nilai.
[10]. Berikut adalah hasil confusion matrix pada tabel 13 dibawah ini :
T ABEL X III H ASIL C ONFUSSION M ATRIX
Prediksi SVM NB 1 0 1 0 1 427 1 427 13
Prediksi SVM NB 1 0 1 0 0 9 30 1 26 Akurasi 97,85% 97%
Berdasarkan  hasil  evaluasi confusion  matrix dapat disimpulkan  bahwasannya  algoritma support  vector mavhine memiliki  kinerja  lebih  baik  dengan  nilai 97,85% dari algoritma naive bayes dengan nilai 97%.
2. Wordcloud
Pada  tahap wordcloud merupakan  tahapan  untuk memfilter kata yang sering muncul pada  masing-masing label  positif  dan  negatif  yang  sudah  dibentuk  ke  dalam word cloud guna memperlihatkan ke dalam bentuk visual [8].  Sentimen  positif  dihasilkan  dengan  gambar  tulisan berwarna  biru,  sedangkan  sentimen  negatif  dihasilkan dengan  gambar  tulisan  berwarna  merah.  Berdasarkan wordcloud positif  kata  yang  sering  muncul  yaitu “mudah”,  “bantu”,  “mantap”,  “aplikasi”,  “transaksi”. Dapat  dilihat  mengenai wordcloud yang  disajikan  untuk menggambarkan  sentimen  positif  pada  gambar  4. berikut:

## Gambar 4. Wordcloud Sentimen Positif
Berdasarkan gambar  5. dapat dilihat bahwa kata dengan frekuensi  tinggi  yaitu  “aplikasi”,  “daftar”,  “transaksi” dan  “ribet”.  Kata-kata  yang  muncul  pada wordcloud sentimen  negatif  menunjukan  kekecewaan  pengguna terhadap  aplikasi  BRImo. Wordcloud sentimen  negatif daapat dilihat pada gambar 5. berikut :
Gambar 5. Wordcloud Sentimen Negatif

## IV. K ESIMPULAN
Hasil  penelitian  analisis  sentimen  mengenai  ulasan pengguna  aplikasi  mobile  banking  BRImo  pada platform google  playstore dengan  dua  algoritma  klasifikasi  yaitu Support  vector  machine dan Naive  bayes menggunakan pembobotan kata TF-IDF untuk mengetahui nilai akurasi dari perbandingan  dua  algoritma  yang  digunakan  dengan  jumlah 5000  data  ulasan  hasil scrapping .  Data  diklasifikasikan dengan  5x  percobaan  menggunakan  metode Support  vector mechine yang  menghasilkan nilai  akurasi  97,56%,  sedangkan metode naive  bayes menghasilkan  nilai  akurasi  96,52%  serta evaluasi  data  menggunakan .  Sehingga  kesimpulan  dari penelitin  adalah  algoritma Support  vector  machine memiliki nilai  yang  lebih  baik  untuk  klasifikasi  data  ulasan  aplikasi mobile banking BRImo dibandingkan algoritma Naive Bayes.

## R EFERENSI
[1] N.  C.  Wirawan  and  P.  P.  Adikara,  “Analisis  Sentimen  Dengan Query Expansion Pada Review Aplikasi M- Banking Menggunakan Metode  Fuzzy  K-Nearest  Neighbor  (  Fuzzy  k-NN  ),” J.  Pengemb. Teknol.  Inf.  dan  Ilmu  Komput.  Univ.  Brawijaya ,  vol.  2,  no.  1,  pp. 362–368, 2018.
[2] D.  Gunawan,  D.  Riana,  D.  Ardiansyah,  F.  Akbar,  and  S.  Alfarizi, “Komparasi  Algoritma  Support  Vector Machine  Dan  Naïve Bayes Dengan  Algoritma  Genetika  Pada  Analisis  Sentimen  Calon Gubernur Jabar 2018-2023,” vol. VI, no. 1, pp. 2442–2436, 2020.
[3] T.  Mardiana,  H.  Syahreva,  and  T.  Tuslaela,  “Komparasi  Metode Klasifikasi  Pada  Analisis  Sentimen  Usaha  Waralaba  Berdasarkan Data Twitter,” J.  Pilar Nusa Mandiri ,  vol. 15, no.  2, pp. 267–274,
2019.
[4] M.  R.  A.  Nasution  and  M.  Hayaty,  “Perbandingan  Akurasi  dan Waktu Proses Algoritma K-NN dan SVM dalam Analisis Sentimen
Twitter,” J. Inform. , vol. 6, no. 2, pp. 226–235, 2019.
[5] E.  Fitri,  “Analisis  Sentimen  Terhadap  Aplikasi  Ruangguru Menggunakan Algoritma Naive Bayes, Random Forest Dan Support
Vector Machine,” J. Transform. , vol. 18, no. 1, p. 71, 2020.
[6] R.  A.  Subagja,  Y.  Widiastiwi,  and  N.  Chamidah,  “Klasifikasi Ulasan  Aplikasi  Jenius  pada  Google  Play  Store  Menggunakan Algoritma Naive Bayes,” vol. 4221, no. 3, pp. 197–208, 2021.
[7] F.  Fitriyani  and  T.  Arifin,  “Penerapan  Word  N-Gram  Untuk Sentiment  Analysis  Review  Menggunakan  Metode  Support  Vector
Machine (Studi Kasus: Aplikasi Sambara),” Sistemasi , vol. 9, no. 3, p. 610, 2020.
[8] H.  P.  Doloksaribu  and  Y.  T.  Samuel,  “Komparasi  Algoritma  Data Mining  Untuk  Analisis  Sentimen  Aplikasi  Pedulilindungi,” J. Teknol.  Inf.  J. Keilmuan dan  Apl.  Bid.  Tek.  Inform. , vol. 16,  no. 1, pp. 1–11, 2022.
[9] N.  M.  A.  J.  Astari,  Dewa  Gede  Hendra  Divayana,  and  Gede
Indrawan, “Analisis Sentimen Dokumen Twitter Mengenai Dampak Virus  Corona  Menggunakan  Metode  Naive  Bayes  Classifier,” J. Sist. dan Inform. , vol. 15, no. 1, pp. 27–29, 2020.
[10] H.  Hozairi,  A.  Anwari,  and  S.  Alim,  “Implementasi  Orange  Data Mining Untuk Klasifikasi Kelulusan Mahasiswa Dengan Model K- Nearest  Neighbor,  Decision  Tree  Serta  Naive  Bayes,” Netw.  Eng. Res. Oper. , vol. 6, no. 2, p. 133, 2021.