731 Jurnal Teknik Informatika dan Sistem Informasi ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 731-740 E-ISSN 2503-2933

## Perbandingan Algoritma Naive Bayes Dan SVM Dalam Sentimen Analisis Marketplace Pada Twitter
Indra Kurniawan* 1 , April Lia Hananto 2 , Shofa Shofia Hilabi 3 , Agustia Hananto 4 , Bayu Priyatna 5 , Aviv Yuniar Rahman 6 1,2,3,4,5 Program Studi Sistem Informasi, Fakultas Ilmu Komputer, Universitas Buana Perjuangan, Karawang
4 Program Studi Teknik Informatika, Fakultas Teknik, Universitas Widyagama, Malang e-mail: * 1 si19.indrakurniawan@mhs.ubpkarawang.ac.id, 2 aprilia@ubpkarawang.ac.id,
3 shofa.hilabi@ubpkarawang.ac.id, 4 agustia.hananto@ubpkarawang.ac.id,
5 bayu.priyatna@ubpkarawang.ac.id, 6 aviv@widyagama.ac.id

## Abstrak
Transaksi  jual  beli  online  semakin  meningkat  di  Indonesia  karena  kemudahan penggunaan  platform  marketplace,  dan  belanja  online  lebih  menghemat  waktu  dibandingkan belanja  offline.  Masing-masing  marketplace  mempunyai  kelebihan  dan  kekurangan  hal  ini mempengaruhi sentimen pelanggan yang pernah melakukan transaksi di platform marketplace tersebut. Dalam riset ini menggunakan opini pelanggan dari data tweet berdasarkan sentimen positif atau negatif untuk membandingkan algoritma klasifikasi Naive Bayes (NB) dan Support Vector  Machine  (SVM)  dengan  tujuan  untuk  mengetahui  algoritma  klasifikasi  terbaik berdasarkan  nilai  accuracy  untuk  sentimen  analisis  penggunaan  platform  marketplace.  Data tweet dalam penelitian ini diambil pada tanggal 18 Oktober sampai tanggal 11 November 2022. Untuk  menguji  kinerja  algoritma  klasifikasi  NB  dan  SVM  menggunakan  metode  Cross Validation  dan  dari  hasil  hasil  pengujian  perbandingan  tersebut  bahwa  algoritma  SVM memiliki  nilai  accuracy  yang  terbaik  dibandingkan  dengan  algoritma  NB.  Dimana  nilai accuracy  Tokopedia  menggunakan  algoritma  NB  sebesar  85.34%,  dan  nilai  accuracy menggunakan  SVM  86.82%,  untuk  nilai  accuracy  Shopee  menggunakan  NB  sebesar  80.04%, dan nilai accuracy menggunakan SVM 80.91%. dan Lazada yang menggunakan algoritma NB mempunyai nilai accuracy 83.52%, sedangkan nilai accuracy menggunakan SVM 88.93% yang artinya penggunaan algoritma SVM memiliki tingkat akurasi terbaik.
Kata kunci — Sentimen Analisis , Marketplace, Naive Bayes, Support Vector Machine, SMOTE

## Abstract
Online  buying  and  selling  transactions  are  increasing  in  Indonesia  due  to  the  ease  of using marketplace platforms, and online shopping saves more time than offline shopping. Each marketplace has advantages and disadvantages, this affects customer sentiment who have made transactions on the marketplace platform. This research uses customer opinion from tweet data based on positive or negative sentiments to compare the Naive Bayes (NB) and Support Vector Machine  (SVM)  classification  algorithms  with  the  aim  of  finding  out  the  best  classification algorithm based on the accuracy value for sentiment analysis using the marketplace platform. The  tweet  data  in  this  study  was  taken  from  October  18  to  November  11,  2022.  To  test  the performance  of  the  NB  and  SVM  classification  algorithms  using  the  Cross  Validation  method and from the results of the comparison test that the SVM algorithm has the best accuracy value compared to the NB algorithm. Where the accuracy value of Tokopedia uses the NB algorithm
Jatisi ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 731-740 E- ISSN 2503-2933 732
is 85.34%, and the accuracy value uses SVM 86.82%, the accuracy value for Shopee uses NB is 80.04%, and the accuracy value uses SVM 80.91%. and Lazada which uses the NB algorithm has  an  accuracy  value  of  83.52%,  while  the  accuracy  value  uses  SVM  88.93%,  which  means that the use of the SVM algorithm has the best level of accuracy.
Keywords — Sentiment Analysis , Marketplace , Naive Bayes , Support Vector Machine , SMOTE

## 1. PENDAHULUAN
Kegiatan  jual  beli  secara online di  Indonesia  mengalami  peningkatan  yang  dipicu  oleh marketplace yang  menawarkan platform user-friendly .  Selain  itu,  dibandingkan  berbelanja offline , belanja online tidak banyak menyita waktu [1]. Hal ini yang merubah tren di masyarakat dan  para  pelaku  bisnis  lebih  memilih  bertransaksi jual  beli  secara online di marketplace .  Dari banyaknya marketplace di Indonesia  ada tiga marketplace yang  banyak  dikunjungi  dan  paling populer di kuartal pertama tahun 2022 yaitu Tokopedia, Shopee, dan Lazada [2].
Masing-masing marketplace mempunyai  kelebihan  maupun  kekurangan  baik  dari  segi pembayaran,  pengiriman  produk,  promosi,  ataupun  keamanan  transaksi.  Hal  tersebut berpengaruh  terhadap  sentimen  pelanggan  yang  menjadi  tolak  ukur  kualitas marketplace tersebut. Sentimen pelanggan bisa dilihat dari ulasan pada platform marketplace atau data tweet (cuitan)  yang  bernada  positif  maupun  negatif  terhadap  akun official media  sosial  milik marketplace itu sendiri. Indonesia merupakan negara yang menempati peringkat ke-5 pengguna media  sosial  Twitter  terbesar  di  dunia  [3].  Namun  membaca tweet pengguna  satu  per  satu kurang efektif dan memakan banyak waktu.
Untuk  mengatasi  masalah  tersebut  perlu  dilakukan  riset  berdasarkan  data tweet (cuitan) pengguna marketplace pada  media  sosial Twitter.  Analisis  sentimen  adalah  ilmu  menganalisis data  dengan  menelaah  banyak  sudut  pandang,  sentimen,  dan  emosi  yang  disampaikan  dalam teks  untuk  menentukan  apakah  nilainya  positif  atau  negatif  [4].  Analisis  sentimen  dapat dilakukan menggunakan algoritma klasifikasi seperti Naive Bayes (NB) [5] dan Support Vector Machine (SVM) [6].
Penelitian  sebelumnya  oleh  Margaretha  dan  Hendry  menjelaskan  proses  pengujian algoritma Naive  Bayes (NB)  cocok  untuk  melakukan  proses  klasifikasi  untuk  mengukur kepuasan  konsumen  milenial  di  Shopee  Indonesia,  dengan  hasil  tingkat  pengukuran  sebesar 89,65% [7]. Penelitian dari Rizqia dan Sucitra yang melakukan pengelompokan data dari review komentar  marketplace  dengan  metode Support  Vector  Machine (SVM)  dalam  bentuk  teks. Mendapatkan  hasil  nilai  akurasi  sebesar  75,92%,  metode  SVM  dianggap  menghasilkan  nilai akurasi yang cukup baik [8].
Penelitian  lainnya  Andreyestha  dan  Azizah  melakukan  analisis  dengan  membandingkan Algoritma Naive Bayes dan Algoritma Random Forest untuk menguji data tweet Twitter tentang Tokopedia.  Menggabungkan  Teknik  SMOTE  untuk  memperbaiki  ketidakseimbangan  data. Akurasi  algoritma  Naive  Bayes  menjadi  86,93%,  meningkat  3,4%  dari  sebelumnya  83,53%. Random  Forest  memiliki  skor  akurasi  sebesar  88,44%,  meningkat  1,55%  dari  hasil  pengujian sebelumnya sebesar 86,89% [9].
Penelitian ini akan menyajikan perbandingan menggunakan pendapat pelanggan dari data tweet berdasarkan  sentimen  positif  atau  negatif  untuk  membandingkan  algoritma  klasifikasi Naive Bayes (NB) dan Support Vector Machine (SVM). Penelitian ini didasarkan pada beberapa penelitian sebelumnya tentang algoritma klasifikasi dan penggunaan SMOTE untuk mengatasi ketidakseimbangan kelas. Keluaran dari penelitian ini yaitu untuk mengetahui algoritma terbaik berdasarkan nilai accuracy tertinggi untuk sentimen analisis penggunaan platform marketplace .
733 Jatisi ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 731-740 E-ISSN 2503-2933

## 2. METODE PENELITIAN

## 2.1 Sentimen Analisis
Sentimen  Analisis  adalah  tindakan  mengkategorikan  suatu  emosi  dalam  polaritas  teks dalam frasa sehingga dapat di nilai menjadi sentimen positif, negatif, atau netral [10].

## 2.2 Marketplace
Marketplace  adalah  suatu  wadah  transaksi  bagi  pengguna  dalam  melakukan  pembelian dan penjualan melalui internet dengan cara yang mudah [11].

## 2.3 Naive Bayes
Naive Bayes (NB) adalah metode klasifikasi sederhana yang menggabungkan kombinasi nilai frekuensi basis data berdasarkan teorema Bayes untuk menghitung semua probabilitas [12].

## 2.4 Support Vector Machine
Support Vector Machine (SVM) digunakan sebagai metode  mencari hyperplane terbaik dengan memaksimalkan jarak antar kelas [13].

## 2.5 Synthetic Minority Oversampling Technique
Synthetic  Minority  Oversampling  Technique (SMOTE)  adalah  operator  yang  berfungsi untuk menangani imbalance class [14].

## 2.6 Tahapan Penelitian
Tahapan  penelitian  ini  dilakukan  dengan  pengambilan  data,  pelabelan  manual, preprocessing, pemodelan, dan evaluasi pada Gambar 1.

## Gambar 1. Tahapan Penelitian

## 2.6.1 Pengambilan Data
Pengumpulan  data  dalam  penelitian  ini  menggunakan  aplikasi  RapidMiner  Studio  yang dikoneksikan dengan Twitter API.

## 2.6.2 Pelabelan
Tahapan pelabelan bertujuan untuk mengidentifikasi data tweet tersebut termasuk bernada positif atau negatif.

## 2.6.3 Preprocessing
Tahapan ini bertujuan untuk membersihkan data yang akan di gunakan dalam penelitian. Prosedur  yang  digunakan  diantaranya  adalah Cleansing , Tokenizing , Case  Transformation , Filter Stopwords , Filter Tokens ( by Length ).
Jatisi ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 731-740 E- ISSN 2503-2933 734

## 2.6.4 Pemodelan
Tahapan  ini  dimaksudkan  untuk  melakukan  pengujian  model  klasifikasi  dengan menggunakan data tweet yang telah melewati tahap preprocessing . Pemodelan ini menggunakan klasifikasi algoritma Naive Bayes dan Support Vector Machine .

## 2.6.5 Evaluasi
Tahap  evaluasi  bertujuan  untuk  mengetahui  nilai  dari Accuracy , Precision dan Recall . Tahap ini menggunakan metode Cross Validation dengan nilai k-folds 10. Adapun rumus untuk menghitung Accuracy , Precision dan Recall sebagai berikut: 100% (1) 100% (2) 100% (3)

## 3. HASIL DAN PEMBAHASAN

## 3.1 Pengumpulan Data
Tahapan  yang  paling  krusial  dalam  melakukan  penelitian  adalah  pengumpulan  data karena di sinilah informasi dikumpulkan untuk memenuhi tujuan penelitian [15]. Penelitian ini menggunakan data tweet dari situs jejaring sosial Twitter dan program RapidMiner Studio 9.10. dengan akses token ke Twitter API.
Gambar 2. Proses Pengambilan Data Twitter
Gambar  2  merupaakan  proses  pengumpulan  data  diawali  dengan  membuat retrieve koneksi Twitter, selanjutnya disambungkan ke operator Search Twitter , pada bagian parameter Search Twitter masukan query dan limit /jumlah data yang akan diambil untuk topik penelitian. Pada  Penelitian  ini  topik  yang  diambil  yaitu  mengenai tweet  platform  marketplace dengan jumlah  data  yang  diambil  sebanyak  1.000  data  untuk  masing-masing  kata  kunci  pencarian ‘Tokopedia’,  ‘Shopee’  dan  ‘Lazada’  pada  tanggal  18  Oktober  sampai  tanggal  11  November 2022.  Proses  selanjutnya  yaitu Select  Attribute s  untuk  memilih  atribut  yang  akan  diambil sebagai  data.  Adapun  dalam  penelitian ini  hanya atribut teks saja  yang  dipilih dan  selanjutnya data tersebut disimpan menggunakan operator Write Excel .

## 3.2 Pelabelan
Proses  pelabelan  dilakukan  secara  manual  untuk  menentukan tweet tersebut  sentimen positif yang berisi pujian, emosi positif seperti senang, puas, atau bahagia. Sedangkan sentimen negatif berisi keluhan, hinaan, kritik, emosi negatif seperti marah, kesal dan kecewa seperti pada Tabel 1.
735 Jatisi ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 731-740 E-ISSN 2503-2933
Tabel  1.  Pelabelan Data Tweet Objek Sentimen @tokopedia mending ilangin kurir rekomendasi  dah,  kenyataannya  ampas banget soalnya Tokopedia Negatif RT  @rzkandinii:  @ShopeeID  gausah banyak  giveaway2  an,  tuh  urusin  dulu biaya admin?https://t.co/sMcyw7d1OH Shopee Negatif @LazadaID  Kece  banget  diskon  nya  min ?? Lazada Positif

## 3.3 Preprocessing
Sebelum  digunakan  untuk  implementasi  pemodelan,  data  harus  dibersihkan  terlebih dahulu untuk menghilangkan noise yang bertujuan untuk membuang data yang tidak diperlukan seperti  melakukan Cleansing kata  RT,  url, hastag , mention ,  simbol,  dan  menghapus  data duplikat. Tokenizing bertujuan  untuk  membagi  teks  dokumen  dan  menghilangkan  data  yang bukan  huruf.  Selanjutnya  proses Transform  Case yaitu  untuk  menyeragamkan  huruf  menjadi huruf kecil ( lower case ) dan dilanjutkan dengan proses Filter Stopwords yaitu menghapus kata- kata yang tidak relevan dengan memasukan file yang berisi list stopword . Proses Filter Tokens ( by  Length )  juga  diperlukan  untuk  menghapus  kata  dengan  jumlah  huruf  yang  kurang  dari  4. Prepocessing Text ditunjukan pada Tabel 2.
Tabel  2.  Preprocessing Text Tahap Preprocessing Hasil Data awal RT @rzkandinii: @ShopeeID Gausah banyak giveaway2 an, tuh urusin dulu biaya admin?https://t.co/sMcyw7d1OH Cleansing Gausah banyak giveaway2 an tuh urusin dulu biaya admin Tokenizing 'Gausah', 'banyak', 'giveaway', 'an', 'tuh', 'urusin', 'dulu', 'biaya', 'admin' Transform Case 'gausah', 'banyak', 'giveaway', 'an', 'tuh', 'urusin', 'dulu', 'biaya', 'admin' Filter Stopwords 'gausah', 'giveaway', 'an', 'tuh', 'urusin', 'biaya', 'admin'
Filter Tokens ( by Length )
'gausah', 'giveaway', 'urusin', 'biaya', 'admin'
Dibawah ini adalah isi dari file list stopwords yang telah di download dari dari kaggle dan digunakan dalam proses penelitian ini yang ditunjukan Gambar 3.
Jatisi ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 731-740 E- ISSN 2503-2933 736
Gambar 3. File Stopwords

## 3.4 Pemodelan
Setelah masing-masing dataset tweet melewati tahap preprocessing selanjutnya dilakukan tahap  pemodelan.  Yang  digunakan  pada  penelitian  ini  yaitu  teknik  klasifikasi  NB  dan  SVM. Gambar 4. dibawah ini adalah gambaran tahapan prosesnya.
Gambar 4. Tahap Proses Model Klasifikasi
737 Jatisi ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 731-740 E-ISSN 2503-2933
Read  Excel pada  Gambar  4.  digunakan  untuk  membaca  hasil  dari  pengumpulan  data melalui  media  sosial  Twitter  dalam  jenis  file  .xls,  operator Set  Role digunakan  untuk menentukan peran label pada dataset yang akan di proses. Selanjutnya proses data yang bernilai nominal diubah menjadi string menggunakan operator Nominal to Text. Setelah itu dilanjutkan menggunakan Process  Document lalu  dilanjutkan  dengan  teknik  SMOTE  Upsampling  untuk mengatasi imbalance  class ,  dilanjutkan  proses  ke  operator Multiply yang  berfungsi  membuat salinan  objek  sehingga  dapat  digunakan  untuk  mengeksekusi  dua  proses Cross  Validation dengan  jumlah fold sebanyak  10  secara  bersamaan.  Pada  proses  ini  pengujian  dilakukan sebanyak  10  kali  dengan  hasil  validasi  berupa  nilai  rata-rata  pengujian.  Menurut  penelitian ekstensif  dan  dukungan  teoretis,  melakukan  Validasi  Silang  dengan  nilai  10  kali  lipat  adalah pilihan  terbaik  untuk  mendapatkan  hasil  yang  akurat  [16].  Adapun  untuk  gambaran  evaluasi untuk algoritma Naive Bayes dan Support Vector Machine seperti Gambar 6 dan Gambar 7.
Gambar 5. Desain Evaluasi Algoritma NB
Gambar 6. Desain Evaluasi Algoritma SVM

## 3.5 Evaluasi
Tahap  evaluasi  perlu  dilakukan  terhadap  hasil  validasi  nilai Accuracy , Class Precision dan Class Recall yang  dihasilkan  pada  proses  validasi  dari Naive  Bayes dan Support  Vector Machine pada masing-masing marketplace seperti pada Tabel 3 dan 4.
Tabel  3. Nilai Hasil Validasi Naive Bayes Marketplace Accuracy Precision Recall Tokopedia 85.34% 100% 70.68% Shopee 80.04% 98.20% 61.19% Lazada 83.52% 98.92% 67.77%
Jatisi ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 731-740 E- ISSN 2503-2933 738
Berdasarkan  hasil  validasi  menggunakan  algoritma Naive  Bayes (NB)  pada  Tabel  3. marketplace Tokopedia memiliki nilai accuracy sebesar 85.34%, nilai precision 100% dan nilai recall sebesar  70.68%.  Untuk  Shopee  dengan  nilai accuracy 80.04%,  nilai precision 98.20% dan nilai recall 61.19%, sedangkan Lazada memiliki nilai accuracy 83.52%, precision 98.92% dan recall 67.77%.
Tabel  4. Nilai Hasil Validasi Support Vector Machine Marketplace Accuracy Precision Recall Tokopedia 86.82% 99.85% 99.89% Shopee 80.91% 98.07% 63.06% Lazada 88.93% 96.61% 80.69%
Berdasarkan  Tabel  4  adalah  hasil  dari  validasi  menggunakan  algoritma Support  Vector Machine (SVM). Marketplace dengan  nilai accuracy 86.82%, precision 99.85%  dan recall 99.89% dimiliki Tokopedia. Untuk marketplace Shopee memiliki nilai accuracy 80.91%, nilai precision 98.07% dan nilai recall 63.06%, sedangkan marketplace Lazada dengan nilai 88.93%, precision sebesar 96.61% dan recall sebesar 80.69%.
Berdasarkan  perbandingan  algoritma  NB  dan  SVM  menggunakan  data tweet pengguna marketplace pada media sosial Twitter, dapat disimpulkan bahwa algoritma SVM memiliki nilai dengan  tingkat  akurasi  terbaik.  Dari  hasil  nilai  tersebut  diproyeksikan  kedalam  bentuk  grafik seperti pada Gambar 8 dan Gambar 9.
Gambar 7. Grafik Validasi Algoritma Naive Bayes
Gambar 8. Grafik Validasi Algoritma Support Vector Machine
8 5 ,3 4 % 1 0 0 ,0 0 % 7 0 ,6 8 % 8 0 ,0 4 % 9 8 ,2 0 % 6 1 ,1 9 % 8 3 ,5 2 % 9 8 ,9 2 % 6 7 ,7 7 % 0,00% 20,00% 40,00% 60,00% 80,00% 100,00% 120,00% Accuracy Precision Recall Hasil Validasi Menggunakan NB Tokopedia Shopee Lazada 8 6 ,8 2 % 9 9 ,8 5 % 9 9 ,8 9 % 8 0 ,9 1 % 9 8 ,0 7 % 6 3 ,0 6 % 8 8 ,9 3 % 9 6 ,6 1 % 8 0 ,6 9 % 0,00% 20,00% 40,00% 60,00% 80,00% 100,00% 120,00% Accuracy Precision Recall Hasil Validasi Menggunakan SVM Tokopedia Shopee Lazada
739 Jatisi ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 731-740 E-ISSN 2503-2933
Indra, et., al [Perbandingan Algoritma Naive Bayes Dan SVM Dalam Sentimen Analisis Marketplace Pada Twitter]

## 4. KESIMPULAN
Berdasarkan  temuan  penelitian  dan  pengujian  yang  dilakukan  dengan  menggunakan algoritma Naive  Bayes dan Support  Vector  Machine pada  data  twitter  dari  marketplace Tokopedia,  Shopee,  dan  Lazada.  Menurut  temuan  perbandingan,  algoritma  SVM  lebih  akurat daripada  metode  NB.  Dimana  nilai  akurasi  Tokopedia  menggunakan  algoritma  NB  sebesar 85.34%,  dan  nilai  akurasi  menggunakan  SVM  86.82%,  untuk  nilai  akurasi  Shopee menggunakan NB sebesar 80.04%, nilai akurasi menggunakan SVM 80.91%. dan Lazada yang menggunakan  algoritma  NB  mempunyai  nilai  akurasi  83.52%,  sedangkan  nilai  akurasi menggunakan SVM 88.93% yang artinya penggunaan algoritma SVM memiliki tingkat akurasi terbaik.

## 5. SARAN
Saran  untuk  untuk  penelitian  selanjutnya  bisa  menggunakan  perbandingan  algoritma klasifikasi yang lebih banyak lagi untuk mengetahui algoritma terbaik.

## DAFTAR PUSTAKA
[1] D.  Darmawan  and  A.  R.  Putra, “Pengalaman  Pengguna,  Keamanan  Transaksi, Kemudahan  Penggunaan,  Kenyamanan,  dan  Pengaruhnya  Terhadap  Perilaku Pembelian Online Secara Impulsif,” Relasi  J. Ekon. , Vol. 18, No. 1, pp. 26–45, 2022, doi: 10.31967/relasi.v18i1.523.
[2] “Simak  10  Marketplace  di  Indonesia  yang  Terlaris  dan  Paling  Banyak  di  Kunjungi  di Kuartal Pertama
2022.” https://www.idxchannel.com/milenomic/simak-10-
marketplace-di-indonesia-yang-terlaris-dan-paling-banyak-dikunjungi-di-kuartal- pertama-2022 (accessed Oct. 28, 2022).
[3] “Kementerian Komunikasi dan Informatika.” https://www.kominfo.go.id/index.php/content/detail/3415/Kominfo+%3A+Pengguna+In ternet+di+Indonesia+63+Juta+Orang/0/berita_satker (accessed Oct. 28, 2022).
[4] M. Azhar, N. Hafidz, B. Rudianto, and W. Gata, “Marketplace Sentiment Analysis Using Naive Bayes and Support Vector Machine,” PIKSEL  Penelit. Ilmu Komput. Sist. Embed. Log. , Vol. 8, No. 2, pp. 91–100, 2020, doi: 10.33558/piksel.v8i2.2272.
[5] H.  Irsyad  and  M.  R.  Pribadi, “Klasifikasi  Opini  Terhadap  Pertanian  Sawit  (Palm  Oil) Indonesia Menggunakan Naïve Bayes,” JATISI (Jurnal Tek. Inform. dan Sist. Informasi) , Vol. 6, No. 2, pp. 230–239, 2020, doi: 10.35957/jatisi.v6i2.182.
[6] M.  R.  Pribadi,  H.  D.  Purnomo,  Hendry,  K.  D.  Hartomo,  I.  Sembiring,  and  A.  Iriani, “Improving The Accuracy of Text Classification Using The Over Sampling Technique in The  Case  of  Sinovac  Vaccine,” Int.  Conf.  Electr.  Eng.  Comput.  Sci.  Informatics ,  vol. 2022-October, pp. 106–110, 2022, doi: 10.23919/EECSI56542.2022.9946508.
[7] M.  Intan  Pratiwi  Hant  and  Hendry, “Data  Mining  Technique  Using  Naïve  Bayes Algorithm To Predict Shopee Consumer Satisfaction Among Millennial Generation,” J.
Jatisi ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 731-740 E- ISSN 2503-2933 740
Tek.  Inform. ,  Vol.  3,  No.  4,  pp.  829–838,  2022,  [Online].  Available: https://doi.org/10.20884/1.jutif.2022.3.4.295.
[8] R.  A.  Permana  and  S.  Sahara, “Review  Analisis  Produk  Marketplace  Online  pada Algoritma Support Vector Machine,” J. Ilm. Inform. , Vol. 6, No. 1, pp. 50–58, 2021, doi: 10.35316/JIMI.V6I1.1227.
[9] A.  Andreyestha  and  Q.  N.  Azizah, “Analisa  Sentimen  Kicauan  Twitter  Tokopedia Dengan Optimalisasi Data Tidak Seimbang Menggunakan Algoritma SMOTE,” Infotek J. Inform. dan Teknol. , Vol. 5, No. 1, pp. 108–116, 2022, doi: 10.29408/jit.v5i1.4581.
[10] S. Samsir, A. Ambiyar, U. Verawardina, F. Edi, and R. Watrianthos, “Analisis Sentimen Pembelajaran Daring pada Twitter di Masa Pandemi COVID-19 Menggunakan Metode Naïve  Bayes,”  J.  Media  Inform.  Budidarma ,  Vol.  5,  No.  1,  pp.  157–163,  2021,  doi: http://dx.doi.org/10.30865/mib.v5i1.2580.
[11] D. A. Agustina, S. Subanti, and E. Zukhronah, “Implementasi Text Mining pada Analisis Sentimen  Pengguna  Twitter  Terhadap  Marketplace  di  Indonesia  Menggunakan Algoritma Support Vector Machine,” Indones. J. Appl. Stat. , Vol. 3, No. 2, p. 109, 2021, doi: 10.13057/ijas.v3i2.44337.
[12] R.  Rachman  and  R.  N.  Handayani, “Klasifikasi  Algoritma  Naive  Bayes  Dalam Memprediksi Tingkat Kelancaran Pembayaran Sewa Teras UMKM,” J. Inform. , Vol. 8, No. 2, pp. 111–122, 2021, doi: 10.31294/ji.v8i2.10494.
[13] R.  W.  Pratiwi,  S.  F.  H,  D.  Dairoh,  D.  I.  Af’idah,  Q.  R.  A,  and  A.  G.  F, “Analisis Sentimen  pada  Review  Skincare  Female  Daily  Menggunakan  Metode  Support  Vector Machine (SVM),” J. Informatics, Inf. Syst. Softw. Eng. Appl. , Vol. 4, No. 1, pp. 40–46, 2021, doi: 10.20895/inista.v4i1.387.
[14] E.  Fitri,  Y.  Yuliani,  S.  Rosyida,  and  W.  Gata, “Analisis  Sentimen  Terhadap  Aplikasi Ruangguru  Menggunakan  Algoritma  Naive  Bayes,  Random  Forest  dan  Support  Vector
Machine,” J. Transform. , Vol. 18, No. 1, pp. 71–80, 2020, doi:
10.26623/transformatika.v18i1.2317.
[15] A.  L.  Hananto,  B.  Priyatna,  A.  Fauzi,  A.  Yuniar  Rahman,  Y.  Pangestika,  and  Tukino, “Analysis  of  The  Best  Employee  Selection  Decision  Support  System  Using  Analytical Hierarchy  Process  (AHP),” J.  Phys.  Conf.  Ser. ,  Vol.  1908,  No.  1,  2021,  doi: 10.1088/1742-6596/1908/1/012023.
[16] H. S. Utama, D. Rosiyadi, B. S. Prakoso, and D. Ariadarma, “Analisis Sentimen Sistem Ganjil  Genap  di  Tol  Bekasi  Menggunakan  Algoritma  Support  Vector  Machine,”  J. RESTI  (Rekayasa  Sist.  dan  Teknol.  Informasi) ,  Vol.  3,  No.  2,  pp.  243–250,  2019,  doi: 10.29207/resti.v3i2.1050.