Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 6 No. 3 Juli 2024 Hal. 514-521 http://jurnal.unidha.ac.id/index.php/jteksis

## Analisis Sentimen Aplikasi Pospay di PlayStore Menggunakan Algoritma Support Vector Machine & Naive Bayes
Ardini Yuanita Lubis a , Muhammad Yusril Helmi Setyawan b
a Teknik Informatika, Universitas Logistik & Bisnis Internasional, 714222073@std.ulbi.ac.id
b Teknik Informatika, Universitas Logistik & Bisnis Internasional, yusrilhelmi@ulbi.ac.id
Submitted: 15-02-2024, Reviewed: 14-03-2024, Accepted 26-06-2024 https://doi.org/10.47233/jteksis.v6i3.1310

## Abstract
In this era of digital transformation, companies are intensively striving to adapt to the developments in digital technology to  enhance  operational  efficiency  and  productivity.  The  Pospay  application  is  one  form  of  digital  transformation  by  PT Pos  Indonesia,  where  its  presence  will  impact  the  improvement  of  the  company's  productivity. This  research  focuses  on sentiment analysis  of  the  Pospay  application on  the  PlayStore platform.  By applying  machine learning  methods  such as Support  Vector  Machine(SVM)  and  Naive  Bayes,  this  research  aims  to  provide  solutions  to  the  complexity  and heterogeneity  of  data  by  comparing  the  accuracy  results  of  both  algorithms.  The  data  collection  method  used  in  this research  uses  the  web  scarping  techniques  which  results  in  the  extraction  of  information  from  the  review  page  of  the Pospay application on the PlayStore. From the collected data, data preprocessing is carried out before modeling using the Support  Vector  Machine  (SVM) and  Naive  Bayes  algorithms.  The  results  show  that  the  accuracy percentage  with  Naive Bayes is higher at 88% compared to SVM at 87%, where in the classification of user sentiments, negative tendencies are more dominant. This finding provides valuable insights for companies to improve the quality of their digital services. Keywords: Sentiment, Pospay, Support Vector Machine, Naive Bayes, PlayStore

## Abstrak
Di era transformasi digital seperti sekarang ini, perusahaan-perusahaan secara intensif berupaya untuk menyesuaikan diri dengan perkembangan teknologi digital dalam meningkatkan efisiensi dan produktivitas operasional perusahaan.  Aplikasi Pospay merupakan salah satu bentuk transformasi digital dari PT Pos Indonesia, di mana keberadaannya akan berpengaruh pada  peningkatan  produktivitas  perusahaan.  Pada  penelitian  ini  memfokuskan  pada  analisis  sentimen  terhadap  aplikasi Pospay  pada  platform  PlayStore.  Dengan  menerapkan  pendekatan  machine  learning  yaitu  algoritma  Support  Vector Machine(SVM)  dan  Naive  Bayes,  penelitian  ini  bertujuan  untuk  memberikan  solusi  terhadap  kendala  kompleksitas  dan heterogenitas  data  dengan  membandingkan  hasil  akurasi  dari  kedua  algoritma  tersebut.  Metode  pengumpulan  data  yang digunakan  pada  penelitian  ini  menggunakan  teknik  web  scarping  yang  menghasilkan  ekstraksi  informasi  dari  halaman ulasan  pada  aplikasi  Pospay  di  PlayStore.  Dari  data  yang  terkumpul,  dilakukan  preprocessing  data  sebelum  dilakukan pemodelan menggunakan algoritma Support Vector Machine (SVM) dan Naive Bayes. Hasilnya menunjukkan persentase akurasi  menggunakan  Naive  Bayes  lebih  tinggi  yaitu  sebesar  88%  daripada  SVM  yaitu  sebesar  87%  dimana  dalam pengklasifikasian  sentimen  pengguna  dengan  kecenderungan  negatif  yang  lebih  dominan.  Temuan  ini  memberikan wawasan berharga bagi perusahaan dalam meningkatkan kualitas layanan digital mereka.
Keywords: Sentimen, Pospay, Support Vector Machine, Naive Bayes, PlayStore.
This work is licensed under Creative Commons Attrubution License 4.0 CC-BY International license

## PENDAHULUAN
Pada era digital seperti sekarang ini, transformasi digital telah menjadi pendorong utama di  berbagai  sektor,  termasuk  dalam  sektor  bisnis dan industri. Perusahaan-perusahaan secara intensif berupaya untuk menyesuaikan diri dengan perkembangan teknologi digital untuk meningkatkan
efisiensi dan produktivitas operasional perusahaan. Transformasi digital merupakan  suatu  penyesuaian  dengan  mengubah cara  perlakuan  terhadap  sebuah  aktivitas  dengan menggunakan teknologi informasi untuk memperoleh efisiensi dan efektifitas[1].
Salah  satu  bentuk  transformasi  digital  dari  PT Pos  Indonesia  (Persero)  yaitu  membuat  produknya menjadi  layanan  berbasis  mobile  yaitu  aplikasi
Pospay.  Pospay  merupakan  aplikasi  mobile berbasis  rekening  Giropos  yang  diluncurkan  PT Pos  Indonesia  (Persero)  dimana  pemilik  rekening diberikan  akses  untuk  dapat  melakukan  transaksi keuangan yang terdapat pada layanan pos. Dengan menjadi  pengguna  aplikasi  Pospay,  kita  dapat melakukan  transaksi  keuangan  kapan  saja  dan dimana saja. Contoh layanan-layanan yang terintegrasi dengan aplikasi Pospay seperti Pembayaran  tagihan  PLN,  PDAM  dan  PBB, Pembelian  Top  Up  E-Wallet  seperti  Dana, ShopePay,  Gopay  dan  OVO,  Pembelian  Pulsa, Voucher  Internet  ataupun  Voucher  TV  Kabel, Pembayaran  Zakat  dan  sebagainya.  Aplikasi Pospay  di  rilis  pada  Play  Store  sekitar  tahun  2019 dengan  jumlah  pengguna  yang  tercatat  sampai
Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 6 No. 3 Juli 2024 Hal. 514-521 http://jurnal.unidha.ac.id/index.php/jteksis
dengan  saat  ini  kurang  lebih  5  (lima)  juta  akun pengguna.  Untuk  kebutuhan  keberlangsungan bisnis  perusahaan,  PT  Pos  Indonesia  (Persero) menggunakan opini dari pengguna-pengguna tersebut  terhadap  aplikasi  Pospay  sebagai  bahan evaluasi  atas  produk  digitalnya.  Pelanggan  yang merasa  tidak  puas,  dapat  mempengaruhi  opini  dari calon pelanggan lainnya sehingga dapat mengakibatkan  kerugian  yang  cukup  serius  bagi perusahaan.
Agar  dapat  mengetahui  opini  pengguna terhadap  keberadaan  aplikasi  Pospay,  dibutuhkan sebuah proses analisis sentimen yang memungkinkan  perusahaan  untuk  mengeksplorasi makna  dari  data  yang  dihasilkan  oleh  pengguna internet,  platform  digital,  dan  media  sosial.  Proses ini memberikan peluang signifikan bagi perusahaan untuk memahami preferensi serta perilaku konsumen,  dengan  harapan  dapat  meningkatkan mutu  produk  atau  layanan  yang  perusahaan tawarkan untuk meningkatkan kepuasan pelanggan[2].  Oleh  karena  itu,  penelitian  ini diinisiasi  sebagai  respon  terhadap  kebutuhan  akan pendekatan  yang  sistematis  dan  efisien  untuk menganalisis  sentimen  pengguna  terhadap  aplikasi Pospay pada Play Store.
Sejalan  dengan  manfaat  yang  ditawarkan  oleh analisis sentimen, perusahaan menghadapi sejumlah  tantangan  yang  perlu  diatasi  diantaranya adalah  ulasan  dan  komentar  pengguna  di  platform Google  Play  Store  bersifat  heterogen,  mencakup beragam  umpan  balik  positif  dan  pengalaman negatif.  Variabilitas  ini  sulit  untuk  diolah  secara manual dan memerlukan pendekatan otomatis yang lebih  canggih.  PT  Pos  Indonesia  (Persero) dihadapkan  pada  keterlambatan  dalam  merespon umpan  balik  pelanggan  karena  kompleksitas  dan volume  data  yang  sulit  diatasi  secara  manual. Pemilihan  metode  mechine  learning  yang  tepat dalam  analisis  sentimen,  agar  dapat  membantu dalam  menentukan  langkah  perbaikan  yang dibutuhkan pelanggan.
Pada penelitian sebelumnya[3], telah dilakukan analisis  sentimen  pada  review  pengguna  e- Commerce  dengan  menerapkan  algoritma  Naive Bayes.  Dimana  dari  hasil  penelitian  tersebut disimpulkan bahwa penggunaan metode klasifikasi algoritma Naive Bayes cukup relevan dengan hasil akurasi  yang  cukup  tinggi  dan  menghasilkan sentimen  positif  yang  lebih  unggul  dari  sentimen negatif.  Pada  penelitian  lainnya  juga  dilakukan analisis  sentimen  terhadap  Bantuan  Langsung Tunai  (BLT)  Bahan  Bakar  Minyak  (BBM) menggunakan metode Support
Vector Machine(SVM)[4]. Hasilnya adalah metode Support  Vector  Machine(SVM)  dapat  digunakan untuk  analisis  sentimen  melalui  data  tekstual, dimana  pada  penelitian  tersebut  memperoleh
sentimen  negatif  yang  mendominasi.  Hal  ini menunjukkan  ketidakpuasan  masyarakat  terhadap bantuan  langsung  tunai  BBM  sehingga  diperlukan strategi  untuk  pemerataan  distribusi  bantuan langsung  tunai.    Pada  penelitian  yang  lainnya  juga dilakukan  analisis  sentimen  vaksin  covid-19  pada ulasan  Twitter  dengan  menggunakan  algoritma Naive Bayes dan Support Vector
Machine(SVM)[5].  Hasilnya  menunjukkan  bahwa lebih  banyak  pengguna  Twitter  yang  memberikan respon  positif  terhadap  kegiatan  Vaksin  Covid-19 dimana  penerapan  metode  Naive  Bayes  memiliki kemampuan  lebih  baik  dalam  menganalisis sentimen Twitter dengan nilai rata-rata performance  yang  lebih  tinggi  dibandingkan dengan metode support Vector Machine (SVM).
Fokus utama penelitian ini adalah membandingkan metode analisis sentimen menggunakan  teknik  machine  learning  Support Vector  Machine  (SVM)  dan  Naive  Bayes,  untuk mengidentifikasi  dan  menganalisis  ulasan  serta komentar pengguna[6]. Tujuan ini diarahkan untuk memberikan solusi terhadap kendala yang dihadapi PT Pos Indonesia (Persero) dalam merespon umpan balik  pelanggan  dengan  lebih  cepat  dan  akurat. Ruang  lingkup  penelitian  ini  secara  khusus difokuskan pada analisis sentimen terhadap aplikasi Pospay  yang  merupakan  produk  digital  yang dikembangkan  oleh  PT  Pos  Indonesia  (Persero). Penelitian  akan  menitikberatkan  pada  pemahaman ulasan dan komentar pengguna di platform Google Play Store, dengan tujuan utama untuk mengidentifikasi  sentimen  positif  dan  negatif  yang terkandung  di  dalamnya.  Untuk  meningkatkan efisiensi  analisis,  penelitian  ini  akan  menerapkan metode  machine  learning  yaitu  Support  Vector Machine  (SVM)  dan  Naive  Bayes,  sebagai pendekatan otomatis dalam mengatasi kompleksitas dan volume data ulasan.
Solusi  yang  diharapkan  dari  penelitian  ini adalah  memberikan  pemahaman  yang  lebih mendalam  mengenai  sentimen  pengguna  terhadap aplikasi  Pospay.  Dengan  menerapkan  model machine  learning  seperti  Support  Vector  Machine (SVM) dan Naive Bayes, penelitian ini diharapkan dapat  memberikan  pemrosesan  data  yang  lebih efisien  serta  hasil  analisis  sentimen  yang  lebih akurat.  Dengan  demikian,  PT  Pos  Indonesia (Persero)  dapat  memanfaatkan  hasil  analisis sentimen  ini  untuk  melakukan  peningkatan berkelanjutan terhadap aplikasi PosPay,
meningkatkan kepuasan pelanggan, dan mempertahankan  citra  positif  di  tengah  era transformasi digital yang terus berkembang.

## METODE PENELITIAN
2.1. Pengumpulan Data
Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 6 No. 3 Juli 2024 Hal. 514-521 http://jurnal.unidha.ac.id/index.php/jteksis
Pengumpulan  data  dilakukan  dengan menggunakan  teknik  web  scraping,  yang bertujuan  untuk  mengekstraksi  informasi  dari halaman  ulasan  aplikasi  Pospay  di  Google  Play Store.  Teknik  scraping  dilakukan  dengan menggunakan library Google_Play_Scraper yang dimiliki oleh bahasa Pemrograman Python. Data yang  discraping  adalah  data  ulasan  pengguna aplikasi Pospay pada PlayStore.
2.2. Tahapan Penelitian Tahapan penelitian adalah
menggambarkan  proses  penelitian  yang  akan ditempuh  sekaligus  menggambarkan  penelitian secara  keseluruhan[3][7].  Agar  penelitian  ini memperoleh  hasil  sesuai  dengan  tujuan  yang diharapkan,  maka  tahapan  yang  harus  dilakukan adalah sebagai berikut :

## Gambar 1. Tahapan Penelitian
Setelah  melakukan  proses  pengumpulan  data data,  selanjutnya  data  yang  diperoleh  akan  dibuat menjadi  sebuah  dataframe  untuk  memfasilitasi analisis data lebih lanjut. Penelitian ini menggunakan  bahasa  permgrograman  Python dengan  library  yang  dimilikinya  yang  mendukung proses  analisis  data  seperti  Numpy,  Pandas  dll[8]. Dari  dataframe  yang  terbentuk,  akan  dilakukan rekapitulasi jumlah  ulasan berdasarkan skor rating dan  hasilnya  akan  divisualisasikan  dalam  bentuk diagram  batang.  Setelah  itu,  dilakukan  proses labeling yaitu pengelompokkan ulasan berdasarkan skor  rating  untuk  menentukan  sentimen  masing- masing  ulasan.  Ulasan  dengan  skor  di  atas  3  akan dikategorikan  sebagai  sentimen  positif  (1),  ulasan dengan skor 3 akan dikategorikan sebagai sentimen netral (0), dan ulasan dengan skor di bawah 3 akan dikategorikan sebagai sentimen negative (-1).
Tabel 1. Labeling Sentimen
Score (Skala 1 s.d. 5) Sentimen 1-2 Negatif (-1) 3 Netral (0) 4-5 Positif (1)
Setelah  memperoleh  data  pengelompokkan berdasarkan sentimen, tahap selanjutnya yang akan dilakukan adalah tahap  preprocessing data. Preprocessing data bertujuan untuk mempersiapkan teks yang tidak terstruktur menjadi data yang bersih dan  siap  untuk  dianalisis[9].  Preprocessing  teks meliputi beberapa tahap, yaitu Cleansing, Normalisasi, Filtering, Tokenizing, dan Stemming.

## Gambar 2.  Preprocessing Data
Dari  hasil  preprocessing  ini,  akan  diperoleh total  sentimen  positif,  negatif,  dan  netral,  dan dilakukan visualisasi ulasan dalam bentuk wordcloud dan diagram batang.
2.3. Pemodelan Pemodelan  pada  penelitian  ini  dilakukan dengan menggunakan pendekatan machine learning yaitu  Algoritma  Support  Vector  Machine  dan Naive Bayes[10]. Support Vector Machines (SVM) adalah    metode  Supervised  Learning  klasifikasi yang  fokus  pada  pencarian  hyperlane  terbaik  yang memisahkan data ke dalam  2(dua)  kelas[11],[12].

## Gambar 3.  Hyperplane optimal[11]
Sedangkan Naive Bayes merupakan algoritma klasifikasi  yang  berdasarkan  pada  Teorema  Bayes, yang  melibatkan  penggunaan  probabilitas  untuk mengklasifikasikan  suatu  data  ke  dalam  kategori tertentu[13],[14].  Meskipun  memiliki  asumsi  yang
Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 6 No. 3 Juli 2024 Hal. 514-521 http://jurnal.unidha.ac.id/index.php/jteksis
sederhana  (disebut  "naive"  karena  menganggap bahwa  setiap  fitur  atau  atribut  independen  satu sama  lain),  algoritma  ini  sering  kali  memberikan hasil  yang  baik  terutama  dalam  tugas  klasifikasi teks  dan  pengenalan  pola[15].  Misalkan  C  adalah kelas  atau  kategori  yang  akan  diprediksi  dan  X adalah  vektor  fitur  yang  mewakili  data.  Maka rumus klasifikasi Naive Bayes dapat ditulis sebagai berikut :
𝑃(𝐶|𝑋) = 𝑃( 𝑋 | 𝐶 ) .  𝑃(𝐶) 𝑃(𝑋) (1)
di mana : P(C ∣ X) = Probabilitas class C terjadi jika diberikan vektor fitur X.
P(X ∣ C)  =  Probabilitas  vektor  fitur  X  terjadi  jika data berasal  dari class C.
P(C) = Probabilitas prior dari class C.
P(X) =Probabilitas prior dari vector fitur X
Dari  penerapan  kedua  model  tersebut,  akan diperoleh nilai akurasi dan laporan klasifikasi yang mencakup  presisi,  recall,  dan  f1-score.  Confusion matrix  adalah  sebuah  metode  yang  digunakan untuk  mengevaluasi  kinerja  dari  suatu  model klasifikasi[16].  Metode  ini  biasanya  digunakan dalam  machine  learning  dan  data  mining  untuk mengukur sejauh
mana
model
dapat mengklasifikasikan  data  dengan  benar.  Terdapat 4(empat) nilai yang dihasilkan di dalam tabel confusion  matrix,  di  antaranya  True  Positif (TP),  False  Positif  (FP),  False  Negatif  (FN),  dan True Negatif (TN). Ilustrasi confusion matrix dapat dilihat pada gambar berikut ini.

## Gambar 4. Confusion Matrix untuk Ilustrasi untuk Klasifikasi
True  Positif  (TP) :  Jumlah  data  yang  bernilai Positif dan diprediksi benar sebagai Positif. False  Positif  (FP) :  Jumlah  data  yang  bernilai Negatif tetapi diprediksi sebagai Positif.
False  Negatif  (FN) :  Jumlah  data  yang  bernilai Positif tetapi diprediksi sebagai Negatif.
False  Negatif  (TN) :  Jumlah  data  yang  bernilai Negatif dan diprediksi benar sebagai Negatif.
Evaluasi  terhadap  model  agloritma  yang digunakan  pada  proses  analisis  adalah  dengan confusion matrix[17], yaitu dengan membandingkan  nilai  yang  diperoleh  dari  prediksi model dengan nilai yang sesungguhnya. Confusion matrix dapat digunakan untuk menghasilkan matrik evaluasi  antara  lain  Akurasi,  Precision,  Recall,  f1- Score[18].  Akurasi  merupakan  salah  satu  metrik evaluasi  yang  digunakan  untuk  mengukur  sejauh mana  model  klasifikasi  atau  prediksi  dapat melakukan klasifikasi secara benar.
𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = TP + TN
TP+TN+FP+FN (2)
Presisi  merupakan  metrik  evaluasi  yang digunakan  untuk  mengukur  sejauh  mana  model klasifikasi  atau  prediksi  dapat  mengidentifikasi secara  akurat  kelas  yang  positif  dari  seluruh  kelas yang diklasifikasikan sebagai positif.
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛  = TP ( TP+FP ) (3)
Recall adalah metrik evaluasi yang digunakan untuk  mengukur  sejauh  mana  model  klasifikasi dapat  mengidentifikasi  atau  "mengingat"  kelas positif  secara  benar  dari  seluruh  kelas  positif  yang ada.
𝑅𝑒𝑐𝑎𝑙𝑙  = TP (TP+FN) (4)
f1-Score adalah metrik evaluasi yang menggabungkan presisi (precision) dan recall.
𝑓1 − 𝑠𝑐𝑜𝑟𝑒  = 2 (Precision x Recall ) (Precision+Recall ) (5)

## HASIL DAN PEMBAHASAN
3.1. Visualisasi Hasil Klasifikasi Dari hasil pengumpulan data menggunakan  teknik  scraping,  diperoleh  dataset mentah yang kemudian diklasifikasikan berdasarkan rating. Proses pengumpulan data ini dilakukan  pada  tanggal  27  Januari  sampai dengan 03 February 2024 dan disimpan ke dalam file  csv.  Dari  proses  scraping,  diperoleh  dataset dengan  jumlah  5000  (lima  ribu)  baris  data  dan terdiri  dari  11  kolom/atribut.  Kolom-kolom tersebut adalah ReviewId, UserName, UserImage,  Content,  Score,  ThumbsUpCount, ReviewCreateVersion, At, ReplyContent, RepliedAt, AppVersion.
Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 6 No. 3 Juli 2024 Hal. 514-521 http://jurnal.unidha.ac.id/index.php/jteksis
Tabel 2. Detail Kolom/ Atribut Dataset
Nama Kolom (Atribut) Keterangan ReviewId Id Ulasan UserName Nama pengguna aplikasi yang memberikan ulasan UserImage Gambar pengguna aplikasi Content Data ulasan pengguna aplikasi Score Rating yang diberikan oleh pengguna aplikasi dengan skala 1-5 ThumbsUpCount Jumlah like pada ulasan yang diberikan pengguna ReviewCreateVersio n Versi aplikasi yang diulas At Tanggal dan waktu diberikannya ulasan ReplyContent Data jawaban dari ulasan pengguna aplikasi RepliedAt Tanggal dan waktu diberikannya jawaban dari ulasan pengguna aplikasi AppVersion Versi aplikasi Gambar berikut ini merupakan hasil pengumpulan dataset dari aplikasi Pospay.
Gambar 5. Dataset Ulasan Pengguna Aplikasi Pospay
Dari  dataset  yang  diperoleh,  dilakukan preprocessing data yang meliputi proses cleansing  data,  penghapusan  kata  atau  karakter yang  tidak  efektif,  normalisasi  kata,  tokenizing, dan  stemming  Setelah  memperoleh  data  bersih dari hasil preprocessing data, langkah selanjutnya yang dilakukan  yaitu merekapitulasi jumlah  ulasan  berdasrakan  sentimen,  yaitu sentiment  positif,  negative  dan  netral.  Dari  hasil pengklasifikasin  diperoleh  diperoleh  jumlah sentiment positif sebesar 2258, sentiment negatif sebesar 2517 dan jumlah sentiment netral sebesar 225.

## Tabel 3. Rekapitulasi berdasarkan sentimen
Sentimen Jumlah Positif 2258
Sentimen Jumlah Netral 2517 Negatif 225
Hasil rekapitulasi ulasan berdasarkan sentiment  tersebut  divisualisasikan    dalam diagram batang seperti pada gambar berikut ini :

## Gambar 6. Visualisasi Sentimen dalam Diagram Batang
Setelah  membuat  visualisasi  data  teks menggunakan  diagram batang,  pengklasifikasian sentimen  juga  dapat  divisualisasikan  dengan menggunakan  library  python  yang  disebut wordlcoud.  Dengan  menggunakan  Wordcloud, kita  dapat  merepresentasikan  visual  dari  teks  di mana  kata-kata  yang  paling  sering  muncul  dan diberi  bobot  yang  lebih  besar  akan  ditampilkan dengan  ukuran  teks  yang  lebih  besar  sehingga akan  lebih  mencolok,  menarik  dan  mudah dipahami.
Gambar 7. Visualisasi Wordcloud untuk Sentimen Positif
Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 6 No. 3 Juli 2024 Hal. 514-521 http://jurnal.unidha.ac.id/index.php/jteksis
Gambar 8. Visualisasi Wordcloud untuk Sentimen Negatif
Gambar 9. Visualisasi Wordcloud untuk Sentimen Netral

## 3.2. Penerapan TF-IDF
Penerapan TF-IDF dilakukan untuk mengekstraksi  dan  menyoroti  kata-kata  yang penting  atau  unik  dalam  sebuah  dokumen terhadap seluruh dokumen.
Gambar 10. Penerapan TF-IDF
3.3. Pembagian Data Training dan Data Testing
Proses  pembagian  data  merupakan  tahap dalam data preparation yang melibatkan pembagian  dataset  menjadi  subset-subset  yang berbeda  untuk  berbagai  tujuan,  terutama  untuk pelatihan  model,  validasi  model,  dan  pengujian model.  Tujuan  dari  proses  pembagian  data adalah  untuk  menguji  kinerja  model  pada  data
yang  tidak  pernah  dilihat  selama  proses pelatihan,  sehingga  memastikan  bahwa  model memiliki  kemampuan  untuk  menggeneralisasi dengan  baik  pada  data  baru. Pada  penelitian  ini, penulis  menggunakan  perbandingan  untuk  data train dan data test yaitu 80:20 yang merujuk pada penelitian-penelitian terdahulu. Dari dataset yang diperoleh,  dilakukan  pembagian  80%  untuk  data trainning dan 20% untuk data testing. Pembagian data  menjadi  data  training  dan  data  testing menggunakan modul
sklearn yaitu train_test_split  yang  merupakan  modul  dari bahasa pemrograman Python.
Gambar 11. Pembagian Data Training dan Data Testing
3.4. Penerapan  Handling  Imbalance  (SMOTE) pada Data Training Dalam konteks klasifikasi, ketidakseimbangan  kelas  terjadi  ketika  jumlah sampel  dalam  satu  kelas  jauh  lebih  banyak  atau lebih sedikit daripada jumlah sampel dalam kelas lainnya[19].  Hal  ini  dapat  menyebabkan  model klasifikasi cenderung memprediksi kelas mayoritas  dengan  lebih  baik  daripada  kelas minoritas, yang seringkali merupakan kelas yang lebih  penting  atau  menarik  minat.  Pada penelitian  ini,  terdapat  kelas  sentimen  netral yang memiliki  jumlah  yang  berbeda dari  jumlah sentimen  positif  dan  negatif.  Oleh  karena  itu, perlu  dilakukan  oversampling  menggunakan SMOTE pada data training[20].

## Gambar 12. Pembagian SMOTE
Hasil    visualisasi  dengan  data  train  yang telah  diterapkan  SMOTE,  maka  untuk  data sentimennya akan lebih seimbang.
Gambar 13. Visualisasi Sentimen dengan penerapan SMOTE
Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 6 No. 3 Juli 2024 Hal. 514-521 http://jurnal.unidha.ac.id/index.php/jteksis
Pada  gambar  di  atas,  jumlah  sentimen  positif yang  digambarkan  dengan  warna  hijau,  sentimen negatif yang digambarkan dengan warna merah dan dan  sentimen  netral  yang  digambarkan  dengan warna kuning lebih seimbang.
3.5. Modelling dengan Support Vector Machine dan Naïve Bayes Tahap  modeling  merupakan  suatu  tahapan kunci  pada  proses  pengembangan  model.  Pada tahap ini, model yang digunakan untuk pengklasifikasian  adalah  Support  Vector  Machine (SVM)  dan  Naive  Bayes.  Data  yang  digunakan pada proses modeling adalah data bersih yang telah melewati tahap preprocessing teks. Untuk melakukan
proses modeling, diperlukan
mengimport  library  dari  bahasa  pemrograman Python yang dibutuhkan untuk melakukan pemodelan menggunakan algoritma Support Vector Machine  (SVM)  dan  Naive  Bayes[21],[22].  Pada Support  Vector  Machine,  library  yang  digunakan adalah  SVC.  Berikut  ini  adalah  hasil  perhitungan akurasi dengan Support Vector Machine.

## Gambar 14. Hasil Akurasi SVM
Pada  Naive  Bayes,  library  yang  digunakan  adalah MultinomialNB. Berikut ini adalah hasil perhitungan akurasi dengan Naive Bayes.
Gambar 15. Hasil Akurasi NB
3.6. Evaluasi Model Setelah  melakukan  tahap  modeling  pada data  train  dan  melakukan  prediksi  pada  data  test, tahap  selanjutnya  adalah  menghitung  akurasi  atas hasil  prediksi  yang  dihasilkan  oleh  kedua  model tersebut.  Hasil  akurasi  yang  diperoleh  dengan menggunakan  model  algoritma  Support  Vector Machine  (SVM)    adalah  sebesar  87%.  Sedangkan jika  menggunakan  model  Naive  Bayes  diperoleh hasil akurasi sebesar 88%.

## Tabel 4. Perbandingan Evaluasi Model Support Vector Machinde & Naive Bayes
Model Accuracy Precisi Recall f1-score SVM 87% 96% 87% 91% Naive Bayes 88% 96% 91% 94%
Dari  table  berikut  terlihat  bahwa  model algoritma  Naive  Bayes  memperoleh  nilai  akurasi yang lebih tinggi daripada model algoritma Support Vector  Machine.  Nilai  recall  dan  f1-score  dengan menggunakan  algoritma  Naive  Bayes  juga  lebih besar  daripada  model  algoritma  Naive  Bayes. Sedangkan  untuk  nilai  presisi  antara  model algoritma  Support  Vector  Machine  dengan  Naive Bayes  cenderung  sama.  Pada  Recall  terdapat perbedaan nilai yang signifikan antara penggunaan model  algoritma  Support  Vector  Machine  dan Naive  Bayes,  dimana  nilai  Recall  yang  diperoleh dengan  menggunakan  model  Support  Vector Machine adalah sebesar 87% sedangkan nilai recall menggunakan  model  Naive  Bayes  adalah  sebesar 91%. Dengan nilai f1-score yang diperoleh dengan model  Naive  Bayes  yang  lebih  besar  daripada model  Support  Vector  Machine  yaitu  91%  untuk Support  Vector  Machine  dan  94%  untuk  model Naive  Bayes,  hal  ini  menunjukkan  bahwa  Model Naive  Bayes  memiliki  keseimbangan  yang  lebih baik  antara  presisi  dan  recall.  Oleh  karena  itu dengan  menggunakan  model  algoritma  Naive Bayes  adalah  menjadi  pilihan  yang  lebih  baik digunakan.

## SIMPULAN
Berdasarkan  hasil  dari  penelitian  yang  telah dilakukan, dapat diambil kesimpulan bahwa pada analisis  sentimen  pengguna  terhadap  Aplikasi Pospay  pada  PlayStore  yang  telah  dilakukan, menunjukkan  jumlah  Sentimen  Negatif  sebesar 2517  ulasan,  jumlah  Sentimen  Positif  sebesar 2258 ulasan dan jumlah Sentimen Netral sebesar 225  ulasan.  Dari  hasil  tersebut,  dapat  dikatakan bahwa  respon  yang  diberikan  oleh  pengguna Aplikasi  Pospay  di  Playstore  tergolong  negatif. Penerapan  model  algoritma  Support  Vector Machine dan Naive Bayes pada analisis sentimen terhadap  ulasan  pengguna  pada  aplikasi  Pospay di  PlayStore  memiliki  kinerja  yang  cukup  baik dalam  pengklasifikasian  sentimen  yaitu  dengan nilai  akurasi  model  Naive  Bayes  sedikit  lebih tinggi  daripada  model  Support  Vector  Machine (88% untuk Naive Bayes dan 87% untuk Support Vector  Machine).  Walaupun  nilai  akurasi  antara model  Naive  Bayes  sedikit  lebih  tinggi  daripada model  Support  Vector  Machine,  model  Naive Bayes  memiliki  nilai  f1-score  yang  lebih  tinggi daripada  model  Support  Vector  Machine  yaitu 94% untuk Naive Bayes dan 91% untuk Support Vector  Machine.  Hal  ini  menunjukkan  bahwa model algoritma Naive Bayes memiliki keseimbangan yang lebih baik antara presisi dan recall,  sehingga  dengan  menggunakan  model algoritma  Naive  Bayes  adalah  menjadi  pilihan yang lebih baik digunakan.
Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 6 No. 3 Juli 2024 Hal. 514-521 http://jurnal.unidha.ac.id/index.php/jteksis
P-ISSN : 2964-2132
Pada penelitian selanjutnya dapat
menambahkan  penggunaan  model  algoritma yang  berbeda  sebagai  pembanding  yang  dapat diterapkan  untuk  menghasilkan  nilai  akurasi yang lebih baik dan dapat melakukan penambahan  dataset  dengan  jumlah  data  yang lebih besar.

## DAFTAR PUSTAKA
[1] M.  Danuri,  “Development  and  transformation  of digital technology,” Infokam , vol. XV, no. II, pp. 116– 123, 2019.
[2] U.  Saidata  Aesyi  and  P.  W.  Cahyo,  “Peningkatan Penjualan  Produk  Berdasarkan  Analisis  Komentar Pelanggan  di  Marketplace:  Shopee,” J.  Sains  dan Inform. ,  vol.  9,  no.  November  2022,  pp.  1–8,  2023, doi: 10.34128/jsi.v9i1.539.
[3] E.  Laia  and  M.  Yamin,  “Penerapan  Algoritma  Naïve Bayes  dalam  Menganalisis  Sentimen  pada  Review Pengguna E-Commerce,” Media Online) , vol. 4, no. 1, pp. 305–316, 2023, doi: 10.30865/klik.v4i1.1186.
[4] R. R. Salam, M. F. Jamil, Y. Ibrahim, R. Rahmaddeni, S.  Soni,  and  H.  Herianto,  “Analisis  Sentimen Terhadap  Bantuan  Langsung  Tunai  (BLT)  Bahan Bakar  Minyak  (BBM)  Menggunakan  Support  Vector Machine,” MALCOM  Indones.  J.  Mach.  Learn. Comput.  Sci. ,  vol.  3,  no.  1,  pp.  27–35,  2023,  doi: 10.57152/malcom.v3i1.590.
[5] D.  Alita  and  R.  A.  Shodiqin,  “Sentimen  Analisis Vaksin  Covid-19  Menggunakan  Naive  Bayes  Dan Support  Vector  Machine,” J.  Artif.  Intell.  Technol. Inf. ,  vol.  1,  no.  1,  pp.  1–12,  2023,  doi: 10.58602/jaiti.v1i1.20.
[6] H.  Rachmi,  S.  Suparni,  and  A.  Al  Kaafi,  “Analisis Sentimen  Sistem  Ganjil  Genap  Kota  Bogor,” J. ELTIKOM ,  vol.  5,  no.  2,  pp.  92–99,  2021,  doi: 10.31961/eltikom.v5i2.429.
[7] V.  No,  J.  Hal,  A. K.  Neighbor,  A.  Azis,  A.  Turmudi, and  A.  S.  Sunge,  “Prediksi  Penjualan  Obat  Dan  Alat Kesehatan  Terlaris  Menggunakan,”  vol.  6,  no.  1,  pp.
117–124, 2024.
[8] F. Nelli, Python data analytics: With Pandas, NumPy,
and Matplotlib: Second edition . 2018. doi:
10.1007/978-1-4842-3913-1.
[9] A. Triayudi and I. Fitri, “Comparison Of The Feature Selection  Algorithm  In  Educational  Data  Mining,” Telkomnika  (Telecommunication  Comput.  Electron.
Control. ,  vol.  19,  no.  6,  pp.  1865–1871,  2021,  doi: 10.12928/TELKOMNIKA.v19i6.21594.
[10] J.  K.  Alwan,  D.  S.  Jaafar,  and  I.  R.  Ali,  “Diabetes diagnosis  system  using  modified  Naive  Bayes classifier,” Indones.  J.  Electr.  Eng.  Comput. Sci. , vol. 28, no. 3, pp. 1766–1774, 2022, doi: 10.11591/ijeecs.v28.i3.pp1766-1774.
[11] I.  Cholissodin  and  A.  A.  Soebroto, “AI  ,  MACHINE LEARNING  &  DEEP  LEARNING  (  Teori  & Implementasi ),” no. July 2019, 2021.
[12] M.  G.  Hussain,  B.  Sultana,  M.  Rahman,  and  M.  R.
Hasan, “Comparison analysis of Bangla news articles classification  using  support  vector  machine  and logistic  regression,” Telkomnika  (Telecommunication Comput.  Electron.  Control. ,  vol.  21,  no.  3,  pp.  584– 591,
2023,
doi: 10.12928/TELKOMNIKA.v21i3.23416.
[13] A.  Nugroho  and  Y.  Religia,  “Analisis  Optimasi
Algoritma  Klasifikasi  Naive  Bayes  menggunakan Genetic Algorithm dan Bagging,” J. RESTI (Rekayasa Sist.  dan  Teknol.  Informasi) ,  vol.  5,  no.  3,  pp.  504– 510, 2021, doi: 10.29207/resti.v5i3.3067.
[14] N.  Khalid,  S.  Abdul-Rahman,  W.  Wibowo,  N.  A.  S. Abdullah,  and  S.  Mutalib,  “Leveraging  social  media data  using  latent  dirichlet  allocation  and  naïve  bayes for  mental  health  sentiment  analytics  on  Covid-19 pandemic,” Int.  J.  Adv.  Intell.  Informatics , vol. 9, no. 3, pp. 457–471, 2023, doi: 10.26555/ijain.v9i3.1367.
[15] M.  A.  Saddam,  E.  Kurniawan  D,  and  I.  Indra, “Analisis  Sentimen Fenomena PHK Massal Menggunakan  Naive  Bayes  dan  Support  Vector
Machine,” J. Inform. J. Pengemb. IT , vol. 8, no. 3, pp. 226–233, 2023, doi: 10.30591/jpit.v8i3.4884.
[16] J. Florensius Sianipar, Y. R. Ramadhan, and I. Jaelani, “Analisis  Sentimen  Pembangunan  Kereta  Cepat
Jakarta-Bandung di Media Sosial Twitter Menggunakan Metode Naive Bayes,” Media  Online) , vol. 4, no. 1, pp. 360–367, 2023, doi:
10.30865/klik.v4i1.1033.
[17] Rina Noviana and Isram Rasal, “Penerapan Algoritma Naive  Bayes  Dan  Svm Untuk  Analisis  Sentimen  Boy Band Bts Pada Media Sosial Twitter,” J. Tek. dan Sci. , vol. 2, no. 2, pp. 51–60, 2023, doi:
10.56127/jts.v2i2.791. [18]
N.  C.  Gosari  and  R.  Rismayani,  “Penerapan  Data Mining Dalam Mengelompokkan Kunjungan Wisatawan  Mancanegara  Di  Prov.  Sulawesi  Selatan Dengan K-Means Dan SVM,” J. Inform. J. Pengemb. IT ,  vol.  8,  no.  3,  pp.  174–180,  2023,  doi: 10.30591/jpit.v8i3.4554.
[19] M.  P.  Pulungan,  A.  Purnomo,  and  A.  Kurniasih, “Penerapan  SMOTE  untuk  Mengatasi  Imbalance Class dalam Klasifikasi Kepribadian MBTI Menggunakan Naive Bayes Classifier,” J. Teknol. Inf. dan  Ilmu  Komput. ,  vol.  10,  no.  7,  pp.  1493–1502, 2023, doi: 10.25126/jtiik.1077989.
[20] N.  V.  Chawla,  K.  W.  Bowyer,  L.  O.  Hall,  and  W.  P. Kegelmeyer,  “SMOTE:  Synthetic  minority  over- sampling technique,” J. Artif. Intell. Res. , vol. 16, no. June 2002, pp. 321–357, 2002, doi: 10.1613/jair.953.
[21] M.  Y.  Pusadan,  A.  Ghifari,  and  Y.  Anshori, “Implementasi  Data  Mining  untuk  Prediksi  Status Proses  Persalinan  pada  Ibu  Hamil  Menggunakan Algoritma Naive Bayes,” Technomedia  J. ,  vol.  8,  no.
1 Juni, pp. 137–153, 2023, doi: 10.33050/tmj.v8i1.1980. [22] A. Adriyendi and Y. Melia, “Klasifikasi Menggunakan  Naïve  Bayes  Dan  K-Nearest  Neighbor Pada  Manajemen  Layanan  Teknologi  Informasi,” J. Teknol. Dan Sist. Inf. Bisnis , vol. 2, no. 2, pp. 99–107, 2020, doi: 10.47233/jteksis.v2i2.121.