## SATIN – Sains dan Teknologi Informasi
Journal Homepage : http://jurnal.sar.ac.id/index.php/satin
Susandri, Email: susandri@sar.ac.id.

## Sentimen Pengguna Aplikasi BRImo: Kinerja Algoritma
Support Vector Machine , Naive Bayes , dan Adaboost
Susandri 1 , Yurnalis 2 , Edwar Ali 3 , Susanti 4 , Asparizal 5
1 STMIK Amik Riau, susandri@sar.ac.id, Jl. Purwodadi Indah Km 1 Panam, Pekanbaru, Indonesia
2 STMIK Amik Riau, yurnalisnalis2001@gmail.com, Jl. Purwodadi Indah Km 1 Panam, Pekanbaru,Indonesia 3 STMIK Amik Riau, edwarali@sar.ac.id, Jl. Purwodadi Indah Km 1 Panam, Pekanbaru, Indonesia
4 STMIK Amik Riau, susanti@sar.ac.id, Jl. Purwodadi Indah Km 1 Panam, Pekanbaru, Indonesia
5 Universitas Dumai, asparizal73@gmail.com, Jl. Natuna Rt. 05 Kel. Sukajadi, Dumai, Indonesia
Informasi Makalah Abstrak Submit Revisi Diterima : November 13, 2023 : Desember 8, 2023 : Desember 21, 2023 Dalam  konteks  perkembangan  industri  perbankan  yang semakin maju, pemanfaatan teknologi modern menjadi faktor kunci untuk meningkatkan kualitas layanan dan memenangkan  persaingan  di  era  digital.  Bank  Rakyat Indonesia  (BRI)  memikat  perhatian  masyarakat  melalui peluncuran aplikasi perbankan seluler, BRImo. Namun Bank ini  perlu  meraih  pandangan  dan  pengalaman  nasabah terhadap  aplikasi  mobile  banking  untuk  meningkatkan kualitas  pelayanan.  Penelitian  ini  memiliki  tujuan  untuk menganalisis  ulasan  pengguna  BRImo  sebagai  objek penelitian.  Komparasi  dilakukan  antara  algoritma  Support Vector  Machine  (SVM),  Naive  Bayes  (NB),  dan  Adaboost dalam  mengolah  data  teks.  Evaluasi  dilakukan  berdasarkan tingkat  akurasi,  presisi,  recall,  dan  nilai  F1-score.  Hasil penelitian menunjukkan bahwa algoritma SVM memberikan kinerja  terbaik  dalam  mengklasifikasikan  tanggapan masyarakat terhadap aplikasi BRImo, dengan tingkat akurasi sebesar 90,4%, presisi 90,8%, recall 90%, dan nilai F1-score 90,3%.  Sebagai  perbandingan,  algoritma  Adaboost memberikan  nilai  terendah  dengan  tingkat  akurasi  sebesar 87%, presisi 87,2%, recall 86,8%, dan nilai F1-score 86,9%.
Kata Kunci :

## BRImo
Support Vector Machine Naive Bayes, Adaboost Komparasi

## Abstract
In the context of the advancing banking industry, the utilization of modern technology is a key factor in enhancing service quality and gaining a competitive edge in the digital era. Bank Rakyat Indonesia (BRI)  captured  public  attention  through  the  launch  of  its  mobile  banking  application,  BRImo. However,  banks  need  to  gain  insights  into  customer  perspectives  and  experiences  with  mobile banking applications to improve service quality. This study aims to analyze user reviews of BRImo as the  research  object.  A comparison  is  made  between the  Support  Vector  Machine  (SVM),  Naive Bayes  (NB),  and  AdaBoost  algorithms  in  processing  textual  data.  The  evaluation  was  conducted based  on  accuracy,  precision,  recall,  and  F1-score.  The  research  findings  indicate  that  the  SVM algorithm performs the best in classifying public responses to the BRImo application, achieving an accuracy rate of 90.4%, precision of 90.8%, recall of 90%, and F1-score of 90.3%. In comparison, the AdaBoost algorithm yielded the lowest values with an accuracy rate of 87%, precision of 87.2%, recall of 86.8%, and an F1-score of 86.9%.

## 1. Pendahuluan
Dalam  konteks  perkembangan  teknologi yang pesat, evolusi yang signifikan terjadi di berbagai  sektor  untuk  menjawab  kebutuhan manusia.  Secara  khusus,  sektor  teknologi informasi menjadi pionir dalam menghadirkan inovasi baru (Puji Astuti et al., 2022).  Adopsi  teknologi  informasi  telah mengubah  lanskap  bisnis,  termasuk  sektor perbankan,  dengan  cepat  mengintegrasikan solusi  digital  guna  meningkatkan  efisiensi dan kualitas layanan. Para peneliti menyoroti bahwa  kemajuan ini mendorong  perusahaan, khususnya  di  sektor  perbankan,  untuk meningkatkan  kinerjanya  dengan  fokus  pada pemudahan  akses  masyarakat  terhadap layanan keuangan.
Mobile  banking  adalah  fasilitas  modern yang mengikuti perkembangan teknologi dan komunikasi. Layanan ini mencakup beragam fitur,  termasuk  pembayaran,  transfer  dana, serta  akses  riwayat  transaksi,  dan  lain sebagainya.  Fokus  utama  dari  layanan  ini adalah memberikan kemudahan akses kepada nasabah tanpa memerlukan kehadiran fisik di kantor  bank  (Puji  Astuti  et  al.,  2022). Implementasi  teknologi  mobile  banking menjadi  salah  satu  upaya  strategis  yang diadopsi  oleh  perusahaan  perbankan  dalam menghadapi  era  transformasi  digital.  Sistem mobile  banking  memungkinkan  pelanggan untuk melakukan berbagai transaksi keuangan  melalui  perangkat  mobile  mereka, seperti  ponsel  pintar  atau  tablet.  Dengan demikian,  teknologi  mobile  banking  tidak hanya  memfasilitasi  transaksi  konvensional seperti  transfer  dana  dan  pembayaran tagihan,  tetapi  juga  memberikan  akses  yang lebih  luas  kepada  masyarakat  terhadap produk  dan  layanan  keuangan  yang disesuaikan dengan kebutuhan individual.
Perusahaan-perusahaan  perbankan  kini menyediakan  aplikasi  mobile  banking sebagai sarana interaksi dengan nasabahnya.(Alun Sujjadaa et al., 2023)(Puji Astuti  et  al.,  2022).    Dalam  usaha
meningkatkan kualitas pelayanan,
perusahaan perbankan perlu meraih pandangan dan pengalaman nasabah terhadap aplikasi  mobile  banking.  Penelitian  ini muncul  sebagai  respons  terhadap  kebutuhan untuk  memahami  secara  mendalam  interaksi nasabah dengan aplikasi tersebut, mengidentifikasi  masalah  yang  mungkin timbul selama penggunaan, dan memberikan kontribusi pada upaya perusahaan perbankan dalam  penyempurnaan  dan  peningkatan layanan.
Berbagai penelitian telah dilakukan dalam eksplorasi  data  komunikasi  di  platform aplikasi  perbankan.  (Solecha  &  Irnawati, 2023)  mengusulkan  metode  klasifikasi  yang membandingkan  Algoritma  NB  berbasis Particle  Swarm  Optimization  (PSO)  yang telah  dibuat  dalam  penelitian  sebelumnya dengan  Support  Vector  Machine  (SVM) berbasis  PSO,  khususnya  pada  ulasan aplikasi  Flip.  (Alun  Sujjadaa  et  al.,  2023) mengevaluasi  penilaian  pengguna  layanan Bank Digital (Bank Jago, Neobank, Seabank) di  Google  Play  Store  menggunakan  metode SVM.  Sedangkan  (Ernianti  Hasibuan  & Elmo
Allistair Heriyanto, 2022)
melaksanakan  penelitian  analisis  sentimen dengan pendekatan berbasis machine learning menggunakan algoritma NB, dengan fokus  pada  data  ulasan  pengguna  pada aplikasi  Amazon  Shopping  yang  terdapat  di Google  Play  Store.  Penelitian  sebelumnya juga  melibatkan  analisis  sentimen  pada platform  Zoom  Cloud  Meetings  dengan membandingkan  algoritma  NB  dan  SVM, dengan  NB  mencapai  akurasi  74,37%, sedangkan SVM mencapai 81,22% (Herlinawati et al., 2020). Sedangankan (Puji Astuti et al., 2022) melakukan perbandingan algoritma  SVM  dan  NB  untuk  analisis sentimen pada aplikasi BRImo, dengan hasil bahwa  SVM  memberikan  kinerja  lebih  baik dengan akurasi yang lebih tinggi dibandingkan  NB.  Melalui  literatur  ini, penelitian-penelitian  tersebut  memberikan wawasan  yang  berharga  terkait  metode  dan
pendekatan yang digunakan dalam
menganalisis  data  komunikasi  di  berbagai aplikasi perbankan dan layanan digital.
Fokus  utama  penelitian  ini  adalah  pada analisis ulasan aplikasi BRImo yang terdapat di platform Google Play Store sebagai objek penelitian. Sebaliknya, penelitian sebelumnya  lebih  memusatkan  perhatian pada  klasifikasi  pemasaran  langsung  bank dengan  membandingkan  Adaboost  dan
Bagging
menggunakan
NB,
yang menghasilkan  tingkat  akurasi  tertinggi mencapai  90,29%  (Rousyati  et  al.,  2021). Penelitian  ini  sedikit  berbeda  dengan mengimplementasikan variasi dalam pemilihan  algoritma  dan  menambahkan  fitur pembobotan kata.
Penelitian ini akan menggunakan algoritma  SVM,  NB,  dan  Adaboost  dengan tujuan untuk melakukan komparasi.
Komparasi  ini  dilakukan  untuk  menentukan algoritma  terbaik  dalam  konteks  analisis sentimen  publik  terhadap  aplikasi  BRImo. Hasil  komparasi  akan  diperoleh  dalam bentuk  nilai  akurasi,  presisi,  recall,  dan  F1- score  dengan  penerapan  pembobotan  kata TF-IDF. Penelitian ini tidak hanya bertujuan untuk  memperoleh  pemahaman  yang  lebih baik  terhadap  aplikasi  BRImo  tetapi  juga untuk  memberikan  dasar  referensi  untuk penelitian selanjutnya dalam domain serupa.

## 2. Metode Penelitian
Tahap  pembandingan  dan  pengujian merupakan  aspek  kritis  dalam  penelitian  ini, yang  melibatkan  serangkaian  prosedur metodologis  untuk  mengukur  kinerja  model klasifikasi  terhadap  ulasan  aplikasi  BRImo. Proses  pengumpulan  data  dilakukan  dengan mengambil  ulasan  dari  Google  Play  Store, dan  dataset  yang  dihasilkan  dilabeli berdasarkan  sentimen.  Langkah  selanjutnya melibatkan  tahap  preprocessing  data  untuk membersihkan  dan  mengonversi  data  ke dalam format yang sesuai, termasuk ekstraksi fitur yang relevan Gambar 1.
Metode analisis yang digunakan mencakup  penggunaan  kerangka  klasifikasi
algoritma  Support  Vector  Machine  (SVM), Naive  Bayes  (NB),  dan  Adaptive  Boosting (AdaBoost).  Gambar  1  secara  rinci mendokumentasikan perbandingan dan evaluasi  model,  mencakup  langkah-langkah utama dalam penelitian ini. Tahap pelabelan, prapemrosesan, dan ekstraksi fitur memainkan  peran  kunci  dalam  memastikan integritas  data  dan  hasil  analisis  yang holistik.

## Gambar 1. Tahapan Penelitian
Langkah-langkah  ini  diakhiri  dengan tahap  perbandingan  hasil  evaluasi  kinerja model, yang menjadi puncak dari analisis ini. Evaluasi  tersebut  mencerminkan  langkah integral  dalam  mengevaluasi  kontribusi  dan keunggulan  masing-masing  algoritma  SVM, NB,  dan  AdaBoost.  Hasil  perbandingan  ini tidak  hanya  memberikan  wawasan  tentang kinerja relatif dari masing-masing algoritma, tetapi juga mendukung kesimpulan penelitian terkait  dengan  aplikabilitas  dan  efektivitas model  klasifikasi  dalam  konteks  ulasan aplikasi  BRImo.  Dengan  demikian,  tahap penelitian  ini  bukan  hanya  menggambarkan pendekatan  metodologis  yang  digunakan, tetapi  juga  menyajikan  analisis  mendalam terhadap hasil eksperimen dan interpretasinya yang bersifat komprehensif.
2.1. Dataset Tahap  pengumpulan  data  merupakan tahap awal yang krusial dalam penelitian ini, di  mana  teknik  web  scraping  diterapkan dengan  dukungan  Jupyter  Notebook  untuk mendapatkan  dataset  komentar  atau  ulasan dari  aplikasi  BRImo  di  Google  Play  Store. Proses web scraping dilakukan dengan tujuan mengambil  data  yang  relevan  dari  halaman web atau aplikasi Android dengan
identifikasi  spesifik  pada  link  aplikasi BRImo,  yaitu  "id.co.bri.brimo."  Penggunaan teknik  ini  memungkinkan  akses  cepat  dan otomatis  terhadap  ulasan  pengguna  yang tersebar di platform tersebut.
Implementasi  teknik  web  scraping menggunakan  Python  di  Jupyter  Notebook, didukung  oleh  library  pandas  dan  numpy, memastikan  pengelolaan  dan  penyimpanan data yang efisien dalam format CSV. Dataset yang  dihasilkan  melibatkan  pengumpulan 100.000 ulasan pengguna yang dikumpulkan dari  tanggal  27  Februari  2019  hingga  27 Februari  2023.  Tanggal-tanggal  ini  dipilih untuk  memberikan  representasi  yang  cukup luas  terhadap  perkembangan  aplikasi  dan respons  pengguna  selama  periode  waktu yang signifikan.
Hasil  dataset  dapat  ditemukan  pada Tabel 1, yang mencakup beragam atribut data seperti teks ulasan, sentimen yang diberikan, dan  informasi  lainnya  yang  relevan.  Tabel tersebut memberikan gambaran awal tentang kompleksitas  data  yang  dikumpulkan,  yang kemudian  menjadi  subjek  utama  dalam proses analisis dan evaluasi model klasifikasi.  Penggunaan  teknik  web  scraping dalam tahap pengumpulan data ini memberikan  fondasi  yang  kokoh  untuk penelitian  ini,  memungkinkan  analisis  yang mendalam  terhadap  persepsi  dan  respons pengguna  terhadap  aplikasi  BRImo  dalam konteks ulasan mereka.

## Tabel 1. Contoh Dataset
score content 1 Makin lama makin ga beres ne apk...kerjanya ka...
4 Belum menemukan solusi yang tepat terkait akun...
1 Sudah di ulang beberapa x ...masih terus belum...
1 Tolonglah pihak BRI perbai layanannya, masa sa...
5 Terimakasih aplikasi nya sdh bisa
digunakan lagi
2.2. Pelabelan data Setelah menyelesaikan proses pengambilan  data  menggunakan  teknik  web scraping,  langkah  selanjutnya  yang  kritis adalah melakukan pelabelan data berdasarkan  kategorinya.  Dataset  yang terkumpul,  berisi  100.000  ulasan  pengguna aplikasi  BRImo,  akan  dikelompokkan  ke dalam  dua  kategori  utama,  yaitu  positif  dan negatif. Pengkategorian ini dilakukan dengan merujuk  pada  peringkat,  skor,  atau  jumlah bintang  yang  diberikan  oleh  pengguna, sebagaimana terlihat dalam Tabel 2.
Tahap  pelabelan  data  ini  penting  untuk memberikan  dasar  pada  analisis  sentimen yang  akan  dilakukan  pada  langkah-langkah berikutnya.  Distribusi  data  pada  tahap pelabelan  menunjukkan  bahwa  dari  total dataset, sebanyak
52,389 ulasan dikategorikan sebagai "Negative,"  sementara 47,611 ulasan dikategorikan sebagai "Positive."  Distribusi  ini  memberikan pemahaman  awal  tentang  kecenderungan sentimen pengguna terhadap aplikasi BRImo. Secara  visual,  distribusi  ini  dapat  dilihat dalam Gambar 2.
Gambar  2  menyoroti  prevalensi  yang sedikit  lebih  tinggi  pada  data  yang  terlabel sebagai  "Negative"  dibandingkan  dengan "Positive"  dalam  dataset.  Kecenderungan  ini memberikan  informasi  awal  yang  dapat menjadi  dasar  untuk  analisis  lebih  lanjut terkait faktor-faktor yang mungkin memengaruhi  persepsi  negatif  pengguna terhadap aplikasi BRImo. Langkah
selanjutnya  dalam  penelitian  ini  akan berkaitan dengan penggunaan model klasifikasi  untuk  mengidentifikasi  pola sentimen  dan  faktor-faktor  determinan  yang mempengaruhi  pandangan  positif  atau negatif  dari  pengguna  terhadap  aplikasi tersebut.

## Tabel 2. Distribusi Pelabelan Data
Kategori Rating Positive 4 dan 5 Negative 1,2 dan 3

## Gambar 2. Hasil Pelabelan Dataset
2.3. Text Preprocessing Proses  preprocessing  pada  data  setelah tahap  pelabelan  merupakan  langkah  krusial dalam persiapan data untuk analisis sentimen yang  lebih  mendalam.  Langkah-langkah dalam  proses  ini  mencakup  serangkaian teknik  yang  bertujuan  untuk  meningkatkan kualitas  dan  konsistensi  data.  Pertama-tama, dilakukan pembersihan data dengan menghapus  entri  kosong  yang  mungkin  ada setelah tahap pelabelan. Casefolding diterapkan  untuk  mengubah  semua  teks menjadi  huruf  kecil, memastikan  konsistensi dalam  representasi  huruf  sehingga  analisis dapat  dilakukan  tanpa  dipengaruhi  oleh perbedaan huruf besar dan kecil (Hendriyadi et al., 2023)(Soumya & Pramod, 2022).
Langkah selanjutnya adalah tokenisasi, di mana  teks  dibagi  menjadi  token  atau  unit kata.  Proses  filtering  kemudian  dilakukan untuk  menghapus  kata-kata  yang  dianggap tidak  signifikan  dalam  analisis  sentimen. Normalisasi bahasa digunakan untuk memastikan  bahwa  kata-kata  diwakili  dalam bentuk  bahasa  baku,  sehingga  dapat meningkatkan  konsistensi  dan  akurasi analisis (Hendriyadi  et  al.,  2023)(Soumya & Pramod, 2022).
Proses  preprocessing  juga  melibatkan penggunaan stemming untuk mengubah kata-
kata  ke  bentuk  dasarnya  dengan  menghapus imbuhan.  Ini  bertujuan  untuk  mencapai konsistensi dan keseragaman dalam representasi  kata-kata,  mempermudah  proses analisis  selanjutnya  (Tri  Julianto  et  al.,
2023)(Hendriyadi  et  al.,  2023).  Tahapan  ini secara keseluruhan dirancang untuk membersihkan dan merapikan data, sehingga data  yang  dihasilkan  siap  untuk  dilibatkan dalam  analisis  sentimen  yang  mendalam. Proses  preprocessing  ini  menjadi  landasan penting  bagi  analisis  lanjut  yang  bertujuan untuk  mengidentifikasi  dan  memahami  pola sentimen  dari  ulasan  pengguna  aplikasi BRImo.
2.4. Feature Exstraction Feature  extraction  merupakan  tahap kunci  dalam  analisis  data  di  mana  ciri  atau fitur  suatu  bentuk  diambil  untuk  diproses pada  tahap  berikutnya  (Ramdani  et  al., 2022)(Gupta  &  Agrawal,  2020).  Dalam konteks  ini,  Feature  Extraction  dilakukan melalui  pembobotan  kata  menggunakan metode  TF-IDF  (Term  Frequency-Inverse Document Frequency)(Aljuaid et al.,
2021)(Pradipabista  et  al.,  2021).  Metode  ini memberikan  bobot  pada  setiap  kata  dalam dokumen  berdasarkan  frekuensinya  dan keberartiannya  relatif  terhadap  seluruh korpus  (Hamzah,  2021)(Passi  &  Kalakala, 2023) (Chao et al., 2023). Hasil dari Feature Extraction  ini  memberikan  representasi numerik  informatif  dari  data  teks,  yang berguna  untuk  pealatihan  dan  pengujian algoritma (Tri Julianto et al., 2023).

## 3. Hasil dan Pembahasan
Pengujian  algoritma  merupakan  tahap penting  dalam  penelitian  ini,  di  mana  setiap algoritma  dievaluasi  dengan  menggunakan file  terpisah,  meskipun  tetap  melibatkan tahapan  preprocessing  dan  feature  extraction yang  identik.  Proses  evaluasi  ini  dirancang untuk  memahami  kinerja  masing-masing algoritma dalam konteks klasifikasi sentimen
terhadap  ulasan  pengguna  aplikasi  BRImo. Proses  preprocessing  dan  feature  extraction yang  identik  antara  algoritma-algoritma tersebut  memberikan  dasar  yang  konsisten untuk perbandingan hasil.
Evaluasi  dilakukan  melalui  empat  jenis pembagian  data  yang  terdokumentasi  secara rinci  pada  Tabel  3.  Pembagian  data  ini mencakup  proporsi  50%:50%,  70%:30%, 80%:20%, dan 90%:10% untuk data train dan data test. Pembagian data yang bervariasi ini dirancang  untuk  memberikan  wawasan  yang komprehensif  terhadap  performa  algoritma pada  berbagai  skenario,  termasuk  situasi dengan  volume  data  train  yang  bervariasi. Rincian  lengkap  pembagian  data,  termasuk jumlah sampel pada setiap kategori sentimen, dapat ditemukan pada Tabel 3.
Proses  evaluasi  ini  bukan  hanya memberikan  gambaran  tentang  performa relatif  dari  algoritma  SVM,  NB,  dan AdaBoost, tetapi juga memberikan pemahaman yang mendalam tentang
kecocokan  model  terhadap  sejumlah  besar data  ulasan  pengguna  aplikasi  BRImo. Dengan demikian, tahap pengujian algoritma ini  bukan  hanya  merupakan  langkah metodologis,  tetapi  juga  bagian  integral  dari upaya  untuk  menganalisis  dan  memahami kemampuan  algoritma  klasifikasi  sentimen dalam menghadapi  variasi  data  dan  skenario pembagian data yang berbeda.

## Tabel 3. Pembagian Data
Splitting Data Data Train Data Test 50% : 50% 50.000 50.000 70% : 30% 70.000 30.000 80% : 20% 80.000 20.000 90% : 10% 90.000 10.000
Evaluasi  model  bertujuan  mengukur  dan memahami performa algoritma yang diimplementasikan.  Serangkaian  pengujian dilakukan  untuk  mencapai  tujuan  tersebut, dan hasilnya divisualisasikan dalam confusion matrix. Pengujian model klasifikasi  menggunakan  library  Python,
yaitu sklearn.metrics, dengan fungsi confusion_matrix untuk menganalisis kinerja model. Visualisasi confusion matrix diwujudkan  melalui  library  seaborn,  pustaka visualisasi umum dalam analisis data Python. Penelitian ini menggunakan indikator kinerja berikut  untuk  mengevaluasi  efektivitas algoritma yang dibandingkan:
(1)
TP = True Positif, FN = False Negatif, TN = True Negatif, dan FP = False Positif.
Presisi: Proporsi sampel positif nyata yang secara akurat dikenali sebagai positif dari jumlah total sampel positif.
(2)
Fraksi sampel positif yang dikenali secara akurat di antara seluruh sampel positif.
(3)
F1 Score: Ukuran lengkap keakuratan model yang dapat  ditentukan  sebagai  rata-rata  harmonik antara presisi dan perolehan.
(4)
3.1 Hasil pengujian Algoritma SVM Pengujian  SVM  dilakukan  dengan  cara mengevaluasi  Algoritma  SVM  non-linear serta  model  SVM  linear  untuk  mendapatkan hasil  evaluasi  yang  komprehensif.  Hasil pengujian  ditampilkan  pada  Tabel  4  dan Tabel  5.  Kedua  tabel  evaluasi  model  SVM non-linear  dan  SVM  linear  menunjukkan performa yang tinggi pada berbagai skenario pembagian data.
Algoritma  SVM  non-linear  (Tabel  5), terlihat  bahwa  akurasi  cenderung  meningkat seiring  dengan  peningkatan  proporsi  data training,  mencapai  nilai  tertinggi  sebesar 90,4%  pada  pembagian  data  80:20. Sementara  itu,  nilai  presisi,  recall,  dan  F1-
score juga menunjukkan konsistensi peningkatan,  dengan  hasil  yang  sangat  baik di atas 90%.
Algoritma SVM linear (Tabel 4), terlihat bahwa  akurasi  juga  meningkat  dengan proporsi  data  training  yang  lebih  besar, mencapai  nilai  tertinggi  sebesar  90%  pada pembagian  data  70:30.  Meskipun  secara umum  performanya  sangat  baik,  terdapat sedikit  variasi  dalam  hasil  evaluasi  antar skenario pembagian data. Nilai presisi, recall, dan F1-score juga menunjukkan kinerja yang konsisten, dengan nilai di atas 89%.

## Tabel 4 Hasil evaluasi model SVM linear
Splitting Data Confusion Matrix(%) Acc Prec Recall F1 50 : 50 89,4 89,9 89,1 89,5 70 : 30 90,0 90,0 89,2 89,5 80 : 20 89,7 90,1 89,4 89,7 90 : 10 89,7 90,1 89,4 89,7 Tabel 5 Hasil evaluasi model SVM nonlinear Splitting Data Confusion Matrix (%) Acc Prec Recall F1 50 : 50 89,9%  90,5%  89,7% 90% 70 : 30 90,2%  90,7%  89,8%  90,2% 80 : 20 90,4%  90,8% 90% 90,3% 90 : 10 90,3%  90,9% 90% 90,4%
Secara  keseluruhan,  hasil  evaluasi algoritma  SVM  non-linear  maupun  SVM linear memiliki performa yang tinggi, dengan kecenderungan  peningkatan  performa  pada skenario  pembagian  data  yang  lebih  besar. Pemilihan  Algoritma  dapat  bergantung  pada kebutuhan  spesifik  analisis,  dan  hasil  ini memberikan  gambaran  yang  baik  tentang kemampuan  klasifikasi  keduanya  dalam konteks dataset dan skenario yang diuji.
3.2 Algoritma Naive Bayes
Pengujian  NB  dilakukan  dengan  cara mengevaluasi  empat  jenis  algoritma  NB, yaitu  NB  Multinomial,  Bernoulli,  Gaussian, dan  Complement.  Hasil  terbaik  didapatkan pada NB Complement yang ditampilkan pada Tabel 6.

## Tabel 6 Hasil evaluasi algoritma  Complement
Naive Bayes Splitting Data Confusion Matrix (%) Acc Prec Recall F1 50 : 50 88,7 89,0 88,5 88,7 70 : 30 89,1 89,4 88,8 89,0 80 : 20 88,9 89,2 88,7 88,9 90 : 10 88,9 89,1 88,6 88,8
Tabel  6  menyajikan  evaluasi  kinerja model  Complement  NB  pada  berbagai pembagian data. Pada pembagian data 50:50, model  mencapai  akurasi  88,7%,  dengan presisi  89%,  recall  88,5%,  dan  nilai  F1 88,7%.  Terjadi  peningkatan  signifikan  pada pembagian  data  70:30,  dengan  akurasi 89,1%,  serta  presisi,  recall,  dan  nilai  F1 masing-masing mencapai 89,4%, 88,8%, dan 89%.
Hasil  serupa  terlihat  pada  pembagian data  80:20,  di  mana  akurasi,  presisi,  recall, dan  nilai  F1  berturut-turut  mencapai  88,9%, 89,2%, 88,7%, dan 88,9%. Dalam pembagian data 90:10, model mempertahankan performa optimal  dengan  akurasi  88,9%,  serta  presisi, recall, dan nilai F1 mencapai 89,1%, 88,6%, dan 88,8%.
Hasil  pengujian  ini  menegaskan  bahwa model  Complement  NB  menunjukkan konsistensi  dan  kinerja  memuaskan  dalam berbagai  kondisi  pembagian  data,  tercermin dari capaian nilai tinggi pada metrik evaluasi akurasi, presisi, recall, dan F1-score.
3.3 Algoritma AdaBoost Pengujian algoritma
AdaBoost
dilakukan  dengan  menggunakan  modul AdaBoostClassifier  dari  pustaka  scikit-learn untuk mengimplementasikan algoritma Adaboost,  dengan  penggunaan  parameter inisialisasi objek AdaBoostClassifier n_estimators=100.  Parameter  ini  memegang peranan  kunci  dalam  menentukan  jumlah estimator  atau  model  yang  digunakan  dalam pembentukan  model  Adaboost.  Keputusan untuk  menggunakan  100  estimator  tersebut didasarkan pada pertimbangan untuk
mencapai keseimbangan antara kompleksitas model dan waktu komputasi yang diperlukan. Pengaturan  ini  dirancang  untuk  memberikan representasi yang memadai terhadap kompleksitas  struktur  sentimen  pada  ulasan pengguna aplikasi BRImo.
Hasil pengujian, yang mencakup metrik evaluasi  seperti  akurasi,  presisi,  recall,  dan F1-score,  ditampilkan  dengan  rinci  pada Tabel  7.  Tabel  tersebut  memberikan gambaran holistik tentang performa algoritma  Adaboost  dalam  tugas  klasifikasi sentimen.  Melalui  interpretasi  hasil  pada Tabel  7,  peneliti  dapat  mendapatkan pemahaman  yang  lebih  mendalam  tentang sejauh  mana  Adaboost  dapat  mengenali  dan mengklasifikasikan  sentimen  positif  dan negatif  dalam  ulasan  pengguna  aplikasi BRImo.
Selain  itu,  analisis  hasil  pada  Tabel  7 memungkinkan  untuk  identifikasi  potensi peningkatan  atau  pengoptimalkan  parameter Adaboost  dalam  konteks  dataset  yang digunakan.  Proses  evaluasi  ini  bukan  hanya sebagai  langkah  akhir  dalam  pengujian algoritma, tetapi juga sebagai titik awal untuk pengambilan  keputusan  strategis  terkait dengan  peningkatan  performa  algoritma  dan optimasi  parameter  di  masa  depan.  Dengan demikian,  hasil  pengujian  Adaboost  pada Tabel 7 merupakan kontribusi penting dalam penilaian  keseluruhan  efektivitas  algoritma klasifikasi  sentimen  pada  ulasan  pengguna aplikasi BRImo.

## Tabel 7. Hasil evaluasi model adaboost
Splitting Data Confusion Matrix (%) Acc Prec Recall F1 50 : 50 86,8 87,2 86,7 86,9 70 : 30 87,0 87,2 86,8 86,9 80 : 20 86,9 87,1 86,4 86,7 90 : 10 87,0 87,3 86,6 86,9
Evaluasi  kinerja  algoritma  Adaboost pada  berbagai  skenario  pembagian  data menunjukkan  gambaran  performa  klasifikasi (Tabel 7). Pada pembagian data 50:50, model
Adaboost  mencapai  akurasi  86,8%,  presisi 87,2%,  recall  86,7%,  dan  nilai  F1  86,9%. Meskipun  terdapat  sedikit  peningkatan  pada pembagian  data  70:30,  dengan  akurasi  87%, nilai  presisi,  recall,  dan  F1  stabil  di  sekitar 87,2%, 86,8%, dan 86,9%. Namun, performa model  menurun  pada pembagian  data  80:20, dengan  akurasi  86,9%,  dan  presisi,  recall, serta  nilai  F1  berturut-turut  sebesar  87,1%, 86,4%, dan 86,7%.
Pada  pembagian  data  90:10,  model Adaboost  tetap  menunjukkan  konsistensi dengan akurasi 87%, dan nilai presisi, recall, serta  F1  masing-masing  sebesar  87,3%, 86,6%,  dan  86,9%.  Hasil  pengujian  ini menyoroti  konsistensi  relatif  baik  pada performa model Adaboost, meskipun mengalami  variasi  kecil  pada  beberapa skenario pembagian data.
Algoritma  SVM,  NB,  dan  Adaboost dibandingkan  untuk  menentukan  kinerja terbaik. Perbandingan dilakukan berdasarkan hasil evaluasi akurasi, presisi, recall, dan F1- score. Hasil evaluasi menjadi referensi untuk perbandingan  algoritma  pada  penelitian selanjutnya dengan topik serupa. Rangkuman perbandingan evaluasi masing-masing algoritma tercantum pada Tabel 8.
Tabel 8 Hasil perbandingan Algoritma SVM, NB,
dan Adaboost Model Confusion Matrix(%) Acc Prec Recall F1 SVM 90,4 90,8 90,0 90,3 NB 89,0 89,4 88,6 88,9 Adaboost 87,0 87,2 86,8 86,9 Hasil perbandingan performa tiga algoritma    klasifikasi,  yaitu  SVM,  NB,  dan Adaboost,  dengan  memperhitungkan  metrik akurasi (Acc), presisi (Prec), recall, dan nilai F1  (Tabel  8).  Algoritma  SVM  menonjol dengan  pencapaian  tertinggi,  mencapai akurasi  sebesar  90,4%,  presisi  90,8%,  recall 90%,  dan  nilai  F1  90,3%.  Sementara Algoritma  NB  menunjukkan  performa  yang baik  dengan  akurasi  89%,  presisi  89,4%,
recall 88,6%, dan nilai F1 88,9%. Algoritma Adaboost  menampilkan  performa  lebih rendah,  tercatat  dengan  akurasi  87%,  dan nilai  presisi,  recall,  serta  F1  masing-masing sebesar 87,2%, 86,8%, dan 86,9%.
Temuan  ini  menggambarkan  superioritas model  SVM  dalam  mengklasifikasikan  data, diikuti  oleh  Naive  Bayes  dan  Adaboost (Gambar  3). Hasil  penelitian  menunjukkan bahwa  algoritma  SVM  mencapai  kinerja tertinggi  sedikit  lebih  baik  dari  hasil penelitian yang dilakukan (Herlinawati et al., 2020),  (Puji  Astuti  et  al.,  2022)  dan (Rousyati et al., 2021).

## Gambar 3 Grafik perbandingan Algoritma
Variasi performa ini memberikan wawasan  yang  signifikan  terkait  kesesuaian model dengan karakteristik dataset,
memberikan  dasar  penting  untuk  pemilihan model yang sesuai dengan kebutuhan analisis data.

## 4. Simpulan
Penelitian  ini  berhasil  membandingkan algoritma SVM, Naive Bayes, dan Adaboost dalam menganalisis sentimen publik terhadap aplikasi  BRImo  menggunakan  100.000 sampel  data.  Hasil  menunjukkan  SVM memiliki  akurasi  tertinggi  sebesar  90,4%, precision  90,8%,  recall  90%,  dan  F1-score 90,3%,  sedangkan  Adaboost  memiliki performa  terendah  dengan  akurasi  87%, precision  87,2%, recall  86,8%,  dan  F1-score 86,9%.  Penelitian  ini  menghasilkan  model klasifikasi  tanggapan  masyarakat  terhadap BRImo, dengan mayoritas tanggapan bersifat negatif.

## 5. Referensi
Aljuaid, H., Iftikhar, R., Ahmad, S., Asif, M.,
&  Tanvir  Afzal,  M.  (2021).  Important citation  identification  using  sentiment analysis  of  in-text  citations. Telematics and Informatics , 56 , 101492. https://doi.org/10.1016/j.tele.2020.101492
Alun  Sujjadaa,  Somantri,  Juwita  Nurfazri Novianti, & Indra Griha Tofik Isa. (2023). Analisis Sentimen Terhadap Review Bank
Digital Pada Google Play Store Menggunakan  Metode  Support  Vector Machine (Svm). Jurnal Rekayasa Teknologi  Nusa  Putra , 9 (2),  122 – 135. https://doi.org/10.52005/rekayasa.v9i2.34 5 Chao,  G.,  Liu,  J.,  Wang,  M.,  &  Chu,  D.
(2023).  Data  augmentation  for  sentiment classification  with  semantic  preservation and  diversity. Knowledge-Based  Systems , 280 , 111038. https://doi.org/https://doi.org/10.1016/j.kn osys.2023.111038
Ernianti  Hasibuan,  &  Elmo  Allistair Heriyanto.  (2022).  Analisis  Sentimen Pada  Ulasan  Aplikasi  Amazon  Shopping Di  Google  Play  Store  Menggunakan Naive  Bayes  Classifier. Jurnal  Teknik
Dan Science , 1 (3), 13 – 24. https://doi.org/10.56127/jts.v1i3.434
Gupta,  N.,  &  Agrawal,  R.  (2020).
Application  and  techniques  of  opinion mining. In Hybrid Computational Intelligence . INC.
https://doi.org/10.1016/b978-0-12- 818699-2.00001-9
Hamzah,  M.  B.  (2021).  Classification  of Movie Review Sentiment Analysis Using Chi-Square and Multinomial Naïve Bayes with  Adaptive  Boosting. Journal  of Advances  in  Information  Systems  and Technology , 3 (1), 67 – 74.
https://doi.org/10.15294/jaist.v3i1.49098
Hendriyadi, I., Putri, A. F., Rahmawati, R., & Saputra, D. D. (2023). Sentiment Analysis of  Rising  Fuel  Prices  on  Social  Media
Twitter using the Naïve Algorithm Bayes Classifiers  And  AdaBoost. Informatics and  Software  Engineering , 1 (1),  14 – 23. https://doi.org/10.58777/ise.v1i1.55
Herlinawati, N., Yuliani, Y., Faizah, S., Gata, W.,  &  Samudi,  S.  (2020).  Analisis Sentimen  Zoom  Cloud  Meetings  di  Play Store  Menggunakan  Naïve  Bayes  dan Support  Vector  Machine. CESS  (Journal of  Computer  Engineering,  System  and Science) , 5 (2),
293. https://doi.org/10.24114/cess.v5i2.18186
Passi,  K.,  &  Kalakala,  S.  (2023).  A  Rule-
Based  Sentiment  Analysis  of  WhatsApp Reviews  in  Telugu  Language.  In  J. Choudrie,  P.  Mahalle,  T.  Perumal,  &  A. Joshi (Eds.), IOT with Smart Systems (pp.
167 – 180). Springer Nature Singapore. Pradipabista, B., Adipradana, R., Suryadi, R., &  Suhartono,  D.  (2021).  ScienceDirect
ScienceDirect Hoax Analyzer for Indonesian  News  Using  Deep  Learning
Models. Procedia  Computer  Science ,
179 (2020), 704 – 712.
https://doi.org/10.1016/j.procs.2021.01.05 9
Puji  Astuti,  A.,  Alam,  S.,  &  Jaelani,  I.
(2022).  Komparasi  Algoritma  Support Vector  Machine  dengan  Naive  Bayes Untuk  Analisis  Sentimen  Pada  Aplikasi BRImo. Jurnal  Bangkit  Indonesia , 11 (2),
1 – 6. https://doi.org/10.52771/bangkitindonesia .v11i2.196 Ramdani,  C.  M.  S.,  Rachman,  A.  N.,  &
Setiawan,  R.  (2022).  Comparison  of  the Multinomial  Naive  Bayes  Algorithm  and
Decision  Tree  with  the  Application  of AdaBoost in Sentiment Analysis Reviews PeduliLindungi Application. International Journal  of  Information  System  & Technology Akreditasi , 6 (4), 419 – 430.
Rousyati,  R.,  Rais,  A.  N.,  Hasan,  N.,  Amir, R.  F.,  &  Warjiyono,  W.  (2021).
Komparasi  Adaboost  dan  Bagging Dengan  Naïve  Bayes  Pada  Dataset  Bank Direct  Marketing. Bianglala  Informatika ,
9 (1), 12 – 16. https://doi.org/10.31294/bi.v9i1.9890 Solecha,  K.,  &  Irnawati,  O.  (2023). Komparasi  Algoritma  Support  Vector Machine  Dan  Naïve  Bayes  Berbasis Particle  Swarm  Optimization  Pada Analisis  Sentimen  Ulasan  Aplikasi  Flip.
JIEET (Journal of Information Engineering and Educational Technology) , 07 (1), 10 – 15.
Soumya, S., & Pramod, K. V. (2022). Hybrid Deep  Learning  Approach  for  Sentiment Classification  of  Malayalam  Tweets. (IJACSA)  International  Journal  of
Advanced Computer Science and Applications , 13 (4), 891 – 899.
Tri Julianto, I., Kurniadi, D., Septiana, Y., & Sutedi,  A.  (2023).  Alternative  Text  Pre- Processing  using  Chat  GPT  Open  AI. Jurnal  Nasional  Pendidikan  Teknik Informatika  (JANAPATI) , 12 (1),  67 – 77. https://doi.org/10.23887/janapati.v12i1.59 746