## ANALISIS SENTIMEN ULASAN PENGGUNA OVO MENGGUNAKAN ALGORITMA NAIVE BAYES PADA GOOGLE PLAY STORE
Muhamad Ramdan Adi Surya 1 , Martanto 2 , Umi Hayati 3
1,3 Teknik Informatika, STMIK IKMI Cirebon
2 Manajemen Informatika, STMIK IKMI Cirebon Jl. Perjuangan No.10B, Karyamulya, Kec. Kesambi, Kota Cirebon ramdansurya08@gmail.com

## ABSTRAK
Pada era digital ini, penggunaan OVO semakin meluas sebagai alat pembayaran yang praktis dan efesien. Metode  Algoritma  Naive  Bayes  telah  digunakan  untuk  menganalisis  sentimen  dari  ulasan  pengguna  OVO, Evaluasi terhadap metode ini dilakukan dengan mengukur akurasi dalam mengklasifikasikan sentimen positif dan negatif dari berbagai ulasan pengguna. Faktor-faktor seperti stabilitas server, kecepatan transaksi, keamanan data, dan  ketersediaan  fitur  tambahan  dievaluasi  melalui  analisis  data  dan  ulasan  pengguna.Penelitian  ini  bertujuan untuk menganalisis sentimen pengguna OVO menggunakan metode Algoritma Naive Bayes dengan fokus pada kepuasan pengguna, kenyamanan penggunaan, dan persepsi terhadap fitur-fitur yang disediakan. Pendekatan yang digunakan  adalah  mengintegrasikan,pendekatan  Knowledge  Discovery  in  Databases  (KDD)  dengan  Algoritma Naive Bayes. Tahapan awal melibatkan pengumpulan data ulasan pengguna OVO dari Google Play Store melalui teknik  web  scraping  sebanyak  1000  data  ulasan.Data  kemudian  melalui  tahapan  preprocessing,  termasuk  case folding, tokenization, stopword removal, dan stemming, serta dilakukan labeling. Pendekatan KDD melibatkan transformasi data, Hasil menunjukkan distribusi yang sangat mendominasi rating ulasan satu bintang sebesar 75%, mencerminkan tingginya tingkat ketidakpuasan pengguna. Sentimen negatif yang mendominasi 87,2% menyoroti keluhan  utama  terkait  masalah  teknis  seperti  transfer  yang  sering  gagal  dan  respons  lambat.  Meskipun  tingkat akurasi tinggi pada data latih, akurasi pada data uji turun menjadi 88%. Ini menunjukkan adanya tantangan dalam menggeneralisasi pola dari data latih  ke data uji,  memperlihatkan perlunya penyesuaian  dan pemahaman lebih lanjut  terhadap  pola-pola  baru.Model  Naive  Bayes  pertama  mencapai  akurasi  sekitar  88,48%,  menandakan kapasitasnya  dalam  menghasilkan  prediksi  yang  akurat  secara  menyeluruh.  Presisi  yang  tinggi  100% mencerminkan  akurasi  model  dalam  mengidentifikasi  kelas  positif,  sementara  recall  yang  rendah  4,35% menunjukkan  keterbatasan  dalam  menangkap  seluruh  kasus  positif..  F1-Score  yang  relatif  rendah  8,33% menunjukkan adanya trade-off antara presisi dan recall.
Kata kunci :  OVO, analisis sentimen, Algoritma Naive Bayes, pengguna, evaluasi, akurasi.

## 1. PENDAHULUAN
Pada  era  digital  ini  penggunaan  OVO  semakin meningkat  pesat  sebagai  sarana  pembayaran  yang efisien  dan  praktis.  Salah  satu  aplikasi  yang  populer adalah aplikasi OVO. OVO tidak hanya menyediakan layanan  pembayaran,  tetapi  juga  menawarkan berbagai fitur tambahan, seperti cashback, promo, dan program  loyalitas,  OVO  adalah  sarana  digital  yang memberikan  berbagai  penawaran  menarik,  cara pembayaran yang mudah, dan layanan finansial yang cerdas.    dan  juga,  aplikasi  ini  mencoba  memenuhi berbagai  kebutuhan  terkait  dengan  cara  pembayaran cashless  dan  mobile  payment.  Dengan  menggunakan OVO maka proses dalam konteks ini, analisis sentimen menjadi  penting  untuk  memahami  persepsi  dan respons  pengguna  terhadap  OVO.  Analisis  sentimen adalah suatu teknik yang digunakan untuk mengekstrak  informasi  opini,  secara  otomatis menganalisis,  dan  memproses  data  teks  guna memahami  sentimen  yang  terkandung  dalam  suatu pendapat [1] . Penggunaan  metode  Algoritma  Naive Bayes  dalam  analisis  sentimen  terhadap  ulasan pengguna  OVO  memberikan  pemahaman  yang mendalam  tentang  respons  dan  penilaian  mereka terhadap  layanan  tersebut.  Keberhasilan  metode  ini
dievaluasi berdasarkan akurasi dalam mengklasifikasikan  sentimen  positif  dan  negatif  dari ulasan  pengguna  OVO,  yang  dapat  diukur  dengan menggunakan data set yang mencakup berbagai ulasan pengguna. Faktor-faktor yang mempengaruhi sentimen  pengguna  OVO,  seperti  stabilitas  server, kecepatan transaksi, keamanan data, dan ketersediaan fitur  tambahan  seperti  cashback  dan  promo,  dapat dievaluasi melalui analisis data serta ulasan pengguna. Performa  metode  Algoritma  Naive  Bayes  dalam mengidentifikasi  sentimen  positif  dan  negatif  dari ulasan pengguna OVO dapat dievaluasi menggunakan metrik  seperti  akurasi,  presisi,  recall,  dan  F1-score, yang  memberikan  pemahaman  tentang  kemampuan metode  tersebut  dalam  membedakan  antara  sentimen positif  dan  negatif  dari  ulasan  pengguna. Metode Algoritma Naive Bayes dapat digunakan sebagai alat analisis  sentimen  yang  efektif,  terutama  karena kecepatan  dan  keakuratannya  dalam  memproses  data teks.
Pengguna  OVO  sering  mengalami  ketidak stabilan  server,  mengakibatkan  keterlambatan  dalam proses  transaksi  dan  memberikan  pengalaman pengguna  yang  tidak  memuaskan.  Frustrasi  muncul karena  pengguna  harus  menunggu  lebih  lama  untuk
menyelesaikan  pembayaran  atau  transfer  dana, terutama bagi mereka yang mengandalkan layanan ini secara rutin. Keterlambatan ini tidak hanya merugikan pengalaman pengguna, tetapi juga merugikan reputasi OVO  sebagai  penyedia  layanan  pembayaran  digital, menimbulkan kekhawatiran terkait keamanan transaksi. Selain dampak pada pengalaman pengguna, keterlambatan  juga  meningkatkan  risiko  keamanan data  pengguna,  berpotensi  merugikan  OVO  dengan potensi kehilangan pelanggan yang beralih ke aplikasi lain  yang  menawarkan  stabilitas  teknis  yang  lebih baik.  Oleh  karena  itu,  langkah  mendesak  yang  harus diambil oleh OVO adalah meningkatkan infrastruktur server  dan  melakukan  pemeliharaan  rutin  untuk memperbaiki  masalah  ini.  Masalah  teknis  ini  juga berpotensi  mempengaruhi  penerimaan  OVO  sebagai metode pembayaran di berbagai tempat usaha, karena pedagang  mungkin  enggan  mendukung  OVO  jika mereka  mengalami  kesulitan  dalam  memproses transaksi  menggunakan  layanan  tersebut.  Dalam upaya meningkatkan kepuasan pelanggan, OVO perlu merespons  masalah  teknis  dengan  cepat  dan  efektif, melibatkan  perbaikan  server  dan  menyediakan komunikasi yang jelas kepada pengguna.
Penelitian ini bertujuan untuk melakukan analisis sentimen  terhadap  pengguna  OVO  menggunakan metode Algoritma Naïve Bayes. Beberapa aspek yang akan diteliti melibatkan evaluasi kepuasan pengguna, kenyamanan penggunaan, dan persepsi terhadap fitur- fitur  yang  disediakan  oleh  OVO.  Dengan  memahami sentimen pengguna terhadap OVO, penyedia layanan dapat merancang strategi perbaikan dan pengembangan  yang  lebih  tepat  sasaran.  Selain  itu, hasil  penelitian  ini  diharapkan  dapat  memberikan wawasan  yang  berharga  bagi  industri  layanan  OVO dan  pengembang  aplikasi  sejenis  lainnya  dalam meningkatkan  kualitas  layanan  mereka.  Melalui analisis  sentimen  dengan  metode  Algoritma  Naïve Bayes,  penelitian  ini  diharapkan  dapat  memberikan kontribusi  positif  terhadap  pemahaman  tentang bagaimana  pengguna  merespons  dan  menilai  OVO, serta memberikan landasan bagi perbaikan dan inovasi di masa depan.
Metode pendekatan  yang akan digunakan untuk menganalisis  sentimen  ulasan  pengguna  terhadap OVO  adalah  dengan  mengintegrasikan  pendekatan Knowledge  Discovery  in  Databases  (KDD)  dengan penerapan  algoritma  Naive  Bayes.  KDD  digunakan sebagai kerangka kerja yang mencakup beberapa tahap penting dalam proses penelitian ini. Pertama, langkah awal adalah pengumpulan data ulasan pengguna OVO dari Google Play Store melalui teknik web scrapping sebanyak  1000  data  ulasan,  Kemudian  data  akan melalui  tahapan  preprocessing,  yang  mencakup,  case folding,  tokenization,  stopword  removal,  stemming dan kemudian dilakukan labeling. Proses preprocessing  ini  akan  mempersiapkan  data  ulasan pengguna agar siap untuk analisis lebih lanjut. Setelah itu,  pendekatan  KDD  akan  melibatkan  tahap transformasi  data,  di  mana  data  akan  dibagi  menjadi
dua  bagian  utama:  data  pelatihan  dan  data  uji.  Data pelatihan akan digunakan untuk melatih model analisis sentimen,  sedangkan  data  uji  akan  digunakan  untuk menguji  kinerja  model  tersebut.  Selanjutnya,  dalam tahap  data  mining,  akan  diterapkan  algoritma  Naive Bayes untuk melakukan klasifikasi sentimen berdasarkan ulasan pengguna. Algoritma Naive Bayes merupakan  pilihan  yang  tepat  karena  berfokus  pada analisis  probabilitas  dan  telah  terbukti  efektif  dalam analisis sentimen. Dengan mengintegrasikan pendekatan  KDD  menggunakan  algoritma  Naive Bayes,  penelitian  ini  bertujuan  untuk  menggali pandangan dan sentimen pengguna OVO secara lebih mendalam.  Selain  itu,  metode  ini  akan  memberikan wawasan tentang kinerja model analisis sentimen yang akan  dievaluasi  menggunakan  confusion  matrix seperti  akurasi,  presisi,  recall,  dan  F1-score.  Dengan demikian,  integrasi  metode  ini  diharapkan  akan membantu  dalam  menghasilkan  pemahaman  yang komprehensif tentang bagaimana pengguna merespons dan merasakan pengalaman menggunakan OVO.
Hasil  menunjukkan  distribusi  yang  sangat mendominasi rating ulasan satu bintang sebesar 75%, mencerminkan tingginya tingkat ketidakpuasan pengguna. Sentimen negatif yang mendominasi 87,2% menyoroti  keluhan  utama  terkait  masalah  teknis seperti transfer yang sering gagal dan respons lambat. Meskipun  tingkat  akurasi  tinggi  pada  data  latih, akurasi  pada  data  uji  turun  menjadi  88%.  Ini menunjukkan adanya tantangan dalam menggeneralisasi  pola  dari  data  latih  ke  data  uji, memperlihatkan perlunya penyesuaian dan pemahaman  lebih  lanjut  terhadap  pola-pola  baru. Model Naive Bayes pertama mencapai akurasi sekitar 88,48%, menandakan kapasitasnya dalam menghasilkan prediksi yang akurat secara menyeluruh. Presisi yang tinggi 100% mencerminkan akurasi  model  dalam  mengidentifikasi  kelas  positif, sementara  recall  yang  rendah  4,35%  menunjukkan keterbatasan dalam menangkap seluruh kasus positif.. F1-Score  yang  relatif  rendah  8,33%  menunjukkan adanya trade-off antara presisi dan recall.

## 2. TINJAUAN PUSTAKA
2.1. Penelitian Terdahulu
Algoritma Naive Bayes termasuk dalam kategori teknik klasifikasi. Naive Bayes menggunakan metode probabilitas dan statistik untuk melakukan klasifikasi, dan  konsep  ini  pertama  kali  diperkenalkan  oleh ilmuwan  Inggris  bernama  Thomas  Bayes.  Algoritma ini bertujuan untuk memprediksi probabilitas kejadian di masa depan berdasarkan pengalaman di masa lalu, sehingga  sering  disebut  sebagai  penerapan  Teorema Bayes  dalam  konteks  klasifikasi.  Teorema  tersebut dikombinasikan  dengan  Naive  dimana  diasumsikan kondisi antar atribut saling bebas [2]. OVO juga dapat digunakan  untuk  bertransaksi  pembayaran  di  Grab, Tokopedia, Blibli, Layanan Disney Plus dan Spotify. Selain  itu,  OVO  memiliki  OVO  Point  yang  dapat
digunakan untuk membayar listrik dan ditukar dengan voucher
lainnya[3].
Menurut Ruslan, Karmawan,Suharjito,  Fernandoand  &  Gui  (2019). Menyatakan dalam Quick Response Code (QR Code) merupakan inovasi teknologi yang digunakan sebagai metode pembayaran pada Aplikasi OVO secara umum [4].

## 2.2. Analisis Sentiment
Analisis sentimen adalah teknik yang digunakan untuk  mengidentifikasi  dan  mengekstrak  informasi subjektif dari sumber teks. Teknik ini sering digunakan dalam penelitian yang melibatkan media sosial seperti Twitter,  di  mana  peneliti  mencoba  untuk  memahami sentimen  publik  terhadap  topik  tertentu.  Misalnya, penelitian oleh Abstrak (2022) menggunakan metode Naive  Bayes  Classifier  untuk  melakukan  analisis sentimen terhadap kinerja Dewan Perwakilan Rakyat (DPR)  yang  diungkapkan  melalui  Twitter. Penelitian lain  oleh  Normawati  dan  Prayogi  (2021)  juga menggunakan metode yang sama untuk menganalisis sentimen pada tweet [5]

## 2.3. Naive Bayes
Naive  Bayes  adalah  algoritma  klasifikasi berbasis  probabilitas  yang  berdasarkan  pada  teorema Bayes.  Algoritma  ini  diasumsikan  bahwa  efek  suatu fitur  tertentu  dalam  kelas  tertentu  tidak  bergantung pada  nilai-nilai  fitur  lainnya.  Algoritma  ini  telah digunakan dalam berbagai penelitian analisis sentimen,  seperti  penelitian  oleh  (2022)  yang menganalisis sentimen terhadap isu penundaan pemilu di  Twitter  dan  penelitian  oleh  (2022)  yang menganalisis sentimen pelanggan Tokopedia menggunakan metode Naive Bayes Classifier[6][7].

## 2.4. Google Play Store
Google  Play  Store  adalah  platform  distribusi digital  yang  dioperasikan  dan  dikembangkan  oleh Google.  Ini  adalah  toko  aplikasi  utama  untuk  sistem operasi  Android,  memungkinkan  pengguna  untuk menelusuri dan mengunduh aplikasi yang dikembangkan  dengan  Android  SDK  dan  diterbitkan melalui Google. Beberapa penelitian telah menggunakan  data  ulasan  dari  Google  Play  Store untuk analisis sentimen, seperti penelitian oleh (2022) yang  menganalisis  sentimen  aplikasi  e-government "Sentuh  Tanahku"  dan  penelitian  oleh  (2022)  yang menganalisis  sentimen  pengguna  aplikasi  MySAPK BKN[8][9]

## 2.5. Google Collab
Google  Colab  adalah  platform  berbasis  cloud yang memungkinkan pengguna menulis dan mengeksekusi  kode  Python  melalui  browser.  Ini banyak digunakan untuk pembelajaran mesin, analisis data,  dan  pendidikan.  Berikut  adalah  beberapa  aspek penting dari Google Colab[10].

## 3. METODE PENELITIAN
Berikut  ini  adalah  gambaran  metode  penelitian yang akan digunakan dalam  penelitian ini. Bagan ini menyajikan  langkah-langkah  dan  pendekatan  akan diambil untuk mencapai tujuan Penelitian:
Gambar 1. Algoritma & flowchart
Gambar 2. Penjelasan Algoritma & Flowchart

## 3.1. Pengambilan Data
Data  selection  untuk  menentukan  pilihan  data yang  akan  diambil  sesuai  dengan  kebutuhan  analisis sentiment.  Dalam  tahap  ini  data  yang  di  ambil  dari
ulasan  atau  komentar  di  google  play  store  akan  di scrapping menggunakan website google colab.

## 3.2. Preprocessing
Tahap  pembersihan  data  (data  cleaning) dilakukan  untuk  menghilangkan  data  yang  tidak diinginkan  dan  menghapus  data  yang  tidak  relevan. Case  folding  adalah  proses  mengubah  semua  huruf dalam  dokumen  menjadi  huruf  kecil.  Tokenizing adalah proses memecah teks menjadi berupa kata-kata individu. Stop word removal adalah proses menghapus kata-kata  umum  yang  tidak  memberikan  informasi seperti:  “dan”,  “di”,  “dari”,  dll.  Proses  untuk mengubah  kata-kata  ke  dalam  bentuk  kata  dasarnya. Data  yang  diperoleh  kemudian  diberi  label  atau  skor sentimen  berdasarkan  konteksnya.  bisa  dilakukan menggunakan  bahasa  pemrograman  Python  dengan mengkategorikan  rating  sebagai  positif,  negatif berdasarkan rating pengguna. Data dibagi menjadi dua bagian, yaitu data training (untuk melatih model Naive Bayes)  dan  data  testing  (Data  yang  digunakan  untuk menguji kinerja model setelah dilatih.

## 3.3. Transformasi
Menghitung  frekuensi kemunculan  kata/N-gram dari  text.  Melakukan  pembobotan  pada  frekuensi kemunculan kata/N-gram dalam dataset menggunakan TF-IDF.

## 3.4. Data Mining
Data  yang telah diolah dan di bagi  menjadi dua yaitu data training dan testing. Algoritma Naive Bayes digunakan  untuk  memodelkan  probabilitas  sentimen berdasarkan atribut kata-kata dalam data training.

## 3.5. Evaluation
Untuk  mengevaluasi  kinerja  model,  confusion matrix  digunakan  untuk  menghitung  metrik  akurasi, presisi, recall, dan F1-score.

## 4. HASIL DAN PEMBAHASAN

## 4.1. Pengambilan Data
Penelitian ini melibatkan proses seleksi data dan pengumpulan  data  (web  scraping)  dari  Google  Play Store  untuk  mendapatkan  ulasan  pengguna  aplikasi "OVO". Dalam tahap seleksi data, peneliti menentukan  aplikasi  target,  bahasa  ulasan,  jumlah data,  dan  metode  pengurutan  data.  Aplikasi  target adalah  "OVO",  yang  diidentifikasi  dengan  package name  'ovo.id'.  Ulasan  yang  diambil  adalah  dalam bahasa Indonesia, dengan jumlah data sebanyak 1000 ulasan,  dan  diurutkan  berdasarkan  relevansi  terhadap topik pengguna OVO.Untuk melakukan web scraping, peneliti  menggunakan  Google  Colab  dan  beberapa library Python, termasuk google-play-scraper, pandas, numpy,  dan  matplotlib.pyplot.  Google-play-scraper digunakan  untuk  mengekstrak  data  dari  Google  Play Store,  pandas  untuk  manipulasi  dan  analisis  data, numpy untuk komputasi numerik, dan matplotlib.pyplot untuk visualisasi data.Setelah
instalasi  library,  peneliti  mengambil  data  ulasan menggunakan fungsi reviews() dari library google_play_scraper.
Data  ulasan  kemudian  diolah  dan  disimpan dalam  file  CSV  untuk analisis lebih  lanjut. Dari data yang  dikumpulkan,  peneliti  menemukan  bahwa sebagian  besar  ulasan  pengguna  OVO  memberikan rating bintang satu, menunjukkan adanya masalah atau ketidakpuasan  pengguna.  Oleh  karena  itu,  peneliti menyarankan agar developer melakukan evaluasi dan perbaikan pada aspek-aspek aplikasi yang menimbulkan keluhan pengguna.
Gambar 3. Hasil Pengumpulan Data

## 4.2. Preprocessing
a. Membersihkan Data Beberapa langkah yang dilakukan:
 Menghapus  URL,  mention,  hashtag,  dan karakter non-alfabetis
 Mengganti nilai kosong menjadi `NaN`
b. Case Folding Mengubah semua huruf menjadi huruf kecil agar konsisten.
c. Tokenizing Memecah  teks  menjadi  token/kata  yang  lebih kecil sehingga bisa dianalisis lebih lanjut.
d. Stopword Removal Menghapus kata-kata yang tidak memberi makna penting  dengan  menggunakan  kamus  stopword bahasa Indonesia dari library Sastrawi.
e. Stemming Mengubah  kata  menjadi  kata  dasar  dengan library Sastrawi agar mengurangi variasi kata.
Gambar 4. Hasil Preprocessing
f. Labeling Memberi label sentimen positif/negatif berdasarkan nilai skor.
Gambar 5. Labeling
g. Splitting Data Membagi data  menjadi data latih dan  uji, untuk menghindari overfitting.
Table 1. Pembagian Data NO Data Latih Data Uji 1 80% 20% 2 70% 30% 3 60% 40% 4 50% 50% 4.3. Transformasi Transformasi
data teks menggunakan TfidfVectorizer  adalah  proses  penting  dalam  analisis data teks. TfidfVectorizer mengubah data teks menjadi representasi  numerik  yang  dapat  digunakan  oleh algoritma data mining. Proses ini melibatkan ekstraksi fitur  kata  atau  n-gram  dan  penghitungan  frekuensi kemunculannya.  Selain  itu,  TfidfVectorizer  juga menghitung  bobot  TF-IDF  (Term  Frequency-Inverse Document  Frequency)  untuk  setiap  kata  atau  n-gram dalam  dataset.  Metode  fit_transform()  digunakan untuk  melakukan  transformasi  ini  pada  data  latih. Kode  yang  diberikan  melakukan  pembobotan  kata pada data teks dengan menggunakan metode TF-IDF. Pertama, kode mengambil daftar fitur yang digunakan dalam vektorizer TF-IDF.
Gambar 6. Hasil TF-IDF
Kemudian, kode tersebut mengubah matriks TF- IDF untuk data pelatihan dan pengujian menjadi array. Array  ini  kemudian  diubah  menjadi  pandas DataFrame,  dengan  nama  fitur  sebagai  kolom,  untuk memfasilitasi  visualisasi  dan  interpretasi.  DataFrame
yang dihasilkan menunjukkan bobot kata untuk setiap dokumen dalam data pelatihan dan pengujian, di mana setiap  baris  mewakili  dokumen  dan  setiap  kolom mewakili  kata.  Nilai  dalam  DataFrame  ini  adalah bobot  TF-IDF  dari  masing-masing  kata  dalam dokumen.

## 4.4. Data Mining
Data  mining  adalah  proses  analisis  data  yang kompleks untuk menemukan pola, atribut, relasi, dan variasi  lainnya  guna  memperoleh  informasi  yang bermanfaat.  Dalam  konteks  ini,  algoritma  klasifikasi Naive  Bayes  diterapkan  untuk  melakukan  klasifikasi sentimen pada data ulasan pengguna OVO. Algoritma ini  memodelkan  peluang  kemunculan  kata-kata tertentu  pada  setiap  kelas  sentimen  (positif  dan negatif)  dan  menggunakan  peluang  tersebut  untuk memprediksi  kelas  sentimen  dari  ulasan  pengguna baru.
Data  yang  digunakan  telah  melalui  tahap preprocessing  dan  transformasi,  dan  dibagi  menjadi data  latih  dan  data  uji.  Model  Naive  Bayes  dilatih menggunakan  data  latih  dan  kinerjanya  dinilai menggunakan  data  uji.  Proses  ini  melibatkan pembacaan  dataset,  inisiasi  model,  pelatihan  model, prediksi  kelas  sentimen,  dan  penghitungan  nilai akurasi dan confusion matrix. Setelah model dilatih, ia digunakan  untuk  melakukan  prediksi  sentimen  pada dataset  uji.  Evaluasi  akurasi  model  pada  dataset pelatihan memberikan gambaran tentang sejauh mana model  mampu  memahami  dan  menyesuaikan  diri dengan  pola-pola  yang  terdapat  dalam  data  latih tersebut.

## 4.5. Evaluasi
Evaluasi  model  machine  learning  adalah  proses penting  yang  melibatkan  pengukuran  kinerja  model pada  data  yang  belum  pernah  dilihat  sebelumnya. Tujuan  utama  evaluasi  adalah  untuk  menilai  sejauh mana model dapat melakukan prediksi atau klasifikasi pada  data  baru  dan  untuk  mengetahui  seberapa  baik model  dapat  diandalkan  dan  dapat  digunakan  dalam konteks  aplikasi  yang  diinginkan.  Dalam  penelitian ini, evaluasi dilakukan menggunakan teknik confusion matrix.
Confusion  matrix  adalah  tabel  yang  digunakan untuk mengevaluasi kinerja model klasifikasi dengan memperkirakan objek yang benar atau salah. Tabel ini terdiri  dari  empat  elemen:  True  Positive  (TP),  False Positive (FP), True Negative (TN), dan False Negative (FN) True Positive (TP): Jumlah instance yang benar- benar  termasuk  dalam  kelas  positif  dan  secara  tepat diprediksi  oleh  model  sebagai  kelas  positif.  False Positive  (FP):  Jumlah  instance  yang  sebenarnya termasuk  dalam  kelas  negatif,  tetapi  salah  diprediksi oleh model sebagai kelas positif. True Negative (TN): Jumlah  instance  yang  benar-benar  termasuk  dalam kelas  negatif  dan  secara  tepat  diprediksi  oleh  model sebagai  kelas  negatif.  False  Negative  (FN):  Jumlah instance  yang  sebenarnya  termasuk  dalam  kelas
positif, tetapi salah diprediksi oleh model sebagai kelas negatif.
Table 2. Confusion Matrix Model 1 Kelas Negatif Prediksi Kelas Positif Prediksi Kelas Negatif 168 0 Kelas Positif 22 1
Selanjutnya  akan  dibahas  lebih  rinci  mengenai performa  model  pada  masing-masing  kelas  sentimen dengan  yang  dilihat  dari  confusion  matrix,  dapat dihitung  nilai  TP,  FP,  TN,  dan  FN  pada  masing- masing  kelas  yang  selanjutnya  digunakan  untuk menghitung metrik evaluasi yang akan menghasilkan nilai  akurasi,  presisi,  recall,  dan  F1-score  yang dihitung dari confusion matrix.

## Table 3. Hasil Evaluasi
Model Akurasi Presisi Recall F1- Score Model Pertama 88.48% 100% 4.35% 8.33%
Sebelum memperoleh nilai seperti yang tercantum  pada  Tabel  2  langkah  awalnya  adalah melakukan  perhitungan  untuk  setiap  kelas  guna mendapatkan  nilai presisi, recall, dan F1-score untuk masing-masing kelas. Sebelum melakukan perhitungan  tersebut,  untuk  menghitung  akurasi digunakan rumus:
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = 1 + 168 1 + 168 + 0 + 22 𝑋 100% = 88.48% 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 1 1 + 0 = 1
𝑅𝑒𝑐𝑎𝑙𝑙 = 1
1 + 22 = 0.043 𝐹1 − 𝑆𝑐𝑜𝑟𝑒 = 2 𝑥 1.0 𝑥 0.043 1.0 + 0.043 = 0.084
Berdasarkan  model  pertama  pada  tabel  3  dapat disimpulkan  bahwa  model  Naive  Bayes  memiliki tingkat akurasi 88,48%, yang mengindikasikan bahwa sebagian  besar  prediksinya  benar.  Akurasi  adalah ukuran keseluruhan kinerja model dan mencerminkan proporsi  prediksi  yang  benar  dari  keseluruhan  data. Presisi  model,  dengan  nilai  100%,  menunjukkan bahwa  dari  semua  prediksi  yang  diberikan  model sebagai positif, semuanya benar-benar positif. Presisi adalah ukuran keakuratan model dalam mengidentifikasi  kelas  positif,  dengan  fokus  pada mengurangi  jumlah  positif  palsu.  Meskipun  presisi tinggi, recall (sensitivitas) model hanya sekitar 4,35%. Ini  berarti  model  cenderung  melewatkan  sejumlah besar  kasus  positif  aktual,  sehingga  memiliki kemampuan  yang  terbatas  dalam  mengidentifikasi
seluruh  kelas  positif.  F1-Score,  dengan  nilai  8,33%, mencerminkan keseimbangan antara presisi dan recall.
Meskipun  presisi  tinggi,  F1-Score  yang  rendah menunjukkan adanya trade-off yang perlu diperhatikan.  Ini  mendorong  pertimbangan  untuk mencapai  keseimbangan  yang  lebih  baik  antara mengurangi positif palsu dan meningkatkan kemampuan  model  dalam  menangkap  lebih  banyak kasus  positif  yang  sebenarnya.  Dalam  konteks algoritma  Naive  Bayes,  yang  dikenal  karena keefisiennya dalam menangani data dengan fitur besar dan  jarang,  hasil  ini  mungkin  mencerminkan keterbatasan  model  terhadap  asumsi  independensi fitur. Evaluasi dan penyesuaian  model dapat menjadi langkah-langkah  selanjutnya  untuk  meningkatkan kinerja dan ketepatan prediksi model Naive Bayes.

## 5. KESIMPULAN DAN SARAN
Berdasarkan  temuan  yang  diperoleh  dari penelitian  yang  dilakukan,  dimungkinkan  untuk menarik  beberapa  kesimpulan  signifikan.  Untuk memulainya,  model  Naive  Bayes  menunjukkan prevalensi  ulasan  bintang  satu  yang  luar  biasa, terhitung  75%,  sehingga  menggambarkan  tingkat ketidakpuasan  pengguna  yang  menonjol.  Selain  itu, diamati  bahwa  87,2%  ulasan  yang  mengejutkan ditandai  oleh  sentimen  negatif,  terutama  berasal  dari keluhan  yang  terkait  dengan  malfungsi  teknis  seperti transfer  yang  sering  gagal  dan  waktu  respons  yang lamban.  Terlepas  dari  akurasi  model  yang  terpuji dicapai  selama  fase  pelatihan,  ada  penurunan  nyata hingga  akurasi  88%  ketika  diuji  dengan  data  baru. Perbedaan  ini  menyoroti  tantangan  inheren  dari generalisasi pola yang ditemukan selama pelatihan ke data  yang  tidak  terlihat,  sehingga  menekankan perlunya penyetelan lebih lanjut dan pemahaman pola baru yang mungkin muncul.
Model  Naive  Bayes  awal,  yang  menghasilkan tingkat  akurasi  sekitar  88,48%,  berfungsi  untuk menggarisbawahi kapasitasnya yang patut diperhatikan untuk menghasilkan prediksi yang benar- benar tepat. Skor presisi sempurna 100% menandakan akurasi model dalam mengidentifikasi kelas sentimen positif,  meskipun  skor  ingatan  yang  agak  sedikit sebesar  4,35%  menunjukkan  keterbatasan  tertentu dalam  menangkap  keseluruhan  kasus  positif.  Selain itu, Skor F1 yang relatif rendah sebesar 8,33% semakin menonjolkan  pertukaran  antara  presisi  dan  ingatan dalam kinerja model. Dominasi sentimen negatif yang luar  biasa  memberikan  indikasi  yang  jelas  tentang masalah  terkait  yang  memerlukan  perhatian  lebih lanjut,  terutama  mengenai  peningkatan  aspek  teknis aplikasi.
Dengan  demikian,  analisis  komprehensif  ini dapat berfungsi sebagai fondasi yang tak ternilai untuk pengembangan  dan  penyempurnaan  layanan  yang bertujuan meningkatkan kepuasan pengguna. Mengingat  hasil  penting  ini,  beberapa  rekomendasi dapat  diajukan,  termasuk  eksplorasi  algoritma pembelajaran mesin yang lebih rumit seperti Support
Vector  Machines  (SVM)  atau  Random  Forest  untuk meningkatkan  keakuratan  prediksi  sentimen.  Selain itu, akan menguntungkan untuk menyelidiki sentimen pengguna pada platform media sosial alternatif seperti Twitter,  Facebook,  atau  saluran  sebanding  lainnya. Terakhir,  akan  bijaksana  untuk  menerapkan  teknik pengambilan  sampel  data  yang  ditingkatkan  yang mempromosikan distribusi kelas yang lebih seimbang dalam  set  data  pelatihan  dan  pengujian.  Pendekatan multifaset ini tidak diragukan lagi akan berkontribusi pada peningkatan kinerja keseluruhan model.

## DAFTAR PUSTAKA
[1]  F. V. Sari And A. Wibowo, “Analisis Sentimen Pelanggan  Toko  Online  Jd.Id  Menggunakan Metode  Naïve  Bayes  Classifier  Berbasis Konversi Ikon Emosi,” J. Simetris , Vol. 10, No. 2, Pp. 681–686, 2019.
[2]  J. J. Aripin, “Penerapan Algoritma Naive Bayes Untuk  Mengklasifikasi  Data  Nasabah  Asuransi Pada  Bpr  Pantura,”  2019,  [Online].  Available: Https://Repository.Nusamandiri.Ac.Id/Index.Ph p/Repo/Viewitem/13890
[3]  L. Robaniyah And H. Kurnianingsih, “Pengaruh Persepsi Manfaat, Kemudahan Penggunaan Dan Kepercayaan Terhadap Minat Penggunaan Pada Aplikasi Ovo,” J. Image , Vol. 10, No. 1, Pp. 53– 62, 2021.
[4]  R. Mayanti, “Faktor-Faktor Yang Mempengaruhi Penerimaan  User  Terhadap  Penerapan  Quick Response Indonesia Standard Sebagai Teknologi Pembayaran Pada Dompet Digital,” J. Ilm. Ekon. Bisnis , Vol. 25, No. 2, Pp. 123–135, 2020, Doi: 10.35760/Eb.2020.V25i2.2413.
[5]  D. Duei Putri, G. F. Nama, And W. E. Sulistiono,
“Analisis  Sentimen  Kinerja  Dewan  Perwakilan Rakyat  (Dpr)  Pada  Twitter  Menggunakan Metode Naive Bayes Classifier,” J. Inform. Dan Tek.  Elektro  Terap. ,  Vol.  10, No.  1,  Pp. 34–40, 2022, Doi: 10.23960/Jitet.V10i1.2262.
[6]  A.  Perdana,  A.  Hermawan,  And  D.  Avianto, “Analisis  Sentimen  Terhadap  Isu  Penundaan Pemilu  Di  Twitter  Menggunakan  Naive  Bayes Clasifier,” J.  Sisfokom  (Sistem  Inf.  Dan Komputer) ,  Vol.  11,  No.  2, Pp.  195–200,  2022, Doi: 10.32736/Sisfokom.V11i2.1412.
[7]  S.  M.  Salsabila,  A.  Alim  Murtopo,  And  N. Fadhilah, “Analisis Sentimen Pelanggan
Tokopedia  Menggunakan  Metode  Naïve  Bayes Classifier,” J. Minfo Polgan , Vol. 11, No. 2, Pp. 30–35, 2022, Doi: 10.33395/Jmp.V11i2.11640.
[8]  A.  I.  Tanggraeni  And  M.  N.  N.  Sitokdana, “Analisis Sentimen Aplikasi E-Government Pada Google  Play  Menggunakan  Algoritma  Naïve Bayes,” Jatisi  (Jurnal  Tek.  Inform.  Dan  Sist. Informasi) ,  Vol.  9,  No.  2,  Pp.  785–795,  2022, Doi: 10.35957/Jatisi.V9i2.1835.
[9]  Raksaka Indra Alhaqq, I Made Kurniawan Putra, And  Yova  Ruldeviyani,  “Analisis  Sentimen Terhadap Penggunaan Aplikasi Mysapk Bkn Di Google  Play  Store,” J.  Nas.  Tek.  Elektro  Dan Teknol. Inf. , Vol. 11, No. 2, Pp. 105–113, 2022, Doi: 10.22146/Jnteti.V11i2.3528.
[10]  T.  Carneiro,  R.  V.  M.  Da  Nobrega,  T. Nepomuceno,  G.  Bin  Bian,  V.  H.  C.  De Albuquerque, And P. P. R. Filho, “Performance Analysis Of Google Colaboratory As A Tool For Accelerating Deep Learning Applications,” Ieee Access ,  Vol.  6,  Pp.  61677–61685,  2018,  Doi:
10.1109/Access.2018.2874767.