Jurnal Ilmiah Informatika Komputer, 28(2): 137-148. Doi: https://doi.org/10.35760/ik.2023.v28i2.9494
Putra et al, Analisis Sentimen Warga… https://doi.org/10.35760/ik.2023.v28i2.9494

## ANALISIS SENTIMEN WARGA TWITTER TERHADAP GAME SHOPEE COCOKI DENGAN METODE NAIVE BAYES CLASSIFIER
1 Andaru Pratama Putra, 2 Anggrarista Nusty Alivia, 3 Maulidiya Meilani*, 4 Naura Jasmine Azzahra, 5 Nur Aini Rakhmawati 1,2,3,4 Sistem Informasi, Fakultas Teknologi Elektro dan Informatika Cerdas, Institut Teknologi Sepuluh Nopember,
Kampus ITS, Keputih, Kec. Sukolilo, Kota Surabaya, Jawa Timur, Indonesia, 60117
1 5026211187@mhs.its.ac.id, 2 5026211006@mhs.its.ac.id, 3 5026211121@mhs.its.ac.id,
4 5026211005@mhs.its.ac.id, 5 nur.aini@is.its.ac.id *) Penulis Korespondensi

## Abstrak
Di era digital saat ini, banyak platform e-commerce bersaing untuk menarik pelanggan. Shopee adalah salah satu platform yang populer dengan banyak fitur dan layanan yang menarik, termasuk  game  "Shopee  Cocoki"  yang  telah  menjadi  tren  di  kalangan  pengguna  Shopee. Penelitian  ini  menggunakan  metode  analisis  sentimen  Naive  Bayes,  yang  memanfaatkan kemungkinan  untuk  mengkategorikan  tweet  menjadi  kategori  sentimen  positif,  negatif,  atau netral. Data yang digunakan adalah sejumlah tweet yang mengandung kata kunci terkait "Shopee Cocoki"  yang  diambil  dari  Twitter.  Berdasarkan  hasil  eksperimen,  diperoleh  nilai  akurasi keseluruhan sebesar 55%. Sentimen negatif memiliki nilai presisi sebesar 57%, recall sebesar 80%,  dan  f1-score  sebesar  67%.  Sentimen  netral  memiliki  nilai  presisi  sebesar  33%,  recall sebesar  17%,  dan  f1-score  sebesar  22%.  Sedangkan  sentimen  positif  memiliki  nilai  presisi sebesar 33%, recall sebesar 25%, dan f1-score sebesar 29%.
Kata Kunci : Analisis Sentimen, Naïve Bayes, Shopee Cocoki, Twitter

## Abstract
In the current digital era, many e-commerce platforms are competing to attract customers. Shopee is one of the popular platforms with numerous attractive features and services, including the game "Shopee Cocoki," which has become a trend among Shopee users. This research utilizes the Naive Bayes sentiment analysis method, which leverages probabilities to categorize tweets into positive, negative, or neutral sentiment categories. The data used consists of a collection of tweets  containing  the  keyword  "Shopee  Cocoki"  gathered  from  Twitter.  Based  on  the experimental results, an overall accuracy score of 55% was obtained. Negative sentiment had a precision value of 57%, a recall value of 80%, and an f1-score of 67%. Neutral sentiment had a precision  value  of  33%,  a  recall  value  of  17%,  and  an  f1-score  of  22%.  Meanwhile,  positive sentiment had a precision value of 33%, a recall value of 25%, and an f1-score of 29% .
Keywords : Naïve Bayes, Sentiment Analysis, Shopee Cocoki, Twitter

## PENDAHULUAN
Twitter  merupakan  salah  satu  jejaring sosial yang populer di Indonesia dan memiliki jumlah  pengguna  harian  aktif  yang  cukup
banyak.  Berdasarkan  data  pada  katadata, twitter  menempati  urutan  ke-5  media  sosial paling sering digunakan sebesar 56% dari total 160  juta  pengguna  aktif  sosial  media  di Indonesia.  Bukti  ini  juga  dapat  dilihat  pada
grafik  bar  chart  di  Gambar  1.  Media  sosial paling  sering  digunakan  tahun  2020.  Melihat tingginya  pengguna  Twitter  di  Indonesia, twitter  dapat  digunakan  untuk  melakukan analisis  sentimen  terhadap  berbagai  macam masalah,  termasuk  mengenai  game  cocoki shopee.  Opini  yang  berada  di  Twitter  dapat menjadi  data  untuk  dilakukan  analisis sentimen terhadap topik tersebut.
Hasil  dari  analisis  sentimen  tersebut dapat  memberikan  gambaran  tentang  opini publik  terhadap  game  shopee  cocoki.  Hal  ini menunjukkan  bahwa  Twitter  dapat  menjadi sumber  informasi  yang  penting  untuk memahami  pandangan  masyarakat  terhadap isu-isu  di  Indonesia.Shopee  cocoki  adalah sebuah game dari aplikasi shopee yang hampir mirip  dengan game Candy  Crush,  namun bedanya  shopee  cocoki  hanya  terdiri  dari  3
level  saja.  Game  shopee  cocoki  semakin trending  dengan  banyaknya  pengguna  yang memainkan  game  ini.  Di  twitter  banyak  pro dan kontra mengenai game ini karena game ini dianggap  cukup tricky ,  dan  jika  sudah menyelesaikan  level  3  akan  langsung mendapatkan  10.000  koin  shopee.  Karena dianggap terlalu susah, tidak sedikit pengguna yang  ingin  menang  saja  tanpa mengharapkan koinnya.
Penelitian  tentang  analisis  sentimen telah  banyak  dibahas  sebelumnya  dan menggunakan  metode  yang  berbeda-beda, misalnya  menggunakan  Algoritma  Naive Bayes,  K-Nearest  Neighbor,  dan  Support Vector Machine dalam menganalisis jasa ojek online  [1],  menganalisis  new  normal  masa covid-19  di  Indonesia  [2],  dan  menganalisis program kartu prakerja[3]
Gambar 1. Media Sosial Paling Sering Digunakan Tahun 2020
Rujukan  artikel  pertama  yaitu  Analisis Sentimen Pada Jasa Ojek Online
Menggunakan Metode Naive Bayes oleh Didik Garbian  Nugroho  dkk  [1].  Penelitian  ini menggunakan data yang bersumber dari tweet mention  @GrabId  serta  @gojekindonesia. Data  yang  digunakan  berjumlah  800  tweet yang  kemudian  dibagi  lagi  menjadi  300  data latih  dan  500  data  uji.  Dengan  menggunakan algoritma Naive Bayes, diperoleh kesimpulan bahwa akurasi Naive Bayes dalam klasifikasi sentimen adalah sebesar 80%. Rujukan artikel berikutnya yaitu Analisis
Sentimen Menggunakan  K-Nearest  Neighbor  Terhadap New Normal Masa Covid-19 di Indonesia oleh Mhd.  Furqan  dkk  [2].  Sumber  data  yang digunakan  adalah  tweet  dengan  kata  kunci “#NewNormal”  sejumlah  1000  data.  Analisis meliputi  data  preprocessing  yaitu  cleaning, case folding, normalisasi, stemming, filtering, dan tokenizing yang dilakukan berurutan. Dari analisis,  diperoleh  hasil  berupa  nilai  akurasi sebesar  100%  dengan  k  =  1,  dengan  nilai validasi menggunakan 10-fold cross validation
sebesar  92,6%  dan 80%  percentage  split sebesar 94,5%. Rujukan artikel terakhir yaitu Analisis  Sentimen  Masyarakat  Terhadap Program Kartu Prakerja Pada Twitter Dengan Metode  Support  Vector  Machine  oleh Styawati dkk[3]. Sebanyak 2000 data berhasil dikumpulkan menggunakan bahasa pemrograman Python untuk melakukan steam twitter  API  dengan  kata  kunci  “Prakerja” dalam  rentang  tanggal  22  April  sampai  29 April  2021.  Kesimpulan  yang  dihasilkan
berupa  nilai  persentase  masing-masing kategori  klasifikasi  data  yaitu  98,34%  netral, 0,99% negatif, dan 0,66% positif. Berdasarkan penelitian-penelitian yang dilakukan sebelumnya [1,2,3].
Dilakukan  penelitian  analisis  sentimen menggunakan  algoritma  Naive  Bayes  dengan objek  penelitian  yaitu  Shopee  Cocoki. Pemilihan  objek  penelitian  ini  didasari  oleh maraknya  game  Shopee  Cocoki  sejak  bulan Juni  lalu  hingga  sekarang.  Analisis  sentimen ini  berarti  mengidentifikasi  atau  mengenali opini,  sentimen,  emosi,  maupun  penilaian terdapat suatu tes biasa [4]. Diharapkan hasil analisis  dapat  membantu  perusahaan  dalam mengetahui  kepuasan  pemain  game  shopee cocoki dan dapat membantu perusahaan dalam pengambilan keputusan yang tepat. Pemilihan metode  analisis  didasari  oleh  fakta  bahwa metode naive bayes hanya memerlukan sedikit data  training  untuk  menentukan  estimasi parameter  yang  diperlukan  dalam  proses klasifikasi data [5].

## METODE PENELITIAN
Untuk menganalisis sentimen masyarakat  dengan  mengumpulkan  data berdasarkan  komentar-komentar  masyarakat pada  media  sosial  twitter,  perlu  dilakukan beberapa  tahapan  untuk  mendapatkan  data yang menunjang kesimpulan dalam penelitian yang dilakukan. Dalam penelitian ini, tahapan terbagi  sesuai  pada  Gambar  2.  Metode Penelitian.
Gambar 2. Metode Penelitian
Tabel 1. Hasil Data Crawling
Pengumpulan Data Pengambilan  data  adalah  proses mendapatkan dataset tweet dengan
memanfaatkan API dari Twitter (data crawling menggunakan  Token API ).  API  atau  disebut sebagai Application Program  Interface ini membantu  dalam  mendapatkan  sumber informasi  (REST  API)  yang  disebarluaskan oleh  pengguna  di  Twitter  dan  sumber
informasi  ini  dapat  digunakan  untuk melakukan analisis sentimen data di paper ini. Dengan menggunakan pull strategy dari REST API  maka  data  Twitter  akan  didapatkan dengan permintaan ( request) , sehingga dalam mengaksesnya harus membutuhkan hak akses berupa access token [6]. Untuk sampel dataset tweet hasil  Crawling  bisa  dilihat  di  Tabel  1.
Hasil Data Crawling. Dataset yang didapatkan
Username Tweet @discountfess Pamer cocoki hari ini ez pz. Harus cobain tipsnya hari ini, jamin menang @vvsryvv Shopee cocoki 19 September 2023 Hari ini lumayan, full dirasi 13 menit aja Aku rasa blastnya ga sebanyak kemaren Good luck 🍀 @oneldamood Victory shopee cocoki 😋 @LuciaBrigitta stress cocoki be liek:
berdasarkan  hasil  pencarian  kata  kunci “Shopee  Cocoki”.  Data  tweet  kemudian disimpan  dalam  bentuk  format  csv  untuk dianalisis. Analisis dilakukan dengan melabeli data  dengan  sentimen  positif  (terdapat rangkaian kata-kata yakni keren, bagus, baik, dll)  maupun  sentimen  negatif  (mengandung kata-kata seperti kesal, capek, kalah, dll). Hasil pengambilan  data  ditunjukkan  di  Tabel  1 dengan atribut username dan teks tweet.
Preprocessing Preprocessing dilakukan  untuk  membuat struktur  kata  di  kalimat  dalam  data  menjadi lebih terstruktur, bersih, dan memiliki dimensi data yang sederhana [7]. Hal ini dilakukan agar data  sudah  siap  untuk  dilakukan  analisis. Adapun beberapa tahapan metode preprocessing yang dilakukan di data ini yakni, cleaning , case  folding,  stopwords  removal, tokenisasi, dan stemming [8].

## 1) Cleaning
Tahap  penghapusan  ini  berarti  menghapus
atribut-atribut  yang  tidak  relevan  untuk dianalisis  (seperti  username,  URL,  mention, dsb)
2)

## Case Folding
Mengubah semua huruf termasuk huruf kapital menjadi  huruf  kecil  atau  lowercase.  Contoh dari  penerapan case folding yaitu  “Hoki  bgt sekali percobaan lngsung menang
@Yireanai”, diubah menjadi “hoki bgt sekali percobaan langsung menang @yireanai”.
3)

## Stopwords Removal
Pada  tahap  ini  dilakukan  penghapusan terhadap kata-kata yang tidak memiliki makna
atau  informasi  berguna  dan  sering  muncul dalam data.
4) Tokenisasi
Melakukan pemotongan kata ke dalam token , dan  dipilah  berdasarkan  pemisah  kata  seperti titik(.), koma(,), dan spasi. Jika karakter ke-n tidak  memakai  tanda  pemisah  kata,  maka karakter  tersebut  digabung  dengan  karakter selanjutnya.

## 5) Stemming
Menghilangkan  imbuhan  agar  token  yang memiliki imbuhan diubah menjadi kata dasar.

## Labeling Data
Proses  pelabelan  data  diperlukan  untuk menentukan  sentimen  dari  masing-masing twitter . Sentimen ini berupa sentimen positive, negative, dan netral .  Pelabelan  data  ini dilakukan dengan dua cara yaitu menggunakan Transformer  Python dan  manual.  Dilakukan dua cara untuk melihat perbedaan hasil akurasi dan presisi data.
Klasifikasi Naive Bayes
Setelah tahap preprocessing selesai, selanjutnya adalah tahap  klasifikasi.  Langkah pertama  adalah  menentukan    jumlah    data yang  akan  digunakan.  Lalu  dipilih  sejumlah tweet secara  acak  sesuai dengan jumlah data. Setelah  proses  klasifikasi  selesai  dijalankan, maka  akan  tampil  sejumlah  tweet  yang ditentukan  sebagai  data  uji  disertai  dengan hasil  prediksi  sentimen  [8].  Langkah selanjutnya  adalah  pemberian  label  pada masing-masing  tweet.  Pemberian  label  ini menggunakan Transformer  Python .    Dalam penelitian ini label kelas yang digunakan yaitu
positif dan negatif. Dilabeli positif apabila isi tweetnya  menang  shopee  cocoki,  memberi tips,  dan  atau  mengatakan  bahwa  shopee cocoki  mudah  dimainkan.  Sebaliknya, dikatakan  negatif  apabila  isi  tweetnya  kalah main shopee cocoki, merutuki shopee cocoki, dan sejenisnya.

## 1.1. Evaluasi
Tahap  terakhir  adalah  evaluasi  untuk mengevaluasi hasil pengujian sistem. Tahapan evaluasi  ini  penting  dalammengetahui  suatu sistem analyzer sentiment dan algoritma naive bayes  yang  diimplementasikan  pada  program [9]. Pada tahap  ini, evaluasi  yang digunakan adalah  confusion    matrix  (menunjukkan prediksi  dan  kondisi  aktual  dari  data  yang dihasilkan  oleh  algoritma),  accuracy    rate (menunjukkan  fraksi  dari  hasil  prediksi  yang benar),  dan classification   report (menghitung kualitas    prediksi    dengan    algoritma klasifikasi), dimana  ketiganya  terdapat  pada library  sckit.learn  di  python [10]. Beberapa hasil  evaluasi  yang  didapatkan  mencakup accuracy, recall, precision, dan F1 Score.

## HASIL DAN PEMBAHASAN
Pada  penelitian  ini,  akan  dilakukan pembahasan  hasil  dari  pengujian  yang  telah
dilaksanakan.  Hal  ini  tentunya  untuk mendapatkan hasil akhir yaitu nilai akurasi dan prediksi  yang  digunakan  untuk  mengetahui opini  netizen  terhadap  permainan Shopee Cocoki .  Adapun  hasil  data  yang  telah  di preprocessing dan diberi label manual maupun menggunakan  metode labelling  transformer python telah  diunggah  melalui  akun  zenodo [11].

## Dataset
Dataset  yang  digunakan  dari  tweet pengguna  Twitter  yang  berbahasa  Indonesia diperoleh  secara  random  sebanyak  230  data dengan  menggunakan  teknik Crawling  Data menggunakan  bahasa  pemrograman python dan request  API  token ke  Twitter  lalu dijalankan  di Google  Colab dengan search keyword yaitu  “Cocoki”,  dan  “Shopee Cocoki”. Kemudian kolom sentimen digunakan untuk mendapatkan hasil mengenai sentimen  positif,  negatif,  dan  netral.  Untuk tweet dengan sentimen positif, ditunjukkan di Tabel 2. Contoh Sentimen Positif pada Tweet, lalu untuk tweet dengan sentimen negatif dapat ditunjukkan  di  Tabel  3.  Contoh  Sentimen Negatif  pada  Tweet,  sementara tweet dengan sentmen  netral  ditunjukkan  pada  Tabel  4. Contoh Sentimen Netral pada Tweet.
Tabel 2. Contoh Sentimen Positif Pada Tweet
Tweet Sentiment pamer menang shopee cocoki part good morning kepada screen recordku spotipai dan syopi yang mau diajak kerja sama pagi ini Positif alhamdulillah hariku cerah cocoki tembus dipagi hari Positif ya allah pagipagi udah menang cocoki todays gonna be good day Positif
Tabel 3. Contoh Sentimen Negatif pada Tweet Tweet Sentiment frustasi main cocoki level 2 Negatif dah lama ngga cocoki Negatif benci bgt ama cocoki bye kita musuhan Negatif Tabel 4. Contoh Sentimen Netral pada Tweet Tweet Sentiment skip dlu kt cocoki Netral ingpo cit sopi cocoki gw dh lelah  Netral shopee cocoki yg betul Netral Tabel 5. Hasil Filtering Input Output
Pen kenalan sama programmer cocoki, pen curhat waktuku habis tapi belum juga menang. Rada asu ini game,gw anaknya penasaran lagii ð Ÿ˜- pen kenalan sama programmer cocoki pen curhat waktuku habis tapi belum juga menang rada asu ini gamegw anaknya penasaran lagii
Selamat senin ð Ÿ«¶ ð Ÿ». Doain hari ini gua menang shopee cocoki ð Ÿ¤£ selamat senin doain hari ini gua menang shopee cocoki Alhamdulillah hariku cerah, cocoki tembus dipagi hari ð Ÿ¤© https://t.co/OM5hMceEt4 alhamdulillah hariku cerah cocoki tembus dipagi hari Tabel 6. Hasil Akhir Input Output Ingpo cit sopi cocoki, gw dh lelah https://t.co/8M3M4OvX9H info cit shopee cocok gw dh lelah @I_cylindrica Pasti hari Senin mu indah kak. Aku lagi scroll tips cocoki hari ini, huhu senin mu indah kak scroll tips cocok huhu kl main shopee cocoki jam segini, stress ga yahh??? kl main shopee cocok jam gin stress yahh Hasil Preprocessing
Tahap preprocessing adalah  langkah kunci  dalam  mempersiapkan  data  sebelum diberikan kepada model klasifikasi. Tentunya tahap Pre-processing ini  dimulai  dengan menggunggah data csv yang sudah di crawling
ke  code  editor Google  Colaboratory dengan bahasa  pemrograman python. Tahap  ini mencakup  beberapa  proses,  seperti  filtering, case folding, tokenisasi, stemming, penghapusan stopword, dan normalisasi. Pada tahap  filtering,  karakter  yang  tidak  relevan
seperti  simbol,  tanda  baca,  dan  angka  telah dihapus  untuk  memastikan  data  yang  lebih bersih. Hasil tahap filtering analisis sentiment terhadap tweet dapat dilihat pada Tabel 5, dan hasil  akhir  dari preprocessing  data dapat dilihat  di  Tabel  6.  Hasil  Akhir.  Selanjutnya, pada  tahap  casefold,  semua  huruf  yang awalnya  dalam  huruf  kapital  telah  diubah menjadi huruf kecil agar data tetap konsisten. Tidak hanya itu, terakhir sebelum diklasifikasikan dengan metode Naive Bayes, sentimen  twitter  tersebut  dilakukan  pelabelan secara  manual.  Data  paling  akhir  setelah dilakukan preprocessing kemudian  akan dibentuk  dalam  bentuk Word  Cloud seperti pada  Gambar  3. Wordcloud dilakukan  untuk mendapatkan  informasi  frekuensi  setiap kata. Disini  data  yang  digunakan  sudah  melalui tahap preprocessing , dan dari hasil wordcloud ini  didapatkan  sejumlah  kata-kata  yang  besar hingga  kecil.  Kata-kata  yang  ditampilkan dalam  ukuran  besar  menandakan  bahwa  kata tersebut  sering  muncul  pada  teks,  begitupula
untuk  kata  dengan  ukuran  kecil  menandakan bahwa kata tersebut jarang muncul dalam teks. Setelah  dilakukan preprocessing maka dilanjutkan  ke  tahap  pelabelan.  Pelabelan  ini dikategorikan baik positif, negatif, dan netral. Ada  tiga  metode  pelabelan  yang  telah digunakan  dalam  paper  “Analisis  Sentimen Warga Twitter Terhadap Game Shopee Cocoki Dengan Metode Naive Bayes Classifier” :
Manual Labeling (Pelabelan Manual)
Metode ini melibatkan bantuan manusia
yang secara manual membaca dan menganalisis  setiap  tweet  dalam  dataset,  lalu memberikan label sentimen yang sesuai seperti "positive," "negative," atau "neutral" berdasarkan penilaian peneliti terhadap konten tweet  tersebut.  Pelabelan  manual  biasanya memerlukan  tenaga  manusia  yang  cukup banyak,  tetapi  dapat  memberikan  label  yang sangat  akurat  karena  melibatkan  penilaian subjektif  dari  individu  yang  melakukan pelabelan.
Gambar 3. Word Cloud Tweet setelah Processing
Pendekatan  Berbasis  Aturan  (Subjectivity dan Polarity)
Dalam  pendekatan  ini,  digunakan pustaka  Python  seperti  TextBlob  untuk menghitung  dua  aspek  sentimen  utama  dari teks,  yaitu  subjectivity  dan  polarity. Subjectivity  mengukur  sejauh  mana  teks bersifat  subjektif  (misalnya,  apakah  teks  itu bersifat objektif atau bersifat opini), sementara polarity  mengukur  arah  sentimen  (misalnya, apakah  teks  itu  positif  atau  negatif). Berdasarkan  nilai-nilai  ini,  setiap  tweet kemudian diberi label sentimen sesuai dengan aturan tertentu. Misalnya, jika polarity positif dan subjectivity tinggi, tweet dapat diberi label "positive."
Pendekatan  Berbasis  Mesin (Transformer Python)
Dalam pendekatan ini, digunakan model analisis sentimen berbasis mesin seperti yang diberikan  oleh  pustaka  Transformers  di Python. Model ini telah dilatih pada data besar untuk  secara  otomatis  mengidentifikasi sentimen  dalam  teks.  Model  ini  akan
memberikan label sentimen seperti "positive," "negative,"  atau  "neutral"  untuk  setiap  tweet berdasarkan prediksi mereka.
Pendekatan  ini  memiliki  keunggulan dalam  skala  dan  kecepatan,  tetapi  hasilnya dapat  bergantung  pada  kualitas  model  yang digunakan. Untuk hasil sampel data yang telah dilakukan  labelling  dengan  menggunakan Trasformer Python ditunjukkan pada Tabel 7. Contoh Pelabelan Menggunakan Transformer Python.

## Sebaran Sentimen
Sebelum  melakukan  klasifikasi,  perlu diperhatikan  juga  sebaran  sentimen  dalam dataset.  Sebaran  ini  mencerminkan  proporsi sentimen  positif,  netral,  dan  negatif  dalam dataset  yang  digunakan.  Sebaran  sentimen yang telah dilakukan dengan pelabelan manual dalam dataset adalah sebagai berikut, dimana sentimen Negative memiliki  sebaran  terbesar dengan 41%, diikuti oleh Neutral dengan 28%, dan Positive dengan  31%.  Sebaran  ini  juga dapat  dilihat  dalam  bentuk Pie  Chart di Gambar 4.
Tabel 7. Contoh Pelabelan Menggunakan Transformer Python Tweet Score Sentiment frustasi main cocoki level 2 {'label': 'NEGATIVE', 'score': 0.9859344363212585} NEGATIVE siap ikut lomba cocoki {'label': 'POSITIVE', 'score': 0.6408445835113525} POSITIVE
Gambar 4. Sebaran Sentiment
Tabel 8.  Hasil Klasifikasi Naive Bayes
Sebenarnya Precision  Recall  F1-Score Positive 0.33 0.80 0.67 Neutral 0.33 0.17 0.22 Negative 0.57 0.80 0.67 Accuracy 0.55 20 Macro Average 0.41 0.41 0.39 Weighted Average 0.45 0.50 0.46 Hasil Klasifikasi Menggunakan Metode Naive Bayes Dengan  tahap preprocessing dan pelabelan yang sudah selesai maka data telah siap  untuk  diklasifikasikan  menggunakan metode  Naive  Bayes. Pelabelan  yang  dipakai disini  yaitu  menggunakan  pelabelan  manual bersama  dengan  data  teks  yang  sudah  di preprocessing .  Hasil  klasifikasi  tersebut kemudian  dianalisis  berdasarkan  metrik- metrik  seperti  precision,  recall,  dan  f1-score untuk  setiap  kelas  sentimen.  Hasil  klasifikasi sudah ditunjukkan melalui tabel 8, atau untuk penjelasan sebagai berikut:
● Kelas NEGATIVE memiliki precision sebesar 0.57, recall sebesar 0.80, dan f1-score  sebesar  0.67.  Hasil  ini menunjukkan  bahwa  model  dapat mengidentifikasi  sentimen  negatif dengan baik, meskipun masih mungkin  terdapat  beberapa  hasil positif palsu.
● Kelas  NETRAL  memiliki precision
sebesar 0.33, recall sebesar 0.17, dan f1-score sebesar 0.22. Model
tampaknya  kurang  efektif  dalam mengenali  sentimen  netral,  dan terdapat banyak hasil negatif palsu.
● Kelas  POSITIVE  memiliki precision sebesar 0.33, recall sebesar 0.25, dan f1-score  sebesar  0.29.  Model  juga menunjukkan  kinerja  yang  rendah dalam mengenali sentimen positif. Berdasarkan  Tabel  8,  dapat  dilihat terdapat  juga  metrik  akurasi,  rata-rata  makro (macro  avg),  dan  rata-rata  tertimbang (weighted  avg)  yang  mencerminkan  kinerja model secara keseluruhan dengan mempertimbangkan semua kelas sentimen.

## KESIMPULAN DAN SARAN
Hasil  klasifikasi  menggunakan  metode Naive  Bayes  menunjukkan  performa  yang cukup baik dalam mengidentifikasi sentimen, tetapi  masih  terdapat  beberapa  area  yang memerlukan  perbaikan.  Berikut  adalah ringkasan hasil klasifikasi:
1. Kelas Negative memiliki  precision sebesar 0.57, recall sebesar 0.80, dan f1-score  sebesar  0.67.  Hal  ini menunjukkan  bahwa  model  dapat mengidentifikasi  sentimen  negatif dengan  baik,  tetapi  masih  mungkin terdapat beberapa hasil positif palsu.
2. Kelas Neutral memiliki  precision
sebesar 0.33, recall sebesar 0.17, dan f1-score sebesar 0.22. Model tampaknya  kurang  efektif  dalam
mengenali  sentimen  netral,  dan terdapat banyak hasil negatif palsu.
3. Kelas Positive memiliki  precision sebesar 0.33, recall sebesar 0.25, dan
f1-score  sebesar  0.29.  Model  juga menunjukkan  kinerja  yang  rendah dalam mengenali sentimen positif. Meskipun  akurasi  keseluruhan  sebesar 55.32%  terlihat  cukup  baik,  analisis  lebih lanjut  mengungkapkan  beberapa  masalah dalam preprocessing atau pemrosesan data. Ini dapat  mempengaruhi  kinerja  model  dalam mengenali sentimen.  Selain itu, perbandingan distribusi  sentimen  juga  mencerminkan ketidakseimbangan  dalam  data,  dengan mayoritas  sentimen  adalah Negative (41%), sedangkan Positive (31%)  dan Netral (28%) lebih rendah. Ketidakseimbangan  dalam  distribusi sentimen dalam dataset ini dapat mempengaruhi  performa  model.  Terutama, model  tampaknya  kurang  efektif  dalam mengenali  sentimen  netral  dan  positif.  Oleh karena itu, penelitian ini menunjukkan bahwa diperlukan  perhatian  khusus  pada  tahap preprocessing
dan
penanganan ketidakseimbangan  data  untuk  meningkatkan akurasi klasifikasi sentimen. Diperlukan upaya lebih  lanjut  untuk  mengoptimalkan  model Naive  Bayes  dan  memperbaiki  kualitas  data agar  hasil  klasifikasi  sentimen  menjadi  lebih baik.

## DAFTAR PUSTAKA
[1] D.  G.  Nugroho,  Y.  H.  Chrisnanto,  A. Wahana. "Analisis Sentimen Pada Jasa
Ojek  Online  Menggunakan  Metode
Naive  Bayes."  Prosiding  Seminar
Nasional  Sains  dan  Teknologi  Ke-7, 2016, hal. 156-161.
[2] M. Furqan, Sriani, S. M. Sari. "Analisis Sentimen  Menggunakan  K-Nearest Neighbor Terhadap New Normal Masa Covid-19 di Indonesia." Techno COM, vol. 21, no. 1, Februari 2022, hal. 56-61.
[3] N.  Hendrastuty  Styawati,  A.  R.  Isnain, A. Y. Rahmadhani. "Analisis Sentimen Masyarakat  Terhadap  Program  Kartu Prakerja  Pada  Twitter  Dengan  Metode Support  Vector  Machine."  Jurnal
Informatika:  Jurnal  Pengembangan  IT (JPIT),  vol.  6,  no.  3,  September  2021, hal. 150-155.
[4] Latuny, W., Lawalata, V. O., Pailin, D. B., & Ohoirenan, R. (2021). Sentiment Analysis of Consumers for Determining the  Packaging  Features  of  Eucalyptus Oil  Products.  Jurnal  Ilmiah  Teknik Industri, 71-80.
[5] A.  Saleh.  "Implementasi  Metode
Klasifikasi Naïve Bayes Dalam Memprediksi  Besarnya  Penggunaan Listrik  Rumah  Tangga."  Citec  Journal, vol. 2, no. 3, Mei 2015, hal. 201-207.
[6] S.  Rayhan.  “Analisis  Sentimen  Publik Terhadap  BJORKA  Dalam  Insiden Kebocoran Data Komino Menggunakan Algoritma  Support  Vector  Machine.”
Repositori Universitas Dinamika, 2023, hal. 8-9.
[7] M.  I.  Aditama,  R.  I.  Pratama,  Kevin Hafizzana  Wiwaha  Untoro,  N.  A. Rakhmawati.  "Analisis  Klasifikasi
Sentimen  Pengguna  Media  Sosial
Twitter  Terhadap  Pengadaan  Vaksin COVID-19." JIEET (Jurnal Information Engineering and Educational Technology),  vol.  4,  no.  2,  2021,  hal. 90-92.
[8] N. M. A. J. Astari, D. G. H. Divayana, G.  Indrawan.  "Analisis  Sentimen
Dokumen  Twitter  Mengenai  Dampak Virus  Corona  Menggunakan  Metode Naive  Bayes  Classifier."  Jurnal  Sistem dan  Informatika,  vol.  15,  no.  1,  2020, hal. 22-29. DOI: 10.30864/jsi.v15i1.332
[9] D.  D.  Putri,  G.  F.  Nama,  W.  E.
Sulistiono.  "Analisis  Sentimen  Kinerja Dewan Perwakilan Rakyat (DPR) pada Twitter  Menggunakan  Metode  Naive Bayes  Classifier."  Jurnal  Informatika dan  Teknik  Elektro  Terapan  (JITET), vol.  10,  no.  1,  2022,  hal.  34-40.  DOI:
10.23960/jitet.v10i1.2262
[10] N.  L.  P.  C.  Savitri,  R.  A.  Rahman,  R.
Venyutzky, N. A. Rakhmawati. "Analisis Klasifikasi Sentimen Terhadap Sekolah Daring pada Twitter Menggunakan  Supervised  Machine
Learning."  Jurnal  Teknik  Informatika Dan  Sistem  Informasi,  vol.  7,  no.  1,
2021, hal.47-58.
[11] A.      P.      Putra,      A.  N.  Alivia,      M. Meilani,  N.  J.  Azzahra,  and      N.      A. Rakhmawati, “Dataset Sentimen Pengguna Twitter Terhadap Permainan
Shopee  Cocoki,”  Oktober.  2023,  doi:
10.5281/ZENODO.8396694.