## ANALISIS SENTIMEN PENGGUNA SHOPEE BERDASARKAN DATA TWEET DARI TWITTER MENGGUNAKAN METODE NAIVE BAYES CLASSIFIER
Nurul Al Maeni 1 , Nana Suarna 2 , Willy Prihartono 3 1,2 Teknik Informatika, STMIK IKMI Cirebon
3 Komputerisasi akuntansi, STMIK IKMI Cirebon Jalan Perjuangan No. 10 B Cirebon, Indonesia nurul.almaeni18@gmail.com

## ABSTRAK
Dalam  era  digital  saat  ini,  Twitter  (sekarang  dikenal  sebagai  "X")  menjadi  platform  yang  sangat  populer untuk berbagi pendapat dan pengalaman pengguna terhadap produk atau layanan, termasuk platform e-commerce seperti  Shopee.  Tujuan  penelitian  ini  adalah  untuk  menemukan  sentimen  positif  dan  negatif  dari  tweet  yang berkaitan  dengan  Shopee.  Untuk  menganalisis  sentimen,  penelitian  ini  menggunakan  Naive  Bayes  Classifier. Langkah pertama dalam penelitian ini adalah pengumpulan dataset tweet yang terkait dengan Shopee. Kemudian, data  tweet  dilakukan  pre-processing  untuk  membersihkan  dan  mengubah  formatnya  untuk  analisis  sentimen. Setelah pre-processing, dataset dibagi menjadi dua bagian: data pelatihan dan data pengujian. Model Naive Bayes Classifier dilatih dengan menghitung kemungkinan setiap fitur (atau kata) muncul dalam setiap kategori sentimen. Data pelatihan digunakan untuk melatih model ini. Hasil penelitian ini menunjukkan bahwa metode Naive Bayes Classifier  dengan  rasio  pembagian  data  5:5  dapat  mencapai  akurasi  sebesar  95,00%,  nilai  ketepatan  sebesar 47,50%, dan nilai recall sebesar 50.00%. Hasil ini menunjukkan bahwa metode pembagian data yang seimbang dapat  memberikan  hasil  analisis  sentimen  yang  lebih  akurat.  Perusahaan  dapat  lebih  memahami  kekuatan  dan kelemahan platform mereka dengan menganalisis sentimen tweet.
Kata kunci: Sentiment analysis, Twitter, Naive Bayes Classifier, Shopee, social media, e-commerce.

## 1. PENDAHULUAN
Era  digital  saat  ini  telah  melahirkan  berbagai platform  media  sosial  yang  memungkinkan  individu untuk  berbagi  pendapat,  pengalaman,  dan  sentimen mereka terhadap produk, layanan, atau merek tertentu. Twitter, yang baru-baru ini mengubah merek dan logo- nya menjadi "X", dengan logo baru berupa "X" putih pada latar belakang hitam, adalah salah satu platform yang sangat populer. Menurut Elon Musk, pemilik X (Formerly Twitter), postingan di platform ini sekarang disebut  "x's".  X,  yang  sebelumnya  dikenal  sebagai Twitter,  adalah  salah  satu  media  sosial  yang  paling banyak  digunakan,  dengan  jutaan  pengguna  aktif setiap hari.
Salah  satu  topik  yang  sering  dibahas  oleh pengguna X adalah pengalaman mereka berbelanja di platform  e-commerce  seperti  Shopee.  Pengguna berbagi pengalaman berbelanja mereka, menyampaikan  keluhan  atau  kepuasan  mereka terhadap  produk  atau  layanan  yang  diberikan  oleh Shopee.  Oleh  karena  itu,  analisis  sentimen  terhadap tweet yang berkaitan dengan Shopee menjadi penting, karena  dapat  memberikan  wawasan  berharga  tentang persepsi pengguna terhadap platform ini [1]
Namun, menganalisis sentimen pengguna Shopee  berdasarkan  data  tweet  bukanlah  tugas  yang mudah. Tantangan utama meliputi pemrosesan bahasa alami,  pengklasifikasian  sentimen  yang  seringkali bersifat  subyektif,  dan  kemampuan  Naive  Bayes Classifier  untuk  membedakan  sentimen  dalam  teks tweet yang seringkali singkat dan tidak terstruktur [2], meski  demikian,  analisis  sentimen  dapat  membantu perusahaan  menemukan  dan  memahami  sikap  atau
perasaan  yang  terkandung  dalam  komentar  atau  teks pengguna,  yang  pada  gilirannya  dapat  digunakan untuk memperbaiki layanan mereka dan meningkatkan kepuasan pengguna [3].
Metode  yang  digunakan  dalam  penelitian  ini adalah  Naïve  Bayes  Classifier,  yang  merupakan algoritma  klasifikasi  efisien  dan  berkinerja  baik, terutama  dalam  mengklasifikasikan  data  yang  besar dan  kompleks.  Proses  ini  dimulai  dengan  tokenisasi, yaitu  pemisahan  teks  menjadi  unit-unit  yang  lebih kecil  seperti  kata  atau  frase.  Selanjutnya,  fitur-fitur penting  diekstrak  dari  teks  yang  telah  ditokenisasi. Fitur  ini  bisa  berupa  unigram  dan  bigram,  atau kombinasi  kata-kata  yang  sering  muncul  bersama. Selain  itu,  teknik  seperti  Chi  Square  dan  Term Frequency  Inverse  Document  Frequency  (TF-IDF) juga  digunakan  untuk  memilih  dan  memberi  bobot pada  fitur-fitur  tersebut.  Setelah  fitur-fitur  penting berhasil  diekstrak  dan  diberi  bobot,  Naïve  Bayes Classifier  kemudian  digunakan  untuk  menghitung probabilitas  dan  mengklasifikasikan  sentimen  dalam teks tweet [4].
Penelitian  ini  bertujuan  untuk  menemukan sentimen  positif  dan  negatif  dari  tweet  yang  terkait dengan  pengalaman  pengguna  menggunakan  Shopee dan menentukan seberapa besar pengaruh Naïve Bayes Classifier  terhadap  akurasi  analisis  sentimen  Twitter yang  berkaitan  dengan  Shopee.  Metode  penelitian yang  digunakan  adalah  Naïve  Bayes  Classifier,  yang merupakan metode klasifikasi biner yang menggunakan aturan Bayesian dan prinsip probabilitas statistik sederhana untuk menganalisis perasaan yang terkandung dalam teks [1].
Penelitian  ini  dapat  memberikan  pemahaman lebih  dalam  tentang  bagaimana  pengguna  Shopee merespon  platform  tersebut  di  media  sosial,  dan mengungkap  pola-pola  sentimen  pengguna  yang signifikan. Hasil penelitian ini dapat menjadi wawasan berharga  bagi  praktisi  dan  perusahaan  e-commerce, membantu mereka memahami lebih baik kekuatan dan kelemahan  platform  mereka,  serta  mengidentifikasi area  yang  memerlukan  perbaikan  [5]. Selain  itu, penelitian  ini  juga  dapat  menjadi  sumber  inspirasi untuk  penelitian  lebih  lanjut  dalam  lingkup  analisis sentimen,  dan  berdampak  pada  perkembangan teknologi,  terutama  dalam  memantau  sentimen pelanggan secara real-time [6].

## 2. TINJAUAN PUSTAKA

## 2.1. Text Mining
Text mining adalah teknik pengolahan teks yang digunakan  untuk  mengkategorikan  dokumen  teks dalam jumlah besar sesuai dengan jenisnya. Proses ini melibatkan  beberapa  tahapan  seperti  preprocessing data yang terdiri dari case folding, character removal, tokenisasi,  dan  stopword  removal.  Selanjutnya, dilakukan  pembobotan  TF-IDF  pada  setiap  term  dan melakukan  splitting  dataset  untuk  pembagian  data training  dan  data  testing.  Metode  ini  memungkinkan informasi  yang  tersedia  dapat  terorganisasi  dengan baik  dan  mudah  diakses  sesuai  dengan  kebutuhan pengguna [7].

## 2.2. Analisis Sentimen
Analisis  sentimen  adalah  proses  menggunakan teknik  NLP,  teks  analitik,  dan  linguistik  komputasi untuk  mengidentifikasi  dan  mengekstrak  informasi subjektif dari sumber data guna menentukan pendapat publik  atau  sentimen  terhadap  topik  tertentu.  Dalam studi  untuk  mengevaluasi  tanggapan  masyarakat terhadap  kinerja  DPR  di  Twitter,  data  tweet dikumpulkan,  diproses  dan  dibersihkan  melalui tokenisasi,  pembersihan  karakter  tidak  penting, stopword  removal,  stemming/lemmatisasi,  sebelum diekstraksi fiturnya dengan metode Bag of Words atau TF-IDF. Kemudian Naive Bayes Classifier, algoritma pembelajaran  mesin  berbasis  teorema  Bayes  dan asumsi  independensi  fitur,  digunakan  untuk  melatih model  klasifikasi  sentimen  dan  menguji  serta mengevaluasi  akurasinya  dengan  dataset  pengujian. Hasil klasifikasi akhirnya dianalisis untuk mendapatkan  wawasan  tentang  sentimen  publik terhadap  topik  penelitian.  Penerapan  Naive  Bayes Classifier memungkinkan klasifikasi efektif opini atau emosi dalam teks besar [2].

## 2.3. Naive Bayes classifier
Algoritma  Naive  Bayes  merupakan  metode klasifikasi  yang  berlandaskan  pada  Teorema  Bayes dan  asumsi  independensi  antar  fitur,  yang  meskipun terkesan  sederhana,  terbukti  efektif  dalam  berbagai aplikasi  seperti  analisis  sentimen.  Proses  klasifikasi dimulai  dengan  pengumpulan  dan  pra-pemrosesan
data  untuk  menghasilkan  format  yang  dapat  diolah algoritma, diikuti dengan pembagian data menjadi set latih  dan  uji.  Selanjutnya,  model  dilatih  dengan menghitung  probabilitas  priori  kelas  dan  probabilitas kondisional  fitur-fitur  terhadap  kelas  tersebut. Klasifikasi dilakukan dengan menghitung probabilitas posterior kelas berdasarkan fitur-fitur yang diberikan[8]. Menggunakan rumus:

## 𝑃(𝐻|𝑋) = 𝑃(𝑋|𝐻)𝑃(𝐻)

## 𝑃(𝑋)
Keterangan:
X : Data dengan class yang belum diketahui H  :  Hipotesis  data  X  yang  merupakan  suatu  class spesifik
P(H|X) : Probabilitas hipotesis H berdasarkan kondisi X (posteriori probabilitas)
P(H) : Probabilitas hipotesis H (prior probabilitas) P(X|H)  :  Probabilitas  X  berdasarkan  kondisi  pada hipotesis H P(X) : Probabolitas X

## 2.4. Twitter
Twitter  adalah  platform  media  sosial  yang memungkinkan  pengguna  untuk  memposting  dan berinteraksi  dengan  pesan  yang  disebut  "tweet". Twitter telah menjadi platform penting untuk analisis sentimen  karena  memungkinkan  peneliti  untuk mengumpulkan dan menganalisis opini publik tentang berbagai  topik.  Dalam  beberapa  studi  yang  telah dilakukan,  Twitter  digunakan  sebagai  sumber  data untuk analisis sentimen tentang topik seperti kenaikan harga BBM dan pandemi COVID-19 [8][9].

## 2.5. Penelitian Terdahulu
Penelitian  oleh  Indira  Mahayani  dkk,  (2020) Penelitian ini menggunakan metode lexicon Based dan Naïve  Bayes  Classifier  untuk  menganalisis  sentimen pengguna terhadap fitur pembayaran ShopeePayLater pada  aplikasi  Shopee.  Penelitian  ini bertujuan  untuk menganalisis  sentimen  pengguna  Twitter terhadap fitur  ShopeePayLater  dari aplikasi  Shopee.  Metode yang  digunakan  adalah Lexicon  Based dan  Naïve Bayes Classifier. Hasil analisis menunjukkan bahwa sentimen  terhadap  ShopeePayLater  cenderung positif dengan tingkat keakurasian pengujian confusion matrix  sebesar 82,52%,  presisi  positif 89,54%,  presisi  negatif  47,06%,  dan recall  89,54% [10].
Studi selanjutnya oleh Wandani, (2021). Tujuan dari  penelitian  ini  adalah  untuk  mengetahui  seberapa akurat nilai sentimen pengguna Twitter terhadap acara Flash  Sale  dengan  menggunakan  tiga  algoritma klasifikasi:  Naive  Bayes  Classifier,  K-Nearest Neighbor,  dan  Random  Forest.  Adanya  manfaat  dan kelemahan dari acara Flash Sale di dunia e-commerce adalah  masalah  yang  dihadapi.  Akibatnya,  penelitian ini  bertujuan  untuk  menggunakan  analisis  sentimen untuk  mengetahui  tanggapan  pengguna  Twitter terhadap  Flash  Sale.  Hasil  penelitian  menunjukkan
bahwa  ketiga  algoritma  klasifikasi  tersebut  memiliki tingkat  akurasi  yang  berbeda  saat  digunakan. Berdasarkan  hasil  penelitian,  algoritma  Naïve  Bayes Classifier disarankan untuk pengklasifikasian sentiment penggulingan. Untuk kata kunci "flash sale shopee",  akurasi  yang  diperoleh  untuk  Naïve  Bayes Classifier  adalah  81,48%,  untuk  K-Nearest  Neighbor adalah  82,94%,  dan  untuk  Random  Forest  adalah 80,59%.  Penting  untuk  diingat  bahwa  penelitian  ini hanya  menggunakan  dua  sampel  data  dengan  kata kunci tertentu; oleh karena itu, hasilnya mungkin tidak berlaku  untuk  semua  peristiwa  Flash  Sale  e- commerce[11].
Penelitian  yang  dilakukan  oleh  Nova  Rosalina Siahaan  dkk,  (2023),  menggali  berbagai  tantangan yang  dihadapi  pengguna  saat  memanfaatkan  aplikasi media sosial populer, WhatsApp. Salah  satu  masalah menonjol  yang  muncul  saat  mengunggah  foto  atau video  untuk  cerita  adalah  terjadinya  resolusi  rendah dan  kerusakan  berikutnya.  Masalah  ini  diperburuk oleh munculnya pesan kesalahan, seperti pemberitahuan  yang  menyatakan  bahwa  WhatsApp telah  berhenti  berfungsi,  atau  bahkan  manifestasi pesan  kesalahan  alternatif.  Secara  alami,  kejadian seperti  itu  berfungsi  sebagai  sumber  frustrasi  bagi pengguna,  karena  memberlakukan  batasan  pada kemampuan mereka untuk sepenuhnya memanfaatkan fitur  aplikasi.  Untuk  memberikan  pengalaman pengguna  yang  benar-benar  memuaskan,  sangat penting  bagi  pengembang  aplikasi  WhatsApp  untuk memiliki  pemahaman  mendalam  tentang  keinginan dan emosi yang dialami oleh basis pengguna mereka. Hasil yang diperoleh dari studi penelitian menunjukkan  bahwa  metode  Naive  Bayes  Classifier terbukti  sangat  efektif  dalam  menganalisis  sentimen yang diungkapkan dalam ulasan aplikasi media sosial WhatsApp [12].

## 3. METODE PENELITIAN

## Gambar 1. Langkah-langkah KDD
Metodologi penelitian ini, menggunakan pendekatan yang dikenal sebagai Knowledge Discovery  in  Databases (KDD)  digunakan  untuk memfasilitasi analisis sentimen. Metode ini memerlukan  serangkaian  langkah  berurutan,  yang dieksekusi  dengan  cermat,  untuk  mengekstrak
informasi  yang  berarti  dari  data  yang  ada.  Langkah- langkah ini divisualisasikan pada Gambar 1

## 3.1. Pengumpulan Data
Pengumpulan  data  merupakan  langkah  awal dalam  proses  KDD,  di  mana  data  yang  relevan dikumpulkan  untuk  analisis  lebih  lanjut.  Dalam konteks  penelitian  Anda,  data  tweet  dikumpulkan menggunakan  RapidMiner  Studio,  sebuah  platform analisis  data  yang  menyediakan  antarmuka  grafis untuk  membangun  alur  kerja  analisis  data,  termasuk pengumpulan data dari media sosial seperti Twitter.

## 3.2. Preprocessing
Preprocessing  adalah  proses  penting  untuk membersihkan  dan  menyiapkan  data  teks  mentah menjadi  format  yang  lebih  sesuai  untuk  analisis. Langkah  ini  melibatkan  penghilangan  karakter  tidak perlu, penanganan stop words, dan koreksi kesalahan ejaan  atau  pemformatan  yang  tidak  konsisten. Tujuannya adalah untuk meningkatkan keakuratan dan efektivitas analisis dengan memfokuskan pada konten teks yang bermakna.

## 3.3. Transformasi
Transformasi  data  teks  menjadi  representasi numerik  adalah  langkah  penting  selanjutnya.  Proses ini memungkinkan data teks yang telah diproses untuk dianalisis menggunakan metode statistik atau machine learning. Representasi numerik ini sangat cocok untuk analisis lebih lanjut, termasuk klasifikasi teks.

## 3.4. Naive Bayes Classifier
Naive Bayes Classifier adalah metode klasifikasi dokumen  yang  populer  karena  kemudahannya, kecepatan,  dan  akurasi  yang  tinggi.  Metode  ini menggunakan teori probabilitas untuk mengklasifikasikan  teks  berdasarkan  sifat  kata  yang muncul  dalam  dokumen.  Keunggulan  Naive  Bayes terletak pada kemampuannya untuk membuat prediksi berdasarkan data sebelumnya, menjadikannya pilihan yang efektif untuk klasifikasi dokumen.

## 3.5. Evaluasi
Evaluasi  adalah  proses  menafsirkan  hasil  yang diperoleh dari analisis untuk memastikan bahwa hasil tersebut selaras dengan tujuan awal penelitian. Dalam konteks  analisis  sentimen,  evaluasi  melibatkan penilaian komprehensif tentang signifikansi pola yang diidentifikasi  dan  pemahaman  mendalam  tentang implikasinya.

## 4. HASIL DAN PEMBAHASAN
Tahap  ini  akan  membahas  dan  menjelaskan proses  hasil  penelitian  menggunakan  Naïve  Bayes Classifier,  yang  digunakan  untuk  mengklasifikasikan dataset yang diambil dengan menggunakan RapidMiner Studio.

## 4.1. Pengumpulan Data
Data  yang  berhasil  diambil  kemudian  disimpan menggunakan  operator  'Write  CSV'  di  RapidMiner, yang  memfasilitasi  penyimpanan  data  dalam  format CSV  untuk  analisis  lebih  lanjut.  Dalam  konteks penelitian  ini,  fokus  utama  adalah  pada  atribut  teks dari  tweet  yang  dikumpulkan.  Dari  total  data  yang diperoleh,  sebagian  telah  diberi  label  sentimen  dan akan digunakan sebagai data latih, sementara sisanya yang  belum  diberi  label  akan  dijadikan  data  uji. Melalui teknik pengumpulan data ini, peneliti berhasil mengumpulkan  opini  publik  yang  ditujukan  kepada akun  @ShopeeID  dan  @ShopeeCare  dalam  Bahasa Indonesia,  sebelum  tanggal  1  September  2023.  Data ini  mencakup  tweet  dan  retweet  terbaru,  yang  akan digunakan  untuk  analisis  sentimen  dan  memahami persepsi publik terhadap layanan yang diberikan oleh Shopee.
Gambar 2. Hasil Pengambilan Data

## 4.2. Preprocessing
Langkah  awal  pada  tahap  ini  adalah  melakukan proses  pembersihan  data  atau  data  cleaning  dalam penelitian  ini  melibatkan  penggunaan  operator "Replace" dan "Trim" di RapidMiner Studio. Operator "Replace"  digunakan  untuk  menghapus  elemen- elemen  tertentu  dari  teks,  termasuk  karakter  khusus, tanda baca, dan simbol yang tidak relevan. Misalnya, untuk  menghapus  retweet  (RT),  URL,  hashtag, mention,  dan  simbol,  operator  "Replace"  digunakan dengan  parameter  yang  sesuai.  Parameter  "replace what" diisi dengan elemen yang ingin dihapus ("RT", "https.*?",  "#.*?",  "@.*?",  dan  "[!~?.,"':;@*%$&()- ]"), dan parameter "replace by" dibiarkan kosong. Ini berarti  elemen-elemen  tersebut  digantikan  dengan tidak  ada  apa-apa,  atau  dengan  kata  lain,  dihapus. Selanjutnya,  operator  "Trim"  digunakan  untuk menghapus spasi ekstra di awal dan akhir string. Spasi ekstra  ini  sering  muncul  karena  kesalahan  input  atau formatting, dan penggunaan operator "Trim" membantu membuat data menjadi lebih konsisten dan rapi.  Dengan  demikian,  proses  pembersihan  data  ini membantu  mempersiapkan  data  untuk  analisis  lebih lanjut  dengan  menghilangkan  elemen-elemen  yang tidak relevan dan  memastikan konsistensi data. Hasil dari proses ini dapat dilihat pada Tabel 1.

## Table 1. Hasil Cleanung Data
Text Sebelum
Text Sesudah @pramsthr @ShopeeID @ShopeeCare Hahaha ay???makasih loh Hahaha aymakasih loh @ShopeeCare bales dm ku dong min bales dm ku dong min
Dari 1000 record data hasil crawling, data hanya tersisa  531  record  setelah  dilakukan  cleansing  data, 531 data tersebut akan diberi label positif, negatif dan netal secara manual.
Gambar 3. Hasil Labeling
Kemudian tahap selanjutnya melakukan tokenisasi  menggunakan  operator  Tokenize  yang berfungsi  unuk  memisahkan  satu  kata  dengan  kata lainnya,  setiap  kata  akan  dipisahkan  menjadi  atribut tersendiri.
Table 2. Hasil Tokenisasi Text Sesudah Tokenize “dan” “di” “Yuk” “ini” “lambat” “tingkatkan” “langsung” “udah” “jam” “bawah” “kalau” “JAWAB” “ShopeeID”
Tahap  selanjutnya  dalam  proses  ini  adalah menggunakan  Operator  Transform  Cases  untuk melakukan  case  folding.  Fungsi  dari  operator  ini adalah  untuk  mengubah  semua  teks  menjadi  huruf kecil, yang berarti menyetarakan ukuran font menjadi lowercase.
Table 3. Hasil Case Folding\
Sebelum Sesudah
“dan” “di” “Yuk” “ini” “lambat”, “tingkatkan” “langsung” “udah” “jam” “bawah” “kalau” “JAWAB” “ShopeeID”
“dan” “di” “yuk” “ini” “lambat” “tingkatkan” “langsung” “udah” “jam” “bawah” “kalau” “jawab” “shopeeid”
Proses  berikutnya  setelah  case  folding,  peneliti melakukan  stopword  removal,  yaitu  penghapusan kata-kata  umum  yang  sering  muncul  dan  kurang informatif, seperti kata hubung "yang", "dan", "atau", dan lainnya. Proses ini dilakukan dengan menggunakan operator Filter Stopwords (Dictionary). Sebagai  hasilnya,  atribut  seperti  "dan",  "di",  "yuk", "bawah", dan "kalau" akan dihilangkan.
Table 4. Hasil Stop words Sebelum Sesudah “dan” “di” “yuk” “ini” “lambat” “tingkatkan” “langsung” “udah” “jam”
“bawah” “kalau”
“jawab” “shopeeid”
“lambat” “tingkatkan”
“langsung” “udah” “jam”
“shopeeid”

## 4.3. Transformasi
Setelah  tahap  preprocessing,  data  akan  diproses lebih  lanjut  menggunakan  Metode  TF-IDF  (Term Frequency-Inverse  Document  Frequency)  digunakan untuk  mengukur  pentingnya  kata  dalam  dokumen, seperti  tweet  dan  retweet,  dengan  menghitung frekuensi  kemunculan  kata  (Term  Frequency)  dan memberikan  bobot  lebih  tinggi  pada  kata-kata  yang jarang muncul di seluruh kumpulan dokumen (Inverse Document  Frequency).  Term  Frequency  dihitung dengan  membagi  jumlah  kemunculan  kata  dalam dokumen  dengan  jumlah  total  kata  dalam  dokumen, sementara  Inverse  Document  Frequency  dihitung dengan  logaritma  dari  jumlah  total  dokumen  dibagi dengan  jumlah  dokumen  yang  mengandung  kata tersebut.  Bobot  TF-IDF  untuk  kata  dalam  dokumen dihitung dengan mengalikan nilai TF dengan nilai IDF, memungkinkan  identifikasi  kata-kata  yang  paling relevan  berdasarkan  frekuensi  dan  keunikan  mereka dalam  korpus.  Metode  ini  tidak  hanya  penting  untuk analisis  teks  tetapi  juga  digunakan  dalam  deteksi kemiripan  dokumen,  klasifikasi  topik,  dan  sistem rekomendasi.
Gambar 4. Hasil TF-IDF

## 4.4. Data Mining
Dalam  proses  pembuatan  model  klasifikasi sentimen  menggunakan  Naïve  Bayes  classifier,  data latih  yang  telah  diproses  terlebih  dahulu  dijadikan bahan pembelajaran untuk algoritma dalam mengidentifikasi  pola-pola  sentimen.  Model  yang dihasilkan  kemudian  disimpan  dengan  menggunakan operator  "Store".  Untuk  evaluasi  model,  data  yang belum diberi label sentimen diisolasi melalui operator "Filter  Examples"  dengan  parameter  "is  missing", yang menghasilkan sejumlah 171 data uji. Proses yang sama  diterapkan  pada  data  uji  untuk  memastikan konsistensi  atribut  dengan  data  latih,  termasuk penggunaan  operator  "Union"  untuk  penyatuan  dan operator  "Replace  Missing  Values"  untuk  mengisi
nilai  yang  hilang  dengan  nol.  Model  yang  telah disimpan  selanjutnya  diaplikasikan  pada  data  uji  di RapidMiner  Studio  menggunakan  operator  "Apply Model",  yang  menghasilkan  klasifikasi  sentimen. Hasil ini memberikan gambaran tentang kinerja model dan  memfasilitasi  pemahaman  otomatis  terhadap sentimen yang terkandung dalam tweet.
Gambar 5. Hasil Apply Model
Selanjutnya digunakan operator split data untuk membagi  data  data  latih  dan  data  uji  yang  akan diklasifikasikan menggunakan Naive Bayes.Penelitian ini  melibatkan dua percobaan dengan rasio data latih dan  data  uji  yang  berbeda.  Percobaan  pertama menggunakan rasio 80% data latih dan 20% data uji, menghasilkan akurasi 70%,
Gambar 6. Hasil Akurasi Percobaan Pertama Nilai recall 50%.
Gambar 7. Hasil Recal Percobaan Pertama dan precision 40%.
Gambar 8. Hasil Recal Percobaan Pertama
Pada  percobaan  kedua  menggunakan  data  latih 50% dan data uji 50%, adapun hasil percobaan dengan ratio 5:5 menghasilkan accuracy sebesar 95.00%.
Gambar 9. Akurasi Percobaan Kedua recall sebesar 50.00%
Gambar 10. Recall Percobaan Kedua dan precision sebesar 47.50%
Gambar 11. Presisi Percobaan Kedua
Berdasarkan  hasil  dari  2  kali  percobaan  hasil accuracy  menggunakan  naïve  bayes  dengan  ratio  5:5 memiliki hasil accuracy yang lebih besar dibandingkan ratio 8:2. Maka dari itu ratio 5:5 akan digunakan untuk evaluasi lebih lanjut.

## 4.5. Evaluasi
Dalam  proses  evaluasi  model  klasifikasi sentimen  menggunakan  algoritma  Naïve  Bayes, operator  Cross  Validation  digunakan  untuk  menguji kinerja model. Di dalam subprocess Cross Validation, model  Naïve  Bayes  dihubungkan  dengan  operator Apply Model untuk menerapkan model tersebut pada data  yang  telah  disisihkan  untuk  pengujian,  dan kemudian dengan operator Performance (Classification) untuk mengukur kinerjanya.
Table 5. Hasil Evaluasi Ratio 50:50 True Negatif (FP) True Netral (FN) class precision pred. Negatif (TP) 3 0 100.00% pred. Netral (TN) 1 7 87.50% class recall 75.00% 100.00%
Hasil  evaluasi  ditampilkan  dalam  bentuk confusion matrix, yang mencakup nilai True Negative (FP),  True  Neutral  (FN),  class  precision,  predicted Negative  (TP),  predicted  Neutral  (TN),  dan  class recall.  Dari  confusion  matrix  yang  diberikan,  kita dapat  melihat  bahwa  untuk  prediksi  negatif,  model memiliki  precision  100%  dengan  3  kasus  yang diklasifikasikan dengan benar sebagai negatif (TP) dan tidak  ada  kasus  netral  yang  salah  diklasifikasikan sebagai  negatif  (FN).  Untuk  prediksi  netral,  model memiliki  precision  87.50%  dengan  7  kasus  yang diklasifikasikan dengan benar sebagai netral (TN) dan 1  kasus  negatif  yang  salah  diklasifikasikan  sebagai netral (FP). Recall untuk kelas negatif adalah 75% dan untuk kelas netral adalah 100%, menunjukkan bahwa model  tersebut  sangat  baik  dalam  mengidentifikasi kasus netral tetapi kurang efektif dalam mengidentifikasi kasus negatif.
Adapun  perhitungan  menggunakan  confusion matrix secara manual menggunakan rumus berikut:
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = (𝑇𝑃 + 𝑇𝑁) (𝑇𝑃 + 𝑇𝑁 + 𝐹𝑃 + 𝐹𝑁) = (7 + 3)
(7 + 3 + 1 + 0)
= 10
11 =  0,90 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = (𝑇𝑃) (𝑇𝑃+𝐹𝑃) = (7) (7+1) = 7 8= 0,87 𝑅𝑒𝑐𝑎𝑙𝑙 = (𝑇𝑃) (𝑇𝑃 + 𝐹𝑁) = 7 7 =   1 5. KESIMPULAN DAN SARAN
Berdasarkan penelitian analisis sentimen terhadap komentar twitter yang ditujukan kepada akun @ShopeeCare dan @ShopeeID menggunakan algoritma  Naïve  Bayes  dan  pengujian  menggunakan RapidMiner  Studio,  Penelitian  ini  menunjukkan bahwa  pembagian  data  uji  dan  data  latih  yang seimbang memiliki pengaruh yang signifikan terhadap besar  atau  kecilnya  nilai  accuracy.  Dalam  penelitian dengan ratio 8:2, nilai accuracy sebesar 70.00%, nilai precision  sebesar  47.50%  dan  nilai  recall  sebesar 50.00%.  Sementara  itu,  penelitian  dengan  ratio  5:5 menunjukkan peningkatan accuracy menjadi 95.00%, dengan  nilai  precision  dan  recall  yang  sama.  Hasil penelitian ini menunjukkan bahwa distribusi data yang seimbang  dapat  memastikan  bahwa  model  memiliki informasi  yang  cukup  untuk  melatih  dan  mengenali kedua  kelas  sentimen  dengan  baik,  sedangkan ketidakseimbangan  dapat  menyebabkan  model  lebih cenderung  untuk  memprediksi  kelas  mayoritas,  yang dapat mengakibatkan kinerja yang kurang baik dalam mengenali kelas minoritas.
Peneliti  menyarankan  beberapa  langkah  untuk penelitian  selanjutnya  agar  hasil  yang  didapat  lebih maksimal., peneliti dapat mempertimbangkan penggunaan  aplikasi  olah  data  yang  berbeda,  seperti Google Colaboratory, yang memungkinkan menawarkan fitur dan fungsi yang berbeda. Selain itu, peneliti  juga  dapat  mempertimbangkan  penerapan algoritma yang berbeda, seperti SVM, Random Forest, K-Nearest  Neighbor,  Decision  Tree,  atau  Deep Learning,  yang  mungkin  menawarkan  hasil  yang berbeda atau lebih baik.

## DAFTAR PUSTAKA
[1]  A.  P.  Putra,  A.  N.  Alivia,  M.  Meilani,  And  N. Jasmine,  “Analisis  Sentimen  Warga  Twitter Terhadap Game Shopee Cocoki Dengan Metode Naive Bayes,” J. Ilm. Inform. Komput. , Vol. 28, Pp. 137–148, 2023.
[2]  D. D. Putri, G. F. Nama, And W. E. Sulistiono, “Analisis  Sentimen  Kinerja  Dewan  Perwakilan Rakyat  (  Dpr  )  Pada  Twitter  Menggunakan Metode Naive Bayes Classifier,” J. Inform. Dan Tek.  Elektro  Terap. ,  Vol.  10, No.  1,  Pp. 34–40, 2022.
[3]  D.  Normawati,  D.  Normawati,  And  S.  A. Prayogi,  “Implementasi  Naïve  Bayes  Classifier Dan  Confusion  Matrix  Pada  Analisis  Sentimen
Berbasis Teks Pada Twitter,” J-Sakti , Vol. 5, No. 2, Pp. 697–711, 2021.
[4]  B.  N.  Pikir,  M.  K.  Anam,  H.  Asnal,  And  T.  A. Fitri,  “Sentiment  Analysis  Of  Technology Utilization  By  Pekanbaru  City  Government Based  On  Community  Interaction  In  Social Media,” Jaia – J. Artif. Intell. Appl. , Vol. 2, No. 1, Pp. 32–40, 2021.
[5]  N.  Legiawati,  T.  I.  Hermanto,  And  Y.  R. Ramadhan, “Analisis Sentimen Opini Pengguna Twitter  Terhadap  Perusahaan  Jasa  Ekspedisi Menggunakan  Algoritma  Naïve  Bayes  Berbasis Pso,” Jurikom  (Jurnal  Ris.  Komputer) ,  Vol.  9, No. 4, Pp. 930–937, 2022, Doi: 10.30865/Jurikom.V9i4.4629.
[6]  W. Yulita, E. D. Nugroho,  And M. H.  Algifari, “Analisis Sentimen Terhadap Opini Masyarakat Tentang  Vaksin  Covid  -  19  Menggunakan Algoritma Naïve Bayes Classifier,” Jdmsi ,  Vol. 2, No. 2, Pp. 1–9, 2021.
[7]  E.  Fitri,  F.  R.  Lumbanraja,  And  Ardiansyah, “Klasifikasi Abstrak Jurnal
Komputasi Menggunakan  Metode  Text  Mining  Dan
Algoritma  Support  Vector  Machine,” J.
Pepadun , Vol. 1, No. 1, Pp. 83–88, 2020.
[8]  R.  Ishak  And  S.  S.  Panna,  “Analisis  Sentimen Opini  Publik  Pengguna  Twitter  Terhadap Kenaikan  Harga  Bbm  Menggunakan  Algoritma Naïve Bayes,” J. Ilm. Ilmu Komput. , Vol. 2, No. 1, Pp. 26–33, 2023.
[9]  L. Madu, “Twitter Diplomacy @ Kemlu _ Ri : A Case Study Of Bali Democracy Forum,” J. Hub. Int. , Vol. 10, No. 1, 2021.
[10]  I.  Mahayani Et  Al. ,  “Analisis  Sentimen  Twitter Terhadap  Pembayaran  (Shopee)  Menggunakan Metode Lexicon Based Dan Shopeepaylater Pada Aplikasi Belanja Online Naïve Bayes Classi?Er,”
J. Ilm. Komputasi , Vol. 19, No. 4, Pp. 545–558, 2020.
[11]  A.  Wandani,  “Sentimen  Analisis  Pengguna Twitter  Pada  Event  Flash  Sale  Menggunakan Algoritma  K-Nn  ,  Random  Forest  ,  Dan  Naive Bayes,” J.  Sains  Komput.  Inform. ,  Vol.  5,  No. September, Pp. 651–665, 2021.
[12]  N.  R.  Siahaan Et  Al. , “Whatsapp Menggunakan Metode  Naive  Bayes  Classifier,” J.  Ilm.  Betrik , Vol. 14, No. 02, Pp. 343–354, 2023.