## Penerapan Metode Naïve Bayes Classifier Pada Klasifikasi Sentimen Terhadap Anies Baswedan Sebagai Bakal Calon Presiden 2024
Mar`iy Romizzidi Amly * , Yusra, Muhammad Fikry
Fakultas Sains dan Teknologi, Program Studi Teknik Informatika, Universitas Islam Negeri Sultan Syarif Kasim, Pekanbaru, Indonesia
Email: 1,* 11950111714@students.uin-suska.ac.id, 2 yusra@uin-suska.ac.id, 3 muhammad.fikry@uin-suska.ac.id Email Penulis Korespondensi: 11950111714@students.uin-suska.ac.id Submitted: 28/05/2023 ; Accepted: 30/06/2023 ; Published: 30/06/2023
Abstrak −Anies Baswedan menjadi tokoh politik yang telah dinyatakan sebagai bakal calon presiden 2024. Opini masyarakat merupakan  sumber  informasi  yang  berharga  untuk  menganalisis  sentimen  terhadap  Anies  Baswedan  sebagai  bakal  calon presiden 2024. Terbatasnya tenaga manusia, ketidakstabilan emosi, dan  lamanya waktu yang dibutuhkan menjadi  kesulitan dalam  menganalisis  sentimen  terhadap  data  yang  berjumlah  besar  secara  manual.  Machine  learning  dimanfaatkan  untuk memberikan  kemudahan  dalam  klasifikasi  sentimen.    Penelitian  ini  menerapkan  metode  Naïve  Bayes  Classifier  dalam klasifikasi sentimen terhadap Anies Baswedan sebagai bakal calon presiden 2024. Penelitian ini bertujuan untuk mengetahui kinerja metode Naïve Bayes Classifier pada klasifikasi sentimen terhadap Anies Baswedan sebagai bakal calon presiden 2024. Dataset yang digunakan sebanyak 3.400 yang dilabelkan secara crowdsourcing menghasilkan 2.130 positif (62,65%) dan 1.270 negatif  (37,35%).  Pengujian  dilakukan  menggunakan  metode  validasi  silang  10-fold  cross-validation  dan  5-fold  cross- validation  yang  masing-masing  terdiri  dari  dua  skenario  percobaan,  yaitu  menggunakan  dataset  yang  tidak  seimbang  dan menggunakan  dataset  yang  seimbang.  Metode Naive  Bayes  Classifier  menghasilkan  model  terbaik  pada  pengujian  10-fold cross-validation dengan akurasi sebesar 89,76%, presisi sebesar 89,92%, recall sebesar 89,76%, dan f1-score sebesar 89,75% pada fold keenam dengan menentukan nilai threshold sebesar 13 pada percobaan dengan menggunakan dataset seimbang yang terdiri dari 1.270 positif dan 1.270 negatif dengan rata-rata tingkat akurasi sebesar 79,88%.
Kata Kunci: Klasifikasi; Sentimen; Naïve Bayes Classifier; K-Fold Cross-Validation; Bakal Calon Presiden
Abstract −Anies Baswedan is a political figure who has been declared as a 2024 presidential candidate.  Public opinion is a valuable source of information to analyze sentiment towards Anies Baswedan as a 2024 presidential candidate. Limited human power, emotional instability, and the length of time required are difficulties in analyzing sentiment on large amounts of data manually. Machine learning is utilized to provide convenience in sentiment classification.  This research applies the Naïve Bayes Classifier method in the classification of sentiment towards Anies Baswedan as a 2024 presidential candidate. This study aims  to  determine  the  performance  of  the  Naïve  Bayes  Classifier  method  in  the  classification  of  sentiment  towards  Anies Baswedan as a 2024 presidential candidate. The dataset used was 3,400 which were labeled by crowdsourcing resulting in 2,130  positive  (62.65%)  and 1,270  negative  (37.35%).  Tests  were  conducted using  the 10-fold  cross-validation  and  5-fold cross-validation  methods,  each  consisting  of  two  experimental  scenarios,  namely  using  an  unbalanced  dataset  and  using  a balanced  dataset.  The  Naive  Bayes  Classifier  method produces  the  best  model  in  the  10-fold  cross-validation  test  with  an accuracy of 89.76%, precision of 89.92%, recall of 89.76%, and f1-score of 89.75% on the sixth fold by determining a threshold value  of  13  in  an  experiment  using  a  balanced  dataset  consisting  of  1,270  positives  and  1,270  negatives  with  an  average accuracy rate of 79.88%.
Keywords : Classification; Sentiment; Naïve Bayes Classifier; K-Fold Cross-Validation; Presidential Candidate

## 1. PENDAHULUAN
Media sosial  adalah alat untuk  berbagi  informasi dan  mengungkapkan pendapat  tentang berbagai  topik dengan masyarakat. Media sosial memungkinkan komunikasi terbuka dengan latar belakang yang berbeda, karena dapat memiliki dampak besar pada perubahan negatif dan positif [1]. Pada Januari 2023, menunjukkan bahwa sebanyak 167 juta jiwa di Indonesia merupakan pengguna aktif media sosial atau 60,4% dari jumlah penduduk Indonesia [2].  Twitter  berada  diurutan  ke-enam  menjadi  media  sosial  yang  sering  digunakan  di  Indonesia  dalam  periode Januari  2023  [3].  Hal  ini  mendorong  semakin  banyak  pengguna  untuk  berbagi  dan  mengunggah  produk  dan layanan yang mereka gunakan, serta menyuarakan  opini mereka tentang masalah agama dan politik  [4]. Tokoh politik yang bakal maju menjadi bakal calon presiden 2024 merupakan perbincangan tentang masalah politik di Twitter.  Twitter  menjadi  media  yang  paling  banyak  digunakan  untuk  menyuarakan  opini  terhadap topik  tokoh politik yang bakal maju menjadi calon presiden 2024 [5]. Tokoh politik yang menjadi bakal calon presiden akan mempertimbangkan popularitas mereka berdasarkan opini masyarakat [6].
Anies Baswedan menjadi tokoh politik bakal calon presiden 2024 yang dideklarasikan oleh partai Nasional Demokrat pada tanggal 3 Oktober 2022. Pada deklarasi tersebut, masyarakat dapat menyuarakan pendapat mereka dengan mengunggah tweet atau cuitan pada media sosial Twitter tentang Anies Baswedan. Pada November 2022, Anies Baswedan menjadi nama tokoh politik yang paling banyak diperbincangkan di media sosial dengan 745.501 mentions [5]. Opini masyarakat merupakan sumber informasi yang berharga. Opini tersebut dapat dimanfaatkan untuk  menganalisis  sentimen  terhadap  Anies  Baswedan  sebagai  bakal  calon  presiden  2024.  Analisis  sentimen dilakukan untuk menentukan apakah pendapat atau tanggapan pada suatu topik mengarah pada sentimen negatif atau positif [7].
Menganalisis  sentimen  sulit  dilakukan  secara  manual  menggunakan  tenaga  manusia  karena  banyaknya jumlah  opini.  Hal  ini  disebabkan  oleh  keterbatasan  tenaga  manusia,  ketidakstabilan  emosi,  dan  membutuhkan waktu yang lama. Pendekatan yang dapat digunakan adalah menggunakan ilmu Natural Language Processing dan machine  learning.  Natural  Language  Processing  adalah  bidang  ilmu  yang  berkaitan  dengan  pemahaman  dan pengolahan bahasa manusia oleh komputer. Salah satu tugas Natural Language Processing yang dapat digunakan adalah  klasifikasi  sentimen.  Klasifikasi  sentimen  pada  bidang  ilmu  Natural  Language  Processing  adalah membangun  mesin  yang  dapat  mengenali  dan  mengekstrak  opini  dalam  teks  [8].  Sedangkan  machine  learning berfokus  pada  pengembangan  algoritma  yang  memungkinkan  program  komputer  belajar  dari  pengalaman sebelumnya  [9].  Machine  learning  dimanfaatkan  untuk  membantu  manusia  karena  machine  learning  tidak melibatkan  emosi  namun  didasarkan  pada  data  yang  telah  diolah,  kemudian  data  tersebut  diekstraksi pengetahuannya untuk mendapatkan hasil yang tepat [10]. Metode Naive Bayes Classifier merupakan algoritma machine  learning  yang  dapat  digunakan  dalam  klasifikasi  sentimen.  Metode  Naive  Bayes  Classifier mengklasifikasikan teks ke dalam kategori tertentu berdasarkan kata-kata yang terdapat dalam teks [11]. Kelebihan Naive Bayes Classifier yaitu sederhana, cepat dan menghasilkan akurasi yang tinggi [12].
Penelitian terkait penerapan Naïve Bayes Classifier terhadap tokoh politik dalam klasifikasi sentimen telah pernah dilakukan sebelumnya. Pada penelitian Soer dan Sutrisno (2022), Naïve Bayes Classifier diterapkan pada analisis sentimen terhadap Ridwan Kamil sebagai Gubernur Jawa Barat yang memperoleh akurasi sebesar 84,38% [4].  Penelitian  lainnya  oleh  Mahardhika  dan  Zuliarso  (2018)  yang  melakukan  analisis  sentimen  terhadap  Joko Widodo menggunakan Naïve Bayes Classifier menghasilkan akurasi sebesar 97% [13]. Pada penelitian Fatchan dan  Sugeng  (2021),  melakukan  analisis  terhadap  Tri  Rismaharini  sebagai  Menteri  Sosial  dengan  menerapkan Algoritma  Naïve  Bayes  memperoleh  akurasi  90,33%,  presisi  sebesar  77,7%  dan  recall  sebesar  99,9%  [14]. Beberapa penelitian juga membandingkan metode Naïve Bayes Classifier dengan metode lainnya dalam klasifikasi sentimen.  Pada  penelitian  Widowati  dan  Sadikin  (2020),  membandingkan  Naïve  Bayes  Classifier  dan  Support Vector  Machine  menghasilkan  akurasi  Naïve  Bayes  Classifier  sebesar  91.48%,  sedangkan  Support  Vector Machine  sebesar  85.47%  [15].  Pada  penelitian  Permana  dan  Noviyani  (2022),  membandingkan  metode  Naïve Bayes  Classifier  dan  metode  K-Nearest  Neighbor  yang  menghasilkan  akurasi  metode  Naïve  Bayes  Classifier sebesar 77,62% sedangkan metode K-Nearest Neighbor memperoleh akurasi sebesar 76,43% [16].
Berdasarkan pemaparan diatas, penelitian ini menerapkan metode Naïve Bayes Classifier pada klasifikasi sentimen terhadap Anies Baswedan sebagai bakal calon presiden 2024. Perbedaan penelitian ini dengan penelitian terdahulu  adalah  data  penelitian yang digunakan merupakan tweet  terkait Anies Baswedan sebagai  bakal  calon presiden 2024. Penelitian ini bertujuan untuk mengetahui kinerja metode Naïve Bayes Classifier pada klasifikasi sentimen  terhadap  Anies  Baswedan  sebagai  bakal  calon  presiden  2024  dengan  menggunakan  dataset  sebanyak 3.400 tweet yang dikategorikan menjadi positif dan negatif.

## 2. METODOLOGI PENELITIAN

## 2.1 Tahapan Penelitian
Penelitian ini merupakan jenis penelitian eksperimen yang melibatkan beberapa tahapan. Tahapan pada penelitian disajikan pada Gambar 1.
Gambar 1 menyajikan tahapan penelitian yang disusun secara sistematis dan terstruktur  dalam mencapai tujuan penelitian. Langkah awal yang dilakukan adalah mengumpulkan data terkait objek penelitian berupa tweet.
Selanjutnya, data dilakukan pelabelan menjadi dua kelas, yaitu positif dan negatif. Tahap selanjutnya dilakukan text preprocessing guna menghasilkan data yang lebih terstruktur. Langkah selanjutnya adalah melakukan k-fold cross-validation. Pada tahap k-fold cross-validation mencakup proses pembagian data menjadi data latih dan data uji, pembobotan fitur TF-IDF, seleksi fitur threshold, dan klasifikasi menggunakan metode Naïve Bayes Classifier. Tahap terakhir adalah mengevaluasi terhadap model yang dihasilkan, sehingga memperoleh kinerja dari metode Naïve Bayes Classifier dalam klasifikasi sentimen terhadap Anies Baswedan sebagai bakal calon presiden 2024.

## 2.2 Pengumpulan Data
Pengumpulan data adalah langkah pertama untuk melakukan analisis sentimen. Data dikumpulkan menggunakan teknik  crawling  dengan  menggunakan  bahasa  pemrograman  Python  dan  bantuan  Twitter  API.  Dataset  yang dikumpulkan merupakan tweet berbahasa Indonesia yang mengandung kata kunci yang berkaitan dengan Anies Baswedan sebagai bakal calon presiden 2024.

## 2.3 Pelabelan
Pelabelan  data  dilakukan  dengan  mengkategorikan  menjadi  dua  kelas,  yaitu  positif  dan  negatif  secara  manual. Data  dilabelkan  menggunakan  teknik  crowdsourcing,  yaitu  melibatkan  annotator  lebih  dari  satu  orang.  Hal  ini bertujuan untuk menghindari unsur subjektivitas pada label sentimen yang diberikan [17]. Metode majority voting digunakan  untuk  mengambil  hasil  akhir  dari  pelabelan.  Konsep  majority  voting  adalah  mengambil  label  yang memperoleh  suara  terbanyak.  Pelabelan  dilakukan  agar  model  dapat  mengenali  teks  berdasarkan  label  yang diberikan.  Dalam  penelitian  ini,  dilakukan  pengukuran  tingkat  kesepakatan  antara  annotator  dalam  proses pelabelan  menggunakan  metode  yang  dikenal  sebagai  Fleiss  Kappa.  Fleiss  Kappa  digunakan  untuk  mengukur keandalan  antara  annotator  dalam  memberikan  label.  Tingkat  kesepakatan  tersebut  dihitung  menggunakan persamaan (1).
Kappa = p o −p e 1−p e (1)
Proporsi  kesepakatan yang diamati pada annotator (p o ) dapat dihitung menggunakan persamaan (2) dan proporsi kesepakatan yang diharapkan ( p e ) dapat dihitung menggunakan persamaan (3).
p o = 1 n ∑ ∑ x ij 2 k j=1 −m m 2 −m n i=1 (2)
p e = ∑ q j 2 k j=1 , dimana p j = 1 nm ∑ x ij n i=1 (3)
Keterangan: p o : Proporsi kesepakatan annotator yang diamati p e : Proporsi kesepakatan yang diharapkan n : Jumlah data m : Jumlah annotator x ij : Keputusan annotator data ke-i pada kelas j p j : Probabilitas kesepakatan annotator pada kelas j
Tabel 1. Tingkat Kesepakatan Kappa Kategori < 0 Poor Agreement 0.00 - 0.20 Slight Agreement 0.21 - 0.40 Fair Agreement 0.41 - 0.60 Moderate Agreement 0.61 - 0.80 Substantial Agreement 0.81 - 1.00  Almost Perfect Agreement
Tabel 1 memberikan tingkatan kesepakatan antara annotator yang diukur menggunakan nilai kappa yang diperoleh dari  hasil perhitungan menggunakan persamaan (1). Nilai kappa dikategorikan menjadi  enam  tingkat kesepakatan. Semakin tinggi nilai kappa yang diperoleh, maka tingkat kesepakatan antara annotator akan semakin baik. Perhitungan tingkat kesepakatan ini memberikan gambaran mengenai sejauh mana tingkat konsistensi dan keandalan antara annotator dalam pelabelan data.

## 2.4 Text Preprocessing
Text preprocessing adalah tahap untuk mempersiapkan dataset dari teks mentah supaya siap untuk dianalisis teks sesuai dengan metode yang digunakan [11]. Teks yang berasal dari Twitter dapat mengandung noise, tanda baca, karakter khusus, kata-kata yang tidak relevan, dan berbagai variasi kata yang memberikan arti yang serupa.
Gambar 2. Tahapan Text Preprocessing
Gambar 2 menyajikan tahapan pada text preprocessing. Dalam penelitian ini, text preprocessing terdiri dari tujuh proses, yaitu cleaning, case folding, tokenizing, normalisasi, negation handling, stopwords, dan stemming. Penjelasan setiap proses pada tahapan text preprocessing sebagai berikut:
a. Cleaning adalah proses membersihkan teks dari mentions (@username), Uniform Resource Locator (URL), hashtag (#), special character (!@#$%^&*()_-+={}[]\|:”;’,.<>?/), emoji, angka, dan white space.
b. Case folding adalah proses mengganti teks menjadi huruf kecil.
c. Tokenizing, merupakan proses membagi teks menjadi unit-unit kecil yang disebut dengan token atau kata.
d. Normalisasi  merupakan  suatu  proses  yang  mengubah  kata  dalam  sebuah  teks  menjadi  bentuk  baku  dalam bahasa Indonesia. Pada proses ini, dilakukan pemeriksaan setiap token-token dalam teks. Jika ditemukan kata tidak baku, maka kata tersebut akan diganti menjadi bentuk baku dengan menggunakan kamus normalisasi yang telah dibuat oleh penulis yang disesuaikan dengan data yang digunakan.
e. Negation handling adalah proses penanganan negasi atau penyangkalan dalam sebuah teks. Pada proses ini, dilakukan penggabungan antara kata negasi dan kata setelahnya menggunakan tanda garis bawah (underscore) sehingga menjadi satu kata baru. Selanjutnya, jika kata baru tersebut terdapat pada kamus negasi yang telah dibuat, kata tersebut diubah sesuai dengan kamus telah dibuat. Proses ini menggunakan kamus negasi yang berisi arti serupa pada kata yang telah digabung.
f. Stopwords merupakan proses penghapusan kata umum yang tidak memberikan informasi penting. Pada proses ini  menggunakan  stoplist  bahasa  Indonesia  pada  library  NLTK.  Proses  penghapusan  ini  dilakukan dengan memeriksa setiap kata dalam teks, jika kata tersebut merupakan stoplist, maka kata tersebut dihapus.
g. Stemming adalah proses pengembalian kata yang berimbuhan menjadi bentuk dasar. Proses ini menggunakan algoritma Enhanced Contextual Stemmer (ECS).

## 2.5 Pembagian Data
Pembagian data dimaksudkan untuk membedakan dataset menjadi data latih dan data uji. Data latih berguna untuk melatih model dan data uji berguna untuk mengukur kinerja model yang dilatih. Penelitian ini menggunakan teknik k-fold cross-validation untuk pembagian data. Teknik k-fold cross-validation melibatkan pembagian data sebanyak k partisi yang setara, di mana 1 partisi digunakan menjadi data uji dan pastisi lainnya digunakan menjadi data latih. Proses pengujian dilakukan dalam k iterasi secara silang, di mana setiap partisi bergantian menjadi data latih dan data uji [18], [19].

## 2.6 Pembobotan Fitur TF-IDF
Pembobotan fitur dilakukan untuk mengubah fitur berupa kata menjadi data numerik. Pada langkah ini, setiap fitur yang diperoleh dari langkah text preprocessing diberi bobot dengan Term Frequency Inverse Document Frequency (TF-IDF), yang menghasilkan bobot berdasarkan keseringan kemunculan kata tertentu dalam dokumen [8]. Proses pembobotan fitur TF-IDF meliputi perhitungan nilai Term Frequency (TF) dan nilai Inverse Document Frequency (IDF) untuk setiap fitur disetiap dokumen [20]

## 2.7 Seleksi Fitur Threshold
Proses seleksi fitur memperoleh hasil klasifikasi yang lebih efisien. Langkah ini mengidentifikasi fitur-fitur yang relevan  dan  memprosesnya  menggunakan  model  yang  diperoleh  pada  proses  pelatihan [20].  Seleksi  fitur  yang diterapkan  menggunakan  metode  frequency-based  dengan  menentukan  nilai  ambang  batas  (threshold)  pada Document Frequency (DF). Fitur yang jarang muncul pada dokumen lain cenderung tidak memberikan informasi yang relevan [21].

## 2.8 Klasifikasi Naïve Bayes Classifier
Metode Naïve Bayes Classifier merupakan metode klasifikasi yang menerapkan teorema bayes [12], [22], [23]. Naïve Bayes Classifier didasarkan pada konsep prediksi probabilitas dimasa mendatang berdasarkan pengalaman dimasa  sebelumnya,  yang  diciptakan  oleh  ilmuwan  Inggris Thomas  Bayes  [8].  Konsep  Naïve  Bayes  Classifier yaitu  mencari  nilai  probabilitas  tertinggi  dalam  mengklasifikasi  teks  pada  kelas  yang  paling  tepat  [20].  Naive Bayes  Classifier  melakukan  pengklasifikasian  dengan  bentuk  probabilistik  dan  statistik,  dengan  asumsi  bahwa setiap  atribut  bersifat  independen  [24],  [25].  Pada  Naïve  Bayes  Classifier,  terdapat  beberapa  langkah  yang dilakukan. Langkah pertama adalah mempersiapkan vocabulary, yaitu daftar kata-kata yang terseleksi dari hasil seleksi  fitur.  Kedua, menghitung  probabilitas  prior  untuk  setiap  kelas.  Probabilitas  prior  adalah  peluang kemunculan  suatu  kelas  dalam  data  latih.  Ketiga,  menghitung  probabilitas  pada  setiap  kata  terhadap  masing- masing kelas menggunakan hasil pembobotan fitur TF-IDF. Hal ini dilakukan untuk menentukan peluang suatu
kata  dalam  suatu  kelas.  Keempat,  melakukan  perhitungan  nilai  probabilitas  posterior  pada  data  uji.  Nilai probabilitas posterior tertinggi digunakan sebagai hasil klasifikasi dokumen.

## 2.9 Evaluasi
Evaluasi dilakukan bertujuan untuk mengevaluasi model yang dibangun. Hasil evaluasi memberikan hasil kinerja metode Naïve Bayes Classifier pada klasifikasi sentimen. Evaluasi dalam penelitian ini menggunakan confusion matrix. Confusion matrix adalah matriks yang memperoleh perbandingan antara hasil klasifikasi yang dihasilkan pada model dengan kelas sebenarnya [24].
Tabel 2. Confusion Matrix Kelas Prediksi Positive Negative Aktual Positive True Positive (TP) False Negative (FN)
Negative False Positive (FP) True Negative (TN)
Tabel 2 memperlihatkan nilai hasil klasifikasi yang terdapat pada confusion matrix. Terdapat empat nilai hasil klasifikasi yang dapat diamati, yaitu True Positive (TP) yang merupakan jumlah data yang benar diprediksi sebagai kelas positif, True Negative (TN) yang merupakan jumlah data yang benar diprediksi sebagai kelas negatif, False Positive (FP) yang merupakan jumlah data yang salah diprediksi sebagai kelas positif, dan False Negative (FN) yang merupakan jumlah data yang salah diprediksi sebagai kelas negatif.

## 3. HASIL DAN PEMBAHASAN

## 3.1 Pengumpulan Data
Data dalam penelitian ini bersumber dari tweet berbahasa Indonesia menggunakan kata kunci yang merujuk pada Anies  Baswedan  sebagai  bakal  calon  presiden  2024.  Data  berhasil  dikumpulkan  dari  tanggal  21  Oktober  2022 hingga  23  November  2022,  dengan  total  data  sebanyak  5.355  tweet.  Selanjutnya,  data  diseleksi  secara  manual untuk  menyaring  tweet  yang  tidak  merepresentasikan  opini.  Data  yang  digunakan  setelah  proses  seleksi  data berjumlah sebanyak 3.400 tweet yang disajikan pada Gambar 3.

## Gambar 3. Dataset Penelitian

## 3.2 Pelabelan
Pelabelan melibatkan 5 annotator yang menggunakan metode crowdsourcing untuk melakukan penilaian terhadap sentimen  positif  dan  negatif. Proses  pelabelan  dilakukan  dengan  mengumpulkan  penilaian  dari  masing-masing annotator. Hasil akhir dari pelabelan tersebut ditentukan berdasarkan penilaian terbanyak yang diberikan kepada setiap tweet.
Tabel 3. Contoh Pelabelan Data Menggunakan Crowdsourcing No Teks Annotator Label 1 2 3 4 5 1 @kurawa Memaafkan pak Anies dengan cara tidak memilih belio sebagai calon presiden Negatif  Negatif  Negatif  Negatif  Negatif  Negatif 2 @Dennysiregar7 Pak Anies Baswedan Presiden RI 2024, inshaa Allah ! Positif Positif Positif Positif Positif Positif
Tabel 3 memberikan contoh cara pelabelan yang dilakukan secara crowdsourcing. Pada contoh pertama, teks  memperoleh  penilaian  negatif  sebanyak  5  dan  tidak  ada  penilaian  positif.  Dengan  demikian,  teks  pertama
dilabel  sebagai  negatif.  Hal  yang  sama  terjadi  pada  contoh  kedua,  di  mana  teks  memperoleh  penilaian  positif sebanyak 5 dan tidak ada penilaian negatif. Dengan demikian, teks kedua dilabel sebagai positif.
Pelabelan dengan crowdsourcing menghasilkan 2.130 tweet bersentimen positif (62,65%) dan 1.270 tweet bersentimen  negatif  (37,35%).  Selanjutnya,  dilakukan  perhitungan  fleiss  kappa  untuk  mengukur  tingkat kesepakatan  antara  kelima  annotator  dalam  melakukan  pelabelan  menggunakan  persamaan  (1).  Perhitungan menggunakan bantuan Microsoft Excel untuk mempermudah proses perhitungan. Hasil perhitungan fleiss kappa menunjukkan nilai sebesar 0,68. Nilai kappa tersebut termasuk dalam kategori tingkat substantial agreement, yang berarti kesepakatan yang kuat antara kelima annotator dalam pelabelan dataset.

## 3.3 Text Preprocessing
Dataset  yang  berhasil  dikumpulkan  dari  Twitter  belum  terstruktur  dengan  baik  dan  perlu  dilakukan  text preprocessing terlebih dahulu. Hasil dari setiap proses pada text preprocessing ditunjukkan pada Tabel 4.
Tabel 4. Text Preprocessing Proses Sebelum Sesudah Cleaning @kurawa Memaafkan  pak  Anies  dengan cara  tidak  memilih  belio  sebagai  calon presiden Memaafkan  pak  Anies  dengan  cara  tidak memilih belio sebagai calon presiden Case Folding Memaafkan  pak  Anies  dengan  cara  tidak memilih belio sebagai calon presiden memaafkan  pak  anies  dengan  cara  tidak memilih belio sebagai calon presiden Tokenizing memaafkan  pak  anies  dengan  cara  tidak memilih belio sebagai calon presiden ['memaafkan',  'pak',  'anies',  'dengan',  'cara', 'tidak',  'memilih',  'belio',  'sebagai',  'calon', 'presiden'] Normalisasi ['memaafkan', 'pak' ,  'anies',  'dengan',  'cara',
'tidak',  'memilih', 'belio' ,  'sebagai',  'calon', 'presiden'] ['memaafkan', 'bapak' ,  'anies',  'dengan', 'cara',  'tidak',  'memilih', 'beliau' ,  'sebagai', 'calon', 'presiden'] Negation Handling ['memaafkan', 'bapak', 'anies', 'dengan', 'cara', 'tidak', 'memilih' ,  'beliau',  'sebagai', 'calon', 'presiden'] ['memaafkan', 'bapak', 'anies', 'dengan', 'cara', 'menolak' , 'beliau', 'sebagai', 'calon', 'presiden'] Stopwords ['memaafkan', 'bapak' ,  'anies', 'dengan' , 'cara' ,  'menolak',  'beliau', 'sebagai' ,  'calon', 'presiden'] ['memaafkan',  'anies',  'menolak',  'beliau', 'calon', 'presiden'] Stemming [ 'memaafkan' ,  'anies', 'menolak' ,  'beliau',
'calon', 'presiden'] [ 'maaf' ,  'anies', 'tolak' ,  'beliau',  'calon', 'presiden']
Tabel  4  merupakan  contoh  hasil  dari  ketujuh  proses  pada  text  preprocessing.  Pada  proses  cleaning dilakukan penghapusan  @kurawa yang merupakan  mention. Proses  case folding mengubah teks menjadi huruf kecil.  Proses  tokenizing memotong kalimat pada setiap kata menjadi token. Pada proses normalisasi  mengubah kata  “pak”  menjadi  “bapak”  dan  kata  “belio”  menjadi  “beliau”.  Proses  negation  handling  melakukan penggabungan  kata  “tidak”  yang  merupakan  kata  negasi  dengan  kata  selanjutnya  yaitu  “memilih”  dan mengubahnya  menjadi  arti  serupa  yaitu  “menolak”.  Proses  stopwords  menghapus  kata  terdapat  pada  stoplist NLTK, yaitu “bapak”, “dengan”, “cara”, dan “sebagai”. Proses stemming mengubah kata “memaafkan” menjadi “maaf”  dan  kata  “menolak”  menjadi  “tolak”.  Data  yang  telah  dilakukan  text  preprocessing  digunakan  untuk dilakukan klasifikasi dengan menggunakan Naïve Bayes Classifier.

## 3.4 Klasifikasi Naïve Bayes Classifier
Klasifikasi  sentimen  menggunakan  Naive  Bayes  Classifier  (NBC)  dilakukan  dalam  beberapa  eksperimen. Eksperimen  mencakup  mekanisme  pengujian,  jenis  dataset,  dan  penggunaan  seleksi  fitur.  Pengujian  dilakukan dengan  menggunakan  dua  mekanisme,  yaitu  10-fold  cross-validation  dan  5-fold  cross-validation.  Setiap mekanisme  pengujian,  dilakukan  dalam  dua  percobaan  dengan  jenis  dataset  yang  berbeda.  Percobaan  pertama menggunakan  dataset  yang  tidak  seimbang  dan  percobaan  kedua  menggunakan  dataset  yang  seimbang.  Setiap mekanisme  pengujian  juga  dilakukan  percobaan  terhadap  penggunaan  seleksi  fitur.  Seleksi  fitur  menggunakan beberapa  nilai  threshold  pada  Document  Frequency  (DF)  dalam  rentang  1  sampai  50  hingga  ditemukan  nilai threshold yang tepat.
Tabel 5. Jumlah Data Latih dan Data Uji Pengujian Jenis Dataset Jumlah Kelas Data Latih Data Uji Positif  Negatif  Positif  Negatif  Positif  Negatif 10-Fold Cross-Validation Tidak Seimbang 2130 1270 1917 1143 213 127 Seimbang 1270 1270 1143 1143 127 127 5-Fold Cross-Validation Tidak Seimbang 2130 1270 1704 1016 426 254 Seimbang 1270 1270 1016 1016 254 254
Tabel 5 menunjukkan jumlah data latih dan data uji yang digunakan dalam setiap mekanisme pengujian. Pada 10-fold cross-validation, dataset dibagi sebanyak 10 bagian dengan rasio 90% data latih dan 10% data uji dalam setiap iterasinya. Proses ini diulang 10 kali dengan pengujian menggunakan data uji yang berbeda setiap kali. Pada 5-fold cross-validation, dataset dibagi sebanyak 5 bagian dengan rasio 80% data latih dan 20% data uji dalam setiap iterasinya. Proses ini diulang 5 kali dengan pengujian menggunakan data uji yang berbeda setiap kali. a. Percobaan Menggunakan Dataset Tidak Seimbang
Pada  percobaan  pertama,  dataset  yang  digunakan  merupakan  dataset  asli  dari  hasil  pelabelan  yang  terdapat ketidakseimbangan jumlah data antara kedua kelas. Hal ini terlihat pada Tabel 5, bahwa kelas positif memiliki jumlah yang lebih banyak daripada kelas negatif. Hasil percobaan menggunakan dataset yang tidak seimbang diperlihatkan pada Tabel 6 dan 7.
Tabel 6. Hasil 10-Fold Cross-Validation Pada Dataset Tidak Seimbang
Fold Tanpa Threshold Threshold = 15 Akurasi (%) F1-Score (%) Akurasi (%) F1-Score (%) Positif  Negatif Positif  Negatif 1 73,82 81,72 53,89 80,88 85,52 71,86 2 77,94 81,14 63,77 82,35 86,49 74,58 3 77,65 84,1 62,38 79,71 84,49 70,64 4 78,24 84,84 61,46 80 85,09 69,64 5 80,59 85,9 68,87 85,59 88,94 79,32 6 77,65 84,03 62,75 80,29 85,08 71 7 79,41 85,48 64,65 79,12 84,53 67,87 8 77,94 84,01 64,45 80 84,68 71,19 9 75,88 82,48 61,32 80 84,19 72,8 10 77,06 83,4 62,86 77,94 83,22 67,81 Rata-rata 77,62 83,71 62,64 80,59 85,22 71,67
Pada Tabel 6, hasil pengujian dengan 10-fold cross-validation pada percobaan menggunakan dataset yang tidak seimbang  menghasilkan  akurasi  tertinggi  pada fold  kelima dengan menggunakan nilai  threshold sebesar 15, yang menghasilkan tingkat akurasi sebesar 85,59% dan rata-rata tingkat akurasi sebesar 80,59%.
Tabel 7. Hasil 5-Fold Cross-Validation Pada Dataset Tidak Seimbang
Fold Tanpa Threshold Threshold = 7 Akurasi (%) F1-Score (%) Akurasi (%) F1-Score (%) Positif  Negatif Positif  Negatif 1 76,62 83,42 60,35 80,44 85,17 71,27 2 77,65 84,36 60,82 82,65 87 73,89 3 78,68 84,72 64,72 80,44 85,07 71,64 4 77,94 84,28 63,05 79,41 84,41 69,7 5 76,62 83,03 62,41 79,41 84,16 70,59 Rata-rata 77,5 83,96 62,27 80,47 85,16 71,42
Tabel 7 menunjukkan bahwa pengujian menggunakan 5-fold cross-validation pada dataset yang tidak seimbang menghasilkan akurasi tertinggi pada fold kedua dengan menggunakan nilai threshold sebesar 7 yang mencapai 82,65% dan rata-rata tingkat akurasi sebesar 80,47%.
Berdasarkan Tabel 6 dan 7, percobaan menggunakan dataset yang tidak seimbang menunjukkan tingkat akurasi yang  cukup  tinggi  pada  model  yang  dihasilkan. Namun,  ditemukan  bahwa  f1-score  pada  kelas  negatif  jauh lebih rendah dibandingkan dengan f1-score pada kelas positif. Hal ini mengindikasikan bahwa model kurang mampu dalam mengklasifikasikan pada kelas minoritas. Meskipun ketika menggunakan nilai threshold pada seleksi fitur berhasil mengalami peningkatan kinerja model, namun hal tersebut tidak sepenuhnya mengatasi permasalahan dalam pengklasifikasian pada kelas minoritas.
b. Percobaan Menggunakan Dataset Seimbang
Percobaan  kedua  dilakukan  menggunakan  dataset  yang  seimbang.  Dataset  dilakukan  penyeimbangan  data dengan cara mengurangkan jumlah data pada kelas mayoritas secara acak sehingga setara dengan jumlah data pada kelas minoritas. Hasil percobaan menggunakan dataset yang seimbang diperlihatkan pada Tabel 8 dan 9.
Tabel 8. Hasil 10-Fold Cross-Validation Pada Dataset Seimbang
Fold Tanpa Threshold Threshold = 13 Akurasi (%) F1-Score (%) Akurasi (%) F1-Score (%) Positif  Negatif Positif  Negatif 1 75,2 73,42 76,75 74,41 72,57 76,01 2 75,98 74,69 77,15 81,1 79,83 82,22
Fold Tanpa Threshold Threshold = 13 Akurasi (%) F1-Score (%) Akurasi (%) F1-Score (%) Positif  Negatif Positif  Negatif 3 81,89 80,83 82,84 82,68 81,97 83,33 4 77,95 76,86 78,95 78,74 78,23 79,23 5 76,77 76,31 77,22 75,59 75,2 75,97 6 86,22 85,6 86,79 89,76 89,43 90,08 7 77,17 76,03 78,2 77,56 77,47 77,65 8 77,17 75,83 78,36 77,95 76,86 78,95 9 80,31 79,84 80,77 82,68 82,26 83,08 10 77,56 76,73 78,33 78,35 78,26 78,43 Rata-rata 78,62 77,61 79,54 79,88 79,21 80,5
Tabel 8 menunjukkan hasil pengujian 10-fold cross-validation pada dataset yang seimbang. Dalam pengujian ini, ditemukan bahwa akurasi tertinggi dicapai pada fold keenam dengan menggunakan nilai threshold sebesar 13, yang mencapai 89,76% dan rata-rata tingkat akurasi sebesar 79,88%.
Tabel 9. Hasil 5-Fold Cross-Validation Pada Dataset Seimbang
Fold Tanpa Threshold Threshold = 8 Akurasi (%) F1-Score (%) Akurasi (%) F1-Score (%) Positif  Negatif Positif  Negatif 1 74,21 72,88 75,42 77,95 76,47 79,26 2 78,15 76,92 79,25 81,5 80,97 81,99 3 82,09 81,47 82,67 83,86 83,67 84,05 4 75,59 74,49 76,6 76,77 76,02 77,48 5 79,33 78,96 79,69 79,72 79,36 80,08 Rata-rata 77,87 76,94 78,73 79,96 79,3 80,57
Pada Tabel 9, hasil pengujian menggunakan 5-fold cross-validation pada dataset yang seimbang menunjukkan bahwa  akurasi  tertinggi  berhasil  dicapai  pada  fold  ketiga  menggunakan  nilai  threshold  sebesar  8,  yang mencapai 83,86% dan rata-rata akurasi sebesar 79,96%.
Berdasarkan Tabel 8 dan 9, percobaan menggunakan dataset yang seimbang menghasilkan model yang lebih baik. Hal ini terlihat dari perbedaan yang tidak signifikan antara f1-score pada kedua kelas, yang menunjukkan bahwa model mampu mengklasifikasikan kedua kelas yang sama baik. Menetapkan nilai threshold pada seleksi fitur juga berhasil mengalami peningkatan kinerja model.

## 3.5 Evaluasi
Berdasarkan beberapa eksperimen yang dilakukan, diperoleh delapan model yang menghasilkan akurasi tertinggi pada  kombinasi  eksperimen  yang  berbeda.  Hasil  kinerja  kedelapan  model  secara  keseluruhan  dalam  berbagai eksperimen diperlihatkan pada Tabel 10.

## Tabel 10. Perbandingan Hasil Eksperimen
Pengujian Jenis Dataset Seleksi Fitur Akurasi (%) Presisi (%) Recall (%) F1-Score (%) 10-Fold Cross- Validation Tidak Seimbang Tidak 80,59 82,35 75,92 77,38 Tidak Seimbang Threshold = 15 85,59 85,55 83,25 84,13 Seimbang Tidak 86,22 86,49 86,22 86,19 Seimbang Threshold = 13 89,76 89,92 89,76 89,75 5-Fold Cross- Validation Tidak Seimbang Tidak 78,68 80,79 73,36 74,72 Tidak Seimbang Threshold = 7 82,65 83,15 79,24 80,45 Seimbang Tidak 82,09 82,23 82,09 82,07 Seimbang Threshold = 8 83,86 83,88 83,86 83,86
Pada Tabel 10, ditemukan bahwa pengujian 10-fold cross-validation menghasilkan model yang lebih baik dibandingkan  dengan  pengujian  5-fold  cross-validation  pada  semua  eksperimen.  Temuan  ini  sejalan  dengan penelitian Dinar, dkk (2023) dan Harpizon, dkk (2022), bahwa dengan menggunakan jumlah data latih yang lebih besar dapat menghasilkan model yang lebih baik. Selain itu, menetapkan nilai threshold pada Document Frequency (DF) yang tepat dalam seleksi fitur dapat membantu dalam meningkatkan kinerja model. Selanjutnya, penggunaan dataset  yang  seimbang  juga  terbukti  dalam  mengatasi  masalah  pengklasifikasian  yang  kurang  baik  ketika menggunakan dataset yang tidak seimbang. Hal ini terlihat pada tingkat akurasi, presisi, recall, dan f1-score yang sama baiknya ketika menggunakan dataset yang seimbang. Dari delapan kombinasi eksperimen, diperoleh model
terbaik pada pengujian 10-fold cross-validation dengan menggunakan dataset seimbang dan nilai threshold sebesar 13 yang mencapai tingkat akurasi sebesar 89,76%, presisi 89,92%, recall 89,76%, dan f1-score 89,75%.
Gambar 4. Confusion Matrix Model Terbaik
Gambar  4  menyajikan  evaluasi  dari  model  terbaik  dalam  confusion  matrix.  Confusion  matrix menggambarkan  hasil  pengklasifikasian  pada  model  terbaik.  Matriks  menunjukkan  model  mengklasifikasikan positif  sebanyak  119  dan  negatif  sebanyak  135,  dengan  True  Positive  (TP)  sebanyak  110,  False  Positive  (FP) sebanyak 9, True Negative (TN) sebanyak 118, dan False Negative (FN) sebanyak 17.

## 3.6 Word Cloud
Word  cloud  memberikan  visualisasi  kata-kata  yang  paling  sering  muncul.  Kata-kata  yang  muncul  lebih  sering menghasilkan ukuran yang lebih besar, sedangkan kata-kata yang jarang muncul akan ditampilkan dengan ukuran yang lebih kecil.

## Gambar 5. Word Cloud Sentimen Positif
Gambar 5 menampilkan word cloud dari visualisasi kata yang sering muncul pada sentimen positif. Pada word cloud ditemukan kata-kata seperti “dukung”, “allah”, “moga”, “pilih”, “amin”, “insyaallah”, “cerdas”, dan kata-kata  lainnya  yang  sering  digunakan  dalam  memberikan  sentimen  positif.  Kata-kata  ini  menunjukkan dukungan dan harapan positif terhadap Anies Baswedan sebagai bakal calon presiden 2024.
Gambar 6 menampilkan word cloud dari visualisasi kata yang sering muncul pada sentimen negatif. Word cloud ini mencakup kata-kata  seperti  “bodoh”,  “tolak”, “yaman”,  “mustahil”,  “gagal”, “mimpi”, “kadrun”,  dan kata-kata lainnya yang sering digunakan dalam memberikan sentimen negatif. Kata-kata ini menunjukkan adanya perasaan  negatif  seperti  kecewa,  penolakan,  dan  ketidaksukaan  terhadap  Anies  Baswedan  sebagai  bakal  calon presiden 2024.

## 4. KESIMPULAN
Berdasarkan  hasil  penelitian,  menunjukkan  bahwa  metode  Naïve  Bayes  Classifier  berhasil  diterapkan  pada klasifikasikan  sentimen  terhadap  Anies  Baswedan  sebagai  bakal  calon  presiden  2024.  Metode  Naïve  Bayes Classifier menghasilkan model terbaik pada pengujian 10-fold cross-validation dengan akurasi sebesar 89,76%, presisi sebesar 89,92%, recall sebesar 89,76%, dan f1-score sebesar 89,75% pada fold keenam dengan menentukan nilai threshold sebesar 13 pada percobaan dengan menggunakan dataset seimbang yang terdiri dari 1.270 positif dan  1.270  negatif  dengan  rata-rata  tingkat  akurasi  sebesar  79,88%.  Hasil  eksperimen  menunjukkan  bahwa penggunaan  data  latih  yang  lebih  besar  menghasilkan  model  yang  lebih  baik.  Selain  itu,  menggunakan  dataset dengan  proporsi  yang  seimbang  pada  setiap  kelas  dapat  mengatasi  model  yang  kurang  optimal  dalam mengklasifikasi  pada  kelas  minoritas.  Selanjutnya,  menentukan  nilai  threshold  yang  tepat  pada  Document Frequency (DF) dalam seleksi fitur dapat meningkatkan nilai tingkat akurasi, presisi, recall, dan f1-score sehingga dapat  mengoptimalkan  kinerja  model  machine  learning. Penelitian  selanjutnya  disarankan  untuk  menggunakan metode K-Nearest  Neighbor, Modified K-Nearest Neighbor, Random  Forest, dan metode lainnya  guna melihat variasi perbandingan antara kinerja metode.

## REFERENCES
[1]  A. Mustofa and R. Novita, “Klasifikasi Sentimen Masyarakat terhadap Pemberlakuan Pembatasan Kegiatan Masyarakat Menggunakan Text Mining pada Twitter,” Jurnal Building of Informatics, Technology and Science (BITS), vol. 4, no. 1, pp. 200–208, 2022, doi: 10.47065/bits.v4i1.1628.
[2]  S.  Widi,  “Pengguna  Media  Sosial  di  Indonesia  Sebanyak  167  Juta  pada  2023,”  Data  Indonesia,  2023. https://dataindonesia.id/digital/detail/pengguna-media-sosial-di-indonesia-sebanyak-167-juta-pada-2023  (accessed  Feb. 10, 2023).
[3]  S.  Kemp,  “Digital  2023:  Indonesia,”  Data  Reportal,  2023.  https://datareportal.com/reports/digital-2023-indonesia (accessed Feb. 10, 2023).
[4]  D.  Soer  and  S.  Sutrisno,  “Analisis  Sentimen  terhadap  Pemerintahan  Ridwan  Kamil  Sebagai  Gubernur  Jawa  Barat Menggunakan Algoritma Naïve Bayes,” in Prosiding Seminar Nasional Sains dan Teknologi (SAINTEK), 2022, pp. 77– 82.
[5]  A. Rahman, “Popularitas Tokoh Politik di Indonesia,” Drone Emprit, 2022. https://pers.droneemprit.id/popularitas-tokoh- politik-di-indonesia-3/ (accessed Feb. 10, 2023).
[6]  S. N. J. Fitriyyah, N. Safriadi, and E. E. Pratama, “Analisis Sentimen Calon Presiden Indonesia 2019 dari Media Sosial Twitter Menggunakan Metode Naive Bayes,” Jurnal Edukasi dan Penelitian Informatika (JEPIN), vol. 5, no. 3, pp. 279– 285, 2019, doi: 10.26418/jp.v5i3.34368.
[7]  T. Yulianita, T. W. Utami, and M. Al Haris, “Analisis Sentimen dalam Penanganan Covid-19 di Indonesia Menggunakan Naive Bayes Classifier,” in Prosiding Seminar Nasional Venue Artikulasi-Riset, Inovasi, Resonansi-Teori, dan Aplikasi Statistika (VARIANSI), 2020, pp. 235–243.
[8]  E. A. Lisangan, A. Gormantara, and R. Y. Carolus, “Implementasi Naive Bayes pada Analisis Sentimen Opini Masyarakat di Twitter terhadap Kondisi New Normal di Indonesia,” Konvergensi Teknologi dan Sistem Informasi (KONSTELASI), vol. 2, no. 1, pp. 23–32, 2022, doi: 10.24002/konstelasi.v2i1.5609.
[9]  O. Purbo, Text Mining Analisis Medsos, Kekuatan Brand & Intelejen di Internet. Yogyakarta: Andi, 2019.
[10] I. Saputra and D. Kristiyanti, Machine Learning Untuk Pemula. Bandung: Informatika, 2022.
[11] N. M. A. J. Astari, D. Divayana, and G. Indrawan, “Analisis Sentimen Dokumen Twitter Mengenai Dampak Virus Corona Menggunakan Metode Naive Bayes Classifier,” Jurnal Sistem dan Informatika (JSI), vol. 15, no. 1, pp. 27–29, 2020, doi: 10.30864/jsi.v15i1.332.
[12] H.  Harpizon,  R.  Kurniawan,  I.  Iskandar,  R.  Salambue,  E.  Budianita,  and  F.  Syafria,  “Analisis  Sentimen  Komentar  di YouTube tentang Ceramah Ustadz Abdul Somad Menggunakan Algoritma Naïve Bayes,” Jurnal Nasional Komputasi dan Teknologi Informasi, vol. 5, no. 1, pp. 131–140, 2022, doi: 10.32672/jnkti.v5i1.4008.
[13] Y. S. Mahardhika and E. Zuliarso, “Analisis Sentimen terhadap Pemerintahan Joko Widodo pada Media Sosial Twitter Menggunakan  Algoritma  Naive  Bayes  Classifier,”  in  Prosiding  Seminar  Nasional  Teknologi  Informasi  &  Aplikasi Komputer (SINTAK), 2018, pp. 409–413.
[14] M. Fatchan and H. Sugeng, “Anlisa Terpilihnya Tri Rismaharini sebagi Menteri Sosial dengan Pendekatan Algorithma Naïve Bayes,” Journal of Practical Computer Science, vol. 1, no. 2, pp. 50–57, 2021, doi: 10.37366/jpcs.v1i2.942.
[15] T.  Widowati  and  M.  Sadikin,  “Analisis  Sentimen Twitter  terhadap  Tokoh  Publik  dengan  Algoritma  Naive  Bayes  dan Support Vector Machine,” Simetris: Jurnal Teknik Mesin, Elektro dan Ilmu Komputer, vol. 11, no. 2, pp. 626–636, 2020, doi: 10.24176/simet.v11i2.4568.
[16] Y. A. Permana and H. Noviyani, “Komparasi Algoritma Naïve Bayes dan K-Nearest Neighbor dalam Melihat Analisis Sentimen terhadap Vaksinasi Covid-19,” in Prosiding Sains dan Teknologi (SAINTEK), 2022, pp. 128–134.
[17] D. F. Zhafira, B. Rahayudi, and I. Indriati, “Analisis Sentimen Kebijakan Kampus Merdeka Menggunakan Naive Bayes dan  Pembobotan  TF-IDF  Berdasarkan  Komentar  pada  Youtube,”  Jurnal  Sistem  Informasi,  Teknologi  Informasi,  dan Edukasi Sistem Informasi, vol. 2, no. 1, pp. 55–63, 2021, doi: 10.25126/justsi.v2i1.24.
[18] A. Erfina and R. A. Lestari, “Sentiment Analysis of Electric Vehicles using the Naïve Bayes Algorithm,” Jurnal Sistem Informasi (SISTEMASI), vol. 12, no. 1, pp. 178–185, 2023, doi: 10.32520/stmsi.v12i1.2417.
[19] F. Ratnawati, “Implementasi Algoritma Naive Bayes terhadap Analisis Sentimen Opini Film pada Twitter,” INOVTEK Polbeng - Seri Informatika, vol. 3, no. 1, pp. 50–59, 2018, doi: 10.35314/isi.v3i1.335.
[20] N.  Marga,  A.  Isnain,  and  D.  Alita,  “Sentimen  Analisis  tentang  Kebijakan  Pemerintah  terhadap  Kasus  Corona Menggunakan Metode Naive Bayes,” Jurnal Informatika dan Rekayasa Perangkat Lunak (JATIKA), vol. 2, no. 4, pp. 453–463, 2021, doi: 10.33365/jatika.v2i4.1602.
[21] M. M. Khoirudin, W. Wiranto, and W. Winarno, “News Opinion Mining around Universitas Sebelas Maret Using Naive Bayes  Algorithm,”  Jurnal  Teknologi  dan  Informasi  (ITSMART),  vol.  7,  no.  1,  pp.  44–50,  2018,  doi: 10.20961/itsmart.v7i1.21134.
[22] D.  Aryanti,  “Analisis  Sentimen  Ibukota  Negara  Baru  Menggunakan  Metode  Naïve  Bayes  Classifier,”  Journal  of Information System Research (JOSH), vol. 3, no. 4, pp. 524–531, 2022, doi: 10.47065/josh.v3i4.1944.
[23] A. Dinar, A. Irawan, and Y. Umaidah, “Analisis Sentimen pada Pengguna Twitter terhadap Program Kampus Merdeka Menggunakan  Naive  Bayes,”  Jurnal  Mahasiswa  Teknik  Informatika  (JATI),  vol.  7,  no.  1,  pp.  755–760,  2023,  doi: 10.36040/jati.v7i1.6552.
[24] M. I. Fikri, T. S. Sabrila, and Y. Azhar, “Perbandingan Metode Naïve Bayes dan Support Vector Machine pada Analisis Sentimen Twitter,” SMATIKA Jurnal, vol. 10, no. 02, pp. 71–76, 2020, doi: 10.32664/smatika.v10i02.455.
[25] T. Mutiara, Y. Alkhalifi, N. Mayangky, and W. Gata, “Analisis Sentimen Opini Publik Mengenai Larangan Mudik pada Twitter Menggunakan Naïve Bayes,” Jurnal CoreIT: Jurnal Hasil Penelitian Ilmu Komputer dan Teknologi Informasi, vol. 6, no. 2, pp. 85–88, 2020, doi: 10.24014/coreit.v6i2.9727.