## Klasifikasi Sentimen Terhadap Topik Pindah Ibu Kota Negara Pada Twitter Menggunakan Metode Naïve Bayes Classifier
Jozu Dermawan * , Yusra, Muhammad Fikry, Surya Agustian, Lola Oktavia
Fakultas Sains dan Teknologi, Program Studi Teknik Informatika, Universitas Islam Sultan Syarif Kasim Riau, Pekanbaru, Indonesia
Email: 1,* 11751101941@students.uin-suska.ac.id, 2 yusra@uin-suska.ac.id, 3 muhammad.fikry@uin-suska.ac.id,
4 surya.agustian@uin-suska.ac.id, 5 lola.oktavia@uin-suska.ac.id Email Penulis Korespondensi:11751101941@uin-suska.ac.id Submitted: 10/02/2024; Accepted: 29/03/2024; Published: 31/03/2024
Abstrak –Menjelang pertengahan tahun 2019, Presiden Joko Widodo mengumumkan rencana pemindahan Ibu Kota Negara Indonesia.  Hal ini  menimbulkan pro  dan  kontra  di  masyarakat,  yang  banyak  terpantau  dalam  berbagai  media  sosial.  Untuk mengukur  dengan  cepat  tingkat  sentimen  masyarakat  terhadap  kebijakan  pemindahan  Ibu  Kota  Negara  (IKN)  yang pembangunannya sudah berjalan tersebut, diperlukan suatu sistem klasifikasi yang memiliki performa yang baik. Penelitian ini mengusulkan klasifikasi sentimen masyarakat tentang topik tersebut menggunakan metode Naïve Bayes Classifier. Data yang digunakan pada penelitian ini berjumlah 4000 tweet yang telah diklasifikasi ke dalam dua kelas, yaitu 2000 data kelas positif dan 2000 data kelas negatif. Tujuan dari penelitian ini adalah bagaimana menerapkan metode Naïve Bayes Classifier dalam mengklasifikasikan  sentimen  terhadap  topik  pindah  ibu  kota  negara  serta  mengetahui  tingkat  akurasi  dari  metode  tersebut. Penerapan metode klasifikasi Naïve Bayes dengan menggunakan fitur TF-IDF untuk mengklasifikasi 10% data sebagai data testing  menghasilkan  akurasi  sebesar  77,00%,  untuk  nilai  precision  sebesar  77,06%,  recall  77,08%  dan  f1-score  sebesar 77,00%. Berdasarkan hasil yang telah dicapai, metode Naïve Bayes Classifier baik dalam tugas klasifikasi teks, dengan tingkat akurasi yang cukup baik.
Kata Kunci: Klasifikasi Sentimen; Twitter; Naïve Bayes Classifier; TF-IDF; Pemindahan Ibu Kota Negara
Abstract –Towards  the  middle  of  2019, President  Joko  Widodo announced  plans  to  relocate  Indonesia's  capital  city.  This caused pros and cons in the community, which were widely observed in various social media. To quickly measure the level of public sentiment towards the policy of moving the National Capital City (IKN), whose construction is already underway, a classification system that has good performance is needed. This research proposes a classification of public sentiment on the topic using the Naïve Bayes Classifier method. The data used in this study amounted to 4000 tweets that have been classified into two classes, namely 2000 positive class data and 2000 negative class data.  The purpose of this research is how to apply the  Naïve  Bayes  Classifier  method  in  classifying  sentiment  on  the  topic  of  moving  the  nation's  capital  and  determine  the accuracy level of the method. The application of the Naïve Bayes classification method using TF-IDF features to classify 10% of the data as testing data resulted in an accuracy of 77.00%, for a precision value of 77.06%, recall 77.08% and f1-score of 77.00%. Based on the results achieved, the Naïve Bayes Classifier method is good at text classification tasks, with a fairly good accuracy rate.
Keywords : Sentiment Classification; Twitter; Naïve Bayes Classifier; TF-IDF; Relocation of National Capital City

## 1. PENDAHULUAN
Dengan kemajuan teknologi informasi, masyarakat dapat dengan mudah mendapatkan berbagai informasi melalui internet  [1].  Media  sosial  adalah  salah  satu  aplikasi  di  internet  yang  paling  banyak  penggunanya,  sehingga memungkinkan  komunikasi  terbuka  dari  masyarakat  dengan  berbagai  latar  belakang  dengan  pemangku kepentingan.  Media  sosial  juga  menjadi  fasilitas  yang  efisien  serta  bermanfaat  guna  berbagi  informasi  kepada warga universal[2]. Berbagai macam aktifitas dilakukan masyarakat melalui sosial media, hal ini bisa menciptakan suatu informasi digital tiap harinya yang berasal dari interaksi sosial yang dibentuk lewat media sosial itu sendiri [3].  Salah  satu  sosial  media  yang  banyak  digunakan  adalah  X  (Twitter).  Berdasarkan  laporan  We  Are  Social, pengguna Twitter di Indonesia pada tahun 2022 mencapai 18,45 juta dari total 436 juta pengguna Twitter di seluruh dunia [4].
Melihat banyaknya pengguna sosial media Twitter, tidak salah jika Twitter sering digunakan sebagai sarana untuk  melihat  pendapat  atau  opini  pengguna  terkait  program  pemerintah  atau  isu  yang  sedang  beredar  di masyarakat.  Twitter  dapat  digunakan  untuk  menyampaikan  kritik,  pendapat  publik,  dan  saran  [5].  Menjelang pertengahan tahun 2019, Presiden Joko Widodo mengumumkan rencana pemindahan Ibu Kota Negara Indonesia. Pemindahan Ibu Kota Negara (IKN) keluar pulau Jawa telah diputuskan pada tanggal 29 April 2019 oleh Presiden Joko Widodo, dan dicantumkan dalam Rencana Pembangunan Jangka Menengah Nasional (RPJMN) 2020-2024. Tanggal 18 Januari 2022, telah disahkan Rancangan Undang-undang (RUU) tentang IKN menjadi Undang-undang (UU) oleh DPR RI dan Pemerintah. Dengan demikian, Indonesia akan mempunyai IKN yang baru menggantikan Jakarta. Hal ini menimbulkan berbagai macam opini di masyarakat. Opini yang disampaikan melalui tweet dapat dimanfaatkan untuk melihat sentimen masyarakat terhadap topik pindah Ibu Kota Negara Indonesia. Opini tersebut bisa diklasifikasikan ke dalam dua kelas yaitu positif dan negatif.
Dibutuhkan  sebuah  proses  untuk  mengevaluasi  pendapat  masyarakat  karena  banyaknya  informasi  yang dihasilkan oleh media sosial. Salah satu alat efektif untuk menganalisis refleksi penting dari persepsi publik adalah
Volume 5, Nomor 3, Maret 2024 e-ISSN 2685-998X DOI 10.30865/json.v5i3.7475
analisis sentimen [6]. Analisis sentimen digunakan untuk mengekstrak informasi penting dari data tidak terstruktur [7]. Analisis sentimen merupakan upaya guna mengungkap serta mengkategorikan komentar yang diungkapkan dalam bacaan guna memastikan apakah asumsi terhadap topik tertentu positif, negatif, ataupun netral [8]. Metode text mining dapat menyelesaikan masalah seperti pemprosesan, pengorganisasian, pengelompokan, dan analisis data yang tidak terstruktur [9].
Penelitian sebelumnya tentang analisis sentimen topik pindah ibu kota negara pada twitter menggunakan metode Modified K-Nearest Neighbor pernah dilakukan oleh [10] dan mendapatkan akurasi 56,16%. Penelitian lain  mengenai  analisis  sentimen  pernah  dilakukan  sebelumnya  oleh  [11]  tentang  penerapan  sistem  plat  nomor ganjil/genap pada twitter dengan metode klasifikasi Naïve Bayes dengan hasil riset tersebut dengan hasil accuracy 86,67%,  presisi  71,43%  serta  recall  80,00%.  Penelitian  lain  tentang  analisis  sentimen  dan  klasifikasi  Tweets berbahasa  Indonesia  terhadap  transportasi  umum  MRT  Jakarta  menggunakan  Naïve  Bayes  Classifier  yang dilakukan oleh [12] mendapatkan hasil akurasi sebesar 95,88%. Selanjutnya penelitian klasifikasi sentimen sara, hoaks,  dan  radikal  pada  postingan  media  sosial  menggunakan  algoritma  Naïve  Bayes  Multinomial  Text  yang dilakukan oleh [13] mampu mengklasifikasikan sentimen dengan sangat akurat dengan akurasi 99,62%. Penelitian lain  tentang  implementasi  data  mining  dengan  algoritma  Naïve  Bayes  untuk  klasifikasi  kelayakan  penerima bantuan  sembako  yang  dilakukan  oleh  [14]  menghasilkan  akurasi  sebesar  86%,  recall  85%,  dan  presisi  88%. Penelitian lain tentang klasifikasi sentimen pergelaran MOTOGP di Indonesia menggunakan algoritma Correlated Naïve Bayes Classifier menghasilkan akurasi sebesar 82% [15].
Metode  klasifikasi  Naïve  Bayes  menggunakan  algoritma  yang  sederhana  tetapi  sangat  cepat  dan  akurat [16]. Hal tersebut dibuktikan dalam penelitian yang dilakukan oleh [17] yang membandingkan performa algoritma Naïve Bayes dan KNN dalam mengklasifikasikan sentimen masyarakat tentang kenaikan harga tiket pesawat pada Twitter, mendapatkan hasil bahwa algoritma Naïve Bayes memiliki akurasi yang lebih baik dengan nilai sebesar 90,70% dan algoritma KNN mendapatkan akurasi sebesar 62,79%. Pada penelitian lain yang dilakukan oleh [18] tentang  implementasi  orange  data  mining  untuk  klasifikasi  kelulusan  mahasiswa  dengan  model  K-Nearest Neighbor, Decision Tree serta Naïve Bayes dan mendapatkan hasil bahwa algoritma Naïve Bayes memiliki tingkat akurasi yang lebih tinggi dengan 89% dibandingkan dengan algoritma  K-NN dengan akurasi 77% dan Decision Tree  sebesar  74%.  Algoritma  Naïve  Bayes  memerlukan  waktu  yang  lebih  sedikit  jika  dibandingkan  dengan algoritma Support Vector Machine (SVM) [19]. Penelitian lain [20] yang membandingkan performa dari algoritma Naïve Bayes Classifier (NBC) dan SVM mendapatkan hasil bahwa NBC lebih baik dengan akurasi 81,7%.
Penelitian  dilakukan  untuk  menerapkan  metode  klasifikasi  Naïve  Bayes  untuk  mengklasifikasikan sentimen  di  masyarakat  tentang  topik  pemindahan  Ibu  Kota  Negara  Indonesia.  Data  yang  akan  digunakan sebanyak 4000 tweet berbahasa Indonesia yang didapatkan dari penelitian sebelumnya yang dilakukan oleh A.D. Dian Kurniawan [10] dengan label positif dan negatif. Data yang diambil adalah tweet yang mengandung hastag #pindahibukota, #ibukotabaru, #pindahibukotauntuksiapa, #ibukotapindah dan #indonesiaibukotabaru. Penelitian ini  ingin  menguji  apakah  metode  klasifikasi  Naïve  Bayes  lebih  baik  dari  Modified  K-Nearest  Neighbor  yang digunakan di dalam [10]. Tujuan dari penelitian ini adalah bagaimana menerapkan metode Naïve Bayes Classifier dalam mengklasifikasikan sentimen terhadap topik pindah ibu kota negara serta mengetahui tingkat akurasi dari metode tersebut.

## 2. METODOLOGI PENELITIAN
Tahapan pada penelitian ini  mengikuti alur  seperti pada Gambar 1,  yang  dimulai dari  analisa data, selanjutnya masuk  pada  tahap  text  preprocessing,  kemudian  melakukan  feature  weighting  menggunakan  TF-IDF,  feature selection  menggunakan  threshold,  kemudian  proses  klasifikasi  menggunakan  metode  Naïve  Bayes  Classifier, selanjutnya dilakukan pengujian menggunakan confusion matrix dan yang terakhir kesimpulan.

## 2.1 Pengumpulan Data
Pada  tahap  ini  dilakukan  pengumpulan  data  dan  melakukan  pengecekan  pada  data  apakah  terdapat  data  yang kosong (null) dan memastikan data sesuai dengan kebutuhan.

## 2.2 Text Preprocessing
Selanjutnya  adalah  tahapan  text  preprocessing,  terdapat  beberapa  proses  di  dalam  text  preprocessing  yang bertujuan untuk mengubah data menjadi format yang lebih baik, sehingga data tersebut dapat diolah menjadi data yang berkualitas [21]. Text preprocessing dimulai dari: 1. Case Folding
Case  folding  ialah  mengubah  semua  huruf  dalam  dokumen  menjadi  huruf  kecil;  hanya  huruf  dari  alfabet  a sampai z yang diizinkan, dan semua karakter lainnya dihilangkan [22].
2. Text Cleaning
Text cleaning data merupakan proses yang bertujuan untuk menghapus noise pada data [23]. Karakter dapat diidentifikasi melalui karakter-karakter tertentu seperti tanda baca, tanda pagar (#), tanda tanya (?), tanda seru (!), emoji, tautan situs web, nama pengguna (@), dan elemen-elemen lainnya.
3. Tokenizing
Tokenizing ialah proses untuk memecah kalimat menjadi beberapa kata.
4. Text Normalization
Text  normalization  ialah  proses  pengembalian  perkata  yang  tidak  baku  kedalam  bahasa  baku  dalam  kamus bahasa Indonesia. Normalization sangat penting untuk menyiapkan data teks untuk tugas pemrosesan bahasa alami (NLP) [24].
5. Negation handling
Negation  handling  ialah  sesuatu  proses  pergantian  kata  negasi  jadi  kata  yang  sesungguhnya  semacam  kata “belum”,"tidak",”tak”, "jangan", dan "bukan".
6. Stopword Removal
Stopword removal ialah proses penghapusan kata yang dikira tidak bermanfaat.
7. Stemming
Stemming  ialah  proses  mengurangi  kata-kata  ke  bentuk  aslinya.  Ini  dilakukan  untuk  membuat  analisis  teks lebih mudah, seperti untuk menganalisis sentimen, mengklasifikasikan teks, dan mencari Informasi
2.3 Feature Weighting (TF-IDF)
Feature  weighting  atau  pembobotan  fitur  menggunakan  metode  pembobotan  kata  TF-IDF  (Term  Frequency- Inverse Document Frequency) digunakan untuk  mengukur  relevansi kata-kata dalam dokumen. Kata-kata  yang sering  muncul  dan  kata-kata  yang  jarang  muncul  diberi  nilai  yang  lebih  tinggi  daripada  kata-kata  yang  hanya muncul dalam beberapa dokumen [25]. Pembobotan TF-IDF terdiri dari dua elemen: frekuensi kata muncul dalam suatu dokumen dan kebalikan dari frekuensi kata muncul dalam dokumen secara keseluruhan [26].

## 2.4 Feature Selection (Threshold)
Feature selection atau seleksi fitur merupakan tahapan untuk mengurangi dimensi data tekstual sehingga hasil text mining berkualitas lebih baik [27]. Fitur yang akan dihapus adalah semua fitur dengan varian lebih rendah dari nilai ambang batas yang ditentukan.

## 2.5 Klasifikasi Naïve Bayes Classifier
Langkah berikutnya melibatkan penggunaan  Naïve Bayes Classifier, suatu teknik klasifikasi yang berakar pada metode  probabilitas  dan  statistik  yang  diperkenalkan  oleh  ilmuwan  Inggris,  Thomas  Bayes.  Metode  ini mendasarkan  prediksi  peluang  di  masa  depan  pada  pengalaman  masa  lalu,  sehingga  sering  disebut  sebagai Teorema Bayes [28] merupakan algoritma yang digunakan untuk mengklasifikasikan data uji ke dalam kategori yang paling sesuai. Metode klasifikasi Naïve Bayes menggunakan algoritma yang sederhana tetapi sangat cepat dan akurat [16]. Pada tahap ini data dibagi menjadi dua bagian, yaitu 90% data latih (3600 data) dan 10% data uji (400 data).

## 2.6 Pengujian (Confusion Matrix)
Pada  tahap  ini  dilakukan  pengujian  menggunakan  Confusion  Matrix.  Confusion  matrix  merupakan  alat  yang bermanfaat untuk mengevaluasi sejauh mana klasifikasi yang telah dilakukan mampu mengidentifikasi elemen- elemen dari kelas yang berbeda. [29].
Tabel 1. Confusion Matrix Prediksi Positif Negatif Aktual Positif TP FN Negatif FP TN
Volume 5, Nomor 3, Maret 2024 e-ISSN 2685-998X DOI 10.30865/json.v5i3.7475
Tabel 1 merupakan tabel untuk  hasil evaluasi  menggunakan  confusion  matrix, dalam [29]  menyebutkan ada 4 building blocks yang banyak digunakan sebagai bahan dalam banyak pengukuran evaluasi, yakni: 1. True Positives (TP): Data positif yang berhasil dilabeli dengan benar oleh classifier.
2. True Negatives (TN): Data negatif yang berhasil dilabeli dengan benar oleh classifier.
3. False Positives (FP): Data negatif yang ternyata salah dilabeli sebagai positif oleh classifier.
4. False Negatives (FN): Data positif yang ternyata salah dilabeli sebagai negatif oleh classifier. Dari  hasil  perhitungan  confusion  matrix  diperoleh  nilai-nilai  Akurasi,  Presisi,  Sensitivitas  (Recall),  dan Skor F1.

## 3. HASIL DAN PEMBAHASAN

## 3.1 Pengumpulan Data
Data yang digunakan pada penelitian ini berjumlah 4000 data, yang terdiri dari dua kelas yaitu 2000 data kelas positif dan 2000 data kelas negatif yang disimpan dalam format .csv, bisa dilihat pada gambar 2. Pada bagian ini juga dilakukan pengecekan pada data apakah terdapat data yang kosong (null) dan memastikan data sesuai dengan kebutuhan. Data yang digunakan dapat dilihat pada gambar 2:
Gambar 2. Data Penelitian

## 3.2 Text Preprocessing
Text preprocessing teks adalah tahapan yang bertujuan untuk menyesuaikan teks dengan kebutuhan pembentukan fitur  klasifikasi.  Beberapa  tahap  yang  umum  dilakukan  adalah  case  folding,  text  cleaning,  tokenizing,  text normalization,  negation  handling,  stopword  removal,  dan  stemming.  Di  dalam  penelitian  ini,  diselidiki  aspek- aspek text preprocessing dalam pembentukan fitur apakah mempengaruhi hasil klasifikasi.

## 3.2.1 Case Folding
Case folding ialah proses pengubahan huruf kapital menjadi huruf kecil. Hasil dari proses case folding dapat dilihat pada Tabel 2 berikut.
Tabel 2. Case Folding Sebelum Case Folding Setelah Case Folding
Jika pemindahan ibu kota negara terealisasi, Presiden Jokowi tidak akan pernah dilupakan rakyat Indonesia di masa datang. #IbuKotaPindah http://m.jpnn.com/amp/news/seperti-bung-karnopak- jokowi-bakal-dikenang-rakyat-indonesiaÂ â€¦ #IbuKotaPindah"
jika pemindahan ibu kota negara terealisasi, presiden jokowi tidak akan pernah dilupakan rakyat indonesia di masa datang. #ibukotapindah http://m.jpnn.com/amp/news/seperti-bung-karno-pak- jokowi-bakal-dikenang-rakyat-indonesiaâ â€ ¦ #ibukotapindah

## 3.2.2 Cleaning
Cleaning data merupakan proses yang bertujuan untuk menghapus “noise” pada data teks. Beberapa yang dihapus dalam  proses  cleaning  ini  adalah  karakter-karakter  khusus  seperti  tanda  baca,  tanda  pagar  (#),  tanda  tanya  (?), tanda seru (!), dan emoji. Selain itu, tautan situs web (URL), nama pengguna (@), dan karakter yang bukan teks alfabet juga dihapus dari teks. Contoh hasil dari proses cleaning dapat dilihat pada Tabel 3.
Tabel 3. Cleaning Sebelum Cleaning
Setelah Cleaning
jika pemindahan ibu kota negara terealisasi, presiden jokowi tidak akan pernah dilupakan rakyat indonesia di masa datang. #ibukotapindah
http://m.jpnn.com/amp/news/seperti-bung-karno-pak- jokowi-bakal-dikenang-rakyat-indonesiaâ â€ ¦
#ibukotapindah
jika pemindahan ibu kota negara terealisasi presiden jokowi tidak akan pernah dilupakan rakyat indonesia di masa datang

## 3.2.3 Tokenizing
Tokenizing ialah proses untuk memecah kalimat menjadi token berbentuk kata. Contoh hasil dari proses tokenizing dapat dilihat pada Tabel 4.
Tabel 4. Tokenizing Sebelum  Tokenizing Setelah Tokenizing jika pemindahan ibu kota negara terealisasi presiden jokowi tidak akan pernah dilupakan rakyat indonesia di masa datang ['jika', 'pemindahan', 'ibu', 'kota', 'negara', 'terealisasi', 'presiden', 'jokowi', 'tidak', 'akan', 'pernah', 'dilupakan', 'rakyat', 'indonesia', 'di', 'masa', 'datang']
3.2.4 Normalization
Normalization ialah proses pengembalian kata yang tidak baku atau typo ke dalam bahasa baku dalam kamus bahasa Indonesia. Hasil dari proses normalization bisa dilihat pada tabel 5.
Tabel 5. Normalization Sebelum  Normalization Setelah Normalization ['jika', 'pemindahan', 'ibu', 'kota', 'negara', 'terealisasi', 'presiden', 'jokowi', 'tidak', 'akan', 'pernah', 'dilupakan', 'rakyat', 'indonesia', 'di', 'masa', 'datang'] ['jika', 'pemindahan', 'ibu', 'kota', 'negara', 'terealisasi', 'presiden', 'jokowi', 'tidak', 'akan', 'pernah', 'dilupakan', 'rakyat', 'indonesia', 'di', 'masa', 'datang']

## 3.2.5 Negation Handling
Negation handling ialah sesuatu proses mengubah kata yang mengandung negasi menjadi lawan katanya. Kata- kata negasi “belum”,"tidak",”tak”, "jangan", dan "bukan" yang mengikuti suatu kata tertentu (misal kata benda, kata sifat, kata kerja, kata keterangan) akan diubah keduanya menjadi lawan kata dari kata yang diikuti tadi. Contoh hasil dari proses negation handling bisa di lihat pada Tabel 6.
Tabel 6. Negation Handling Sebelum Negation Handling Setelah Negation Handling ['jika', 'pemindahan', 'ibu', 'kota', 'negara', 'terealisasi', 'presiden', 'jokowi', 'tidak', 'akan', 'pernah', 'dilupakan', 'rakyat', 'indonesia', 'di', 'masa', 'datang'] ['jika', 'pemindahan', 'ibu', 'kota', 'negara', 'terealisasi', 'presiden', 'jokowi', 'menolak', 'pernah', 'dilupakan', 'rakyat', 'indonesia', 'di', 'masa', 'datang']

## 3.2.6 Stopword Removal
Stopword removal ialah proses penghapusan kata di dalam teks yang terdapat di dalam stoplist. Kata-kata yang digolongkan ke dalam stopword pada umumnya adalah kata-kata yang terlalu sering muncul di dalam suatu korpus dokumen yang besar. Untuk penelitian ini, digunakan daftar stoplist yang sudah umum untuk bahasa Indonesia, ditambah sejumlah kata yang memiliki frekuensi tertinggi di dalam dataset sentimen ini, seperti kata pindah, ibu, kota, dan negara. Contoh hasil dari proses stopword removal bisa dilihat pada Tabel 7.
Tabel 7. Stopword Removal
Sebelum Stopword Removal Setelah Stopword Removal ['jika', 'pemindahan', 'ibu', 'kota', 'negara', 'terealisasi', 'presiden', 'jokowi', 'menolak', 'pernah', 'dilupakan', 'rakyat', 'indonesia', 'di', 'masa', 'datang'] ['terealisasi', 'presiden', 'jokowi', 'menolak', 'dilupakan', 'rakyat', 'indonesia']

## 3.2.7 Stemming
Stemming  ialah  proses  mengembalikan  kata-kata  ke  bentuk  dasarnya.  Penelitian  ini  menggunakan  stemming Bahasa Indonesia dari library sastrawi. Contoh hasil dari proses stemming bisa dilihat pada Tabel 8.
Tabel 8. Stemming Sebelum Stemming Setelah Stemming ['terealisasi', 'presiden', 'jokowi', 'menolak', 'dilupakan', 'rakyat', 'indonesia'] realisasi presiden jokowi tolak lupa rakyat indonesia

## 3.2.7 Word Cloud
Setelah  seluruh  data  tweet  mengalami  text  preprocessing,  profil  kata-kata  di  dalam  dataset  dapat  digambarkan dalam bentuk word cloud untuk kelas positif dan kelas negatif, seperti terlihat pada Gambar 3 dan Gambar 4. Dari kedua  gambar  tersebut,  kita  dapat  melihat  kecenderungan  kata-kata  yang  banyak  terdapat  pada  masing-masing kelas,  dengan  melihat  kepada  ukuran  hurufnya.  Pada  bagian  ini  juga  sudah  dilakukan  percobaan  untuk menghilangkan  kata  dengan  frekuensi  terbanyak  seperti  jakarta,  kalimantan  dan  indonesia,  tetapi  hasil  akurasi yang dihasilkan menjadi lebih rendah dibandingkan tidak menghilangkan kata-kata tersebut.
Gambar 3. Word Cloud kelas positif
Gambar 4. Word Cloud kelas negatif

## 3.3 Feature Weighting (TF-IDF)
Proses  selanjutnya  adalah  pembentukan  vektor  bag  of  words  dengan  pembobotan  kata  menggunakan  TF-IDF. Untuk proses pembobotan kata tersebut, digunakan library tfidf vectorizer dari sklearn [30].

## 3.4 Feature Selection
Feature  selection  atau  seleksi  fitur  merupakan  tahapan  untuk  mengurangi  dimensi  vektor  input  pada  machine learning, agar proses komputasi lebih efisien dan hasil klasifikasi lebih baik, karena  membuang fitur-fitur yang kurang  signifikan  dalam  klasifikasi.  Fitur  yang  menjadi  objek  komputasi  dari  metode  Naïve  Bayes  dalam penelitian ini adalah daftar kata-kata yang terbentuk dari proses sebelumnya (tfidf tokenizer), dengan nilai berupa bobot TF.IDF. Fitur yang akan dipilih adalah semua fitur dengan nilai bobot lebih tinggi dari nilai ambang batas (threshold) yang ditentukan.
Pada  penelitian  ini,  feature  selection  menggunakan  library  modul  variance  threshold  dari  sklearn  [30]. Sebelum  dilakukan  feature  selection,  jumlah  fitur  berjumlah  26.514  token  kata.  Kemudian  dilakukan  beberapa percobaan  untuk  menentukan  nilai  terbaik  dari  threshold,  dengan  memilih  nilai  threshold  dari  0,0001  sampai dengan 0,007. Nilai threshold terbaik yang diperoleh untuk penelitian ini adalah 0,0001. Setelah proses  feature selection dengan threshold 0,0001 jumlah fitur menjadi 22.929 token.

## 3.5 Klasifikasi Naïve Bayes Classifier
Setelah  melakukan  proses  feature  selection,  tahap  berikutnya  adalah  klasifikasi  menggunakan  algoritma  Naïve Bayes Classifier. Data dibagi menjadi dua bagian, yaitu 90% data latih (3600 data) dan 10% data uji (400 data).

## 3.5.1 Experiment Setup
Experiment setup dirancang untuk  menemukan  model  yang paling optimal untuk  Naïve Bayes Classifier, yaitu model yang menghasilkan performa paling baik, ditinjau dari F1-score hasil prediksinya. Pada tahap ini dilakukan beberapa experiment untuk menyelidiki pengaruh penerapan beberapa langkah text preprocessing, yaitu stemming, normalization, negation handling, dan stopword removal sebagaimana yang dilakukan oleh [31]. Hal ini dilakukan, karena  keempat  proses  tersebut  sangat  memakan  resource  komputasi,  karena  prosesnya  yang  berulang-ulang memeriksa  setiap  kata  pada  teks,  apakah  terdapat  di  dalam  kamus  kata  dari  masing-masing  proses.  Komposisi eksperimen untuk menemukan model terbaik dari tahap ini bisa dilihat pada Tabel 9.
Tabel 9. Variasi eksperimen dalam menguji pengaruh aspek text preprocessing dalam klasifikasi
ID Experiment  Stemming  Stopword  Normalization  Negation Handling
1     2     3     4     5     6     7     8     9     10     11     12     13     14     15     16    
Pada Tabel 9 di atas, tanda centang menyatakan tahapan tersebut diterapkan, dan tanda silang menyatakan tahapan tersebut tidak diterapkan pada proses text preprocessing, setelah itu baru dilakukan proses vectorizer.

## 3.5.2 Proses Training NB
Tahap menentukan kelas dari metode Naïve Bayes, dimulai dari proses training dengan melakukan proses fitting pada dataset training, menggunakan library multinomialNB dari sklearn [30]. Multinomial NB adalah pendekatan yang paling cocok dengan kasus klasifikasi teks dengan banyak fitur. Setelah proses training, terbentuk model NB yang berisikan parameter-parameter probabilitas untuk setiap fitur pada setiap kelas klasifikasi. Selanjutnya model ini dipakai untuk melakukan prediksi terhadap data testing. Beberapa contoh penerapan pada prediksi data teks tweet yang sudah mengalami proses seleksi fitur dapat dilihat pada Gambar 5 di bawah ini.
Gambar 5. Hasil Prediksi Kelas
3 . 5.3 Pencarian model NB optimal
Pencarian  model optimal dilakukan dengan skema  Experiment  Setup  yang telah dijelaskan pada Tabel 9. Pada tahapan ini juga dilakukan penerapan  threshold dan pengujian tanpa  threshold. Nilai threshold  yang diterapkan adalah 0.0001, sesuai dengan hasil rekomendasi dari proses seleksi fitur sebelumnya, yaitu bahwa semakin besar nilai threshold yang digunakan, maka nilai akurasi dan f1-score akan semakin kecil.
Volume 5, Nomor 3, Maret 2024 e-ISSN 2685-998X DOI 10.30865/json.v5i3.7475
Data hasil eksperimen disajikan pada Tabel 10 menampilkan nilai  threshold 0,0001 dan tanpa threshold, dari hasil pengujian setiap variasi kombinasi tahap text preprocessing. Proses training (fit) dilakukan terhadap data training yang telah mengalami proses pengolahan teks sesuai dengan skenario pengujian. Kemudian akurasi dan F1-score nya dicatat ke dalam Tabel 10. Prediksi terhadap data validasi, yaitu data yang tidak terlihat saat proses training dilakukan, dan hasilnya dicatat di dalam Tabel 10 pada kolom Data Validasi. Hasil performa terbaik dari model naïve bayes classifier dari skema pengujian di atas, akan dipilih sebagai model final dalam penelitian ini.
Dari pengujian ini, dipilih skema model dari ID experiment 14, yaitu proses stemming, stopword removal, negation handling dan normalisasi teks tidak dilakukan. Hanya dilakukan pemrosesan teks dasar, yang meliputi text cleaning, case folding, tokenization dan menghapus karakter-karakter khusus, angka, mention, dan URL pada model yang paling optimal. Di samping itu, penerapan  threshold 0.0001 pada data fitur (token) juga diterapkan karena menghasilkan performa yang lebih baik daripada menggunakan semua fiturnya. Akurasi dan F1-score yang diperoleh pada data validasi adalah berturut-turut sebesar 78,61% dan 78,58%.
Tabel 10. Evaluation Score dari eksperimen pencarian model optimal id experiment Threshold Data Training Data Validasi Accuracy F1-score Accuracy F1-score 1 0 89.10% 89.10% 75.00% 75.00% 0.0001 85.77% 85.77% 75.28% 75.27% 2 0 90.49% 90.49% 72.78% 72.69% 0.0001 86.54% 86.54% 73.33% 73.32% 3 0 88.80% 88.79% 73.06% 72.92% 0.0001 86.14% 86.14% 74.72% 74.68% 4 0 88.98% 88.98% 74.72% 74.67% 0.0001 86.39% 86.39% 75.56% 75.54% 5 0 91.79% 91.79% 77.50% 77.33% 0.0001 87.04% 87.04% 77.78% 77.75% 6 0 88.43% 88.43% 78.61% 78.57% 0.0001 86.05% 86.04% 77.78% 77.77% 7 0 91.48% 91.48% 78.33% 78.25% 0.0001 86.51% 86.51% 78.33% 78.31% 8 0 91.11% 91.11% 77.22% 76.97% 0.0001 87.19% 87.19% 78.61% 78.47% 9 0 91.05% 91.05% 78.06% 77.87% 0.0001 87.93% 87.93% 78.61% 78.49% 10 0 88.46% 88.46% 78.33% 78.32% 0.0001 86.02% 86.01% 77.78% 77.78% 11 0 90.34% 90.34% 73.33% 73.27% 0.0001 86.60% 86.60% 74.44% 74.44% 12 0 90.49% 90.49% 78.61% 78.54% 0.0001 86.88% 86.88% 77.50% 77.47% 13 0 88.43% 88.43% 78.61% 78.57% 0.0001 86.05% 86.04% 77.78% 77.77% 14 0 91.42% 91.42% 78.33% 78.25% 0.0001 86.51% 86.51% 78.61% 78.58% 15 0 90.31% 90.31% 77.50% 77.45% 0.0001 86.30% 86.29% 78.33% 78.32% 16 0 89.01% 89.01% 76.39% 76.35% 0.0001 85.77% 85.77% 76.67% 76.67%
*) Threshold 0 menyatakan tidak menggunakan threshold
3.5.4 Pengujian Final terhadap Data Testing
Setelah diperoleh model NB yang paling optimal, yaitu model pada ID Experiment 14, maka dilakukan pengujian terhadap data testing. Hasil prediksi kelas sentimen pada data testing dituliskan pada Tabel 11 berikut. Tabel ini juga  memperlihatkan  hasil  yang  diperoleh  pada  penelitian  sebelumnya  oleh  A.D.Dian  Kurniawan  [10]  dengan algoritma  Modified  K-Nearest  Neighbor  (M-KNN),  yang  mendapatkan  akurasi  56,16%,  precision  100%,  dan recall 56,16%. Perbandingan hasil antara penelitian ini dan penelitian sebelumnya bisa dilihat pada tabel 11.
Tabel 11. Perbandingan Penelitian
Metode Text Preprocessing Akurasi  F1-score Modified K-NN (1) Basic, (2) Normalization 56,16% -
Metode Text Preprocessing Akurasi  F1-score (3) Negation Handling (4) Stopword Removal (5) Stemming Penelitian ini (NB) Basic 77,00% 77,00%
Dari  tabel  11  dapat  terlihat  bahwa  penelitian  ini  dengan  hanya  menggunakan  text  preprocessing  dasar (basic) dapat menghasilkan akurasi yang jauh lebih baik dari pada penelitian sebelumnya yang menerapkan semua proses text preprocessing, pada pengujian data testing 10%. Peningkatan akurasi yang dapat dicapai dari metode NB melebihi 20% dibandingkan metode modified K-NN yang digunakan dalam [10]. Sedangkan untuk F1-score [10] tidak melaporkannya.

## 3.5.5 Confusion Matrix
Kemampuan  model  NB  mengklasifikasi  kedua  kelas  (positif  dan  negatif),  dapat  diamati  dari  grafik  confusion matrix pada Gambar 6. Dari gambar tersebut, dapat dijelaskan hasil evaluasi sebagai berikut :
1. True Positive (TP) 150, berarti ada 150 data tweet yang diklasifikasikan dengan benar oleh model sebagai kelas positif.
2. True Negative (TN) 153, berarti ada 153 data tweet, yang diklasifikasikan dengan benar oleh model sebagai kelas negatif.
3. False  Positive  (FP)  54,  berarti  ada  54  data  tweet  yang  sebenarnya  adalah  kelas  negatif,  tetapi  keliru diklasifikasikan oleh model sebagai kelas positif.
4. False  Negatif  (FN)  43,  berarti  ada  43  data  tweet  yang  sebenarnya  adalah  kelas  positif,  tetapi  keliru diklasifikasikan oleh model sebagai kelas negatif.
Berdasarkan hasil pada confusion matrix tersebut, metode Naïve Bayes Classifier dalam pengujian terhadap data testing menghasilkan tingkat akurasi sebesar 77,00% , dengan precision sebesar 77,06%, recall 77,08%, dan f1-score sebesar 77,00%. Hasil ini sudah cukup baik, namun masih perlu ditingkatkan lagi karena pada dasarnya metode pembelajaran  mesin (machine learning)  sangat baik dalam  melakukan  klasifikasi untuk 2 kelas (binary classification).  Potensi  peningkatan  hasil  dapat  dilakukan  dengan  menguji  berbagai  aspek,  misalnya  penerapan fitur word occurency (jumlah kemunculan kata) di dalam dokumen dibandingkan TF-IDF, atau penerapan fitur boolean  (ada  atau  tidak)  kata  di  dalam  dokumen.  Model  NB  yang  dipakai  juga  bisa  diganti  dengan  model  NB lainnya, misalnya ada model Bernoulli NB, ada model Gaussian NB, dan lainnya. Selain itu dapat juga dengan menganalisa data hasil pelabelan, karena apabila kualitas data tidak baik (banyak inkonsistensi dalam penetapan label kelas), maka hasil klasifikasi juga akan tidak bagus.
Gambar 6. Confusion Matrix dari hasil prediksi pada data testing

## 4. KESIMPULAN
Berdasarkan hasil penelitian yang dilakukan dengan metode Naïve Bayes Classifier pada proses pengklasifikasian sentimen yang diambil dari Twitter, yaitu mengenai topik pindah Ibu Kota Negara berhasil dilakukan. Penelitian dilakukan menggunakan 4000 data yang dibagi menjadi dua kelas, yaitu kelas positif dan kelas negatif, dengan masing-masing  sebanyak  2000  data.  Pengujian  dilakukan  dengan  dua  cara,  penggunaan  experiment  setup  dan penerapan  threshold.  Data  dibagi  menjadi  dua  bagian,  yaitu  90%  data  latih  (3600 data) dan  10%  data  uji  (400 data).  Hasil  pengujian  terbaik  didapatkan  dari  experiment  setup  dengan  id  experiment  14,  yaitu  hanya menggunakan text preprocessing basic (cleaning, case folding, dan tokenizing) dan penggunaan threshold dengan nilai  0,0001.  Akurasi  yang  didapatkan  sebesar  77,00%  dengan  precision  77,06%,  recall  77,08%  dan  F1-Score 77,00%. Hasil akurasi  yang tidak tinggi disebabkan oleh banyaknya  kata  yang digunakan untuk  melatih  model tidak cukup mewakili sentimen yang sebenarnya, hal ini bisa dilihat pada word cloud pada gambar 3 dan gambar
4. Berdasarkan hasil riset memverifikasi kalau metode Naïve Bayes Classifier menghasilkan nilai ataupun tingkat akurasi yang cukup baik.

## REFERENCES
[1]  R. N. Fahmi, Nursyifa, and A. Primajaya, “Analisis Sentimen Pengguna Twitter Terhadap Kasus Penembakan Laskar Fpi Oleh Polri Dengan Metode Naive Bayes Classifier,” 2021.
[2]  A. Mustofa and R. Novita, “Klasifikasi Sentimen Masyarakat Terhadap Pemberlakuan Pembatasan Kegiatan Masyarakat Menggunakan  Text  Mining  Pada  Twitter,”  Technology  and  Science  (BITS),  vol.  4,  no.  1,  2022,  doi: 10.47065/bits.v4i1.1628.
[3]  F. Septianingrum and A. S. Y. Irawan, “Metode Seleksi Fitur Untuk Klasifikasi Sentimen Menggunakan Algoritma Naive Bayes:  Sebuah  Literature  Review,”  Jurnal  Media  Informatika  Budidarma,  vol.  5,  no.  3,  p.  799,  Jul.  2021,  doi: 10.30865/mib.v5i3.2983.
[4]  M. A. Rizaty, “Pengguna Twitter di Indonesia Capai 18,45 Juta pada 2022,” dataindonesia.id. Accessed: Dec. 13, 2022. [Online]. Available: https://dataindonesia.id/digital/detail/pengguna-twitter-di-indonesia-capai-1845-juta-pada-2022
[5]  F.  Amirullah,  S.  Alam,  and  M.  I.  Sulistyo,  “Analisis  Sentimen  Terhadap  Kinerja  KPU  Menjelang  Pemilu  2024 Berdasarkan Opini Twitter Menggunakan Naïve Bayes,” STORAGE: Jurnal Ilmiah Teknik dan Ilmu Komputer, vol. 2, no. 3, pp. 69–76, Aug. 2023, doi: 10.55123/storage.v2i3.2293.
[6]  A. Faisal et al., “Analisis Sentimen Dewan Perwakilan Rakyat Dengan Algoritma Klasifikasi Berbasis Particle Swarm Optimization,” Jointecs (Journal of Information Technology and Computer Science), vol. 5, no. 2, pp. 61–70, 2020.
[7]  A. P. Giovani, Ardiansyah, T. Haryanti, L. Kurniawati, and W. Gata, “Analisis Sentimen Aplikasi Ruang Guru Di Twitter Menggunakan Algoritma Klasifikasi,” Jurnal Teknoinfo, vol. 14, no. 2, p. 115, Jul. 2020, doi: 10.33365/jti.v14i2.679.
[8]  S.  Kurniawan,  W.  Gata,  D.  Ayu  Puspitawati,  M.  Tabrani,  and  K.  Novel,  “Perbandingan  Metode  Klasifikasi  Analisis Sentimen Tokoh Politik Pada Komentar Media Berita Online,” Jurnal Resti (Rekayasa Sistem dan Teknologi Informasi), vol. 3, no. 2, pp. 176–183, 2019.
[9]  Yuyun,  N.  Hidayah,  and  S.  Sahibu,  “Algoritma  Multinomial  Naïve  Bayes  Untuk  Klasifikasi  Sentimen  Pemerintah Terhadap Penanganan Covid-19 Menggunakan Data Twitter,” Jurnal RESTI (Rekayasa Sistem dan Teknologi Informasi), vol. 5, no. 4, pp. 820–826, Aug. 2021, doi: 10.29207/resti.v5i4.3146.
[10] A. D. D. Kurniawan, “Analisis Sentimen Topik Pindah Ibu Kota Pada Twitter Menggunakan Metode Modified K-Nearest Neighbor,” UIN Suska Riau, Pekanbaru, 2021.
[11] N.  Ruhyana,  “Analisis  Sentimen  Terhadap  Penerapan  Sistem  Plat  Nomor  Ganjil/Genap  Pada  Twitter  Dengan  Metode Klasifikasi  Naive  Bayes,”  Jurnal  IKRA-ITH  Informatika,  vol.  3,  no.  1,  pp.  94–99,  2019,  [Online].  Available: www.situs.com
[12] D.  Ikasari,  Y.  Fajarwati,  and  Widiastuti,  “Analisis  Sentimen  Dan  Klasifikasi  Tweets  Berbahasa  Indonesia  Terhadap Transportasi Umum Mrt Jakarta Menggunakan Naïve Bayes Classifier,” Jurnal Ilmiah Informatika Komputer, vol. 25, no. 1, pp. 64–75, 2020, doi: 10.35760/ik.2020.v25i1.2427.
[13] F.  E.  Purwiantono  and  A.  Aditya,  “Klasifikasi  Sentimen  Sara,  Hoaks  Dan  Radikal  Pada  Postingan  Media  Sosial Menggunakan Algoritma Naive Bayes Multinomial Text,” Jurnal TEKNOKOMPAK, vol. 14, no. 2, pp. 68–73, 2020.
[14] A. Damuri, U. Riyanto, H. Rusdianto, and M. Aminudin, “Implementasi Data Mining dengan Algoritma  Naïve Bayes Untuk Klasifikasi Kelayakan Penerima Bantuan Sembako,” Jurnal Riset Komputer), vol. 8, no. 6, pp. 2407–389, 2021, doi: 10.30865/jurikom.v8i6.3655.
[15] R. Indransyah, Y. H. Chrisnanto, and P. N. Sabrina, “Klasifikasi Sentimen Pergelaran MotoGP Di Indonesia Menggunakan Algoritma Correlated Naïve Bayes Clasifier,” Infotech, vol. 8, pp. 60–66, 2022, doi: 10.31949/infotech.v8I2.3103.
[16] L.  B.  Ilmawan  and  M.  A.  Mude,  “Perbandingan  Metode  Klasifikasi  Support  Vector  Machine  dan  Naïve  Bayes  untuk Analisis Sentimen pada Ulasan Tekstual di Google Play Store,” ILKOM Jurnal Ilmiah, vol. 12, no. 2, pp. 154–161, Aug. 2020, doi: 10.33096/ilkom.v12i2.597.154-161.
[17] A. M. Raya, F. Nurbaiti, and S. Detin, “Klasifikasi Sentimen Masyarakat Terhadap Kenaikan Harga Tiket Pesawat Pada Twitter Menggunakan Naive Bayes,” Jurnal INSTEK (Informatika Sains dan Teknologi), vol. 4, no. 2, pp. 239–246, 2019.
[18] S.  Alim,  Anwari,  and  Hozairi,  “Implementasi  Orange  Data  Mining  Untuk  Klasifikasi  Kelulusan  Mahasiswa  Dengan Model K-Nearest Neighbor, Decision Tree Serta Naive Bayes,” Jurnal Ilmiah NERO, vol. 6, no. 2, pp. 133–144, 2021.
[19] F. Fitriana, E. Utami, and H. Al Fatta, “Analisis Sentimen Opini Terhadap Vaksin Covid - 19 pada Media Sosial Twitter Menggunakan Support Vector Machine dan Naive Bayes,” Jurnal Komtika (Komputasi dan Informatika), vol. 5, no. 1, pp. 19–25, Jul. 2021, doi: 10.31603/komtika.v5i1.5185.
[20] E. S. R. Br.Situmorang, M. K. Anam, R. Rahmaddeni, and A. N. Ulfah, “Perbandingan Algoritma SVM Dan NBC Dalam Analisa Sentimen Pilkada Pada Twitter,” CSRID (Computer Science Research and Its Development Journal), vol. 13, no. 3, p. 169, Nov. 2021, doi: 10.22303/csrid.13.3.2021.169-179.
[21] A. R. Kardian and D. Gustiana, “Analisis Sentimen Berdasarkan  Opini Pengguna pada Media Twitter Terhadap BPJS Menggunakan Metode Lexicon Based dan Naïve Bayes Classifier,” Jurnal Ilmiah Komputasi, vol. 20, no. 1, Mar. 2021, doi: 10.32409/jikstik.20.1.401.
[22] I. Sari and D. Indarti, Text Mining : Praktik Klasifikasi Dan Pemodelan Topik Dengan Phyton. Ponorogo: Uwais Inspirasi Indonesia, 2022.
[23] N. L. P. C. Savitri, R. A. Rahman, R. Venyutzky, and N. A. Rakhmawati, “Analisis Klasifikasi Sentimen Terhadap Sekolah Daring pada Twitter Menggunakan Supervised Machine Learning,” Jurnal Teknik Informatika dan Sistem Informasi, vol. 7, no. 1, Apr. 2021, doi: 10.28932/jutisi.v7i1.3216.
[24] V.  Ayumi,  H.  Noprisson,  M.  Utami,  E.  D.  Putra,  and  M.  Purba,  Konsep  Dasar  Natural  Language  Processing  (NLP). Sukabumi: CV Jejak, 2023.
[25] R. Aryanti, T. Misriati, and A. Sagiyanto, “Analisis Sentimen Aplikasi Primaku Menggunakan Algoritma Random Forest dan SMOTE untuk Mengatasi Ketidakseimbangan Data,” Journal of Computer System and Informatics (JoSYC), vol. 5, no. 1, pp. 218–227, 2023, doi: 10.47065/josyc.v5i1.4562.
[26] C.  H.  Morama,  D.  E.  Ratnawati,  and  I.  Arwani,  “Analisis  Sentimen  berbasis  Aspek  terhadap  Ulasan  Hotel  Tentrem Yogyakarta menggunakan Algoritma Random Forest Classifier,”  Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, vol. 6, no. 4, pp. 1702–1708, 2022, [Online]. Available: http://j-ptiik.ub.ac.id
[27] S. Fide, Suparti, and Sudarno, “Analisis Sentimen Ulasan Aplikasi Tiktok Di Google Play Menggunakan Metode Support Vector  Machine  (SVM)  Dan  Asosiasi,”  Jurnal  Gaussian,  vol.  10,  no.  3,  pp.  346–358,  2021,  [Online].  Available: https://ejournal3.undip.ac.id/index.php/gaussian/
[28] A. Kausar, A. Irawan, Wahyuddin, and I. Fernando, “Implementasi Algoritma Naïve Bayes Classifier Untuk Penilaian Kinerja Dosen,” Jurnal PROSISKO, vol. 10, no. 2, 2023.
[29] S. W. U. Vitandy, A. A. Supianto, and F. A. Bachtiar, “Analisis Sentimen Evaluasi Kinerja Dosen menggunakan Term Frequency-Inverse  Document  Frequency  dan  Naïve  Bayes  Classifier,”  Jurnal Pengembangan  Teknologi  Informasi  dan Ilmu Komputer, vol. 3, no. 6, pp. 6080–6088, 2019, [Online]. Available: http://j-ptiik.ub.ac.id
[30] F. Pedregosa et al., “Scikit-learn: Machine Learning in Python,” JMLR 12.
[31] S. Azhar, Yusra, M. Fikry, S. Agustian, and I. Afrianty, “Klasifikasi Sentimen Masyarakat di Twitter Terhadap Ganjar Pranowo dengan Metode Support Vector Machine,” KLIK: Kajian Ilmiah Informatika dan Komputer, vol. 4, no. 3, pp. 1660–1667, Dec. 2023.