Analisis Perbandingan Algoritma Naive Bayes Classifier dan Support Vector Machine untuk Klasifikasi Hoax pada Berita Online Indonesia
Ramadhan Rakhmat Sani 1) ,Yunita Ayu Pratiwi 2) , Sri Winarno 3) , Erika Devi Udayanti 4) , dan Farrikh Al Zami 5)
Program Studi Sistem Informasi, Universitas Dian Nuswantoro
1) ramadhan_rs@dsn.dinus.ac.id, 2) yunitayu.pratiwi@gmail.com, 3) sri.winarno@dsn.dinus.ac.id,
4) erikadevi@dsn.dinus.ac.id, 5) alzami@dsn.dinus.ac.id

## Abstrak
Masyarakat mampu mengkonsumsi tiap informasi yang tersebar di internet dengan cepat dan terkadang informasi yang beredar tidak selalu memberikan kebenaran yang sesuai dengan  kenyataannya  (hoax).  Demi  mendapatkan  keuntungan  dan  mencapai  tujuan pribadi, hoax seringkali sengaja dibuat dan dibagikan. Informasi yang didapatkan dari hoax  tentunya  dapat  mempengaruhi  masyarakat  karena  menimbulkan  keraguan  dan kebingungan terhadap informasi yang diterima. Oleh karena itu, penelitian ini membahas tentang  bagaimana  mengklasifikasikan  berita  hoax  berbahasa  Indonesia  mengenai  isu kesehatan  menggunakan  TF-IDF  serta  algoritma  Naïve  Bayes  Classifier  dan  Support Vector  Machine  dengan  4  model  yang  berbeda  sehingga  mampu  memprediksi  sebuah berita  hoax  atau  valid.  Pada  penelitian  ini  dataset  yang  dikumpulkan  sebanyak  287 diantaranya  200  valid  dan  87  hoax.  Hasil  evaluasi  model  penelitian  ini  dengan menggunakan  4  model  berbeda  pada  masing-masing  algoritma,  diperoleh  nilai classification report terbesar untuk algoritma NBC pada model Complement Naïve Bayes dengan  hasil  precision  95.4%,  recall  95.4%,  f1-score  95.4%  dan  accuracy  93.1%. Sedangkan nilai classification report terbesar untuk algoritma SVM pada kernel Sigmoid dengan hasil precision 95.6%, recall 100%, f1-score 97.7% dan accuracy 96.5%. Sehingga dapat disimpulkan bahwa hasil performa rata-rata dari algoritma SVM memiliki kinerja yang  lebih  baik jika  dibandingkan  dengan  algoritma  NBC  dalam  melakukan  klasifikasi berita hoax mengenai isu kesehatan.
Kata kunci : Naïve Bayes Classifier, Support Vector Machine, Klasifikasi Berita Hoax, Berita Hoax, TF-IDF

## Abstract
People  are  able to consume  any  information  that  is  spread on the internet  quickly and sometimes the information circulating does not always provide the truth in accordance with reality.  In  order  to  gain  profit  and  achieve  personal  goals,  hoax  are  often  deliberately created and shared. Information obtained from hoax can certainly affect the public because it  creates  doubt  and  confusion  about  the  information  received.  Therefore,  this  study discusses  how to  classify  hoax  news  on  health  issues  using  Naive  Bayes  Classifier  and Support Vector Machine. 4 different models so as to be able to predict a hoax or valid news. In this study, 287 datasets were collected, of which 200 were valid and 87 were hoax. The results for each algorithm, obtained the largest classification report value for the NBC algorithm on the ComplementNB model with 95.4% precision, 95.4% recall, 95.4% f1- score and 93.1% accuracy. Meanwhile, for the SVM algorithm on the Sigmoid kernel with 95.6% precision, 100% recall, 97.7% f1-score and 96.5% accuracy. So it can be concluded
that  the  average  performance  of  the  SVM  algorithm  has  a  better  performance  when compared to the NBC algorithm in classifying hoax news regarding health issues.
Keywords  : Naïve Bayes Classifier, Support Vector Machine, Hoax News Classification, Hoax News, TF-IDF

## 1 P ENDAHULUAN
Persebaran arus informasi melalui internet saat ini sangatlah mudah dan cepat dimana waktu serta jarak tidak menjadi sebuah penghalang. Jumlah pengguna internet di Asia dimana pada Maret 2021 Indonesia telah mencapai 212,35 juta jiwa pengguna internet. Menggunakan data tersebut, Indonesia menempati peringkat ketiga di antara negara-negara dengan pengguna internet terbanyak di Asia [1]. Sehingga dengan meningkatnya pengguna internet, masyarakat dapat  mengkonsumsi  tiap informasi yang tersebar dengan  cepat.  Dengan  kecepatan tersebut tentu saja menghasilkan dampak positif maupun negatif, dimana informasi yang beredar tidak selalu memberikan kebenaran yang sesuai dengan kenyataannya atau bisa disebut dengan hoax . Hoax adalah informasi atau berita yang mengandung hal-hal yang belum teridentifikasi atau bukan fakta yang sebenarnya terjadi [2]. Demi mendapatkan keuntungan dan mencapai tujuan pribadi, hoax seringkali sengaja dibuat dan dibagikan sehingga dapat menyebar lebih cepat. Informasi yang didapatkan dari hoax tentunya dapat mempengaruhi masyarakat karena menimbulkan  keraguan  dan  kebingungan  terhadap  informasi  yang  diterima,  serta  mampu merusak citra individu dan kelompok yang berkaitan. Headline yang digunakan oleh informasi hoax seringkali bersifat sensasional dan provokatif. Hal tersebut sengaja dibuat untuk menarik minat dan keingintahuan pembaca. Setidaknya 30% hingga hampir 60% masyarakat Indonesia terpapar hoax saat mengakses dan berkomunikasi melalui dunia maya. Sementara hanya 21% hingga 36% saja yang dapat  mengenali atau mendeteksi adanya hoax . Sebagian besar Hoax yang ditemukan terkait dengan isu politik, kesehatan, dan agama [3].
Isu kesehatan menjadi kategori hoax yang paling banyak persebarannya, karena di masa pandemi  ini  orang-orang  berburu  berita  kesehatan  tentunya  memiliki  rasa  ingin  tahu  lebih mengenai  informasi  kesehatan  dari  berbagai  sumber.  Terkadang  juga  orang-orang menginginkan  penyakitnya  sembuh  dengan  cepat  dan  hanya  bermodalkan  sedikit  sehingga tidak perlu lagi mengunjungi dokter. Lalu dengan adanya internet, banyak orang yang sering sharing berita  tanpa  menyaring  berita  tersebut  sehingga  dapat  menyalahartikan  maksud sebenarnya dan membuat spekulasi atau konspirasi yang sebenarnya tidak sesuai kenyataanya.
Hal  tersebut  menjadi  motif  oknum  yang  tidak  bertanggung  jawab  demi  kepentingan tertentu untuk menyebarkan informasi hoax dan menyangkut pautkan dengan pandemi saat ini. Menurut  ketua  umum  DPP  Masyarakat  Hukum  Kesehatan  Indonesia  (MHKI)  dr.  Mahesa Paranadipa M, M.H, terdapat 3 motif yang membuat seorang oknum memublikasikan berita hoax dengan topik kesehatan diantaranya untuk membujuk seseorang agar memilih pengobatan tradisional daripada pengobatan medis, untuk mencari keuntungan dari bisnis penjualan obat tradisional  penyakit  tertentu,  dan  terkadang  dimaksudkan  untuk  mengkritik  kebijakan pemerintah atau lembaga tertentu [4]. Fasilitator atau medium penyebaran hoax paling banyak terdapat pada salah satu  media komunikasi yang populer saat ini, yaitu media sosial. Media sosial berperan besar dalam penyebaran hoax karena akses kemudahan yang ditawarkan dalam
berbagai hal seperti berinteraksi sesama pengguna, berbagi konten, berbisnis, mengisi waktu luang, dan mengikuti berita atau kejadian terkini.
Solusi  yang  ada  saat  ini  adalah  Kementerian  Komunikasi  dan  Informatika  Republik Indonesia (Kominfo) telah menyediakan situs kominfo.go.id layanan pengaduan konten dari berbagai sumber media sosial yang diduga berisi berita hoax . Adapula situs turnback hoax .id yang  dikelola  oleh  Masyarakat  Anti Hoax Indonesia  (MAFINDO)  yang  telah  memberikan informasi pasti dari berita hoax yang sebelumnya tersebar.
Saat ini telah banyak informasi seputar tips-tips untuk mencegah penyebaran berita hoax dan berbagai teknologi penangkal hoax tentunya juga telah muncul, namun sejauh ini masih jarang ditemukan teknologi tersebut yang diterapkan secara langsung pada sistem pendeteksi hoax.  Beberapa  sistem  menggunakan  kecerdasan  buatan  untuk  menentukan  apakah  sebuah berita  mengandung  hoax,  dan  beberapa  menggunakan  algoritma  perbandingan  teks.  Oleh karena itu untuk mendeteksi suatu informasi atau berita berisikan hoax, diperlukan adanya alat bantu  yang  dapat  mendeteksi  kebenaran  berita  tersebut  apakah  termasuk  hoax  atau  valid. Metode  klasifikasi  diperlukan  sebagai  salah  satu  cara  mengurangi  tersebarnya  konten  berisi hoax  dengan  memanfaatkan  text  mining  dan  menggunakan  python  sebagai  bahasa pemrogramannya.
Text  mining merupakan  proses  mengubah  teks  tidak  terstruktur  menjadi  format terstruktur untuk mengidentifikasi pola atau informasi baru yang berguna dengan menggunakan pendekatan machine  learning .  Ada  berbagai  algoritma  yang  digunakan  untuk  proses  text mining  seperti Decision  Tree , K-Means  Clustering,  Naïve  Bayes Classifier, K-Nearest Neighbor (KNN), Support  Vector  Machine (SVM),  dan  masih  banyak  lagi.  Disini  peneliti menggunakan algoritma Naïve Bayes Classifier karena mudah dimengerti, dapat memberikan hasil yang baik, dan efektif digunakan untuk membangun model, juga menggunakan algoritma Support Vector Machines (SVM) karena bekerja relatif baik ketika ada margin pemisahan yang jelas antar kelas dan relatif hemat memori.
Naïve  Bayes Classifier merupakan  algoritma supervised  multiclass  classification, berdasarkan penerapan teorema Bayes dengan  asumsi '' naive '' independensi  bersyarat  antara setiap pasangan variabel [5]. Algoritma Naïve Bayes dapat membangun model dan membuat prediksi dengan cepat karena kesederhanaannya. Ada beragam aplikasi kehidupan nyata yang sukses didasarkan pada Naïve Bayes Classifier , seperti layanan prediksi cuaca, evaluasi kredit pelanggan, kategorisasi kondisi kesehatan, dan sebagainya [6]. Oleh karena itu, penelitian ini akan  memanfaatkan  proses text  mining dengan  menggunakan  pembobotan  TF-IDF  karena mampu  meningkatkan classification  report ( precision dan recall )  dengan  baik  dan  dapat mengurangi ukuran term pada dataset yang digunakan.

## 2 T INJAUAN P USTAKA
Penelitian  yang  berkaitan  dengan  topik  klasifikasi  berita  dalam  [7]  menggunakan  100 berita  untuk  data  latih  ( train  data )  dan  20  berita  untuk  data  uji  ( test  data ).  Penelitian  ini ditujukan hanya untuk website berita berbahasa Indonesia karena corpus yang digunakan adalah bahasa  Indonesia  dan  karakteristik  website  berita  berbahasa  Indonesia  berbeda  dengan karakteristik  website  berita  non  Indonesia.  Dari  penelitian  tersebut  menggunakan  algoritma
SVM  didapatkan  hasil  akhir  klasifikasi  berita hoax yang  terdeteksi  benar  sebanyak  80%, sedangkan klasifikasi berita non-hoax yang terdeteksi sebanyak 90%.
Selanjutnya penelitian pada [8] dengan memahami karakteristik berita palsu melalui fitur analisis pada berita Twitter menggunakan tiga metode untuk mengklasifikasikan yaitu Naïve Bayes, Neural Network, dan Support Vector Machines . Data dikumpulkan dari 948,373 pesan dan  diklasifikasikan  menjadi  dua  kelas  yaitu  dapat  dipercaya  ( believable )  dan  tidak  dapat dipercaya  ( unbelievable ).  Hasil  percobaan  menunjukan  dimana precision tidak  memiliki perbedaan pada masing-masing metodenya sebesar 99,80%. Metode Naïve Bayes menghasilkan recall 96,10%, F-Measure 97,90%  dengan  nilai  akurasi  sebesar  96,08%.  Metode Neural Network dan Support Vector Machines memiliki hasil yang setara dengan recall 99,90%, F- Measure 99,80% dan nilai akurasi sebanyak 99,90%.
Penelitian  pada  [9] berfokus untuk  mendeteksi berita palsu  dalam Bahasa Bangla dari media  sosial  menggunakan  dua  algoritma  yaitu Support  Vector  Machine (SVM)  dan Multinomial Naive Bayes (MNB). Sekitar 2500 dataset artikel publik dikumpulkan kemudian dibagi  menjadi  data  latih  ( train )  berisi  70%  dari  dataset  dan  data  uji  ( test )  berisi  30%  dari dataset.  Menggunakan  dua  algoritma,  didapatkan  hasil  nilai  rata-rata  akurasi  akhir  sebesar 93,2%  dengan precision 95%, recall 91%,  dan f1-score 93%  untuk  algoritma Multinomial Naive Bayes dan nilai rata-rata akurasi sebanyak 96,64% dengan precision 98%, recall 97%, dan f1-score 97% untuk algoritma Support Vector Machines.
Kemudian  pada  [10]  mengenai  deteksi  berita hoax dengan  ekstraksi  fitur  TF-IDF menggunakan algoritma Bernoulli Naïve Bayes. Dataset terdiri dari 4 atribut yaitu title, text, subject, dan date dengan pelabelan menggunakan nilai biner 1 untuk fake news dan 0 untuk real news. Model Bernoulli  Naïve  Bayes dibentuk  dengan  data  latih  sebanyak  8800  data  berita, menghasilkan nilai rata-rata akurasi sebesar 98,75% dan dengan jumlah data uji sebanyak 2200 data berita, dimana akurasi dari prediksi model untuk label 1 ( Fake ) sebesar 97,8%, dan akurasi untuk label 0 ( True ) sebesar 99,1% dengan precision 99,1%, recall 97,8%, dan f1-score 98,4%. Dan pada [11] mengenai berita palsu dengan model yang digunakan dalam penelitian ini adalah Support  Vector  Machine dan Naïve  Bayes. Data  diuji  menggunakan  metode pengklasifikasi Naïve Bayes dan SVM, dengan SVM mencapai akurasi 92% dan Naïve Bayes hanya mencapai akurasi sebesar 73%. Metode Naïve Bayes menghasilkan nilai precision 74%, recall 72%, F-1 Score 71% dan metode SVM mampu menghasilkan nilai precision 91%, recall 93%, F-1 Score 92%. Dengan perbandingan tersebut, dapat disimpulkan bahwa algoritma SVM mencapai klasifikasi yang lebih baik daripada Naïve Bayes dalam memprediksi berita sebagai berita palsu atau nyata.

## 3 M ETODE P ENELITIAN
Penelitian  dilakukan  dengan  beberapa  tahapan  sistematis  untuk  menyelesaikan permasalahan yang ada. Implementasi dilakukan dengan menggunakan bahasa pemrograman python yang dibantu dengan library Scikit Learn. Tahapan yang ada pada penilitian ini yaitu pengumpulan  data  dan label  encoder , preprocessing ,  pembobotan, split  data,  classification, model evaluation, dan kesimpulan. Tahapan tersebut dapat dilihat pada gambar 1.

## Gambar 1 Alur Penelitian

## 3.1 P ENGUMPULAN D ATA DAN LABEL ENCODER
Pengumpulan data yang dilakukan dengan crawler secara manual ( copy-paste ) dari portal berita online berbahasa Indonesia seperti Tribunnews, Detik, dan CNN untuk berita netral dan dari website turnbackhoax dan kominfo pada fitur publikasi laporan info hoaks untuk berita hoax . Berita yang digunakan pada penelitian ini berfokus pada isu mengenai kesehatan. Total berita yang diambil sebanyak 287 data yang muncul selama periode Agustus 2019 – Mei 2022. Kemudian dilakukan label encoder secara manual untuk memberikan label yang diklasifikasi kedalam hoax atau valid. Dua value tersebut akan diubah setiap nilai dalam kolomnya menjadi angka yang berurutan, dimana untuk hoax akan dilabeli sebagai 0 dan valid sebagai 1 yang nantinya akan menjadi acuan proses klasifikasi berita hoax untuk diujikan.

## 3.2 P REPROCESSING
Tahap  Kedua  yaitu  melakukan preprocessing untuk  membantu  menghapus  informasi yang tidak relevan pada data dan dapat membantu mengurangi ukuran data mentahnya. Pada penelitian  ini,  tahapan preprocessing yang  akan  dilakukan  diantaranya  proses lower  casing dengan merubah  teks  yang  ada  pada  dataset  menjadi  huruf  kecil (lower  case),  remove punctuation untuk menghapus atau menghilangkan simbol seperti emotikon, angka, spasi yang berlebihan dan tanda baca karena hal tersebut tidak akan memengaruhi hasil dari klasifikasi yang akan dilakukan , tokenization dengan membagi kalimat yang semulanya lengkap menjadi baris huruf kecil , stemming menghilangkan imbuhan yang ada pada tiap kata untuk mencari kata dasarnya dengan menggunakan library pada python yaitu Sastrawi yang cocok digunakan untuk  menghilangkan  imbuhan  berbahasa  Indonesia , dan  terakhir  yaitu stopwords  removal
menyeleksi dan menghilangkan kata yang memiliki kemunculan tinggi pada dataset misalnya seperti  kata  penghubung,  sapaan,  kata  yang  tidak  memiliki  arti,  dan  sebagainya . Berikut merupakan hasil dari tahap preprocessing seperti pada tabel 1.

## Tabel 1 Hasil Proses Preprocessing
Text Berita Media covid... Perhatikan bahwa pH virus corona bervariasi dari 5,5 hingga 8,5... karena itu, yang  harus  kita  lakukan  untuk  menghilangkan  virus  adalah  mengkonsumsi  lebih  banyak makanan dan minuman alkali diatas tingkat keasaman virus... Lowering Case media covid... perhatikan bahwa ph virus corona bervariasi dari 5,5 hingga 8,5... karena itu, yang  harus  kita  lakukan  untuk  menghilangkan  virus  adalah  mengkonsumsi  lebih  banyak makanan dan minuman alkali diatas tingkat keasaman virus... Remove Punctuation media covid perhatikan bahwa ph virus corona bervariasi dari 5,5 hingga 8,5 karena itu yang harus kita lakukan untuk menghilangkan virus adalah mengkonsumsi lebih banyak makanan dan minuman alkali diatas tingkat keasaman virus
Tokenization ‘media’, ‘covid’, ‘perhatikan’, ‘bahwa’, ‘ph’, ‘virus’, ‘corona’, ‘bervariasi’, ‘dari’, ‘hingga’, ‘karena’, ‘itu’, ‘yang’, ‘harus’, ‘kita’, ‘lakukan’, ‘untuk’, ‘menghilangkan’, ‘virus’, ‘adalah’, ‘mengkonsumsi’, ‘lebih’, ‘banyak’, ‘makanan’, ‘dan’, ‘minuman’, ‘alkali’, ‘diatas’, ‘tingkat’, ‘keasaman’, ‘virus’
Normalization ‘media’, ‘covid’, ‘perhatikan’, ‘bahwa’, ‘ph’, ‘virus’, ‘corona’, ‘bervariasi’, ‘dari’, ‘hingga’, ‘karena’, ‘itu’, ‘yang’, ‘harus’, ‘kita’, ‘lakukan’, ‘untuk’, ‘menghilangkan’, ‘virus’, ‘adalah’, ‘mengkonsumsi’, ‘lebih’, ‘banyak’, ‘makanan’, ‘dan’, ‘minuman’, ‘alkali’, ‘diatas’, ‘tingkat’, ‘keasaman’, ‘virus’
Stemming
‘media’, ‘covid’, ‘perhati’, ‘bahwa’, ‘ph’, ‘virus’, ‘corona’, ‘variasi’, ‘dari’, ‘hingga’, ‘karena’, ‘itu’,  ‘yang’,  ‘harus’, ‘kita’, ‘laku’,  ‘untuk’, ‘hilang’,  ‘virus’,  ‘adalah’,  ‘konsumsi’,  ‘lebih’, ‘banyak’, ‘makan’, ‘dan’, ‘minum’, ‘alkali’, ‘diatas’, ‘tingkat’, ‘asam’, ‘virus’ Stopwords Removal
‘media’, ‘covid’, ‘perhati’, ‘bahwa’, ‘ph’, ‘virus’, ‘corona’, ‘variasi’, ‘laku’, ‘hilang’, ‘virus’, ‘konsumsi’, ‘makan’, ‘minum’, ‘alkali’, ‘ingkat’, ‘asam’, ‘virus’

## 3.3 P EMBOBOTAN
Menggunakan  TF-IDF  untuk  pemberian  bobot term pada  dataset  atau  dokumen menggunakan urutan token berupa unigram dalam implementasinya sehingga jumlah token dari TF-IDF hanya satu kata saja.
Berikut merupakan rumus untuk perhitungan TF-IDF:
𝐹  =   { 1 + 𝑙𝑜𝑔 10 (𝑓 𝑡,𝑑 ),                   𝑓 𝑡,𝑑 > 0 0,                   𝑓 𝑡,𝑑 = 0 (1)
𝐼𝐷𝐹 𝑗 = log ( 𝐷 𝑑𝑓 𝑗 ) (2)
𝑤 𝑖𝑗 = 𝑡𝑓 𝑖𝑗 𝑥  log ( 𝐷 𝑑𝑓 𝑗 ) + 1 (3)
Keterangan:
𝑓 𝑡,𝑑 = frekuensi term (t) pada dokumen (d)
𝐷 = jumlah semua dokumen dalam dataset
𝑑𝑓 𝑗 = jumlah dokumen yang mengandung term (tj)
𝑤 𝑖𝑗 = bobot term (tj) terhadap dokumen (d)
𝑡𝑓 𝑖𝑗 = jumlah kemunculan term (tj) dalam dokumen (d)

## 3.4 M ODEL CLASSIFIER
Dataset pada penelitian ini dibagi menjadi 2 set, train-set dan test-set untuk dimasukkan kedalam algoritma pengklasifikasian dengan perbandingan train-set 80% dan test-set 20% dari keseluruhan dataset. Algoritma Naïve Bayes Classifier dan Support Vector Machine dengan 4 model  yang  berbeda  diusulkan  untuk  digunakan  dalam  melakukan  klasifikasi  berita hoax. Kemudian  data training dilakukan  dan  menghasilkan  pembelajaran  yang  nantinya  akan digunakan sebagai acuan pada proses testing dengan algoritma Naïve Bayes Classifier dan SVM yang bekerja untuk memastikan apakah data yang diuji telah tepat terhadap data testing. Dari modeling tersebut didapatkan hasil kinerja yang tampilkan dalam bentuk visualisasi confusion matrix dan  classification  report  yang  menunjukkan precision,  recall,  f1-score,  support dan accuracy.

## 3.5 M ODEL E VALUASI
Confusion  Matrix memberikan  informasi  yang  dapat  digunakan  untuk  merangkum kinerja dari klasifikasi yang sehubungan dengan beberapa test data dengan memvisualisasikan. Tabel 2 menunjukan m atrix dua dimensi, dimana satu dimensi diindeks oleh kelas sebenarnya dari suatu objek dan di dimensi lain oleh kelas yang ditetapkan oleh classifier.

## Tabel 2 Confusion Matrix
Kelas Prediksi Negative (N) Positive (P) Kelas Aktual Negative True Negative (TN) False Positive (FP) Positive False Negative (FN) True Positive (TP)
Keterangan:
1. True Positive (TP) merupakan hasil prediksi yang dikeluarkan program berupa positif dan itu memang benar (positif).
2. True Negative (TN) merupakan hasil prediksi yang dikeluarkan program berupa negatif dan itu memang benar (negatif).
3. False Positive (FP) merupakan hasil prediksi yang dikeluarkan program berupa positif, namun hasil aktualnya yaitu negatif.
4. False  Negative  (FN)  merupakan  hasil  prediksi  yang  dikeluarkan  program  berupa negatif, namun hasil aktualnya yaitu positif.
Classification report merupakan visualisasi untuk mengukur kualitas performa prediksi dari algoritma klasifikasi  dengan menampilkan precision,  recall, f1-score, support dan accuracy [12] .
Precision atau presisi digunakan untuk menghitung berapa rasio / keakuratan dari prediksi yang dilakukan oleh model itu benar.
𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑇𝑃 𝑇𝑃+𝐹𝑃 (4)
Recall merupakan kemampuan classifier untuk menemukan semua kasus positif. 𝑟𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃 𝑇𝑃+𝐹𝑁 (5)
F1-score merupakan rata-rata harmonik dari precision dan recall yang dibobotkan.
F1-score memiliki persentase akurasi yang lebih rendah dari accuracy karena menanamkan precision dan recall kedalam perhitungannya.
𝑓1𝑠𝑐𝑜𝑟𝑒 = 2∗ 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛∗ 𝑟𝑒𝑐𝑎𝑙𝑙 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛+ 𝑟𝑒𝑐𝑎𝑙𝑙 (6)
Accuracy Accuracy digunakan untuk menghitung rasio dari prediksi yang benar, baik positif maupun negatif dengan keseluruhan data yang ada.
𝑎𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = (𝑇𝑃+𝑇𝑁) 𝑇𝑃+𝐹𝑃+𝑇𝑁+𝐹𝑁 (7)

## 4 H ASIL DAN P EMBAHASAN
Pada  bagian  ini  mengandung  uraian  terkait  hasil  penelitian  yang  telah  dilakukan  oleh peneliti dari implementasi algoritma Multinomial Naïve Bayes dan Support  Vector  Machine untuk klasifikasi berita hoax berbahasa Indonesia mengenai isu kesehatan.

## 4.1 P EMBOBOTAN TF - IDF
Setelah melakukan preprocessing berupa lower case, remove punctuation, tokenization, normalization, stemming, dan stopwords removal, proses yang dilakukan selanjutnya yaitu TF- IDF  ( Term  Frequency – Inverse  Document  Frequency ).  TF-IDF  dapat  digunakan  untuk mengetahui frekuensi dari istilah tertentu yang relatif terhadap sebuah kata dalam kumpulan dokumen dan melihat seberapa umum atau tidak umum sebuah kata yang ada diantara corpus (sekumpulan teks yang terstruktur). Pada proses TF-IDF ini menggunakan urutan token berupa unigram dalam implementasinya sehingga jumlah token dari TF-IDF hanya satu kata saja.
Tabel 3 Hasil Perhitungan TF-IDF term TF TF-IDF media 0.0625 0.25312776895784506 covid 0.0625 0.07984097381785872 perhati 0.0625 0.12161938431595708 ph 0.0625 0.25312776895784506 virus 0.1875 0.22379514320719449 corona 0.0625 0.11580123287433133 variasi 0.0625 0.19340830364363026 hilang 0.0625 0.08988598194764761 konsumsi 0.0625 0.06465683765470938 makan 0.0625 0.05661825154082853 minum 0.0625 0.08142333681687683 alkali 0.0625 0.31039593969997975 tingkat 0.0625 0.049017805784984354 asam 0.0625 0.11864263125412867
Tabel 3 menampilkan hasil TF-IDF pada dokumen row dataframe ke – 282 yang dapat dihitung dengan mengalikan dictionary dari TF dan IDF secara value by value yang kemudian disimpan  kedalam  dataframe.  Kemudian  mengubah  perhitungan series TF-IDF  menjadi berbentuk Sparse Matrix dengan matrix size nya yaitu 10 yang artinya top 10 term dengan TF- IDF  terbesar.  Selanjutnya  menampilkan  10  hasil  TF-IDF  terbesar  dengan term makan menempati  tempat  pertama  yang  artinya term tersebut  kemunculannya  banyak  tersebar  di seluruh dokumen yang digunakan. Kemudian menggunakan library matplotlib yang tersedia di python untuk memvisualisasikan 10 besar term TF-IDF seperti dalam gambar 2.
Gambar 2 Grafik Top 10 Term TF-IDF Terbesar

## 4.2 T RAIN D ATA DAN T EST D ATA
Train  data atau  data  latih  akan  digunakan  sebagai  bahan  dalam  mencari  model  yang sesuai dengan cara melatih algoritma yang digunakan, sedangkan test data atau data uji nantinya akan digunakan untuk  menguji dan mengetahui performa dari model algoritma Multinomial Naïve Bayes dan Support Vector Machine yang diterapkan. Pada proses ini, jumlah data berita yang digunakan untuk diterapkan split data data sebanyak 287 dengan total berita 87 hoax dan berita valid sebanyak 200 menggunakan perbandingan 80:20, 80% untuk train data dan 20% untuk test data. Diketahui total data pada train data sebanyak 229 entries dengan total 71 atau 31%  berita hoax dan  158  atau  69%  berita  valid.  Kemudian  untuk  total  data  pada  test  data sebanyak 58 entries dengan total 16 atau 27,6% berita hoax dan 42 atau 72,4% berita valid.

## 4.3 N AÏVE B AYES C LASSIFIER
Model yang ada pada Naïve Bayes Classifier digunakan untuk membandingkan hasil dari masing-masing algoritma yang digunakan dengan dibantu menggunakan library Scikit Learn yaitu  sklearn.naive_bayes  untuk  melakukan import Naive Bayes Classifier (MultinomialNB, GaussianNB, ComplementNB, dan BernoulliNB) pada python dan parameternya yang berupa default.
Model klasifikasi NBC paling sederhana dimana masing-masing fitur diasumsikan Gaussian.
𝑃(𝑥 𝑖 |𝑦) = 1 √2𝜋𝜎 𝑦 2 exp (− (𝑥 𝑖 −𝜇 𝑦 ) 2 2𝜎 𝑦 2 ) (8)
Multinomial Naïve Bayes Mengimplementasi algoritma NB untuk data yang terdistribusi secara multinomial.
𝜃̂ 𝑦𝑖 = 𝑁 𝑦𝑖 +𝛼 𝑁 𝑦 +𝛼𝑛 (9)
Bernoulli Naïve Bayes Fitur pada model diasumsikan sebagai biner (0 dan 1).
𝑃(𝑥 𝑖 | 𝑦 ) = 𝑃(𝑖 |𝑦) 𝑥 𝑖 + (1 − 𝑃(𝑖 |𝑦))(1 − 𝑥 𝑖 ) (10)
Complement Naïve Bayes Algoritma CNB merupakan adaptasi dari algoritma standar MNB yang sangat cocok untuk dataset yang tidak seimbang.
𝜃̂ 𝑐𝑖 = 𝛼 𝑖 + ∑ 𝑑 𝑖𝑗 𝑗:𝑦 𝑗 ≠𝑐 𝛼  + ∑ ∑ 𝑑 𝑘 𝑘𝑗 𝑗:𝑦≠𝑐 𝑤 𝑐𝑖 =   log 𝜃̂ 𝑐𝑖 (11) 𝑤 𝑐𝑖 = 𝑤 𝑐𝑖 ∑ | 𝑤 𝑐𝑗 | 𝑗
Pada pemodelan ini menggunakan fitur independen X yaitu text dan fitur dependen Y yaitu label. Berikut merupakan perbandingan model Naïve Bayes Classifier dari penelitian ini:
Gambar 3 Grafik Perbandingan Model NBC Label Valid 70% 75% 80% 85% 90% 95% 100% precision recall f1-score accuracy

## Perbandingan Model NBC Label Valid
Multinomial Gaussian Complement
Bernoulli
Gambar 4 Grafik Perbandingan Model NBC Label Hoax
Dalam gambar 3 dan gambar 4 menampilkan grafik tingkat akurasi dari masing-masing model NBC berlabel valid dan hoax menggunakan data testing , menghasilkan akurasi terendah sebesar 79.3% pada model Bernoulli Naïve Bayes dan akurasi tertinggi  sebesar 93.1% pada model Complement Naïve Bayes. Model Complement Naïve Bayes memiliki tingkat precision, recall dan f1-score konstan yang artinya model tersebut mampu mengklasifikasikan berita valid dan hoax dengan baik  karena model tersebut  sangat  cocok untuk  bekerja pada dataset  yang tidak seimbang, dimana data pada penelitian ini yang digunakan merupakan dataset imbalance dan karena alasan tersebut, model NBC lainnya memiliki tingkat akurasi yang lebih rendah.

## 4.4 S UPPORT V ECTOR M ACHINE
Selanjutnya  peneliti  menggunakan  beberapa  kernel  yang  ada  pada Support  Vector Machine untuk  membandingkan  hasil  dari  masing-masing  kernel  yang  digunakan menggunakan library  Scikit  Learn yaitu  sklearn_svm  pada  python  menggunakan  kernel ‘LinearSVC’, ‘poly’, ‘rbf’, dan ‘sigmoid’ dengan degreenya yaitu 8. Support Vector Machine juga memiliki kernel function yang memungkinkan untuk melakukan klasifikasi dua dimensi dari dataset yang awalnya satu dimensi [13].
1) Linear Kernel
Kernel dasar yang biasanya terdiri dari satu dimensi dan mampu menjadi fungsi terbaik ketika ada banyak fitur.
𝐾(𝑥, 𝑥 𝑖 ) = 𝑥 ∙   𝑥 𝑇 (12)
2) Polynomial Kernel
Kernel ini merupakan kernel directional yang artinya output yang dihasilkan tergantung pada arah dari dua vector dalam ruang dimensi rendah.
𝐾(𝑥, 𝑥 𝑖 ) = (1 + 𝑥  ∙   𝑥 𝑖 𝑇 ) 𝑑 (13)
3) Sigmoid Kernel
Sigmoid  Kernel  serupa  dengan  model two-layer dari neural  network yang  berkerja sebagai fungsi aktivasi untuk neuron.
𝐾(𝑥 𝑖 , 𝑥 𝑗 ) = tanh (𝛾𝑥 𝑖 𝑇 𝑥 𝑗 + 𝑟)
(14)
40% 50% 60% 70% 80% 90% 100% precision recall f1-score accuracy

## Perbandingan Model NBC Label Hoax
Multinomial Gaussian Complement
Bernoulli

## 4) Radial Basis Function Kernel
Kernel function yang biasanya digunakan untuk data non-linear dan membantu untuk membuat pemisah ketika tidak ada pengetahuan sebelumnya mengenai data.
𝐾(𝑥, 𝑥 𝑖 ) = exp − 𝛾||𝑥 − 𝑥 𝑖 || 2 (15)
Pada pemodelan ini menggunakan fitur independen X yaitu text dan fitur dependen Y yaitu label. Berikut merupakan model kernel Support Vector Machine dari penelitian ini:
Gambar 5 Grafik Perbandingan Model SVM Label Valid

## Gambar 6 Grafik Perbandingan Model SVM Label Hoax
Grafik  perbandingan  pada  gambar  5  dan  gambar  6  menampilkan  tingkat  akurasi  dari masing-masing model SVM berlabel valid dan hoax yang telah dilakukan data testing. Dari 4 model  kernel  SVM  yang  digunakan,  terdapat  model  kernel  Polynomial  yang  menghasilkan tingkat  akurasi  yang  terendah  sebesar  74%  dan  tingkat  akurasi  tertinggi  pada  model  kernel Sigmoid  sebesar  96,5%.  Model  Kernel  Sigmoid  memiliki  tingkat precision yang  maksimal dengan recall dan f1-score yang konstan, artinya model tersebut mampu mengklasifikasikan berita valid dan hoax dengan baik karena model tersebut cocok untuk diterapkan pada dataset biner ( hoax dan valid) atau yang dapat dipisahkan secara linear.
70% 75% 80% 85% 90% 95% 100% precision recall f1-score accuracy Perbandingan Model Kernel SVM Label Valid Linear Polynomial RBF Sigmoid 0% 20% 40% 60% 80% 100% precision recall f1-score accuracy Perbandingan Model Kernel SVM Label Hoax Linear Polynomial RBF
Sigmoid

## 4.5 P ERBANDINGAN NBC DENGAN SVM
Performa dari classification report pada penelitian ini menghasilkan insight yang dapat digunakan untuk melihat perbandingan dari model NBC dan SVM yang digunakan. Berikut merupakan hasil classification report dari model yang digunakan:
Tabel 4 Perbandingan Classification Performance dari NBC dan SVM Precision Recall F1-score Akurasi
VAL ID
MultinomialNB 84.6% 100% 91.6% 86.2% GaussianNB 84% 95.4% 89% 82.7% ComplementNB 95.4% 95.4% 95.4% 93.1% BernoulliNB 75% 97% 84.5% 79.3% Linear Kernel 95% 97.7% 96.3% 94.8% Polynomian Kernel 75.4% 97.7% 85.1% 74.1% RBF Kernel 84.6% 100% 91.6% 86.2% Sigmoid Kernel 95.6% 100% 97.7% 96.5% HOAX MultinomialNB 100% 43% 60% 86.2% GaussianNB 75% 43% 55% 82.7% ComplementNB 86% 86% 86% 93.1% BernoulliNB 54% 93% 68% 79.3% Linear Kernel 92% 86% 89% 94.8% Polynomian Kernel 0% 0% 0% 74.1% RBF Kernel 100% 43% 60% 86.2% Sigmoid Kernel 100% 86% 92% 96.5%
Setelah dilakukan penelitian dari tahap pengumpulan data hingga tahap model evaluation untuk mengklasifikasikan berita valid dan hoax berbahasa Indonesia mengenai isu kesehatan, dapat  ditarik  kesimpulan  bahwa  hasil  performa  rata-rata  dari  klasifikasi Support  Vector Machine lebih  efisien  dibandingkan  dengan Naïve  Bayes  Classifier. Hal  ini  disebabkan penggunaan model SVM yang cocok untuk dokumen panjang sedangkan model NBC lebih kuat digunakan untuk dokumen snippets atau dokumen singkat [14]. Model SVM juga secara default merupakan binary classifier yang efektif dengan adanya lebih banyak dimensi daripada sampel dan bekerja dengan baik ketika kelas dipisahkan dengan baik, dimana data yang digunakan pada penelitian sudah dilabeli terlebih dahulu dengan kelas hoax (0) dan valid (1).

## 5 K ESIMPULAN
Berdasarkan  hasil  dari  uraian  dan  pembahasan  yang  telah  dilakukan,  didapatkan kesimpulan yaitu mendeteksi hoax yang tersebar dapat dilakukan dengan melihat sumber dan waktu pada berita jelas, penggunaan kata pada berita juga lebih baku, narasumber yang dapat dipercaya  serta  biasanya  bersifat  informatif  dan  tanpa  bias  pada  salah  satu  pihak  saja,  dan penelitian  ini  juga  mampu  untuk  mengklasifikasikan  berita hoax berbahasa  Indonesia menggunakan algoritma Naïve Bayes Classifier dan Support Vector Machine serta melakukan evaluasi menggunakan TF-IDF . Berdasarkan hasil dari perbandingan train data dan test data sebesar  80:20,  dilakukan  pengujian  menggunakan  algoritma  NBC  dengan  4  model  yang berbeda dan algoritma SVM dengan 4 kernel yang berbeda. Diperoleh nilai classification report terbesar untuk algoritma NBC pada model Complement Naïve Bayes dengan hasil precision 95.4%, recall 95.4%, f1-score 95.4%  dan accuracy 93.1%.  Sedangkan  nilai classification
report terbesar untuk algoritma SVM pada kernel Sigmoid dengan hasil precision 95.6%, recall 100%, f1-score 97.7% dan accuracy 96.5%. Sehingga dapat disimpulkan bahwa hasil performa rata-rata  dari  algoritma  SVM  memiliki  kinerja  yang  lebih  baik  jika  dibandingkan  dengan algoritma NBC dalam melakukan klasifikasi berita hoax mengenai isu kesehatan.

## D AFTAR P USTAKA
[1] V.  B.  Kusnandar,  “Pengguna  Internet  Indonesia  Peringkat  ke - 3  Terbanyak  di  Asia,” databoks.katadata.co.id , 2021. .
[2] C.  Juditha,  “Hoax  Communication  Interactivity  in  Social  Media  and  Anticipation (Interaksi Komunikasi Hoax di Media Sosial serta Antisipasinya),” Pekommas , 2018.
[3] I.  R.  Cahyadi,  “Survei  KIC:  Hampir  60%  Orang  Indonesia  Terpapar  Hoax  Saat Mengakses Interne t,” beritasatu.com , 2020. .
[4] Dimas  Andhika  Fikri,  “3  Alasan  Orang  Suka  Sebar  Hoax  soal  Kesehatan :  Okezone Lifestyle,” lifestyle.okezone.com , 2020. .
[5] P.  Valdiviezo-Diaz,  F.  Ortega,  E.  Cobos,  dan  R.  Lara- Cabrera,  “A  Collaborative Filtering Approach B ased on Naïve Bayes Classifier,” IEEE Access , vol. 7, hal. 108581 – 108592, 2019, doi: 10.1109/access.2019.2933048.
[6] F.- J. Yang, “An Implementation of Naive Bayes Classifier,” 2018 Int. Conf. Comput. Sci. Comput. Intell. , 2018, doi: 10.1109/csci46756.2018.00065.
[7] M. A. Rahmat, Indrabayu, dan I. S. Areni, “Hoax web detection for news in bahasa using support vector machine,” 2019 Int. Conf. Inf. Commun. Technol. ICOIACT 2019 , hal. 332 – 336, Jul 2019, doi: 10.1109/ICOIACT46704.2019.8938425.
[8] S.  Aphiwongs ophon  dan  P.  Chongstitvatana,  “Detecting  fake  news  with  machine learning method,” ECTI-CON 2018 - 15th Int. Conf. Electr. Eng. Comput. Telecommun. Inf. Technol. , hal. 528 – 531, Jan 2019, doi: 10.1109/ECTICON.2018.8620051.
[9] M. G. Hussain, M. R. Hasan, M. Rahman, J. Protim, dan S. Al Hasan, “Detection of Bangla Fake News using MNB and SVM Classifier,” Mei 2020.
[10] A.  Y.  Prayoga,  A.  I.  Hadiana,  dan  F.  R.  Umbara,  “Deteksi  Hoax  pada  Berita  Online Bahasa Inggris Menggunakan Bernoulli Naïve Bayes dengan Ekstraksi Fitur Tf- Idf,” J. Syntax Admiration , vol. 2, no. 10, hal. 1808 – 1823, 2021.
[11] N. Kousika, S. Deepa, C. Deephika, B. M. Dhatchaiyine, dan J. Amrutha, “A system for fake news detection by using supervised learning model for social media contents,” Proc. - 5th Int. Conf. Intell. Comput. Control Syst. ICICCS 2021 , hal. 1042 – 1047, Mei 2021, doi: 10.1109/ICICCS51141.2021.9432096.
[12] Shivam  Kohli,  “Understanding  a  Classification  Report  For  Your  Machine  Learning Model,” Medium , Nov-2019. .
[13]  A. Patle dan D. S. Chouhan, “SVM kernel functions for classification,” 2013 Int. Conf. Adv. Technol. Eng. ICATE 2013 , 2013, doi: 10.1109/ICAdTE.2013.6524743.
[14] S. Wang dan C. D. Manning, “Baselines and bigrams: Simple, good sentiment and topic classification,” 50th Annu. Meet. Assoc. Comput. Linguist. ACL 2012 - Proc. Conf. , vol. 2, no. July, hal. 90 – 94, 2012.