p-ISSN : 2460-3562 / e-ISSN : 2620-8989

## Sistem Identifikasi “Fake News” menggunakan Metode Multinomial Naïve Bayes
Alifia Zahra 1 , M. Nurkamal Fauzan 2
# DIV Teknik Informatika, Universitas Logistik dan Bisnis Internasional Jl. Sari Asih No.54, Kota Bandung, Jawa Barat 40151
1 azahracip@gmail.com
2 m.nurkamal.f@poltekpos.ac.id

## Abstrak
Penyebaran berita melalui media sosial sangat cepat di masa kini. Tidak hanya melalui televisi tetapi kini dapat ditemukan di berbagai platform seperti platform global yaitu twitter. Tetapi dengan cepatnya penyebaran tidak memungkiri berita palsu atau yang dikenal sebagai hoaks marak muncul ke permukaan. Dengan berbagai tujuan dari pengunggahnya, berita hoaks dapat menyebabkan perpecahan di antara masyarakat dan juga misinformasi. Melalui  uji  coba  yang  dilakukan  berita  dapat  diklasifikasikan  sebagai  berita  actual  atau  hoaks  dengan menggunakan metode Multinomial Naïve Bayes, yaitu algoritma yang biasa digunakan untuk klasifikasi data/teks pada kelas tertentu. Data didapatkan melalui proses crawling data Twitter API dengan query “berita” sebanyak 500 di preprocessing dan dilabeling sebelum ditrain dan menjadi data test. Setelah melakukan uji coba, akurasi model yang didapatkan menggunakan algoritma ini sebesar 83 % dan akurasi training set sebesar 94 %.
Kata kunci: Analisis, Multninomial Naïve Bayes, Berita Hoaks, Twitter API

## Sistem Identifikasi “Fake News” Menggunakan Metode Multinomial Naïve Bayes

## Abstract
In the present era, news spreads quickly through social media. It can now be found on various platforms other than television, such as the global platform, Twitter. The quickness with which it spreads, however, does not erase the fact that fake news, often known as hoaxes, is widespread. Hoax news can provoke conflicts among the public as well as misinformation due to the numerous purposes for which it is posted. Using the Multinomial Naïve Bayes method, which is a commonly used algorithm for text classification in particular classes, news can be categorized as true news or hoaxes through iterations. The data was collected via the Twitter API data crawling technique, which included 500 "Berita" queries that were preprocessed and labeled before being trained  and used as test data. The model obtained using this algorithm has an accuracy model of 83 % while the training set accuracy is 94 %.
Keywords: Analysis, Multinomial Naïve Bayes, Fake News, Twitter API

## I. P ENDAHULUAN
Dinas Komunikasi dan Informatika Provinsi Jawa Barat merupakan  Lembaga  milik  pemerintah  yang  bergerak  di bidang teknis, kebijakan, kepentingan publik  dalam bidang teknologi  informasi.  Diskominfo  memiliki  kewenangan untuk  mengeluarkan  regulasi  terkait  dengan  bidang tersebut  untuk  kepentingan  masyarakat  khususnya  di Provinsi Jawa Barat. Diskominfo memiliki media layanan public  terkait  tanya  jawab/pengaduan  konten  dan sebagainya.
Berita  atau  informasi  palsu  pada  masa  kini  sedang marak  beredar  di  masyarakat  dan  merupakan  salah  satu factor  yang  melandasi  tercetusnya  layanan  pengaduan Diskominfo.  Anak  muda  hingga  orang  dewasa  sudah
mengenal yang Namanya teknologi dan berita yang keluar masuk pun tidak terbendung hingga terkadang berita palsu pun  menyebar  dan  tidak  terfilter  saking  cepatnya penyebarluasan  menggunakan  teknologi.  Berita  atau informasi  hoaks  sendiri  merupakan  berita  bohong  yang isinya direkayasa atau tidak sesuai dengan kenyataan yang sebenarnya. Dengan berbagai macam tujuan, berita hoaks diunggah  sehingga  menimbulkan  perpecahan,  menebar kebencian,  memancing  provokasi  antar  masyarakat.  Ada yang  bertujuan  menjadikan  lelucon  ada  juga  dengan maksud menimbulkan propaganda. Dimulai dari isu politik, agama,  keuangan,  sosial,  kesehatan,  dan  lainnya  berita palsu tersebar dalam sekejap.
Ciri-ciri yang dapat dikenali pada berita hoaks biasanya konten  isi  beritanya  cenderung  menyudutkan  suatu
kelompok/orang,  mengakibatkan  perpecahan  di  antara masyarakat,  menimbulkan  keresahan  atas  ketidakvalidan informasinya,  sumbernya  tidak  jelas,  dan  bersifat provokatif.  Tetapi  tidak  semudah  itu  untuk  mengenali berita hoaks apalagi hanya dengan meraba-raba berdasarkan ciri-cirinya tak ayal meskipun teknologi sudah maju  tidak  jarang  masyarakat  menelan  berita  mentah- mentah.  Untuk  melakukan  pencegahan  sebab  akibat  dari penyebaran berita hoaks dan menelan informasi yang tidak jelas asalnya, dilakukan analisis terhadap dataset yang akan digunakan  sebagai  data  train  dan  test  machine  learning Sistem Identifikasi Fake News.
Dalam  penelitian  ini  akan  dilakukan  analisis  terhadap dataset  yang  didapatkan  menggunakan  API  Twitter.  Data yang  dibutuhkan  adalah  text  yang  memiliki  query  berita kemudian  dilakukan  beberapa  tahapan  dalam  proses analisis  yaitu  setelah  mendapatkan  data,  kemudian melakukan  preprocessing  yang  terdiri  dari  membersihkan punctuation, tokenisasi, stopwords removal, setelah tahap preprocessing  data  yang  telah  bersih  akan  dilabeling dengan  pilihan  label  true/false.  Dilakukan  pengecekan terhadap  text  untuk  memastikan  kevalidannya  melalui google,  twitter,  dan  website  berita  hoax.  Metode Multinomial Naïve Bayes digunakan untuk melatih data  train  dan  memprediksi  data  test.  Algoritma  Naïve Bayes  adalah  metode  yang  biasa  digunakan  untuk pengklasifikasian  yang  berdasar  pada  teorema  Bayes. Biasanya digunakan untuk memprediksi probabilitas suatu kelas.  Hasil  dari  penelitian  didapatkan  akurasi  machine learning sebesar 83%.
Berbagai masalah menjadi latar belakang permasalahan dalam  hal  penyusunan  Sistem  Identifikasi  Fake  News Menggunakan Metode Naive Bayes yaitu:
1. Tingginya penyebaran berita atau informasi palsu yang menyebabkan kekisruhan di antara masyarakat.
2. Berita  hoaks  dapat    menimbulkan  opini  negative, menggiring opini masyarakat, menyebabkan keresahan akibat  dari  isi  berita  yang  bersifat  propaganda, memecah  belah  suatu  pihak,  menyudutkan  suatu kelompok/orang, menyebabkan keresahan karena tidak valid dan sesuai dengan data.
3. Bagaimana  melakukan analisis terhadap dataset yang akan  digunakan  untuk  penelitian  Sistem  Identifikasi Fake News.
4. Metode yang akan digunakan untuk training dan predict Sistem Identifikasi Fake News.
Tujuan  dari  analisis  dataset  menggunakan  metode Multinomial Naïve Bayes untuk membuat kerangka Sistem Identifikasi Fake News adalah sebagai berikut:
1. Mencegah dan meminimalisir penyebaran berita hoaks serta akibat dari penyebarannya tersebut.
2. Mencegah  terjadinya  perpecahan  di  antara  masyrakat, penerimaan informasi secara mentah-mentah, mengurangi keresahan yang diakibatkan berita hoaks. 3. Analisis  data  dilakukan  melalu  beberapa  tahapan dengan mendapatkan data melalui proses crawling data Twitter API yang kemudian datasetnya akan digunakan sebagai data train dan test.
4. Kerangka  Sistem  Identifikasi  Fake  News  dirancang menggunakan metode Multinomial Naïve Bayes.
Penelitian yang dilakukan meliputi analisis data untuk kerangka  Sistem  Identifikasi  Fake  News  Menggunakan Metode  Naïve  Bayes  memiliki  ruang  lingkup  sebagai berikut:
1. Penelitian  dilaksanakan  di  Diskominfo  Provinsi  Jawa Barat.
2. Dataset  didapatkan  melalui  proses  crawling  data Twitter API dengan atribut tanggal, username, dan text.
3. Analisis terdiri dari beberapa tahapan yaitu preprocessing, labeling, dan training dan testing data.
4. Menggunakan Bahasa Python dengan interface Jupyter Notebook.
5. Sistem dikhususkan untuk Identifikasi Fake News pada Bahasa Indonesia

## II. T INJAUAN P USTAKA

## A. Sistem
Sistem merupakan  sekumpulan kelompok yang terdiri atas  kumpulan  unsur,  komponen,  variabel,  yang  saling berinteraksi  dan  terikat  satu  sama  lain  membentuk  suatu kepaduan [1].

## B. Sistem Pakar
Sistem  pakar  merupakang  cabang  penggunaan  lebih luas ilmu pengetahuan yang dikhususkan untuk menyelesaikan kesulitan pada tingkat manusia yang pakar [2].

## C. Text Mining
Text mining diketahui juga sebagai data mining text [3] atau penemuan reka cipta dari database tekstual [4].
Text mining merupakan langkah-langkah mendapatkan informasi  menggunakan  berbagai  macam  tools  untuk analisis [5].
Adapun  tujuannya  ialah  mengumpulkan  informasi penting dari sebuah dokumen. Text mining menggunakan kumpulan  text  yang  tidak  runtut  atau  semi  sistematis sebagai  data  asal  yang  dimanfaatkan.  Text  mining  juga memiliki fungsi lainnya yaitu sebagai pengklasifikasi teks [6].

## D. Application Programming Interface
API  (Application  Programming  Interface)  merupakan jembatan komunikasi di antara bahasa pemrograman atau client-server  yang  berbeda.  Ouput  dari  API  bisa  berupa data XML atau JSON [8].

## E. Twitter API
Twitter API memiliki keunggulan untuk menampilkan data,  contohnya  cuitan  user  dari  berbagai  belahan  dunia, data  tersebut  diolah  dengan  berbagai  macam  cara  yang menarik [7].

## F. Python
Python merupakan bahasa pemrograman OOP (Object Oriented  Programming)  yang  dapat  melakukan  eksekusi secara  interpretatif.  Python  merupakan  bahasa  tingkat
tinggi  yang  dilengkapi  oleh  manajemen  memori  otomatis sehingga dapat dipelajari dengan mudah [9].

## G. Algoritma Naïve Bayes
Algoritma  Naive  bayes  merupakan  algoritma  yang menerapkan  hukum  probabilitas  dengan  cara  dari  setiap kemungkinan dicari peluang terbesarnya pada penggolongan pada tingkat keseringan klasifikasi data train [15].
Naïve  Bayes  umumnya  digunakan  untuk  klasifikasi salah  satunya  adalah  data  Twitter  dan  tersedia  beberapa metode  Naïve  Bayes  seperti  Unigram  Naïve  Bayes, Multinomial  Naïve  Bayes,  dan  Maximum  Entropy Classification [18] Ini dirujuk dari beberapa referensi yang diamati  yaitu  “Sentiment  Analysis  of  User-Generated Twitter Updates using Various Classification Techniques.”

## H. ANALISIS SENTIMEN
Analisis  sentimen  merupakan  proses  mengklasifikasi polaritas  teks  dalam  data  dan  kategori  bisa  ditentukan sebagai  positif,  negative,  dan  netral  [19][20],  ini  dirujuk berdasarkan penelitian “Analisis Sentimen Program Acara di SCTV Pada Twitter menggunakan metode Naïve Bayes” dan  “Analisis  Sentiment  Twitter  Terhadap  Capres Indonesia  2019  Dengan  Metode  K-NN”.  Dirujuk  dari penelitian tersebut, karena penelitian yang dilakukan oleh penulis sama-sama mengangkat topik analisis dan memberi polaritas teks tetapi tidak ada label netral, hanya positif/true dan negative/false.

## III. METODOLOGI

## A. Analisis
Pada tahapan ini, sebelum memulai untuk melakukan analisis data penulis terlebih dahulu melakukan pengamatan tentang hal-hal yang dibutuhkan untuk analisis data dan merancang system. Karena yang akan dirancang adalah  Sistem  Identifikasi  Fake  News  maka  dataset  yang dibutuhkan adalah dataset berisikan kumpulan berita fake dan berita asli. Selain itu pada tahapan ini juga dilakukan pengamatan  metode  apa  yang  cocok  dan  bagus  untuk digunakan pada klasifikasi data.

## B. Crawling Data
Setelah  melakukan  pengamatan  dan  menentukan kebutuhan,  langkah  selanjutnya  adalah  memenuhi kebutuhan  tersebut.  Yang  diperlukan  untuk  training  dan testing  adalah  sebuah  dataset.  Pada  tahapan  ini,  penulis mengambil  data  menggunakan  cara crawling yaitu mengambil menggunakan API. Data diambil menggunakan fungsi  api.search_tweets  dan  querynya  sesuai  dengan kebutuhan, “berita” merupakan parameter yang diperlukan untuk dataset yang akan dibagi menjadi data train dan test. Tidak semua atribut data twitter akan diambil tetapi sesuai kebutuhan  yaitu  waktu,  username,  dan  text.  Setelah crawling  data  kemudian  data  disimpan  sebagai  file  csv menggunakan library pandas.
Gambar 1. Data crawling twitter API

## C. Preprocessing Data
Langkah  selanjutnya  data  crawling  akan  dibersihkan melalui  tahap  preprocessing  data.  Tahapan  ini  akan membersihkan data mentah yang berisikan missing value, noise,  dan  data  inkonsisten  yang  mengakibatkan ketidakakuratan  data  sehingga  data  menjadi  bersih  dan akurat untuk digunakan sebagai dataset yang nantinya akan dijadikan  data  train  dan  test.  Preprocessing  terdiri  dari beberapa tahapan yang harus dilalui, yaitu :
1) Cleaning  Punctuation: Pada  tahapan  ini  tanda baca  tidak  penting  yang  berada  di  dalam  dataset  akan dihapus.  Seperti  koma  (,),  titik  (.),  tanda  kutip  (“”), kemudian hastag yang berada di atribut username (@), dll.
2) Tokenization: Tokenisasi merupakan prose pemisahan  rangkaian  kata  menjadi  sebuah  token-token yang  dapat  terdiri  juga  dari  karakter  spasi.  Pada  proses tokenisasi  secara  bersamaan  dapat  terjadi  juga  proses penghapusan karakter tanda baca [10]. Atribut yang akan dilakukan  proses  tokenisasi  ialah  atribut  text.  Berikut adalah gambar contoh hasil proses tokenisasi pada atribut text.
Gambar 2. Tokenization
3)
Filtering  Stopword: Filtering  atau  proses menghapus stopwords menguntungkan proses preprocessing salah satunya adalah mengurangi area pada tabel ketentuan index hingga 40% atau lebih [12]. Proses menghapus  stopword  merupakan  proses  meminimalisir kata yang tidak memiliki makna penting dan tidak relevan tetapi  sering  muncul  [10].  Pada  tahap  filtering  stopword penulis  akan  menghapus  kata  yang  tidak  mempunyai makna  atau  arti  penting  pada  kalimat  menggunakan dictionary Bahasa Indonesia.
4) Case  Folding: Case  folding  merupakan  proses mengubah  kata  dalam  suatu  dokumen  menjadi  huruf
kecil[11].  Case  folding  mempermudah  dalam  proses pencarian kata atau kata kunci.
5) Stemming: Setelah  dirubah  menjadi  huruf  kecil kata-kata  tersebut  perlu  dicek  ulang.  Steming  dapat menyamaratakan kata dan meminimalisir indeks kata yang ada pada data train [13]. Pada proses stemming, kata akan diubah  kembali  menjadi  ke  bentuk  dasarnya  dengan menghapus imbuhan (prefix/suffix/infix) nya.
Gambar 3. Stemming

## D. Labeling
Labeling  terdiri  atas  unsur  kata  label  yang  berarti himpunan karakter yang berfungsi untuk mengidentifikasi variabel atau bagian penting suatu data [14].
Data  yang  telah  dibersihkan  kemudian  dilabeling berdasarkan parameter text. Penulis mencari validitas data melalui  berbagai  sumber  seperti  google,  melakukan pengecekan  ulang  di  twitter,  mencari  beritanya,  dan melakukan  pengecekan  di  portal  berita  hoaks  milik Kemkominfo. Data diberi label true atau false, true untuk data yang konteksnya benar dan berisikan fakta, false untuk konteks bersifat opini yang menjelekkan suatu kelompok/komunitas,  menggiring  opini  masyarakat,  data tidak valid, dst.

## E. Data Training Dan Testing
Data  yang  telah  dipreprocessing  dan  dilabeling kemudian  akan  dibagi  menjadi  data  train  dan  data  test. Sebelumnya, atribut label diencode terlebih dahulu menjadi numerik dimana true bernilai 1 dan false 0, dengan atribut baru  bernama  polarity.  Kemudian  tentukan  atribut  untuk nilai  variable  X,  variable  independent  atau  bebas  dan variable  y,  variable  dependent  atau  terikat  yang  akan digunakan  untuk  mengukur  besarnya  efek  atau  pengaruh variable  lain.  Atribut  STEMMING  ditentukan  sebagai variable X dan atribut Polarity sebagai variable y.
Variabel X kemudian diubah ke dalam bentuk numerik sebagai bilangan bulat atau nilai floating-point menggunakan count  vectorizer .  Proses  ini  disebut  juga sebagai proses ekstraksi fitur/vektorisasi. Hasilnya berupa sparse matrix, yaitu matrix yang memiliki banyak elemen nilai 0.
Gambar 5. Count vectorizer
Setelah distore sebagai sparse matrix kemudian langkah selanjutnya  adalah  menghitung  relevansi  sebuah  kata muncul dalam suatu dokumen menggunakan TF-IDF.
Pemberian  bobot  pada  kata  merupakan  proses memberikan  bobot  pada  tiap  kata  pada  dokumen.  Dalam TF-IDF, Term Frequency berpusat pada kata yang tingkat kemunculan  dalam  suatu  dokumennya  tinggi  sedangkan Inverse Document Frequency lebih berpusat terhadap pada pemberian  bobot  tidak  tinggi  untuk  kata  yang  tingkat kemunculannya sering pada dokumen[16].
Bobot  TF-IDF  disusun  berdasarkan  dua  unsru  kata yaitu  TF  (Term  Frequency)  dan  IDF  (Inverse  Document Frequency). Untuk menghitung TF, relevansi sebuah kata muncul dibagi dengan total kata.
Untuk  menghitung  TF,  relevansi  sebuah  kata  muncul dibagi dengan total kata.
• TF (t) = Jumlah relevansi sebuah kata/Jumlah total kata keseluruhan
Sedangkan  untuk  menghitung  IDF,  logaritma  jumlah dokumen  dibagi  dengan  jumlah  dimana  istilah  tertentu muncul.  Karena  penulis  menggunakan  parameter  false, use_idf=False,  skor  yang  keluar  dicetak  berdasarkan  TF saja yaitu relevansi sebuah kata muncul.
Langkah selanjutnya adalah splitting data. Data dibagi menjadi  data  train  dan  data  test  menggunakan  fungsi train_test_split.
Gambar 6. Splitting data

## IV. HASIL DAN PEMBAHASAN
Data  yang  digunakan  didapatkan  dari  hasil  crawling data twitter API yang kemudian data tersebut dibersihkan/melalui proses preprocessing sebelum nantinya data akan ditrain dan dijadikan data predict. Data yang diambil sebanyak 1000 data tetapi digunakan sebesar 50% yaitu total 500 data. Untuk mengetahui perbandingan data  true/false  berdasarkan  polaritynya.  Menggunakan
library  plotly  penulis  membuat  diagram  perbandingan banyaknya data.
Gambar 7. Diagram perbandingan data false dan true
Berdasarkan  diagram  tersebut  diketahui  data  dengan polarity  1  ada  sebanyak  330  data  dan  171  data  untuk polarity 0.
Dalam machine learning, algoritma Naïve Bayes adalah metode yang akurat untuk klasifikasi atau pengelompokkan terutama  digunakan  untuk  analisis  data  seperti  Natural Language Processing. Algoritma ini menerapkan Teorema Bayes  dengan  perkiraan  independensi  antar  fitur  sangat kuat.
Dengan  menggunakan  teorema  bayes,  Naïve  Bayes Classifier akan memprediksi probabilitas dari setiap kelas dengan kesimpulan kelas yang memiliki probabilitas paling tinggi  dinyatakan  sebagai  kelas  paling  mungkin  atau disebut Maksimum A Posteriori (MAP).
MAP A = max (P (A | B))
= max (P (B | A) * P (A))/P (B) (1) = max (P (B | A) * P (A))
P(B)  merupakan  evidence  probability  jadi  menghapusnya tidak akan mempengaruhi hasil dari perhitungan.
Pada  penelitian  ini  algoritma  yang  digunakan  adalah algoritma  Multinomial  Naïve  Bayes  yaitu  algoritma standar yang biasa digunakan untuk klasifikasi kategorisasi teks/data  pada  kelas  tertentu.  Metode  ini  menjelaskan keterikatan atribut dengan kelas dan melupakan dependensi antar atribut [17].
P (C) = count (c) + K N+K . | classes|
(2)
Selanjutnya  data  akan  dilatih  menggunakan  algortima Multinomial  Naïve  Bayes.  Model  melatih  X_train  dan y_train  menggunakan  fungsi  fit.  Kemudian  predict menggunakan fungsi predict pada atribut X_test. Berikut  adalah  skor  akurasi  model  yang  didapatkan berdasarkan accuracy_score atribut y_test yaitu true label class dan preds yang merupakan predicted label class.

## Gambar 8. Skor akurasi model
Selanjutnya  membandingkan  skor  akurasi  model  dari test-set  dan  juga  train-set  untuk  memeriksa  adanya overfitting dan underfitting.
Gambar 9. Perbandingan skor akurasi model dan skor akurasi training set
Akurasi  skor  pada  training  set  sebesar  0.9425 sedangkan test set sebesar 0.8317, perbedaan di antara dua akurasi skor tersebut tidak terlalu jauh sehingga dirasa tidak ada tanda-tanda overfitting. Kemudian bandingkan model skor  akurasi  dengan  null  skor  akurasi.  Null  skor  akurasi merupakan akurasi yang paling sering dicapai dengan cara memprediksi kelas yang paling sering. Null accuracy score yang diperoleh sebesar 0.6634.
Gambar 10. Skor akurasi null
Confusion  matrix  merupakan  sebuah  tool  yang digunakan  untuk  mengevaluasi  model  klasifikasi  untuk memprediksi data yang benar atau salah. Ada 4 jenis output proses klasifikasi pada confusion matrix, yaitu:
1) True Positive: True positive terjadi ketika prediksi positive/benar pada data actual juga positive.
2) True  Negative: Terjadi  ketika  prediksi  negative pada data actual yang negative/benar.
3) False  Positive: Data  actual  merupakan  data negatif tetapi diprediksi sebagai positive. Tipe ini disebut sebagai Type I Error.
4) False  Negative: Merupakan  kebalikan  dari  true positive, data actual positive tetapi data predictnya negative. Ini merupakan error yang serius yang disebut Type II Error.
Berdasarkan uji coba yang dilakukan, didapatkan hasil seperti  gambar  visualisasi  seaborn  di  bawah  ini. True positive sebanyak  29  dan true  negative sebanyak  55 sehingga ada 84 total prediksi yang benar. Sedangkan false positive sebanyak  5  dan false  negative sebanyak  12 sehingga total prediksi yang salah ada 17.
Gambar 11. Confusion matrix
Untuk  mengevaluasi  kinerja  model  dapat  ditampilkan classification report yang berisi precision, recall, f-1 score, dan support.
Gambar 12. Classification report
Precision  merupakan  perbandingan  di  antara true positive dengan  total  data  yang  diprediksi  positive  ( true positive + false positive ).
Precision = TP / (TP+FP) Recall atau True Positive Rate merupakan perbandingan antara true positive dengan jumlah total data actual yang positive.
Recall = TP / (TP+FN)
Diantara keduanya mana yang lebih baik oleh karena itu ada  yang  Namanya  F-1  score.  F-1  score  merupakan harmoni di antara precision dan recall. Ketika dibutuhkan keseimbangan  di  antara  dua  tersebut  maka  f-1  score merupakan jawabannya.
F1 = 2 x ((Precision * recall) / (Precision + recall)

## V. KESIMPULAN
Berdasarkan  analisis  dan  uji  coba  yang  dilakukan, didapatkan beberapa kesimpulan sebagai berikut:
1. Data  didapatkan  melalui  proses  crawling  twitter  API. Menggunakan atribut text dengan query “Berita” yang disimpan sebagai variabel bebas.
2. Sebelum dibagi menjadi data train dan test, data terlebih dahulu  melewati  proses  preprocessing  yaitu  cleaning punctuation,  tokenization,  filtering  stopwords,  case folding,  dan  stemming  untuk  menghapus  data  yang dirasa tidak memiliki makna dan arti penting sehingga data  lebih  bersih  dan  dapat  dilatih  dan  diuji  coba sebagai data testing model.
3. Menggunakan  algoritma  Multinomial  Naïve  Bayes untuk  melatih  data  dan  memprediksi  model  karena merupakan  salah  satu  algoritma  pengklasifikasi  data pada kelas. Multinomial Naïve Bayes biasanya banyak digunakan pada Natural Language Processing (NLP).
4. Berdasarkan  uji  coba  menggunakan  data  training  dan testing  didapatkan  tingkat  akurasi  model  sebesar  83% dimana tingkat akurasi data testing sebesar 94 %.
Akurasi  yang  didapatkan  dari  prediksi  menggunakan algoritma Multinomial Naïve Bayes terbilang tidak cukup tinggi jika dibandingkan dengan algoritma probabilitas lain. Uji  coba  lebih  jauh  belum  dilakukan  untuk  data  dengan query berita yang terbaru.
D AFTAR P USTAKA
[1] M.  MUDJAHIDIN  and  N.  DITA  PAHANG  PUTRA,  “Rancang Bangun  Sistem  Informasi  Monitoring  Perkembangan  Proyek Berbasis  Web,” J.  Tek.  Ind. ,  vol.  11,  no.  1,  p.  75,  2012,  doi: 10.22219/jtiumm.vol11.no1.75-83.
[2] M. Arhami, Konsep Dasar Sistem Pakar . Yogyakarta: Andi Offset, 2005.
[3] M.  A.  Hearst, Text  data  mining:  Issues,  techniques,  and  the relationship to information access. Presentation notes for UW/MS workshop on data mining . 1997.
[4] R.  Feldman  and  I.  Dagan,  “Knowledge  Discovery  in  Textual Databases (KDT),” Int. Conf. Knowl. Discov. Data Min. , pp. 112–
117, 1995, [Online]. Available: http://www.aaai.org/Papers/KDD/1995/KDD95-012.pdf. [5] R. Feldman and J. Sanger, The Text Mining Handbook-Advanced Approaches in Analyzing Unstructured Data . New York, 2007.
[6] C.  Triawati,  M.  A.  Bijaksana,  N.  Indrawati,  and  W.  A.  Saputro, “Pemodelan Berbasis Konsep Untuk Kategorisasi Artikel Berita,”
Semin. Nas. Apl. Teknol. Inf. , vol. 2009, no. Snati, pp. 48–53, 2009. [7] Twitter, “Twitter API,” 2015. https://developer.twitter.com/en/docs (accessed Feb. 07, 2022). [8] A.  Saputra, API  Developer  Buku  Sakti  Para  Pengembang  Web . 2014.
[9]  A. Materi, “Pengertian Python, Fungsi, Kelebihan dan Kekurangan,” 2021. https://materibelajar.co.id/pengertian-python/ (accessed Feb. 07, 2022).
[10]  F. Amin, “Sistem Temu Kembali Informasi Dengan Metode Vector Space Model (Studi Kasus Biografi Pahlawan Indonesia),” J. Sist. Inf. Bisnis 02 , 2012.
[11]  L. Valatehan, “Identifikasi kalimat pemborosan menggunakan rule base reasoning,” Annu. Res. Semin. , vol. 2, no. 1, pp. 205–208, 2017.
[12]  R. Y. Baeza and R. Neto, Modern Information Retrieval . Boston, 1999.
[13]  C.  D.  Manning,  P.  Raghavan,  and  H.  Schütze, Introduction  to Information  Retrieval .  Cambridge:  Cambridge  University  Press, 2008.
[14]  “Kamus  Besar  Bahasa  Indonesia.”  https://kbbi.kemdikbud.go.id/ (accessed Feb. 07, 2022).
[15]  T.  Arifin,  “Metode  Data  Mining  Untuk  Klasifikasi  Data  Sel Nukleus  Dan  Sel  Radang  Berdasarkan  Analisa  Tekstur,” Informatika , vol. II, no. 2, pp. 425–433, 2015.
[16]  G. Wilson, R. Devillers, and O. Hoeber, “Fuzzy logic ranking for personalized  geographic  information  retrieval,” Adv.  Intell.  Syst. Comput. , vol. 179 AISC, pp. 111–123, 2012, doi: 10.1007/978-3- 642-31603-6_10.
[17]  A.  Saleh,  “Implementasi  Metode  Klasifikasi  Naïve  Bayes  Dalam Memprediksi Besarnya Penggunaan Listrik Rumah Tangga,” Creat. Inf. Technol. J. , vol. 2, no. 3, pp. 207–217, 2015.
[18]  R.  Parikh  and  M.  Movassate,  “Sentiment  Analysis  of  User- Generated  Twitter  Updates  using  Various  Classification Techniques,” Final  Rep.  CS225N ,  pp.  1–18,  2009,  [Online].
Available: http://nlp.stanford.edu/courses/cs224n/2009/fp/19.pdf.
[19]  M.  N.  Ardhiansyah,  R.  Umar,  and  Sunardi,  “Analisis  Sentimen pada  Twitter  Menggunakan  Metode  Support  Vector  Machine,” Semin. Nas. Teknol. Fak. Tek. Univ. Krisnadwipayana , vol. 1, no.
1, pp. 739–742, 2019, [Online]. Available:
https://jurnal.teknikunkris.ac.id/index.php/semnastek2019/article/ view/343/342.
[20]  A. M. Zuhdi, E. Utami, and S. Raharjo, “Analisis sentiment twitter terhadap  capres  Indonesia  2019  dengan  metode  K-NN,” J.  Inf.
Politek. Indonusa Surakarta , vol. 5, pp. 1–7, 2019.