p-ISSN : 2460-3562 / e-ISSN : 2620-8989

## Penerapan Metode Multinomial Naïve Bayes untuk Klasifikasi
Judul Berita Clickbait dengan Term Frequency - Inverse Document Frequency
Fikri Alwan Ramadhan a1 , Sampe Hotlan Sitorus a2 , Tedy Rismawan a3 a 3Jurusan Rekayasa Sistem Komputer, Fakultas MIPA Universitas Tanjungpura Jalan Prof. Dr. H. Hadari Nawawi, Pontianak, telp. (0561) 577963
1 fikriar19@student.untan.ac.id
2 sitorus.hotland@gmail.com
3 tedyrismawan@siskom.untan.ac.id

## Abstrak
Clickbait  merupakan  judul  berita  yang  bombastis  dan  memberikan  informasi  tidak  utuh  sehingga  membuat pembaca penasaran ingin tahu dengan cara mengklik tautan berita. Penggunaan judul berita clickbait terkadang bersifat menjebak karena judul dari artikel tersebut bersifat tidak utuh. Hal tersebut menyebabkan kesimpulan yang  didapat  dari  judul  dan  isi  berita  terkadang  tidak  sesuai.  Sehingga  perlu  dilakukan  penelitian  untuk mengklasifikasi judul berita yang termasuk clickbait atau bukan. Penelitian ini menggunakan metode Multinomial Naïve Bayes dan TF-IDF (Term Frequency - Inverse Document Frequency) dengan data didapat dari judul berita online yang di ambil dari beberapa situs website. Pada penelitian ini TF-IDF digunakan untuk memberikan bobot kata pada proses pelatihan, pengujian dan klasifikasi. Data yang digunakan berjumlah 1000 data dengan 800 data latih dan 200 data uji. Pengujian dilakukan menggunakan confusion matrix sehingga didapatkan akurasi sebesar 65 %, recall sebesar 65,69 % dan precision sebesar 65,69 %.
Kata kunci: Berita, Clickbait, Klasifikasi, Multinomial Naïve Bayes, Term Frequency - Inverse Document Frequency, confusion matrix

## Application of Multinomial Naïve Bayes News Clickbait with Term Frequency - Inverse Document Frequency

## Abstract
Clickbait is a bombastic news title and provides incomplete information so that readers are curious to know by clicking on news links. News titles clickbait is sometimes misleading because the title of the article is incomplete. This  causes  the  conclusions  obtained  from  the  title  and  content  of  the  news  sometimes  do  not  match.  So  it  is necessary to do research to classify news titles that are clickbait or not. This study uses the Multinomial Naïve Bayes and TF-IDF (Term Frequency - Inverse Document Frequency) with data obtained from online news titles taken from several websites. In this study, TF-IDF was used to assign word weights to the training, testing and classification processes. The data used are 1000 data with 800 training data and 200 test data. The test is carried out using a confusion matrix so that an accuracy of 65% is obtained, recall is 65.69% and precision is 65.69%.
Keywords: News, Clickbait, Classification, Multinomial Naïve Bayes, Term Frequency - Inverse Document Frequency, confusion matrix

## I. P ENDAHULUAN
Teknologi  informasi  dan  komunikasi  saat  ini berkembang dengan sangat pesat. Hal ini mengakitbatkan banyak  perbuahan,  termasuk  perubahan  dalam  aspek penggunaan  media  dan  cara  masyarakat  menerima informasi.  Dahulu  masyarakat  memperoleh  informasi dengan  cara  membaca  koran  atau  menonton  berita  di televisi,  namun  saat  ini  masyarakat  lebih  cenderung menerima  informasi  dari  media  digital  yang  dapat menyajikan informasi secara cepat dan real time [1].  Hasil survei  Nielsen  Media  Research  menunjukkan  bahwa
pembaca  media  digital  berjumlah  6  juta  orang  melebihi jumlah  pembaca  media  cetak,  yaitu  4,5  juta  orang  [2]. Jumlah pembaca media digital yang besar ini menjadi lahan basah  dimana  perusahaan  media  digital  bersaing  untuk menarik perhatian pembaca untuk membuka situs tersebut. Salah  satu  caranya  adalah  dengan  menggunakan  judul berita yang bersifat clickbait [3]. Clickbait adalah sebuah bentuk konten web yang dimana pada judul konten tersebut ditulis dengan formula dan tata bahasa  yang  bertujuan  untuk  memancing  pembaca  untuk mengklik tautan [4]. Penggunaan clickbait di media online
secara  berlebihan  dinilai  berbahaya.  Apalagi  dengan tingkat  literasi  masyarakat  yang  tidak  sebanding  dengan penggunaan  internet.  Masih  banyak  masyarakat  yang belum  bisa  mengetahui  berita  hoaks,  sindiran,  atau kebiasaan malas membaca berita secara utuh dengan hanya membaca  judul  berita  kemudian  menyimpulkan  [5]. Seringkali  berita  dengan  judul  yang  bersifat clickbait menyesatkan, tidak diverifikasi, dan jarang dikoreksi, jenis artikel  inilah  yang  memiliki  andil  besar  terhadap penyebaran artikel palsu di internet [6].
Berdasarkan  masalah  terhadap  judul  berita clickbait diatas,  diperlukan  suatu  penelitian  untuk  mengklasifikasi judul berita yang termasuk clickbait dan bukan. Penelitian sebelumnya  tentang  klasifikasi  berita  clickbait  pernah dilakukan dengan judul “Identifikasi Judul Berita Clickbait Berbahasa Indonesia dengan Algoritma Long Short  Term Memory (LSTM) Recurrent  Neural  Network ”.  Penelitian ini  menggunakan  metode Long  Short  Term  Memory (LSTM) Recurrent  Neural  Network menghasilkan  model dengan  akurasi  82%  dan  sebuah  sistem  yang  mampu mengklasifikasikan judul berita apakah termasuk clickbait atau bukan [7].
Penelitian  tentang  identifikasi  berita clickbait selanjutnya  pernah  dilakukan  dengan  judul  “Penerapan Neural Network Backpropagation untuk Klasifikasi Artikel Clickbait ”. Penelitian ini menggunakan metode Backpropagation dengan  data  latih  sejumlah  800  judul. Pada penelitian tersebut dilakukan pengujian menggunakan 185  judul  dari  data  latih  ditambah  dengan  20  judul  data baru dan menghasilkan tingkat akurasi mencapai 85% [8].
Selanjutnya penelitian terkait Multinomial Naïve Bayes pernah  dilakukan  pada  tahun  2017  dengan  judul  “ Online News  Classification  Using  Multinomial  Naïve  Bayes ”. Penelitian  ini  menggunakan  metode Multinomial  Naïve Bayes dengan  pembobotan  kata  menggunakan  TF-IDF ( Term  Frequency  -  Inverse  Document  Frequency ).  Hasil penelitian tersebut didapatkan akurasi akhir sebesar 94,29% [9].
Berdasarkan  latar  belakang  diatas,  dibuatlah  suatu system  untuk  melakukan  klasifikasi  berita clickbait t menggunakan  metode Multinomial  Naive  Bayes dengan pembobotan  kata Term  Frequency  -  Inverse  Document Frequency ”.
II. METODOLOGI
Metodologi  memuat  langkah  -  langkah  peneliti  dalam melakukan penelitian secara lengkap dan padat. Prosedur dalam  penelitian  ini  terdiri  dari  studi  literatur, pengumpulan data, analis kebutuhan, perancangan sistem, implementasi, pengujian, analisis dan kesimpulan.

## A. Studi Literatur
Tahap  ini  dilakukan  untuk  mencari  informasi  dan literatur apa saja yang dapat dijadikan referensi. Literatur yang  digunakan  dapat  berupa  jurnal  ilmiah  penelitian sebelumnya,  buku-buku  maupun  artikel  yang  berkaitan dengan penelitian ini serta data-data yang dapat digunakan untuk mendukung penelitian ini.

## B. Pengumpulan Data
Metode  pengumpulan  data  untuk  kebutuhan  penelitian ini  meliputi  data-data  yang  dapat  menunjang  penelitian yang  berkaitan  dengan  berita online baik  yang  bersifat clickbait atau  bukan clickbait .  Data  didapatan  dengan mengumpulan  berita  dari website .  Setelah  itu  data  yang sudah  dikumpulkan  diberikan  label clickbait atau  bukan clickbait.  Pelabelan  data  dilakukan  oleh  mahasiswa  S1 yang  sebelumnya  sudah  diberi  pembekalan  terkait  berita clickbait. Data penelitian ini juga didapat dari jurnal hasil penelitian dari penelitian Andika William dan Yunita Sari dengan judul ‘CLICK-ID: A novel dataset for Indonesian clickbait headlines’ .

## C. Analisis Kebutuhan
Analisis  kebutuhan  merupakan  proses  yang  dilakukan sebelum membangun infrastruktur yang dibutuhkan dalam perancangan sistem. Ada dua jenis kebutuhan dalam sistem meliputi kebutuhan perangkat keras dan perangkat lunak.
1) Kebutuhan Perangkat Keras: Adapun perangkat keras yang  digunakan  dalam  membangun  sistem  ini  adalah sebagai berikut:
 Laptop ASUS A455LF
 Processor Intel® Core™ i3-5005U CPU @2.0GHz
 Memory 4GB RAM
2) Kebutuhan Perangkat Lunak: Adapun perangkat lunak yang  digunakan  dalam  membangun  sistem  ini  adalah sebagai berikut:
 Balsamiq Wireframes
 Visual Studio Code
 Node JS
 NPM (Node Package Manager)
 XAMPP
 Postman

## D. Perancangan Sistem
Perancangan  sistem  yang  akan  dilakukan  berupa rancang bangun dari sistem, membuat Data Flow Diagram (DFD), Entity  Relationship (ERD)  dan  desain  tampilan antarmuka.  Sistem  ini  menggunakan  judul  berita  dan sumber  berita  sebagai  data  masukan.  Kemudian  data masukkan  dilakukan text  preprocessing dan  hasilnya diproses menggunakan algoritma Multinomial Naïve Bayes dan  pembobotan  kata  TF-IDF.  Setelah  semua  proses, sistem  akan  menampilkan  hasil  berupa  keterangan  berita clickbait atau bukan clickbait .

## E. Implementasi
Implementasi  adalah  tahap  untuk  membangun  sistem yang  sebelumnya  telah  dirancang.  Implementasi  ini dilakukan  dengan  menggunakan  bahasa  pemrograman javascript, framework Express  JS  pada backend , library React JS pada frontend dan Visual Studio Code sebagai text editor .  Untuk  menghubungkan  antara frontend dan backend menggunakan REST API.

## F. Pengujian
Sistem yang telah dibangun kemudian akan  diuji  coba dengan menggunakan data pengujian yang ada. Data yang digunakan untuk pengujian berjumlah 200 judul berita.  Uji coba dilakukan untuk mengetahui akurasi dari metode yang digunakan.  Uji  coba  juga  dilakukan  untuk  mengetahui apakah  hasil  perhitungan  dari  sistem  sesuai  dengan perhitungan  manual  jika  perhitungan  tidak  sesuai  maka akan kembali keproses perancangan.
G. Clickbait Clickbait adalah headline atau judul berita yang bersifat mencolok dan memberikan informasi yang tidak lengkap sehingga  pembaca  akan  penasaran  untuk  mengetahui  isi berita  dengan  cara  mengklik  tautan  berita  [1].  Tujuan menggunakan headline atau judul berita bersifat clickbait adalah untuk memancing pengguna agar membuka artikel tersebut.  Ciri  khas  judul  berita  berupa clickbait yaitu menggunakan kata "viral" atau "heboh" dan menyembunyikan  fakta  atau  isi  berita  di  bagian  judul. Penggunaan  judul  berita clickbait terkadang  bersifat menjebak  karena  judul  dari  artikel  tersebut  bersifat  tidak lengkap.  Hal  tersebut  menyebabkan  kesimpulan  yang didapat dari judul dan isi berita terkadang tidak sesuai [10].

## H. Text Preprocessing
Text  preprocessing  adalah  tahap  untuk  melakukan analisis semantik (kebenaran arti) dan sintaksis (kebenaran susunan) terhadap teks. Tujuan dari proses ini adalah untuk mengubah  teks  menjadi  data  yang  akan  menjadi  objek pengolahan  lebih  lanjut  [11].  Dalam text  preprocessing terdapat  beberapa  langkah.  Langkah  pertama  adalah casefolding yang  bertujuan  untuk  menghilangkan  semua karakter  non-abjad  di  dalam  data  dan  mengubah  semua huruf menjadi huruf kecil (lowercase ). Tahap kedua yaitu tokenizing yang  bertujuan  untuk  mengubah  judul  dalam bentuk string menjadi token-token atau dalam bentuk array . Proses terakhir adalah stemming yang bertujuan mengubah semua kata menjadi kata dasar atau root word .

## I. Algoritma Nazief & Adriani
Algoritma Nazief & Adriani pertama kali dikembangkan oleh Bobby Nazief dan Mirna Adriani. Algortima Nazief & Adriani  merupakan  algoritma untuk  mengubah kata yang memiliki  awalan  dan  akhiran  menjadi  bentuk  kata  dasar. Algoritma  ini  didasarkan  pada  aturan  morfologi  bahasa Indonesia yang luas, yang dikumpulkan menjadi satu grup dan di-enkapsulasi pada imbuhan/ affixes yang diperbolehkan ( allowed affixes ) dan imbuhan/ affixes yang tidak  diperbolehkan  ( disallowed  affixes )  [12].  Algoritma ini  dikenal  dengan  waktu  pemrosesannya  yang  sedikit lambat  tetapi  memiliki  hasil  yang  baik  untuk  stemming pada kata berbahasa Indonesia.

## J. Term Frequency-Inverse Document Frequency
TF-IDF (Term Frequency-Inverse Document Frequency merupakan  suatu  metode  yang  menggabungkan  2  cara pembobotan kata, yaitu dengan menghitung frekuensi kata dan  melakukan inverse dari  jumlah  dokumen  yang
mengandung kata tersebut [13]. Perhitungan TF-IDF dapat dilakukan dengan persamaan 1 dan 2.
𝐼𝐷𝐹(𝑡) = log ( ( ) ) (1)
𝑇𝐹 − 𝐼𝐷𝐹(𝑑, 𝑡) = 𝑓(𝑑, 𝑡) 𝑥 𝐼𝐷𝐹(𝑡)
(2)
Keterangan:
𝑓(𝑑, 𝑡) : Frekuensi kemunculan term t pada dokumen d 𝐼𝐷𝐹(𝑡) : Inverse document frequency pada term t 𝑁 𝑑 : Jumlah dokumen keseluruhan 𝑑𝑓(𝑡) : Jumlah dokumen yang mengandung term t
Term  frequency adalah  metode  penentuan  bobot  kata dalam dokumen berdasarkan jumlah kemunculannya dalam dokumen  tersebut.  Nilai  jumlah  kemunculan  suatu  kata diperhitungkan dalam pemberian bobot terhadap suatu kata. Semakin  besar  jumlah  kemunculan  suatu  kata  dalam dokumen,  semakin  besar  pula  bobotnya  dalam  dokumen atau akan memberikan nilai kesesuian yang semakin besar [14].
Inverse  document  frequency  (IDF)  dibuat  untuk mengurangi  pengaruh  kata-kata  dengan  frekuensi  tinggi yang berlebihan dalam kumpulan dokumen. Ide dasarnya adalah untuk mengurangi bobot dari kata dengan frekuensi kolektif  (frekuensi  total  kemunculan  kata  di  semua dokumen) yang tinggi. Dengan kata lain, semakin banyak dokumen  kata  tersebut  pada  suatu  kumpulan  dokumen, maka semakin rendah bobotnya [14].

## K. Multinomial Naïve Bayes
Multinomial Naïve Bayes merupakan model pengembangan  dari  algoritma  bayes  yang  cocok  untuk klasifikasi teks atau dokumen. Dalam rumus Multinomial Naïve  Bayes  Classifier ,  kelas  dokumen  tidak  ditentukan hanya  oleh  kemunculan  kata,  tetapi  juga  oleh  jumlah kemunculannya  [15].  Perhitungan Multinomial  Naïve Bayes dapat dilihat pada persamaan 3.
𝑃(𝑐, 𝑑) = 𝑥 𝑃(𝑡 , 𝑐) 𝑥  … 𝑥 𝑃(𝑡 , 𝑐) (3)
Keterangan:
𝑃(𝑐, 𝑑) : Probabilitas suatu dokumen termasuk kelas c
𝑁 𝑐 : Jumlah kelas c pada seluruh dokumen
𝑁 : Jumlah seluruh dokumen 𝑡 𝑛 : Kata dokumen d ke-n 𝑃(𝑡 , 𝑐) : Probabilitas kata ke-n dengan diketahui kelas c
Rumus  Probabilitas  kata  ke-n  yang  digunakan  dengan pembobotan kata TF-IDF dapat dilihat pada persamaan 4.
𝑃(𝑡 , 𝑐) = (∑ € ) (4)
Keterangan:
𝑊𝑐𝑡 : Nilai pembobotan tfidf atau W dari term t di kategori c
∑𝑊′€𝑉𝑊′𝑐𝑡 :  Jumlah  total  W  dari keseluruhan  term pada kategori c 𝐵′ :  Jumlah  W  kata  unik  (nilai  IDF  tidak dikali dengan tf) pada seluruh dokumen L. Confusion Matrix
Confusion matrix berisik informasi tentang nilai aktual dan  prediksi  yang  dibuat oleh classifier [15].  Matriks  ini berisi  tentang  nilai  aktual  dan  nilai  prediksi  dari  hasil klasifikasi  berita  yang  diperoleh  dari  proses classifier . Pengukuran  utama  adalah  klasifikasi accuracy ,  yang merupakan jumlah kasus diklasifikasikan dengan benar di test  set dibagi  dengan  jumlah  total  kasus  dalam test  set . Precision dan recall mengukur seberapa tepat dan seberapa lengkap  klasifikasi  ini  pada  kelas  yang  positif. Accuracy (AC), recall (R)  dan precision (P)  dapat  dicari  dengan menggunakan rumus sebagai berikut:
𝐴𝐶 =
(5) R = (6) P = (7) Keterangan: TP : jumlah prediksi yang tepat bahwa kelas bersifat positif ( True Positive )
TN : jumlah prediksi yang tepat bahwa kelas bersifat negatif ( True Negative )
FP : jumlah prediksi yang salah bahwa kelas bersifat
positif ( False Positive ) FN : jumlah prediksi yang salah bahwa kelas bersifat negatif ( False Negative )
III.
H ASIL DAN PEMBAHASAN

## A. Implementasi Sistem
Implementasi sistem membahas hasil perancangan yang telah  diimplementasi  menjadi  sebuah website dengan bahasa  pemrograman  Javascript  dengan  environtment Node  JS, library React  JS  untuk  membangun  tampilan website dan basis data MySQL. Implementasi yang dibuat terdiri  dari  halaman  klasifikasi,  halaman login ,  halaman dashboard ,  halaman dataset ,  halaman trainset ,  halaman testset ,  halaman  hasil  pelatihan  dan  halaman  hasil pengujian.
Gambar 1. Halaman Klasifikasi Berita
Halaman  klasifikasi  berita  merupakan  halaman  yang pertama  pada  sistem.  halaman  ini  berfungsi  untuk melakukan  klasifikasi  berita.  Pada  halaman  klasifikasi berita  tidak  memerlukan login sehingga user dapat mengakses halaman ini dengan mudah. User memasukan judul  berita  dan link url  dari  sumber  berita.  Ketika user menekan tombol klasifikasi, maka proses klasifikasi berita langsung diproses oleh sistem dan akan menampilkan hasil dari  klasifikasi  bahwa  berita  tersebut  termasuk  kedalam berita clickbait atau bukan.
Gambar 2. Halaman Login Halaman login merupakan  halaman  pertama  yang diakses oleh admin untuk bisa mengakses halaman admin lain.  Halaman  ini  dibuat  agar  hanya admin yang  bisa mengakses halaman admin yg lain. Pada halaman ini admin harus  memasukan username dan password untuk  dapat melanjutkan proses login .
Gambar 3. Halaman Dashboard Halaman dashboard adalah  halaman  pertama  yang diakses oleh admin setelah berhasil melakukan proses login . Pada halaman ini berisi ringkasan data utama pada sistem klasifikasi berita clickbait seperti total trainset, total testset , total dataset , nilai accuracy , nilai recall, dan nilai precision .
Halaman dataset merupakan  halaman  yang  berisi informasi dataset yang digunakan dalam sistem ini dalam bentuk  tabel.  Tabel  pada  halaman  ini  berisi  judul  berita, sumber  berita,  kategori data  termasuk  kedalam  data  latih atau uji, label dari data termasuk kelas clickbait atau bukan clickbait dan action yang berisi tombol ubah dan hapus data. Pada  halaman  ini  juga  terdapat  tombol  untuk menambahkan data berita.
Gambar 5. Halaman Trainset Halaman trainset merupakan  halaman  yang  berisi informasi trainset yang digunakan dalam sistem ini dalam bentuk  tabel.  Tabel  pada  halaman  ini  berisi  judul  berita, sumber berita, label dari data termasuk kelas clickbait atau bukan clickbait dan action yang  berisi  tombol  ubah  dan hapus  data.  Pada  halaman  in  juga  terdapat  tombol  untuk menambahkan data latih.
Gambar 6. Halaman Testset Halaman testset merupakan  halaman  yang  berisi informasi testset yang  digunakan dalam  sistem  ini  dalam bentuk  tabel.  Tabel  pada  halaman  ini  berisi  judul  berita, sumber berita, label dari data termasuk kelas clickbait atau bukan clickbait ,  dan action yang  berisi  tombol  ubah  dan hapus data. Pada halaman ini juga terdapat tombol untuk menambahkan data uji.
Gambar 7. Halaman Hasil Pelatihan
Halaman hasil pelatihan berisi informasi hasil pelatihan dari  masing-masing  data  dalam  bentuk  tabel.  Tabel  pada halaman ini berisi judul berita, sumber berita dan tombol detail  untuk  menuju  kehalaman  detail  TF-IDF  dari  data tersebut. Pada halaman ini juga terdapat tombol pelatihan yang berfungsi untuk melakukan pelatihan data.
Gambar 8. Halaman Hasil Pengujian Halaman hasil pengujian berisi informasi nilai accuracy, recall, Precision dan informasi hasil pengujian dari masing- masing  data  dalam  bentuk  tabel.  Tabel  pada halaman  ini berisi  judul  berita,  sumber  berita,  hasil  klasifikasi  dan tombol detail untuk menuju kehalaman detail TF-IDF dari data  tersebut.  Pada  halaman  ini  juga  terdapat  tombol pengujian yang berfungsi untuk melakukan pengujian data.
Gambar 9. Halaman Detail TF-IDF Halaman  detail  TF-IDF  merupakan  halaman  yang berisi informasi hasil TF-IDF dari seluruh kata dasar yang ada pada judul suatu berita dalam bentuk tabel. Tabel pada halaman tersebut berisi kata dasar dari judul berita, hasil TF kelas clickbait maupun  kelas  bukan clickbait ,  hasil  IDF kelas clickbait maupun kelas bukan clickbait , dan hasil IDF seluruh kelas dari kata tersebut.

## B. Pengujian
Pengujian  untuk  menghitung  akurasi  dilakukan menggunakan confusion matrix . Menghitung nilai akurasi pada confusion matrix menggunakan persamaan 2.5 seperti yang dilakukan pada perhitungan pengujian data. Dari data uji yang digunakan pada penelitian ini didapatkan nilai TP sebesar 67, TN sebesar 63, FN sebesar 35, dan FP sebesar 35. Nilai TP, FP, FN dan FP dimasukkan kepersamaan 2.5, 2.6  dan  2.7 kemudian dikalikan  dengan  100%  maka didapatkan  nilai accuracy sebesar  65  %, recall sebesar 65,69  %  dan precision sebesar  65,69  %.  Perhitungan accuracy, recall dan precision sebagai berikut:
Perhitungan accuracy : 𝐴𝐶 = 𝑥 100 % 𝐴𝐶 = 𝑥 100 % = 65 % Perhitungan recall : R = 𝑥 100 % R = 𝑥 100 % = 65,69 % Perhitungan precision : P = 𝑥 100 % P =
𝑥 100 % = 65,69 %

## C. Pembahasan
Hasil  dari  penelitian  ini  didapatkan  nilai  accuracy sebesar 65 %, recall sebesar 65,69 % dan precision sebesar 65,69 %. Pada penelitian ini didapatkan akurasi yang tidak terlalu  tinggi  yaitu  65  %.  Hal  tersebut  dikarenakan  pada penelitian  ini  menggunakan  metode multinomial  naïve bayes dan  pembobotan  kata  TF-IDF  yang  dimana  pada proses pelatihannya menghitung nilai frekuensi setiap kata lebih  cenderung  muncul  pada  kelas clickbait atau  bukan clickbait , dari nilai hasil perhitungan frekuensi setiap kata akan  menjadi  acuan  atau  pembanding  ketika  melakukan klasifikasi  sehingga  suatu  berita  yang  katanya  dominan muncul  pada  kelas  c lickbait pada  proses  pelatihan  maka akan cenderung dinyakatan sebagai berita clickbait begitu juga  sebaliknya.  Metode  ini  kurang  cocok  dikarenakan penggunaan  kata  pada  suatu  berita  sangat  luas  sehingga satu kata yang cenderung muncul pada kelas clickbait tidak selalu  kata  tersebut  ada  dikelas clickbait begitu  juga sebaliknya.  Selain  itu  untuk  mendapatkan  akurasi  yang tinggi  dalam  melakukan  klasifikasi  berita clickbait tidak cukup hanya menggunakan judul dan sember berita, tetapi juga  dibandingkan  dengan  isi  berita.  Hal  tersebut dikarenakan salah satu alasan suatu berita bersifat clickbait yaitu judul berita yang sesuai dengan isi dari berita tersebut. Pada  penelitian  ini  juga  menghitung  waktu  proses pelatihan  data,  pengujian  data  dan  klasfikasi  berita.  Dari hasil  pelatihan  menggunakan  800  data  latih,  diperlukan waktu 1 menit 17 detik untuk melakukan proses pelatihan data.  Proses  pengujian  data  dilakukan  dengan menggunakan  200  data  uji,  diperlukan  waktu  37  detik dalam proses pengujian data. Pada proses klasifikasi berita, dilakukan klasifikasi berita sebanyak 20 kali dengan rata- rata waktu proses klasifikasi berita 0,626 detik. Jumlah data pada  proses  berpengaruh  terhadap  lama  waktu  proses pelatihan  dan  pengujian data, semakin banyak data maka semakin lama juga proses tersebut. Sedangkan pada proses klasifikasi  berita  jumlah  kata  pada  suatu  judul  berita berpengaruh  dengan  lama  waktu  proses  klasifikasi  tetapi selisih waktunya tidak terlalu signifikan.

## IV. K ESIMPULAN
Pada  penelitian  ini  berhasil  mengimplementasikan metode Multinomial Naïve Bayes dan pembobotan kata TF- IDF untuk  melakukan  klasifikasi  berita clickbait .  Waktu rata-rata  yang  diperlukan  untuk  melakukan  klasifikasi berita Clickbait menggunakan  algoritma Multinomial
Naïve  Bayes dan  pembobotan  kata  TF-IDF  yaitu  0.626 detik.
Penelitian  ini  juga  bertujuan  untuk  mengetahui  nilai akurasi  dari  klasifikasi  berita Clickbait mengunakan metode Multinomial Naïve Bayes dan pembobotan kata TF- IDF.  Persentase  akurasi  keberhasilan  didapat  dari  hasil perbandingan antara perhitungan menggunakan algoritma Multinomial  Naïve  Bayes dan  pembobotan  kata  TF-IDF dengan label berita yang kemudian dihitung menggunakan Confusion Matrix . Persentase akurasi algoritma Multinomial  Naïve  Bayes dan  pembobotan  kata  TF-IDF pada  klasifikasi  berita Clickbait sebesar  65  %, Recall sebesar 65,69 % dan Precision sebesar 65,69 %.
D AFTAR P USTAKA
[1]   Y. D. Hadiyat, “Clickbait di Media Online Indonesia,” Jurnal Pekommas, pp. 1-10, 2019.
[2]   M. Reily, “Nielsen: Pembaca Media Digital Sudah Lampaui Media Cetak,” 7 Desember 2017. [Online]. Available: https://katadata.co.id/berita/2017/12/07/nielsen- pembaca-media-digital-sudah-lampaui-media-cetak.
[3]   A. Manan, “Ancaman Baru dari Digital. Laporan, Jakarta: AJI, 2018.
[4]   D. Palau and Sampio, “Reference press metamorphosis in the digital context: clickbait and tabloid strategies in elpais.com,” Communication & Society, p. 29(2), 2016.
[5]   A. Anand, T. Chakraborty and N. Park, “We used neural networks to detect clickbaits: You won’t believe what happened next!,” Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), vol. 10193 LNCS, p. 541–547,
2017.
[6]   Y. Chen, N. J. Conroy and V. L. Rubin, “Misleading Online Content,” Proceedings of the 2015 ACM on Workshop on Multimodal Deception Detection - WMDD ’15, (November), pp, p. 15–19,
2015.
[7]   I. Habibie, “Identifikasi Judul Berita Clickbait Berbahasa Indonesia dengan Algoritma Long Short Term Memory (LSTM) Recurrent Neural Network,” Journal USU, 2018.
[8]   R. Maulidi, M. F. Ayilillahi, L. Isyiriyah and J. F. Palandi, “PENERAPAN NEURAL NETWORK BACKPROGPAGATION UNTUK KLASIFIKASI ARTIKEL CLICKBAIT,” Seminar Nasional FST, pp. 751-757, 2018.
[9]   A. Rahman, Wiranto and A. Doewes, “Online News Classification Using Multinomial Naive Bayes,” ITSMART: Jurnal Ilmiah Teknologi dan Informasi, pp. 32-38, 2017.
[10] M. I. Akbar, “www.muhbalak.com,” Muhbalak, 31 Agustus 2016. [Online]. Available:
https://www.muhbalak.com/2016/08/positif-dan- negatif-menggunakan-judul-yang-clickbait.html. [Accessed 22 Januari 2022].
[11] R. Feldman and J. Sanger, The Text Mining Handbook, New York: Cambridge University Press, 2007.
[12] D. Wahyudi, T. Susyanto and D. Nugroho, “Implementasi dan Analisis Algoritma Stemming Nazief & Adriani dan Porter pada Dokumen Berbahasa Indonesia,” Jurnal Ilmiah SINUS, pp. 49- 56, 2017.
[13] A. Sabrani, I. G. P. W. Wedashwara and F. Bimantoro, “METODE MULTINOMIAL NAÏVE BAYES UNTUK KLASIFIKASI ARTIKEL ONLINE TENTANG GEMPA DI INDONESIA,”
JTIKA, pp. 89-100, 2020.
[14] A. Ryansyah and S. Andayani, “Implementasi Algoritma TF-IDF Pada Pengukuran Kesamaan
Dokumen,” JURNAL SISTEM & TEKNOLOGI INFORMASI KOMUNIKASI, pp. 1-10, 2017.
[15] D. H. Kalokasari, D. I. M. Shofi and A. H. Setyaningrum, “IMPLEMENTASI ALGORITMA MULTINOMIAL NAIVE BAYES CLASSIFIER PADA SISTEM KLASIFIKASI SURAT KELUAR (Studi Kasus : DISKOMINFO Kabupaten
Tangerang),” JURNAL TEKNIK INFORMATIKA, pp. 109-118, 2017.