## Klasifikasi Topik Berita Deutsche Welle Indonesia dengan Kata Kunci Indonesia Menggunakan Metode Multinomial Naive Bayes
Amalia Qurrota Ayuni *1 , Afrida Helen *2 , Susi Yuliawati *3
Program Studi Linguistik, Universitas Padjadjaran *1
Program Studi Teknik Informatika, Universitas Padjadjaran *2
Program Studi Linguistik, Universitas Padjadjaran *3
Jl. Raya Bandung Sumedang KM.21, Hegarmanah, Kec. Jatinangor, Kabupaten Sumedang, Jawa Barat 1 amalia18002@mail.unpad.ac.id
2 helen@unpad.ac.id
3 susi.yuliawati@unpad.ac.id
Abstrak—Penerapan klasifikasi berita berdasarkan topik dan sub-topik  dapat  membantu  pengguna  media  berita  dalam menemukan informasi yang dibutuhkan secara lebih spesifik sehingga  meningkatkan  efisiensi  waktu.  Deutsche  Welle Indonesia  merupakan  salah  satu  media  berita  asing  yang terkenal akan publikasinya mengenai perkembangan politik dan teknologi. Penelitian ini bertujuan untuk mengklasifikasi topik berita khususnya mengenai Indonesia yang dipublikasikan  oleh  media  berita  Deutsche  Welle  Indonesia untuk  mengetahui  fokus  pemberitaan  dari  media  tersebut. Sebanyak  682  data  dikumpulkan  dan  topik  berita  dengan jumlah  terbanyak  adalah  berita  politik,  sosial  budaya,  dan kesehatan. Dengan tahapan preprocessing, labelling, training, testing,  pembobotan  tf-idf,  dan  klasifikasi  data  dengan algoritma multinomial naïve bayes didapatkan hasil akurasi tertinggi sebesar 88,3%. Klasifikasi  topik diprediksi dengan confusion  matrix  dengan  hasil  berupa  sebagian  besar  label berhasil  dideteksi  dan  terdapat  beberapa  data  yang mengalami  kesalahan  prediksi  karena  mesin  tidak  dapat mengidentifikasi  judul  dengan  kata  yang  sama  namun memiliki konteks berbeda.
Kata kunci − multinomial naïve bayes, klasifikasi topik berita, Deutsche Welle Indonesia

## I. P ENDAHULUAN
Media  berita  merupakan  salah  satu  penghubung komunikasi  antar  masyarakat  sehingga  sangat  berperan dalam  kehidupan  manusia.  Perkembangan  zaman  seperti revolusi  digital  yang  ditandai  oleh  kemunculan  WWW mendorong  perubahan  dalam  media  massa.  Dengan menggunakan  internet  dan  situs  web  masyarakat  dapat membaca berita dengan mudah melalui media massa secara daring. Penggunaan media massa daring merupakan suatu terobosan yang cemerlang karena mudah diakses dan dapat digunakan  kapan  saja.  Selain  itu  pembaca  berita  dapat
mencari  informasi  berita  sesuai  topik  yang  diinginkan dengan  mudah.  Pencarian  berita  berdasarkan  topik  pada media  massa  daring  pada  umumnya  dibagi  berdasarkan topik  utama  dan  sub-topik  yang  memuat  berbagai  berita dengan tema yang serupa.
Topik  berita  pada  umumnya  diberikan  label  sesuai dengan  temanya  agar  mudah  untuk  diidentifikasi  dan ditemukan  oleh  pembaca.  Sementara  itu  sub-berita  yang lebih  spesifik  tidak  selalu  disertakan  dalam  berita  [10]. Masalah  tersebut  dapat  menyebabkan  pengguna  sulit menemukan berita yang benar-benar spesifik sesuai dengan kebutuhannya.  Sebagai  contoh,  dalam  media  berita Deutsche  Welle  Indonesia  [2]  membagi  topik  beritanya berdasarkan  kawasan  (Asia,  Jerman,Eropa),  topik  (hak asasi manusia, alam dan lingkungan, inovasi), dan kategori (politik,  iptek,  sosial  dan  budaya).  Sementara  itu  media detikcom  [1]  membagi  label  berita  berdasarkan  topiknya seperti  detikSport  (olahraga),  detikFinance  (keuangan), detikHot  (hiburan),  detikNews  (berita),  dan  sebagainya. Hal  tersebut  menunjukkan  bahwa  meskipun  klasifikasi topik  berita  pada  masing-masing  media  berita  dapat berbeda-beda, namun secara garis besar topik berita dalam media massa dapat dibagi menjadi topik politik, ekonomi, teknologi,  sosial.  Sementara  sub-topik  yang  sering dijumpai  dalam  media  massa  adalah  hiburan,  olahraga, kesehatan,  lingkungan,  kriminalitas,  pendidikan,  dan sebagainya.  Dengan  menerapkan  klasifikasi  berita berdasarkan  topik  dan  sub-topik,  pengguna  media  berita dapat menemukan informasi yang dibutuhkan secara lebih spesifik sehingga menambah efisiensi waktu. Oleh karena itu,  penelitian  ini  bertujuan  untuk  mengklasifikasi  topik berita  dan  untuk  mengetahui  fokus  pemberitaan  dari Deutsche  Welle  Indonesia  sebagai  media  asing  di Indonesia.
Klasifikasi  teks  berita  dapat  dilakukan  dengan menerapkan  algoritma  Naïve  Bayes  Classifier  atau  NBC. NBC  sebagai  algoritma  dalam  pembelajaran  mesin  dapat bekerja dengan dua model yaitu bernoulli event model dan multinomial  event  model .  Multinomial  Naïve  Bayes  atau MNB dapat melatih data dengan perbandingan yang lebih baik  sehingga  berguna  untuk  klasifikasi  dokumen  yang mengandung multivarian [4]. Dengan mengimplementasikan  model  tersebut,  peneliti  dapat mengklasifikasi  dokumen  dan  melatih  data  di  dalamnya. Penelitian  terdahulu  mengenai  klasifikasi  berita  dengan algoritma  NBC  dapat  ditemukan  dalam  artikel  dengan judul  Klasifikasi  Artikel  Berbahasa  Indonesia  untuk Mendeteksi Clickbait menggunakan Metode Naïve Bayes [13]. Dalam artikel tersebut metode NBC digunakan untuk mengklasifikasikan  berita  yang  mengandung  judul clickbait yang berlebihan dan cenderung mengada-ada dan menghasilkan  pengujian  dengan  akurasi  sebesar  99,38%. Kemudian  terdapat  pula  penelitian  dari  Mustofa  dan Mahfud  [6]  yang  mengklasifikasikan  berita  hoax  dengan metode  naïve-bayes.  Proses  penelitian  dilakukan  melalui serangkaian tahap seperti preprocessing , klasifikasi dengan algoritma  NBC,  dan  pengujian cross-validation. Serupa dengan penelitian Mustofa dan Mahfud, Rahutomo  et  al., [8]  bereksperimen  dengan  naïve  bayes  untuk  mendeteksi berita hoax dalam bahasa Indonesia. Dengan menggunakan dataset yang dikumpulkan sendiri yaitu 600 berita, peneliti mengklasifikasikan  berita  daring  berbahasa  Indonesia dengan fitur term frequency dan algoritma klasifikasi naïve Bayes  dengan  menggunakan  komponen library PHP-ML atau PHP-Machine Learning  dan menghasilkan pengujian dengan  akurasi  82,6%.  Selain  untuk  klasifikasi  teks, algoritma  naïve  bayes  dapat  digunakan  untuk  analisis sentimen seperti dalam artikel berjudul Analisis Sentimen Terhadap  Pembelajaran  Daring  Dengan  Algoritma  Naive Bayes  Classifier  [10]  dengan  hasil  nilai  akurasi  sebesar 65%.  Berdasarkan  penelitian  terdahulu  dapat  diketahui bahwa algoritma naïve-bayes mampu untuk diimplementasikan  dalam  penelitian  ini  yaitu  klasifikasi topik  berita  dengan  kata  kunci  Indonesia  dalam  media berita Deutsche Welle Indonesia.
Untuk mengklasifikasi berita, terdapat proses yang perlu dilakukan yaitu preprocessing , testing data, training data, pembobotan  dengan  TF-IDF,  dan  klasifikasi  berita menggunakan algoritma naïve bayes.  Model TF-IDF  atau Text  Frequency–Inverse  Document  Frequency digunakan untuk  memberi  bobot  pada  masing-masing  data. Multinomial naive Bayes merupakan salah satu varian dari teorema  bayes  yang  digunakan  untuk  menyelesaikan permasalahan  dalam  linear support  vector  machines [4]. Dengan mengkombinasikannya dengan TF-IDF, algoritma naïve bayes dapat bersinergi untuk meningkatkan fitur kata dan  menormalkan  vektor  fitur  yang  dihasilkan  pada panjang vektor rata-rata yang diamati dalam data.
Untuk mengukur performa dalam pengklasifikasian teks, akurasi  dapat  dihitung  melalui precision,  recall ,  dan f-
measure [9]. Precision adalah  jumlah  data  relevan  yang dibandingkan  dengan  jumlah  data  yang  telah  ditemukan. Recalll adalah  jumlah  materi  relevan  yang  dibandingkan lagi  dengan  jumlah materi  relevan.  Kemudian F-measure adalah  parameter  yang  mengukur  keberhasilam retrieval yang dihitung berdasarkan gabungan recall dan precision. Pada kenyataannya, dataset tidak selalu menerima training yang cukup karena seringkali data mengalami ketidakseimbangan  [7].  Oleh  karean  itu  data  latih  dapat disesuaikan  dengan downsampling atau  upsampling. Downsampling adalah  training  data  pada  subset  yang sangat rendah dari kelas mayoritas. Sementara upsampling atau oversampling adalah training data dengan memperbesar kelas minoritas. Setelah proses pembelajaran mesin dijalankan, confusion matrix membangun tabel yang terdiri atas banyaknya baris data uji yang diprediksi benar dan  tidak  benar  oleh  model  klasifikasi  yang  digunakan. Sehingga  dapat  diketahui  data  manakah  yang  diprediksi secara tepat dan tidak. Proses penelitian ini akan dijelaskan secara rinci dalam bagian selanjutnya.

## II. METODE
Metode  dalam  penelitian  ini  adalah  kuantitatif  karena berhubungan  dengan  angka  dan  statistika.  Berikut  adalah proses penelitian yang diterapkan:
A. Pengumpulan Data Data berupa judul berita dikumpulkan menggunakan ekstensi bernama simple scraper yang dapat diunduh melalui chrome web store. Sebanyak 682 data berupa judul berita berhasil melalui proses scraping . Batasan penelitian  ini  dilakukan  dengan scraping pada halaman  pencarian  kata  kunci  ‘Indonesia’  dengan jangka waktu 5 Juni 2021 sampai dengan 3 Juni 2022. Kriteria  tersebut  digunakan  untuk  mengetahui  topik mengenai  Indonesia  apa  sajakah  yang  dimuat  dalam media  berita  asing  Deutsche  Welle  Indonesia  dalam kurun waktu satu tahun.
B. Preprocessing data Preprocessing dilakukan dalam beberapa tahap yaitu;
(1) case  folding dengan  mengubah  semua  huruf kapital menjadi huruf kecil; (2) menghilangkan setiap kata  yang  memiliki  unsur  tautan  (),  gambar  (pic), tagar (#), dan username/tag (@); (3) menghapus unsur angka,  tanda  baca,  dan  simbol-simbol  yang  tidak memiliki  makna,  (4)  stemming  dan  filtering,  dan terakhir  (5)  menghilangkan  kata  penghubung  dan stopword dengan  menggunakan  modul  sastrawi . Seluruh  proses  komputasi  dilakukan  dengan  Python dan Google Colab.
C. Pelabelan Data
Dataset  yang  telah  melalui  praproses  diberikan label  secara  manual  oleh  peneliti.  Terdapat  sepuluh label topik berita sebagai berikut:
TABEL I L ABEL T OPIK B ERITA Kode Label Topik yang dibicarkan 0 Lainnya Semua topik yang tidak berhubungan dengan tema di bawah ini seperti kejadian insidental 1 Politik pemerintahan dan politik 2 Sosial budaya masyarakat, budaya, seni 3 Kesehatan Penyakit, pengobatan, informasi gaya hidup sehat 4 Lingkungan Alam, bencana, kerusakan alam 5 Hiburan Wisata, Pengalaman hidup, entertainment 6 Pendidikan Edukasi, pengajaran, pembelajaran 7 Teknologi dan media Perkembangan inovasi teknologi, perkembangan media 8 Ekonomi dan bisnis Informasi perkembangan ekonomi, regulasi seputar ekonomi 9 Hukum, kriminalitas Kebijakan pemerintah, hukum, kasus, kriminalitas 1 0 Olahraga Informasi dunia olahraga
D. Training dan Testing Data
Dataset  yang  telah  melalui  praproses  selanjutnya dapat  melalui  proses training untuk  melatih  model pembelajaran mesin dan melalui proses testing untuk menguji data. Data latih yang digunakan adalah 80% darii  total  data  sementara  data  uji  yang  digunakan untuk mengukur keberhasilan proses klasfikasi adalah 20%.

## E. Pembobotan dengan TF-IDF
Untuk  melakukan  pembobotan  dengan  TF-IDF  atau Term  Frequency  Inverse  Document  Frequency diawali  dengan  ekstraksi  fitur  dalam  format  yang
didukung oleh algoritma pembelajaran mesin melalui modul Sklearn Feature_extraction. Kemudian peneliti mengimpor  TfidVectorizer  untuk  mengubah  teks korpora menjadi  vector of terms atau hitungan token.
F. Klasifikasi  dengan  Multinomial  Naïve  Bayes Classifier
Dalam  tahap  ini  dapat  diketahui  akurasi  data, klasifikasi pada masing-masing data training dan data testing.

## G. Confusion Matrix
Untuk mengetahui performa dari algoritma yang telah dijalankan  peneliti  menggunakan confusion  matrix . Tingkat  akurasi  dari  masing-masing  data  yang  telah diklasifikasi  dapat  muncul  dalam  bentuk  ilustrasi sehingga  dapat  diketahui  label  manakah  yang mengalami overlap atau tumpang tindih.

## III. HASIL DAN PEMBAHASAN
Berdasarkan  data  yang  diperoleh  berupa  judul  berita dengan  kata  kunci  Indonesia  yang  diambil  dari  bulan Juni 2021 sampai dengan bulan Juni 2022, terdapat 682 judul  berita  yang  dipublikasikan  oleh  media  berita Deutsche  Welle  Indonesia. Preprocessing data dilakukan dengan case folding, penghilangan angka dan tanda  baca  yang  tidak  diperlukan, stemming ,  dan penghilangan  stopword.  Contoh  data  yang  telah mengalami preprocessing adalah sebagai berikut:
TABEL III C ONTOH DATA PREPROCESSED id title_original title_preprocessed 0 Bagaimana Ekonomi Vietnam Diuntungkan oleh Politik Pandemi di Cina 03.06.2022 bagaimana ekonomi vietnam untung oleh politik pandemi di cina 1 Haruskah Kaum Difabel di Indonesia Hanya Berkarya dalam Sektor Informal? 03.06.2022 harus kaum difabel di indonesia hanya karya dalam sektor informal 2 Ridwan Kamil Pulang ke RI, Perwakilan Keluarga Lanjut Pantau Pencarian Eril 03.06.2022 ridwan kamil pulang ke ri wakil keluarga lanjut pantau cari eril
Selanjutnya data diberikan label secara manual dengan cara  mengidentifikasi  judul  berdasarkan  kata  kunci dengan  kolokat  di  dalamnya  seperti  dalam  contoh berikut. Berdasarkan tabel 2, data (0) mendapat label [8] karena mengandung kata ekonomi, data (1) diberi label [2] karena berhubungan dengan kehidupan masyarakat,
dan  data  (3)  mendapat  label  [0]  atau  lainnya  karena merupakan berita insidental.
TABEL IIIII
C ONTOH D ATA YANG D IBERI L ABEL
id title_original title_preprocesse d label 0 Bagaimana Ekonomi Vietnam Diuntungkan oleh Politik Pandemi di Cina 03.06.2022 bagaimana ekonomi vietnam untung oleh politik pandemi di cina 8 1 Haruskah Kaum Difabel di Indonesia Hanya Berkarya dalam Sektor Informal? 03.06.2022 harus kaum difabel di indonesia hanya karya dalam sektor informal 2 2 Ridwan Kamil Pulang ke RI, Perwakilan Keluarga Lanjut Pantau Pencarian Eril 03.06.2022 ridwan kamil pulang ke ri wakil keluarga lanjut pantau cari eril 0
Dalam proses selanjutnya, dilakukan tahapan training dan testing untuk  melatih  pembelajaran  mesin.  Dengan memasukkan  file  excel,  frekuensi dataset yang  melalui proses training adalah 0.8 dan yang melalui proses testing adalah 0.2. Transformasi kalimat ke dalam matrix vector kemudian dilakukan dengan pembobotan TF-IDF.  Hasil dimensi  TF-IDF  pada  data  training  adalah  (546,  1912) sementara dimensi hasil TF-IDF pada data testing adalah (137, 1912).
Pengujian  dengan  algoritma  naive  bayes  dilakukan pada data yang telah diberikan label sebagai berikut:
TABEL IVV J UMLAH D ATA PADA M ASING -M ASING L ABEL Kode Label Jumlah Data 1 Politik 112 3 Kesehatan 97 2 Sosial budaya 83 4 Lingkungan 61 8 Ekonomi dan bisnis 60 9 Hukum, kriminalitas 38 5 Hiburan 32 0 Lainnya 22 6 Pendidikan 19 7 Teknologi dan media 13 10 Olahraga 9
Hasil  pengujian  algoritma  Mutinomial  Naive  Bayes menunjukkan bahwa akurasi model dalam dokumen yang
diteliti  adalah  0.460  atau  46%.  Hal  ini  menunjukkan bahwa akurasi dalam pengujian pertama tergolong rendah. Klasifikasi  teks  dengan  mengukur precision dan recall dapat dianalogikan dengan situasi berikut yaitu dua kelas A dan B. Precision adalah jumlah sampel berkategori A yang  berhasil  diprediksi  dengan  benar  sebagai  A  lalu dibandingkan  dengan  jumlah  total  data  yang  diprediksi sebagai  A.  Sementara  itu recall adalah  jumlah  sampel berkategori A yang diprediksi dengan benar dibandingkan  dengan  jumlah  total  2  sampel  A.  Oleh karena  itu precision dan recall digunakan  sebagai representasi nilai keakuratan model pada setiap kelas [8]. Untuk  mengetahui  akurasi  secara  keseluruhan,  peneliti menggunakan pengukuran FI yang merupakan pengukuran tunggal dari kombinasi precision dan recall . Berikut  adalah  gambar  yang  berisi  hasil  perhitungan klasifikasi topik berita;

## Gambar. 1  Hasil Pengujian Pertama
Melalui  pengukuran  FI  atau  pengukuran  tunggal  dari kombinasi precision dan recall, mesin akan menunjukkan confusion  matrix seperti  yang  tertera  pada  gambar  2 . Confusion  matrix adalah  tabel  yang  terdiri  atas banyaknya baris data uji yang diprediksi benar dan tidak benar  berdasarkan  model  klasifikasi  yang  digunakan. Rendahnya akurasi dalam klasifikasi topik berita dengan kata  kunci  ´Indonesia´  dalam  media  Deutsche  Welle dapat terlihat melalui perhitungan confusion matrix yang cenderung  didominasi  oleh  data  dengan  label  politik. Diketahui pula bahwa hampir seluruh label berita seperti kesehatan, hiburan, hukum, dan olahraga juga diprediksi oleh  mesin  sebagai  berita  politik.  Hal  tersebut  dapat terjadi  karena  jumlah  data  pada  masing-masing  label berbeda-beda dan tidak berimbang.
Gambar. 2 Confusion matrix Pengujian Pertama
Berdasarkan  akurasi  yang  rendah  pada  pengujian pertama,  maka  pengujian  selanjutnya  akan  dilakukan dengan  menerapkan upsampling , downsampling ,  dan eksperimen berupa gabungan downsampling dan upsampling .  Dengan  menerapkan downsampling, akurasi pada data mengalami penurunan menjadi 0.300 atau 30%. Sementara itu, proses eksperimen dengan menggabungkan downsampling dan upsampling dilakukan dengan mengambil  angka  sampel  dari  label  data  kelas  menengah yaitu label (8). Eksperimen ini menghasilkan peningkatan keakuratan  data  menjadi  0.764  atau  76,4%.  Hasil  akurasi tertinggi  didapat  melalui  pengujian upsampling dengan angka  sebesar  0.883  atau  88,3%.  Berikut  adalah  hasil perhitungan  dan confusion  matrix dari  pengujian  dengan upsampling :
Gambar. 3  Hasil Pengujian dengan Upsampling Gambar. 4 Confusion matrix dengan Upsampling
Melalui confusion matrix pada gambar 4, dapat terlihat bahwa  mesin  telah  mampu  memprediksi  klasifikasi  label dengan  lebih  baik.  Label  berita  yang  berhasil  diprediksi dengan  benar  yaitu  berita  hiburan,  pendidikan,  teknologi dan  media,  dan  olahraga.  Meski  begitu  masih  ditemui beberapa data yang belum diprediksi dengan benar seperti label berita kesehatan yang diklasifikasikan sebagai berita lainnya, berita sosial budaya yang diprediksi sebagai berita politik, dan sebagainya.
Topik  berita  yang  mengalami  ketumpangtindihan diprediksi  mengalami  kesalahan  klasifikasi  karena mengandung  kata  kunci  yang  sama  namun  memiliki konteks dan makna yang berbeda. Contohnya adalah berita dengan  topik  kesehatan  mengenai  informasi  kandungan vaksin  merupakan  tema  yang  berbeda  jika  dibandingkan dengan berita yang termasuk topik lainnya yang membahas regulasi  persebaran  vaksin  oleh  pemerintah.  Contoh lainnya  adalah  berita  sosial  budaya  mengenai  sejarah perpolitikan  Indonesia  dapat  diprediksi  menjadi  berita politik.
Perbedaan  antara  penelitian  ini  dengan  penelitian terdahulu  terdapat  pada  penerapan downsampling , upsampling , serta eksperimen dengan kombinasi keduanya. Tingkat  akurasi  yang  rendah  pada  pengklasifikasian  data tanpa  sampling  dapat  ditemukan  dalam  hasil  penelitian terdahulu  seperti  yang  dilakukan  oleh  (Delfariyadi,.et  al: 2022) dan Yavi (2018). Rendahnya akurasi dan kekeliruan pada  pengklasifikasian  data  dapat  terjadi  pula  karena hilangnya proses stemming dan preprocessing (Delfariyadi,.et al: 2022). Hal tersebut dapat terjadi karena data dengan bentuk  awal memiliki bentuk linguistik yang berbeda.    Selain  itu,  ketidakseimbangan  data  yang digunakan dapat menghasilkan tingkat akurasi yang rendah dan  membuat  perhitungan  menjadi  berat  sebelah  (Yavi, 2018).

## IV. K ESIMPULAN
Melalui  penelitan ini dapat  diketahui bahwa klasifikasi topik  berita  dengan  kata  kunci  Indonesia  dalam  media berita  Deutsche  Welle  Indonesia  dapat  dilakukan  dengan algoritma  Multinomial  Naïve  Bayes.  Pada  pengujian pertama,  tingkat  akurasi  data  adalah  46%  sehingga
cenderung  rendah  dan  belum  mencapai  rata-rata  sebesar 80%. Hal tersebut  dapat  terjadi karena data pada masing- masing  label  kurang merata dan  kuantitas  data  yang diuji belum cukup banyak. Hasil akurasi tertinggi diraih dengan pengujian upsampling sebesar  88,3%  dan  hasil  akurasi terendah  didapat  melalui  pengujian downsampling yaitu 30%. Kesalahan prediksi yang dilakukan oleh model dapat terjadi  karena  terdapat  kata  kunci  yang  serupa  atau  sama namun memiliki konteks dan tema yang berbeda.
Melalui penelitian ini dapat diketahui bahwa topik berita dengan kata kunci Indonesia yang paling sering ditemukan dalam  media  berita  Deutsche  Welle  Indonesia  adalah politik,  kesehatan,  dan  sosial-budaya.  Hal  tersebut menunjukkan  bahwa  media  Deutsche  Welle  Indonesia berfokus pada penyebaran berita yang berhubungan dengan situasi politik dan situasi sosial budaya masyarakat. Selain itu, Deutsche Welle Indonesia juga memuat cukup banyak berita  yang  berhubungan  dengan  topik  lingkungan  dan ekonomi  di  Indonesia.  Hal  tersebut  dapat  terjadi  karena sebagai media berita asing, Deutsche Welle berkepentingan untuk memberikan informasi situasi politik dan budaya di masyarakat  Indonesia  baik  bagi  pembaca  luar  maupun pembaca domestik.
Untuk mengembangkan penelitian ini, peneliti menyarankan  untuk  memperbesar  kuantitas  data  yang diteliti  serta  menyeimbangkan  data  pada  masing-masing topik untuk mendapatkan tingkat akurasi yang lebih tepat. Penelitian  selanjutnya  berupa  penerapan  eksperimen upsampling,  downsampling, atau  keduanya  juga  dapat dilakukan  untuk  mengklasifikasikan  data  pada  objek penelitian  lainnya  untuk  memperkaya  kajian  linguistik komputasional.

## R EFERENSI
[1] Delfariyadi,  F.,  Helen,  A.,  &  Yuliawati,  S.  (2022).  Klasifikasi Sentimen Judul Berita Pemberitaan COVID-19 Tahun 2021 pada Media  DetikHealth. Journal  of  Information  Engineering  and Educational Technology , 6 (2), 50–57.
https://doi.org/10.26740/JIEET.V6N2.P50-57
[2] detikcom - Informasi Berita Terkini dan Terbaru Hari Ini .  (n.d.). Retrieved June 9, 2022, from https://www.detik.com/
[3] Deutsche Welle Indonesia. (2022). Cari | DW.COM . https://www.dw.com/search/?languageCode=id&item=indonesia &searchNavigationId=11546&from=03.06.2022&to=03.06.2021 &sort=DATE&resultsCounter=10
[4] Herwijayanti,  B.,  Ratnawati,  D.,  &  Muflikhah,  L.  (2017). Klasifikasi  Berita  Online  dengan  menggunakan  Pembobotan  TF- IDF  dan  Cosine  Similarity  |  Jurnal  Pengembangan  Teknologi Informasi  dan  Ilmu  Komputer.  Jurnal  Pengembangan  Teknologi Informasi  Dan  Ilmu  Komputer,  2(1),  306–312.  https://j- ptiik.ub.ac.id/index.php/j-ptiik/article/view/796
[5] Kibriya,  A.  M.,  Frank,  E.,  Pfahringer,  B.,  &  Holmes,  G.  (2004). Multinomial Naive Bayes for Text Categorization Revisited. In AI 2004:  Advances  in  Artificial  Intelligence (pp.  488–499). http://kdd.ics.uci.edu/.
[6] Kulkarni, A., Chong, D., & Batarseh, F. A. (2020). Foundations of data  imbalance  and  solutions  for  a  data  democracy.  In  Data Democracy:  At  the  Nexus  of  Artificial  Intelligence,  Software Development, and Knowledge Engineering (pp. 83–106). Elsevier. https://doi.org/10.1016/B978-0-12-818366-3.00005-8
[7] Mustofa,  H.,  &  Mahfudh,  A.  A.  (2019).  Klasifikasi  Berita  Hoax Dengan Menggunakan Metode Naive Bayes. Walisongo Journal of Information Technology , 1 (1), 1–12. https://doi.org/10.21580/WJIT.2019.1.1.3915 [8] Padurariu,  C.,  &  Breaban,  M.  E.  (2019).  Dealing  with  Data Imbalance in Text Classification. Procedia Computer Science, 159, 736–745. https://doi.org/10.1016/J.PROCS.2019.09.229
[9] Rahutomo,  F.  (2019).  Eksperimen  Naïve  Bayes  Pada  Deteksi Berita  Hoax  Berbahasa  Indonesia. JURNAL  PENELITIAN KOMUNIKASI DAN OPINI PUBLIK , 23 (1), 1–15. https://doi.org/10.33299/jpkop.23.1.1805
[10] Ratnawati,  F.  (Fajar).  (2018).  Implementasi  Algoritma  Naive Bayes terhadap Analisis Sentimen Opini Film pada Twitter. Jurnal Inovtek Polbeng Seri Informatika, 3(1), 50–59. https://doi.org/10.35314/ISI.V3I1.335
[11] Rhomadhona, H., & Permadi, J. (2019). Klasifikasi Berita Kriminal Menggunakan Naïve Bayes Classifier (NBC) dengan Pengujian K- Fold  Cross Validation. Jurnal  Sains  Dan  Informatika , 5 (2),  108– 117. https://doi.org/10.34128/JSI.V5I2.177
[12] Sidik, F., Suhada, I., Anwar, A. H., & Hasan, F. N. (2022). Analisis Sentimen Terhadap Pembelajaran Daring Dengan Algoritma Naive Bayes  Classifier.  Jurnal  Linguistik  Komputasional,  5(1),  34–43. https://doi.org/10.26418/JLK.V5I1.79
[13] Yavi, A. F. (2018). Klasifikasi Artikel Berbahasa Indonesia untuk Mendeteksi  Clickbait  Menggunakan  Metode  Naïve  Bayes. J- INTECH (Journal of Information and Technology) , 6 (1), 141–147.