Volume 6 Nomor 2, Desember 2023 e-ISSN : 2614-1574 p-ISSN : 2621-3249

## IMPLEMENTASI METODE NAIVE BAYES UNTUK KLASIFIKASI ULASAN PADA APLIKASI TELEGRAM

## IMPLEMENTATION NAIVE BAYES METHOD FOR CLASSIFICATION OF REVIEWS ON THE TELEGRAM APPLICATION
Satria Budi Universitas Binsa Nusantara satria.budi@binus.ac.id

## ABSTRACT
Application reviews are a form of user expression about the applications they use. Written reviews are usually in the form of criticism, suggestions or simply the user's feelings after using the application. One  application that has many user reviews is Telegram. Telegram itself is an instant communication platform that can be downloaded via  the Google Play Store. This research aims to classify text  with a dataset  of 5,000 reviews of  the Telegram application on the Google Play Store into groups that have positive, negative, or neutral values. This research applies the TF-IDF and Naive Bayes Classifier methods for weighting and classifying data. The results of testing the test data using the Naive Bayes Classifier method produced an accuracy value of 85.6%, precision of 86.8%, recall of 85.7% and f1-score of 85.5%.
Keyword: Classification, Review, Naive Bayes, Sentiment Analysis.

## ABSTRAK
Ulasan  aplikasi  merupakan  salah  satu  bentuk  ekspresi  pengguna  terhadap  aplikasi  yang  digunakannya.  Ulasan tertulis biasanya berupa kritik, saran atau sekedar perasaan pengguna setelah menggunakan aplikasi. Salah satu aplikasi  yang  memiliki  banyak  ulasan  penggunanya  adalah  Telegram.  Telegram  sendiri  merupakan platform komunikasi  instan  yang  dapat  diunduh  melalui  Google  Play  Store.  Penelitian  ini  bertujuan  untuk mengklasifikasikan teks dengan dataset 5.000 ulasan aplikasi Telegram di Google Play Store ke dalam kelompok yang  memiliki  nilai  positif,  negative,  atau  netral. Penelitian  ini  menerapkan  metode  TF-IDF  dan  Naive  Bayes Classifier untuk pembobotan dan pengklasifikasian data. Hasil pengujian terhadap data test dengan menggunakan metode Naive Bayes Classifier menghasilkan nilai akurasi sebesar 85,6 %, presisi 86,8%, recall 85,7% dan f1- score 85,5%.
Kata Kunci : Klasifikasi, Ulasan, Naive Bayes, Analisis Sentimen

## PENDAHULUAN
Review aplikasi merupakan salah satu bentuk ekspresi pengguna terhadap aplikasi yang digunakannya. Ulasan tertulis biasanya  berupa  kritik,  saran  atau  sekedar perasaan  pengguna  setelah  menggunakan aplikasi. Ulasan pengguna dapat digunakan untuk  mengevaluasi  dan  meningkatkan kualitas sebuah aplikasi.
Telegram adalah platform komunikasi  instan  yang  diluncurkan  pada Agustus  2013  oleh  Nikolai  dan  Pavel
Durov. Keduanya merupakan warga negara Rusia dan sebelumnya pernah berpartisipasi  dalam  proyek  media  sosial terkenal Rusia bernama Vkontakte (Bykov et al., 2021).
Aplikasi  ini  dengan  cepat  menjadi populer  karena  fitur  keamanannya  dan kemampuan  mengirim  pesan  terenkripsi ujung ke ujung, artinya pesan hanya dapat dibaca oleh penerima yang dituju. Telegram  terus  berkembang  dan  menjadi salah  satu platform komunikasi  terpopuler di  seluruh  dunia.  Meski  banyak  tantangan dan  kontroversi,  Telegram  tetap  menjadi pilihan    banyak  orang  yang  mencari platform perpesanan  yang  berfokus  pada privasi dan keamanan.
Google  Play  Store  merupakan  toko resmi  khusus  untuk  pengguna  smartphone Android  tempat  Anda  dapat  mengunduh aplikasi,  game,  musik,  film,  dan  buku (Bublyk  et  al.,  2023).  Google  Play  Store juga  memiliki  kolom  untuk  mengulas
aplikasi seperti aplikasi Telegram. Banyak juga review dari  pengguna  aplikasi Telegram  di  Google  Play  Store,  dimana review tersebut ada yang dituliskan dengan menggunakan  singkatan  serta  penggunaan karakter  khusus  (Jawad  Soumik  et  al., 2019).
Tujuan  dari  penelitian  ini  adalah untuk  mengklasifikasikan  teks  ke  dalam kelompok  nilai  positif,  negatif,  atau  netral dengan menggunakan kumpulan data 5.000 review  aplikasi  Telegram  di  Google  Play Store.
Metode  yang  diterapkan  dalam penelitian ini adalah algoritma Multinomial Naive  Bayes  (Asri  &  Fajri,  2023).  Hasil pengujian model menggunakan confussion matrix menunjukkan  bahwa  algoritma Multinomial Naive Bayes. Hasil pengujian model  menggunakan confussion  matrix
menunjukkan bahwa algoritma Multinomial  Naive  Bayes  mempunyai kinerja  yang  baik  dalam  mengklasifikasi dengan  hasil  nilai  parameter accuracy, precision, recall , dan f1-score di atas 90%.
Model ini dapat melakukan klasifikasi pada semua data ulasan produk Lazada Indonesia ke  salah  satu  dari  tiga  kelas  yaitu  116 positif, 101 negatif dan 96 netral (Atimi & Enda Esyudha Pratama, 2022).
Penelitian  lainnya  berjudul  “Model Klasifikasi  Multinomial  Naive  Bayes Untuk
Analisis Sentiment Terkait
NonFungible  Token”  dilakukan  oleh
Rayhan Yuda Lesmana dan Roni Andarsyah.  Penelitian  ini  dilaksanakan pada  tahun  2022  dengan  menggunakan 7060  data  tweet  berdasarkan  tagar  #NFT (Yuda Lesmana et al., 2022).
Multinomial  Naive  Bayes  (MNB) merupakan metode yang diterapkan dalam penelitian  ini.  Penelitian  ini  menunjukkan hasil  bahwa  sentiment  pengguna  Twitter terkait  NFT  cenderung  lebih  banyak ditemukan  sentiment  negatif  sebanyak 3840  tweet  dan  jumlah  sentiment  positif sebanyak  3220  tweet.  Akurasi  yang diperoleh  yaitu  84%,  dengan  precision 84%,  recall  81%  dan  f1-score  83%.  Hasil penelitian  juga  dipresentasikan  dengan
confusion  matrix dimana True  Positive (830), True Negative (661), False Positive
(122) dan False Negative (152).
Yang  membedakan  penelitian  ini dengan  penelitian  sebelumnya  adalah dataset yang digunakan pada penelitian ini yaitu  dataset  5.000 review aplikasi Telegram di Google Play Store. Selain itu, teknik TF-IDF dan Naive Bayes Classifier diterapkan untuk pembobotan dan klasifikasi data dalam penelitian ini

## METODE Objek Penelitian
Objek  penelitian  yang  terdapat  pada penelitian  ini  adalah  pengklasifikasian ulasan pada aplikasi Telegram yang ada di Google Play Store (Bykov et al., 2021).

## Metode Pengumpulan Data
Metode pengumpulan data yang akan digunakan dalam penelitian ini merupakan hasil  dari  scraping  data  ulasan  di  Google Play  Store.  Data  yang  akan  dianalisa merupakan  5.000  data  ulasan  dari  aplikasi Telegram.

## Model Naive Bayes Untuk Klasifikasi Data
Naive  Bayes  merupakan  sebuah model yang menggunakan teknik probabilitas dan statistik yang diperkenalkan oleh ilmuwan Inggris Thomas  Bayes  (Vijay  &  Verma,  2023a). Algoritma  ini  biasa  digunakan  untuk menangani masalah prediksi dalam bentuk klasifikasi. Algoritma ini dikenal memiliki akurasi  yang  sangat  tinggi  (Hairani  et  al., 2021;  Sumanto  et  al.,  2021)  (Chandra  & Roy, 2023).

## Tahapan Penelitian
Tahap  klasifikasi  data  yang  dilakukan pada  penelitian  ini  terdiri  dari  perolehan dataset  berupa review aplikasi  Telegram, preprocessing ,  pembobotan  kata  dengan menggunakan TF-IDF, pemodelan menggunakan  metode  Naive  Bayes,  dan evaluasi seperti yang tertera pada gambar 1.

## Gambar 1. Tahapan Penelitian

## Scraping
Pengumpulan  data  merupakan  tahap awal  dari  penelitian  yang  bertujuan  untuk mendapatkan dataset yang digunakan untuk klasifikasi  pada  penelitian  ini.  Dilakukan proses scraping pada review aplikasi Telegram  dengan  menggunakan  bahasa pemrograman Python di Google Play Store (Biswas et al., 2023). Package Google Play Scraper digunakan  untuk  mengumpulkan data review aplikasi  Telegram  di  Google Play  Store.  Kumpulan  data  yang  berhasil diambil  berisi  5.000  item  data  ulasan. Atribut  yang  digunakan  dalam  penelitian ini  adalah content ,  dan score .  Tabel  1 Menampilkan  data  penilaian  pengguna berdasarkan atribut content , dan score .
Tabel 1. Tampilan Data Ulasan Berdasarkan Atribut Content, Dan Score No Content Score 1 Sya tidak bisa masuk lagi ke telegram yg saya download, bagaimana solusinya 4 2 VERRY GOOD Buat aplikasi ini sangat memuaskan penggunanya saya suka dengan aplikasi
ini,aplikasi yang berlayanan berkirim instan multitafrom berbasis cloud yang bersifat gratis,terimakasih telah menciptakan aplikasi ini. 5 3 Very Good Aplikasi Telegram,, tetap menjadi aplikasi yg no 1 buat segala aktivitas tentunya. Tetap pertahanan yg sudah baik ini agar bisa menjadi lebih baik lagi.. Dan semakin bnyak peminat Telegram. Good Job.. 5 4 Kenapa dibanned tiba2?????? Padahal sesadar2nya saya sepertinya tidak pelakukan pelamggaran dan menyetujuin semua ketentuan2 yang berlaku kenapa dibanned? Kenapaa? Mohon dikembalikan terima kasih karena ada kepentingan pribadi saya dan kenapa ga di respon2 ketika meminta bantuan customer service? Terimakasih 1 5 Kenapa telegram tidak mengirim kode verifikasi nya ke sms aja? Karena telegram saya yg satu lagi udah di hapus dan blm di log out Sedangkan dia krm ke telegram jdi tidak bisa masuk ke telegram lagi 2 Jumlah Review Berdasarkan Score Tahap ini dilakukan untuk mengamati  dan  memverifikasi  ketidak seimbangan score . Score yang  terdapat pada  ulasan  yaitu  dari  angka  1  sampai dengan  5.  Ditampilkan  jumlah  ulasan  dari aplikasi  Telegram  berdasarkan  atribut score. Setelah itu jumlah score divisualisasikan dengan dibuatnya diagram bar . Dari hasil pengamatan pada tabel 2 dan gambar 2 dapat disimpulkan bahwa jumlah skor tertinggi yaitu score 5 dengan jumlah 3.754, score 1 dengan jumlah 806, score 2 dengan jumlah 162, score 4 dengan jumlah 154,  score  terendah  yaitu  score  3  dengan jumlah 124.
Tabel 2. Score Dan Jumlah Pada Aplikasi Telegram Score  Jumlah 1 806 2 162
3 154 4 124
5 3754

## Gambar 2. Distribusi Score

## Menambah Atribut Sentiment
Setelah data review berhasil dikumpulkan, Selanjutnya dilakukan penambahan  atribut  sentiment  ke  dalam data  ulasan  aplikasi  Telegram  hasil scraping  di  Google  Play  Store.  Kriteria dalam  menentukan  angka  sentiment  ialah untuk  pemberian  score  1  sampai  score  2 yaitu negatif, dengan kode angka -1. Score 3  adalah  netral  dengan  kode  angka  0  dan score 4 sampai 5 adalah positif dengan kode angka  1  (Kusnawi  &  Hendra  Wijaya, 2021).  Setelah  data  ulasan  diberi  nilai sentiment kemudian divisualisasikan dengan menggunakan diagram bar . Berdasarkan diagram pada Gambar 3 dapat disimpulkan bahwa sentiment 1 menduduki peringkat  tertinggi  dengan  jumlah  3908, diurutan  kedua  yaitu  sentiment  -1  dengan jumlah 968, serta pada urutan terakhir yaitu sentiment 0 dengan jumlah 124.

## Gambar 3. Distribusi Sentimen

## Preprocessing
Tahapan  ini  merupakan  proses pembersihan  5.000  data  review  aplikasi
Telegram.  Data  review  yang  diperoleh melalui  teknik  scraping  tentu  masih mengandung  data  duplikasi  dan  tidak terstruktur,  oleh  sebab itu  harus  dilakukan proses pembersihan data melalui preprocessing.  Adapun  tahapan-  tahapan preprocessing  yang  dilakukan,  sebagai berikut:
a) Menghapus Uniform Resource Locators
(URL) dari kolom konten
Proses  ini  berfungsi  untuk  menghapus url  yang  terdapat  pada  dataset review aplikasi Telegram. b) Case folding
Case folding dimanfaatkan untuk membuat keseluruhan huruf pada dokumen  menjadi  huruf  kecil.  Pada penelitian  ini  dilakukan  pengubahan ukuran  huruf  pada  dataset  ulasan aplikasi  Telegram  menjadi  huruf  kecil (Yerlekar et al., 2021).
c) Menghapus tanda baca Proses  ini  bertujuan  untuk  menghapus tanda  baca  yang  terdapat  dalam  dataset review aplikasi Telegram.
d) Menghapus extra whitespace
Proses  ini  bertujuan  untuk  menghapus extra  whitespace yang  terdapat  dalam dataset review aplikasi Telegram.
e) Tokenizing Tokenizing merupakan  tahap  untuk memisahkan kalimat menjadi kata yang diperoleh  untuk  dikerjakan.  Dilakukan pemecahan  teks,  kalimat,  atau  paragraf pada  dataset review aplikasi  Telegram menjadi bagian teks yang terpisah (Vijay & Verma, 2023b).
f) Filtering Tahap  ini  yaitu  pengambilan  kata  yang
penting  dari  hasil tokenizing .  Tahap filltering ini  menggunakan  algoritma stoplist yaitu  membuang  kata  kurang penting  atau wordlist yaitu  menyimpan kata penting (Fadil et al., 2022).
g) Stemming Proses stemming ini  bekerja  dengan mengubah  keseluruhan  kata  ke  dalam bentuk  kata  dasarnya.  Pada  dataset ulasan  aplikasi  Telegram,  dilakukan proses  pengubahan  kata  yang  memiliki
imbuhan menjadi kata dasar yang sesuai dengan  bahasa  indonesia  menggunakan sastrawi (Samanvitha et al., 2021).

## TF-IDF
Proses  perhitungan  nilai  atau  bobot setiap  kata  pada  review  aplikasi  Telegram dilaksanakan  dengan  teknik  pembobotan TF-IDF (Dalaorao et al., 2019).
Pembobotan Term Frequency-Inverse Document Frequency (TF-IDF) merupakan sebuah tahap untuk melaksanakan peralihan bentuk data dari data berupa teks ke  dalam  data  berbentuk  angka  untuk dikerjakan  pembobotan  pada  tiap  kata (Sindhuja et al., 2023).
Sehingga  dari  proses  tersebut  dapat diketahui  bobot  masing-masing  kata  pada dataset  ulasan.  Setelah  dilakukan  proses pembobotan kata dengan TF-IDF, langkah selanjutnya  yaitu  melakukan handling imbalance menggunakan
Synthetic Minority
Over-sampling Technique (SMOTE).  SMOTE  yaitu  suatu  metode untuk  mengklasifikasi  dataset  yang  tidak seimbang dimana kategori klasifikasi tidak dipresentasikan  secara  merata  (Lee  et  al., 2017) (El-Sayed et al., 2015).

## Modeling
Dilakukan implementasi metode Naive  Bayes  pada  dataset review aplikasi Telegram  setelah  melalui  pembobotan dengan  TF-IDF  dan Handling  Imbalance menggunakan SMOTE.

## Evaluasi
Pada tahap evaluasi dilakukan proses pembagian dataset yaitu menjadi data train dan data  test .  Dilakukan  pengujian  pada data test untuk mengetahui nilai accuracy, precission, recall , dan f1-score

## HASIL DAN PEMBAHASAN
Dataset yang digunakan pada penelitian  ini  adalah  dataset  yang  berisi ulasan pengguna aplikasi Telegram dengan total  dataset  berjumlah  5.000  data  ulasan atau review yang  bersumber  dari  Google Play Store. Dataset yang didapatkan dengan
teknik scraping ini memiliki 4 atribut yang terdiri  dari  userName,  score,  at,  dan content.  Hasil scraping dapat  dilihat  pada Gambar 4.
Selanjutnya  dilakukan  pembobotan kata  dengan  TF-IDF  demi  memperoleh nilai Term  Frequency (TF)  dan Inverse Document  Frequency (IDF).  Perintah dalam  bahasa  Python  untuk  menerapkan TF-IDF yaitu TF-IDF Vectorizer.
Hasil  dari  pembobotan  kata  dengan TF-IDF  yang  tidak  seimbang  dapat ditangani  dengan  melakukan handling imbalance menggunakan Synthetic Minority Over-sampling Technique (SMOTE). Setelah dilakukannya proses SMOTE,  selanjutnya  dilakukan  proses pegimplementasian  metode  Naive  Bayes
Classifier. Langkah terakhir dalam penelitian  ini  yaitu  evaluasi.  Sebelum dataset  dievaluasi  maka  perlu  dilakukan proses  pembagian  pada  dataset  yaitu menjadi data  train dan data  test dengan jumlah data train sebesar 80% dan data test 20%.  Dilakukan  pengujian  pada data  test untuk mengetahui nilai accuracy, precission,  recall ,  dan f1-score .  Hasil evaluasi  pada  data  test  diketahui  nilai accuracy,  precission,  recall,  dan  f1-Score yaitu sebagai berikut:
Tabel 3. Hasil Tahap Evaluasi
Pengujian  Hasil Accuracy   85,6%
Precission   86,8% Recall 85,7% F1-Score 85,5%

## SIMPULAN
Berdasarkan  proses  penelitian, maka dapat  diambil  kesimpulan  bahwa  Metode Naive  Bayes  Classifier  dapat  digunakan untuk  klasifikasi  ulasan  aplikasi  Telegram di  Google  Play  Store  ke  dalam  kelompok yang  memiliki  nilai  positif,  negatif  atau netral.  Hasil  pengujian  terhadap  data  test sebesar 20% dan data train 80% diperoleh accuracy 85,6%, precission 86,8%, recall 85,7%, dan f1-score 85,5%.

## DAFTAR PUSTAKA
Asri,  Y.,  &  Fajri,  M.  (2023).  Sentiment
Analysis  of  PLN  Mobile  Review Data Using Lexicon Vader and Naive Bayes Classification. 2023 International Conference on Networking,  Electrical  Engineering, Computer  Science,  and  Technology (IConNECT) , 132–137. https://doi.org/10.1109/IConNECT5
6593.2023.10327064
Atimi,  R.  L.,  &  Enda  Esyudha  Pratama.
(2022). Implementasi Model Klasifikasi  Sentimen  Pada  Review Produk  Lazada  Indonesia. Jurnal
Sains  Dan  Informatika , 8 (1),  88–96. https://doi.org/10.34128/jsi.v8i1.419 Biswas,  C.,  Mallick,  R.,  Paul,  S.,  &
Mukherjee,  D.  (2023).  Solution  to Web Scraping. 2023 11th International Conference on Internet of Everything, Microwave Engineering,  Communication  and Networks (IEMECON) , 1–5. https://doi.org/10.1109/IEMECON5
6962.2023.10092327
Bublyk,  M.,  Vysotska,  V.,  Chyrun,  L.,
Slava, O., Panasyuk, V., & Shevchenko,  M.  (2023).  Features  of Big Data Analysis for Apps Sales via
Google  Play  Store. 2023  IEEE  18th International Conference on Computer  Science  and  Information Technologies (CSIT) , 1–6. https://doi.org/10.1109/CSIT61576.2 023.10324075 Bykov,  I.  A.,  Medvedeva,  M.  V,  &
Hradziushka, A.
A. (2021).
Anonymous Communication Strategy in Telegram: Toward
Comparative Analysis of Russia and Belarus. 2021 Communication Strategies in Digital Society Seminar (ComSDS) , 14–17.
https://doi.org/10.1109/ComSDS524 73.2021.9422858
Chandra,  A.,  &  Roy,  S.  (2023).  On  the Detection  of  Alzheimer’s  Disease using  Naïve  Bayes  Classifier. 2023
International Conference on
Microwave, Optical, and Communication Engineering (ICMOCE) , 1–4. https://doi.org/10.1109/ICMOCE578
12.2023.10166516
Dalaorao, G. A., Sison, A. M., & Medina, R. P. (2019). Integrating Collocation as  TF-IDF  Enhancement  to  Improve Classification  Accuracy. 2019  IEEE 13th  International  Conference  on Telecommunication Systems, Services,  and  Applications  (TSSA) ,
282–285.
https://doi.org/10.1109/TSSA48701. 2019.8985458 El-Sayed,  A.  A.,  Mahmood,  M.  A.  M., Meguid,  N.  A.,  &  Hefny,  H.  A. (2015).  Handling  autism  imbalanced data  using  synthetic  minority  over- sampling  technique  (SMOTE). 2015 Third World Conference on Complex Systems (WCCS) , 1–5. https://doi.org/10.1109/ICoCS.2015.
7483267
Fadil,  I.,  Helmiawan,  M.  A.,  Supriadi,  F., Saeppani, A., Sofiyan, Y., & Guntara, A.  (2022).  Waste  Classifier  using Naive  Bayes  Algorithm. 2022  10th International  Conference  on  Cyber and IT Service Management (CITSM) , 1–5. https://doi.org/10.1109/CITSM5638
0.2022.9935894
Hairani, H., Anggrawan, A., Wathan, A. I.,
Latif, K. A., Marzuki, K., & Zulfikri,
M.  (2021).  The  Abstract  of  Thesis Classifier  by  Using  Naive  Bayes Method. 2021 International Conference on Software Engineering &  Computer  Systems  and  4th International Conference on Computational Science and Information  Management  (ICSECS- ICOCSIM) , 312–315.
https://doi.org/10.1109/ICSECS5288 3.2021.00063
Jawad  Soumik,  M.  M.,  Salvi  Md  Farhavi, S., Eva, F., Sinha, T., & Alam, M. S.
(2019). Employing
Machine Learning  techniques  on  Sentiment
Analysis of Google Play Store Bangla Reviews. 2019  22nd  International Conference on Computer and Information  Technology  (ICCIT) ,  1–
5.
https://doi.org/10.1109/ICCIT48885. 2019.9038348
Kusnawi, K., & Hendra Wijaya, A. (2021). Sentiment  Analysis  of  Pancasila Values  in  Social  Media  Life  Using the  Naive  Bayes  Algorithm. 2021 International Seminar on Application for  Technology  of  Information  and Communication (ISemantic) , 96–101. https://doi.org/10.1109/iSemantic527 11.2021.9573194
Lee,  H.,  Jung,  S.,  Kim,  M.,  &  Kim,  S.
(2017).  Synthetic  minority  over- sampling technique based on fuzzy c- means clustering for imbalanced data. 2017  International  Conference  on Fuzzy  Theory  and  Its  Applications
(IFUZZY) , 1–6. https://doi.org/10.1109/iFUZZY.201 7.8311793
Samanvitha, S., Bindiya, A. R., Sudhanva,
S., & Mahanand, B. S. (2021). Naïve Bayes  Classifier  for  depression detection  using  text  data. 2021  5th International Conference on Electrical, Electronics, Communication, Computer Technologies and Optimization
Techniques  (ICEECCOT) ,  418–421. https://doi.org/10.1109/ICEECCOT5 2851.2021.9708014
Sindhuja,  M.,  Nitin,  K.  S.,  &  Devi,  K.  S. (2023).  Twitter  Sentiment  Analysis using Enhanced TF-DIF Naive Bayes
Classifier Approach. 2023 7th International Conference on Computing Methodologies and Communication  (ICCMC) ,  547–551. https://doi.org/10.1109/ICCMC5650
7.2023.10084106
Sumanto,  Sugiarti,  Y.,  Supriyatna,  A., Carolina,  I.,  Amin,  R.,  &  Yani,  A.
(2021). Model Naïve Bayes
Classifiers  For  Detection  Apple
Diseases. 2021  9th  International
Conference on Cyber and IT Service Management (CITSM) , 1–4. https://doi.org/10.1109/CITSM5289
2.2021.9588801
Vijay, V., & Verma, P. (2023a). Variants of Naïve  Bayes  Algorithm  for  Hate Speech Detection in Text Documents. 2023  International  Conference  on Artificial  Intelligence  and  Smart
Communication (AISC) , 18–21. https://doi.org/10.1109/AISC56616.
2023.10085511
Vijay, V., & Verma, P. (2023b). Variants of Naïve  Bayes  Algorithm  for  Hate Speech Detection in Text Documents. 2023  International  Conference  on Artificial  Intelligence  and  Smart
Communication (AISC) , 18–21.
https://doi.org/10.1109/AISC56616.
2023.10085511
Yerlekar, A., Mungale, N., & Wazalwar, S. (2021).  A  multinomial technique  for detecting  fake  news  using  the  Naive
Bayes  Classifier. 2021  International
Conference on Computational Intelligence and Computing Applications (ICCICA) , 1–5. https://doi.org/10.1109/ICCICA5245 8.2021.9697244 Yuda Lesmana, R., Andarsyah, R., Sariasih No,  J.,  Bandung,  K.,  &  Barat,  J. (2022). Model Klasifikasi
Multinomial  Naïve  Bayes  Untuk Analisis  Sentiment  Terkait  Non- Fungible  Token.  In Jurnal  Teknik Informatika (Vol. 14, Issue 3).