KLIK: Kajian Ilmiah Informatika dan Komputer ISSN 2723-3898 (Media Online) Vol 4, No 3, Desember 2023, Hal 1799-1807 DOI 10.30865/klik.v4i3.1402 https://djournals.com/klik

## Perbandingan Algoritma Naïve Bayes, KNN, dan Decision Tree terhadap Ulasan Aplikasi Threads dan Twitter
Muhammad Iqbal, Ade Davy Wiranata * , Rayhan Suwito, Ridha Faiz Ananda
Teknik, Informatika, Universitas Muhammadiyah Prof. Dr. Hamka, Jakarta, Indonesia Email: 1 muhammad.iqbal306.mi@email.com, 2,* adedavy@uhamka.ac.id, 3 suwitoryhnn@gmail.com, 4 rfananda19@gmail.com Email Penulis Korespondensi: adedavy@uhamka.ac.id
Abstrak− Media sosial adalah kegiatan bersosialisasi melalui internet, yang memiliki banyak kemudahan yang memungkinkan orang berkomunikasi dan mengakses informasi dengan cepat. Media sosial banyak digunakan untuk mendapatkan berita yang sulit didapat. Aplikasi media sosial cukup poluler seperti Twitter dan baru-baru ini media sosial yang memiliki fitur yang mirip yaitu Threads. Oleh karena itu, tujuan dari penelitian ini adalah untuk membandingkan 3 metode algoritma dari ulasan yang dibuat oleh pengguna pada dua aplikasi, yaitu Twitter dan Threads. Peneliti menggunakan 899 ulasan di Twitter, dengan 245 sentimen positif dan 654 sentimen negatif, dan 638 ulasan di Threads,  dengan  220  sentimen positif dan  418 sentimen  negatif.  Cleansing, preprocessing,  dan  modeling  adalah langkah-langkah yang akan dilalui untuk memproses data. Dalam penelitian ini, model split data dan cross validation digunakan, dan tiga algoritma yang digunakan adalah Naïve Bayes, Decision Tree, dan KNN, dengan perbandingan 80:20 untuk data latihan dan data uji.  Nilai  akurasi  yang didapat untuk  Naïve  Bayes  adalah  85.56%,  Decision  Tree  adalah  72.78%,  dan  KNN  pada  aplikasi  Twitter, sedangkan  aplikasi  threads  mendapatkan  66.41%  untuk  Naïve  Bayes,  Decision  Tree  mendapatkan  65.41%,  dan  aplikasi  threads mendapatkan 66.41%. Pada algoritma Naïve bayes dihitung precision, recall pada aplikasi Threads dan Twitter. Pada aplikasi Threads mendapatkan 64.86% pada precision dan 73.85% pada recall, sedangkan aplikasi Twitter mendapatkan 84.69% pada precision dan 88.30% pada recall.
Kata Kunci: Naïve Bayes; KNN; Decision Tree
Abstract− Social media is a socializing activity through the internet, which has many conveniences that allow people to communicate and access information quickly. Social media is widely used to get news that is difficult to get. Social media applications are quite popular such as Twitter and recently social media that has similar features, namely Threads. Therefore, the purpose of this study is to compare 3 algorithmic methods of user-generated reviews on two applications, namely Twitter and Threads. We used 899 reviews on Twitter, with 245 positive sentiments and 654 negative sentiments, and 638 reviews on Threads, with 220 positive sentiments and 418 negative sentiments. Cleansing, preprocessing, and modeling are the steps that will be passed to process the data. In this study, split data and cross validation models were used, and the three algorithms used were Naïve Bayes, Decision Tree, and KNN, with a ratio of 80:20 for training data and test data. The accuracy value obtained for Naïve Bayes is 85.56%, Decision Tree is 72.78%, and KNN on the  Twitter  application,  while  the  threads  application  gets  66.41%  for  Naïve  Bayes,  Decision  Tree  gets  65.41%,  and  the  threads application gets 66.41%. In the Naïve Bayes algorithm, precision, recall are calculated in the Threads and Twitter applications. The Threads application gets 64.86% in precision and 73.85% in recall, while the Twitter application gets 84.69% in precision and 88.30% in recall.
Keywords : Naïve Bayes; KNN; Decision Tree

## 1. PENDAHULUAN
Pada era saat ini, internet telah menjadi hal yang sangat umum dan masyarakat sangat menyukai bermain di media sosial, yang  merupakan  bagian  dari  internet.  Jumlah  pengguna  internet  di  Indonesia  terus  meningkat  karena  banyaknya kemudahan yang ditawarkan oleh internet dan platform media sosial. Ini memungkinkan individu untuk berkomunikasi dan mengakses informasi dengan cepat[1]. Fenomena ini dapat terjadi berkat kemajuan dan tingkat kecanggihan teknologi modern, yang memungkinkan individu untuk memperoleh pemahaman tentang peristiwa-peristiwa di luar negeri tanpa harus secara fisik berada di sana[2]. Secara umum, masyarakat banyak memanfaatkan media sosial sebagai sarana untuk berbagi opini, ekspresi perasaan, pengalaman pribadi, dan untuk berbagai tujuan lainnya[3]. Pertumbuhan aplikasi sosial media seperti Twitter di indonesia sangat pesat dan menduduki peringkat 5 dunia. Baru-baru ini banyak orang mencoba membuat  aplikasi  yang  mirip  dengan  Twitter  sepert  Threads  yang  cukup  populer.  Ini  karena  kedua  aplikasi  tersebut, Threads dan Twitter masing-masing memiliki 50 juta download Threads dan 1 miliar download Twitter menurut data Google  Play  Store.  Aplikasi  tersebut  juga  memiliki  fitur  yang  mirip  tetapi  berbeda[4].  Karena  hal  itu  peneliti  ingin membandingkan  Twitter  dan  Threads  dari  komentar  masyarakat  untuk  mengetahui  mana  yang  lebih  unggul.  Untuk menggapi hal ini di perlukan sistem pengolahan data yang menggunakan data mining atau analisis sentimen [5].
Analisis  sentimen, juga dikenal sebagai "mining opini", adalah bidang penelitian yang mempelajari bagaimana sentimen, opini, atau pendapat diungkapkan dalam teks sehingga kategori dapat diklasifikasikan sebagai sentimen positif atau  negatif[6].  Analisis  sentimen,  atau  yang  juga  dikenal  sebagai  "opini  mining,"  adalah  bidang  penelitian  yang mendalami  cara  bagaimana  sentimen,  opini,  atau  pendapat  dinyatakan  dalam  teks  atau  kalimat[7]. Dalam  analisis sentimen, digunakan teknik untuk menganalisis, memproses, dan mengekstrak informasi dari berbagai sumber teks yang beragam, seperti blog, forum, atau tweet. Data mining adalah proses dimana informasi yang bernilai diekstraksi dari data. Dengan  kata  lain,  data  mining  merupakan  upaya  untuk  mendapatkan  pemahaman  yang  lebih  dalam  dari  data menggunakan  beragam  teknik  dan  metode  yang  tersedia[8].  Data  mining  memiliki  beragam  teknik  algoritma  yang beragam, setiap algoritma memiliki pengertian yang berbeda serta memiliki tingkat akurasi yang berbeda.
Dalam pendekatan klasifikasi, algoritma Naive Bayes digunakan. Algoritma ini disederhanakan menjadi model probabilitas dan statistik berdasarkan teorema Bayes, yang menyatakan bahwa setiap atribut memiliki sifat independen
Muhammad Iqbal, Perbandingan Algoritma Naïve Bayes, KNN, dan Decision Tree terhadap Ulasan Aplikasi Threads dan Twitter
sendiri. Dengan kata lain, algoritma ini percaya bahwa fitur kelas tertentu dapat atau tidak memiliki ketergantungan satu sama lain[9]. Algoritma KNN adalah metode klasifikasi yang menggunakan label kategori dari dokumen pelatihan, seperti dokumen uji, dan menggunakan contoh dasar yang tidak membuat representasi kategori yang jelas. Pada dasarnya, dia dapat  mengklasifikasikan  item  berdasarkan  data  pelatihan  yang  paling  dekat.[4].  Decision  Tree  adalah  teknik  yang populer  untuk  klasifikasi  dan  prediksi.  DecisionTree  memiliki  kemampuan  untuk  mengubah  fakta  menjadi  pohon keputusan yang memiliki kemampuan untuk membuat aturan. Regulasi saat ini jelas. Metode DecisionTree mengubah data  ke  dalam  pohon  keputusan,  mengubah  pohon  tersebut  ke  dalam  pohon  peran,  dan  kemudian  menyederhanakan peran[10].
Berdasarkan  penelitian  terdahulu  yang  dilakukan  oleh  Samsir  pada  tahun  2021  menggunakan  data  twitter mendapatkan 12,906 twit dengan 8942 sentimen negatif, 3830 sentimen positif, dan sisanya 134 netral, menggunakan metode naïve bayes mendapat akurasi 97.15%[11]. Penelitian terdahulu yang berbeda di lakukan oleh Rani Puspita pada tahun 2020 penelitian ini menggunakan 903 dataset menghasilkan akurasi KNN sebesar 96.01% yang terdiri dari 52.17% perdiksi  negatif,  0.00%  prediksi  positif,  dan  97.27%  prediksi  netral.  Decision  Tree  sebesar  96.13%  yang  terdiri  dari 55.00% prediksi negatif, 0.00% prediksi positif, dan 97.28% prediksi netral. dan Naïve Bayes sebesar 89.14% yang terdiri dari  16.67%  prediksi  negatif,  1.64%  prediksi  positif,  dan  98.40%  prediksi  netral[8].  Pada  penelitian  terdahulu  yang berbeda yang dilakukan oleh Giovani, dkk pada tahun 2020 penelitian ini membahas tentang analisis sentimen aplikasi ruang guru dengan menggunakan 513 twit, terdapat twit positif sebanyak 338 twit dan 175 twit negatif. Penelitian itu menggunakan algoritma Naïve Bayes (NB), Support Vector Machine (SVM), KNN, dan feature selection dengan Particle Swarm  Optimization (SPO).  Hasil  penelitian  yang  dilakukan  menghasilkan  algoritma  terbaik  yaitu  algoritma  PSO berbasis  SVM  dengan  akurasi  78.55%  dan  AUC  sebesar  0.853[12].  Penelitian  terdahulu  selanjutnya  dilakukan  oleh Mujaddid Izzul Fikri, dkk pada tahun 2020 penelitian ini membahas analisis sentimen Twitter menggunakan Naïve Bayes dan Support Vector Machine menggunakan 2654 data twit setelah di preprocessing menjadi 2030 dengan sentimen 749 twit netral, 702 twit positif, dan 579 twit negatif. Pada penelitian tersebut Naïve Bayes memiliki akurasi yang lebih tinggi dari  SVM  dengan  akurasi  73.65%[9].  Penelitian  terdahulu  selanjutnya  dilakukan  oleh  Sulindawaty,  dkk  membahas analisis sentimen pengguna E-Commerce menggunakan algoritma Naïve Bayes menggunakan 600 dataset terdapat 589 senitmen positif dan 11 sentimen negatif. Pada penelitian ini menghasilkan accuracy 99.5%, precision 99.49% dan recall 100%[13].
Berdasarkan  latar  belakang  tersebut,  penentuan  algoritma  sangat  bergantung  pada  sasaran  yang  ingin  dicapai. Dengan begitu tujuan dari penelitian ini untuk mengetaui dan membandingkan tiga metode analisis data yaitu metode KNN, Decision Tree (DT) dan Naïve Bayes (NB) pada aplikasi media sosial Twitter dan Threads. Pada tujuan ini juga akan  membandingkan  akurasi  dari  ketiga  metode  analisis  data  dan  membandingkan  akurasi,  presisi,  dan  recall  pada aplikasi threads dan twitter.

## 2. METODOLOGI PENELITIAN
Fokus  utama  penelitian  ini  adalah  proses  klasifikasi  sentimen  dari  ulasan  yang  telah  dikumpulkan.  Proses  ini  dicapai menggunakan  Naive  Bayes,  yang  menghasilkan  akurasi  menggunakan klasifikasi  sentimen.  Data  ulasan  dikumpulkan melalui layanan Google Colab untuk pengolahan data, dan proses klasifikasi dilakukan melalui alat bantu RapidMiner. Gambar 1 menunjukkan prosedur penelitian.

## Gambar 1. Tahapan Penelitian

## 2.1 Pengumpulan Data
Pada tahap ini, peneliti melakukan teknik scraping web untuk mendapatkan dataset dari Google Play Store. Scraping web adalah teknik yang digunakan untuk mengekstrak data dari internet atau media sosial. Proses ini melibatkan ekstraksi data dari dokumen yang memiliki struktur yang agak kompleks. Tujuan utama dari scraping web adalah untuk mendapatkan informasi  yang  diperlukan  untuk  penelitian[14].  Sebelum  memulai  pengumpulan  data,  peneliti  harus  membuat konfigurasi  pada  aplikasi  web  scraping  untuk  memastikan  proses  pengambilan  data  berjalan  lancar.  Pada  tahap  ini,
Muhammad Iqbal, Perbandingan Algoritma Naïve Bayes, KNN, dan Decision Tree terhadap Ulasan Aplikasi Threads dan Twitter
peneliti  harus  memilih  jenis  data  yang  akan  diekstrak,  termasuk  tanggal,  nama,  peringkat,  dan,  yang  paling  penting, ulasan.  Setelah  data  dikumpulkan  dari  web  scraping,  data  akan  disimpan  dalam  format  file  CSV,  yang  mengandung jumlah data ulasan aplikasi yang diperlukan oleh penelit[15].

## 2.2 Pelabelan Data
Setelah data dikumpulkan dengan metode web scraping, setiap ulasan diberi label dan diproses secara manual oleh lima orang menggunakan aplikasi Microsoft Excel dalam berkas CSV. Tujuan penandaan dataset adalah untuk menunjukkan objek data yang ada dalam ulasan dan memudahkan identifikasi sentimen dalam data.

## 2.3 Persiapan Data
Pada tahap ini, label sentimen akan diberikan pada data yang telah diperoleh sebelumnya. Setelah label sentimen diberikan pada  data,  langkah  selanjutnya  adalah  memprosesnya  melalui  tahap  preprocessing.  Beberapa  tahapan  proses preprocessing data:
a. Cleansing adalah proses membersihkan dokumen atau data dengan tujuan menghapus elemen seperti username (@), simbol, tanda baca, dan angka yang tidak relevan. Tujuan pembersihan adalah untuk memastikan bahwa data hanya mengandung informasi yang tepat dan relevan.[16].
b. Tahap  yang  disebut  "tokenisasi"  adalah  ketika  deretan  kata  yang  termasuk  dalam  sebuah  halaman,  paragraf,  atau kalimat dibagi menjadi frasa atau kata tunggal yang berfungsi sebgai satu unit. Selain itu, proses ini dapat menghapus angka, karakter pembatas, dan tanda baca atau karakter non-abjad.
c. Tahap preprocessing yang umum menggunakan transformasi kasus. Proses ini sangat penting untuk parameter TF- IDF RapidMiner; transformasi kasus ini mengubah kalimat dalam dokumen menjadi huruf kecil.
d. Stopwords adalah proses yang melibatkan penggunaan daftar stopwords Kaggle untuk menghilangkan kata-kata yang tidak berguna dan tidak penting. Namun, kata-kata tertentu ditambahkan kembali ke dalam data, seperti "kok", "lah", dan sebagainya, yang tidak relevan untuk penelitian ini.
e. Filter  Token  untuk  membuat  kalimat  lebih  jelas,  filter  token  menghilangkan  kata-kata  dengan  panjang  karakter tertentu. [17].

## 2.4 Pemodelan
Pada  tahap  ini,  pembentukan model  dilakukan  pada  data  ulasan  yang  telah  diolah  sebelumnya.  Data  analisis  ini  akan dikelompokkan  menjadi  dua  tahap:  split  data  dan  validasi  cross-fold.  Pada  tahap  split  data,  data  analisis  akan  dibagi dengan rasio pelatihan dan pengujian 80:20, 70:30, dan 60:40. Pada tahap validasi cross-fold, data akan diacak menjadi 10 kelompok. Untuk menghasilkan penilaian ulasan positif dan negatif dari data ulasan, peneliti menggunakan algoritma Decision Tree, Naive Bayes, dan KNN.

## 2.6 Evalusi
Pada  tahap  ini,  Model  yang  telah  dikembangkan  dievaluasi  untuk  menilai  keberhasilan analisis  yang  telah  dilakukan. Evaluasi ini mencakup pengukuran akurasi , presisi , dan recall yang dihitung menggunakan matriks confusion .

## Gambar 2. Confusion Matrix
Akurasi  adalah  metrik  yang  mengukur  sejauh  mana  model  dapat  mengklasifikasikan  data  dengan  benar,  sementara precision adalah bentuk akurasi yang berfokus pada ketepatan prediksi yang dihasilkan oleh model. Nilai akurasi dapat dihitung dengan membagi jumlah prediksi yang tepat dengan jumlah total sampel. Namun, recall adalah perbandingan antara pengamatan kelas yang sebenarnya dan jumlah positif yang diprediksi[18].
𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦  = 𝑇𝑃+𝑇𝑁 𝑇𝑃+𝑇𝑁+𝐹𝑃+𝐹𝑁 (1) 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑇𝑃 𝑇𝑃+𝐹𝑃 (2) 𝑅𝑒𝑐𝑎𝑙𝑙  = 𝑇𝑃 𝑇𝑃+𝐹𝑁 (3)
Muhammad Iqbal, Perbandingan Algoritma Naïve Bayes, KNN, dan Decision Tree terhadap Ulasan Aplikasi Threads dan Twitter

## 3. HASIL DAN PEMBAHASAN

## 3.1 Pengumpulan Data
Pada  tahap  awal  pengumpulan  data,  peneliti  menghimpun  data  yang  akan  menjadi  fokus  penelitian  dan  mempelajari potensi  pemanfaatannya.  Dalam  proses  pengumpulan  data,  mereka  menggunakan  teknik  web  scraping  untuk mengekstraksi data ulasan pengguna dari Google Play Store. Penelitian ini akan menggunakan data yang dikumpulkan, yang mencakup periode dari 5 Juli hingga 22 Juli 2023 dan menggunakan bahasa Indonesia.
Gambar 3. Proses penarikan data ulasan pada aplikasi threads dan twitter.
Pada  Gambar  3.  Proses  penarika  data  ulasan  menggunakan  website  google  colab  untuk  menggunakan  python karena saat menggunakan website google colab untuk mengakses dan menggunakan code python tidak harus menginstal code tersebut.

## 3.2 Pelabelan Data
Gambar 4. Pelabelan Data Ulasan Twitter
Pada Gambar 4 menunjukan hasil dari pelabelan data Twitter . Pada sentiment aplikasi Twitter yang di dapat setiap kelas  menghasilkan  sentiment  negatif  yaitu  sulitnya  untuk  mendapat  data  dikarenakan  ada  limit  untuk  melihat  berita terbaru,  sejak  pembaharuan  terbaru  sering  terjadinya  masalah  koneksi  dan  sering  terjadinya  error  pada  saat  membuka aplikasi,  banyaknya  kebijakan  terbaru  yang  kurang  berguna  yang  lebih  merugikan  pengguna.  Pada  kelas  positif menghasilkan tanggapan merasa puas dengan mudah mendapat data untuk riset berita yang dibutuhkan, membantu dalam berkomunikasi dengan orang baru, sangat mudah digunakan dan fiturnya banyak.
Pada Gambar 5 menunjukan hasil dari pelabelan data Threads . Pada aplikasi threads sentiment yang di dapat pada sentimen  negatif  yaitu  banyaknya  bug  untuk  pengguna  android,  bug  login  menggunakan  akun  instagram,  bug   untuk
Muhammad Iqbal, Perbandingan Algoritma Naïve Bayes, KNN, dan Decision Tree terhadap Ulasan Aplikasi Threads dan Twitter
terjemahan Bahasa tidak ada, tidak bisa menyimpan gambar ataupun video, dan untuk tema tidak ada tema dark sehingga membuat pengguna sakit mata. Sedangkan untuk sentimen positif yaitu nyaman digunakan karena mudah digunakan dan fleksibel, memberikan pengalaman bersosial media yang luar biasa, adanya fitur komunitas.

## 3.3 Persiapan Data
Pada tahap penelitian ini, persiapan data dilakukan. Data yang telah dikumpulkan akan mengalami tahap pembersihan untuk menghilangkan duplikasi data, dan selanjutnya, proses preprocessing dataset akan diterapkan pada ulasan aplikasi Threads dan Twitter yang memiliki data sentimen, menggunakan aplikasi RapidMiner Studio. Preprocessing adalah upaya untuk mengubah kalimat yang tak teratur menjadi kalimat yang terstruktur sehingga dapat menjadi bahan yang berguna. Proses  preprocessing  dataset  mencakup  beberapa  langkah,  termasuk tokenize,  transform  cases,  stopwords, dan filter token [19].

## Gambar 5. Proses Cleansing
Pada Gambar 5. menunjukan proses cleansing dari data yang sudah diambil kemudian di simpan dalam file csv. Data  perlu  dibersihkan  karena  data  ulasan  terdapat  simbol-simbol  seperti  {!@#$%^&*)[];:’”,./<>?\}.  Kemudian dilanjutkan  menggunakan  operator  Remove  Duplicates  untuk  menghilangkan  data  yang  diambil  beberapa  kali  dalam proses  scrapping.  Kemudian  menggunakan  operator  Trim  yang  berfungsi  untuk  menghilangkan  double  space  di  data ulasan.  Selain  itu,  pada  penelitian  ini  digunakan  beberapa  operator  proses  dokumen  dalam RapidMiner untuk menyesuaikan  langkah  langkah Tokenize , Transform  Cases , Filter  Stopwords ,  dan Filter  Token .  Pada  Gambar  6 menampilkan Proses preprocessing data.

## Gambar 6. Preprocessing data
a. Tokenization merupakan langkah untuk membagi  banyak kalimat menjadi dokumen kata kecil, yang memudahkan proses Stopwords [20]. Pada tabel 1, akan disajikan visualisasi beberapa contoh komentar sebelum dan setelah tahap tokenisasi.
Tabel 1. Ilustrasi Tokenization Sebelum Tokenization
Sesudah Tokenization Threads luar biasa mirip seperti Twitter dan bisa memberikan  pengalaman  sosial  media  yg  luar biasa ‘Threads’, ‘luar’, ‘biasa’, ‘mirip’, ‘seperti’, ‘Twitter’, ‘dan’, ‘bisa’,
‘memberikan’,  ‘pengalaman’,  ‘sosial’,  ‘media’,  ‘yang’,  ‘luar’, ‘biasa’
Akun  aku  lama  amat  di  tahan  mana  alasanya bukan akun aku lagi ga jelas banget padahal itu akun aku sendiri mana di tahanya uda lh mau 2 bulan ga jelas kasi satu bintang dulu nanti kalau akun aku uda bali baru kasi 5 oke jadi menyesal instal kalau akaun aku aja di tahan
‘Akun’,  ‘aku’,  ‘lama’,  ‘amat’,  ‘di’,  ‘tahan’,  ‘mana’,  ‘alasanya’, ‘bukan’,  ‘akun’,  ‘aku’,  ‘lagi’,  ‘ga’,  ‘jelas’,  ‘banget’,  ‘padahal’, ‘itu’,  ‘akun’,  ‘aku’,  ‘sendiri’,  ‘mana’,  ’di’,  ‘tahanya’,  ‘uda’,  ‘lh’, ‘mau’,  ‘2’,  ‘bulan’,  ‘ga’,  ‘jelas’,  ‘kasi’,  ‘satu’,  ‘bintang’,  ‘dulu’, ‘nanti’,  ‘kalau’,  ‘akun’,  ‘aku’,  ‘uda’,  ‘bali’,  ‘baru’,  ‘kasi’,  ‘5’, ‘oke’, ‘jadi’, ‘menyesal’, ‘instal’, ‘kalau’, ‘akaun’, ‘aku’, ‘aja’, ‘di’, ‘tahan’
b. Transform  Cases merupakan  langkah  prosedural  untuk  mengubah  kata  yang  dimulai  dengan  huruf  kapital  dalam ulasan menjadi huruf kecil. Proses ini dilakukan dengan memanfaatkan putska ( library) string [21]. Tabel 2 di bawah ini akan memperlihatkan beberapa komentar sebelum diproses serta bagaimana tampilan komentar tersebut setelah melawati tahap transform cases .
Tabel 2. Ilustrasi Transform Cases
Sebelum Transform Cases
Sesudah Transform Cases
‘Threads’,  ‘luar’,  ‘biasa’,  ‘mirip’,  ‘seperti’,  ‘Twitter’, ‘dan’,  ‘bisa’,  ‘memberikan’,  ‘pengalaman’,  ‘sosial’, ‘media’, ‘yang’, ‘luar’, ‘biasa’
‘threads’, ‘luar’, ‘biasa’, ‘mirip’, ‘seperti’, ‘twitter’, ‘dan’, ‘bisa’,  ‘memberikan’,  ‘pengalaman’,  ‘sosial’,  ‘media’, ‘yang’, ‘luar’, ‘biasa’
Muhammad Iqbal, Perbandingan Algoritma Naïve Bayes, KNN, dan Decision Tree terhadap Ulasan Aplikasi Threads dan Twitter
‘Akun’,  ‘aku’,  ‘lama’,  ‘amat’,  ‘di’,  ‘tahan’,  ‘mana’, ‘alasanya’,  ‘bukan’,  ‘akun’,  ‘aku’,  ‘lagi’,  ‘ga’,  ‘jelas’, ‘banget’, ‘padahal’, ‘itu’, ‘akun’, ‘aku’, ‘sendiri’, ‘mana’, ’di’,  ‘tahanya’,  ‘uda’,  ‘lh’,  ‘mau’,  ‘2’,  ‘bulan’,  ‘ga’, ‘jelas’,  ‘kasi’,  ‘satu’,  ‘bintang’,  ‘dulu’,  ‘nanti’,  ‘kalau’, ‘akun’, ‘aku’, ‘uda’, ‘bali’, ‘baru’, ‘kasi’, ‘5’, ‘oke’, ‘jadi’, ‘menyesal’,  ‘instal’,  ‘kalau’,  ‘akaun’,  ‘aku’,  ‘aja’,  ‘di’, ‘tahan’
‘akun’,  ‘aku’,  ‘lama’,  ‘amat’,  ‘di’,  ‘tahan’,  ‘mana’, ‘alasanya’,  ‘bukan’,  ‘akun’,  ‘aku’,  ‘lagi’,  ‘ga’,  ‘jelas’, ‘banget’, ‘padahal’, ‘itu’, ‘akun’, ‘aku’, ‘sendiri’, ‘mana’, ’di’,  ‘tahanya’,  ‘uda’,  ‘lh’,  ‘mau’,  ‘2’,  ‘bulan’,  ‘ga’, ‘jelas’,  ‘kasi’,  ‘satu’,  ‘bintang’,  ‘dulu’,  ‘nanti’,  ‘kalau’, ‘akun’, ‘aku’, ‘uda’, ‘bali’, ‘baru’, ‘kasi’, ‘5’, ‘oke’, ‘jadi’, ‘menyesal’,  ‘instal’,  ‘kalau’,  ‘akaun’,  ‘aku’,  ‘aja’,  ‘di’, ‘tahan’
c. Stopword removal merupakan tahap dimana seluruh kata sambung dihapus dari dataset. Peneliti mengacu pada kamus stopwords yang tersedia di situs web keagle [22]. Tabel dibawah ini akan memperlihatkan beberapa komentar sebelum diproses dan sesudah diproses stopword, terdapat pada tabel 3.
Tabel 3. Ilustrasi Stopword Removal
Sebelum Stopword Removal
Sesudah Stopword Removal
‘threads’, ‘luar’, ‘biasa’, ‘mirip’, ‘seperti’, ‘twitter’, ‘dan’, ‘bisa’,  ‘memberikan’,  ‘pengalaman’,  ‘sosial’,  ‘media’, ‘yang’, ‘luar’, ‘biasa’
‘threads’, ‘luar’, ‘biasa’, ‘mirip’, ‘seperti’, ‘twitter’, ‘dan’, ‘bisa’,  ‘memberikan’,  ‘pengalaman’,  ‘sosial’,  ‘media’, ‘yang’, ‘luar’, ‘biasa’
‘akun’,  ‘aku’,  ‘lama’,  ‘amat’,  ‘di’,  ‘tahan’,  ‘mana’, ‘alasanya’,  ‘bukan’,  ‘akun’,  ‘aku’,  ‘lagi’,  ‘ga’,  ‘jelas’, ‘banget’, ‘padahal’, ‘itu’, ‘akun’, ‘aku’, ‘sendiri’, ‘mana’, ’di’,  ‘tahanya’,  ‘uda’,  ‘lh’,  ‘mau’,  ‘2’,  ‘bulan’,  ‘ga’, ‘jelas’,  ‘kasi’,  ‘satu’,  ‘bintang’,  ‘dulu’,  ‘nanti’,  ‘kalau’, ‘akun’, ‘aku’, ‘uda’, ‘bali’, ‘baru’, ‘kasi’, ‘5’, ‘oke’, ‘jadi’, ‘menyesal’,  ‘instal’,  ‘kalau’,  ‘akaun’,  ‘aku’,  ‘aja’,  ‘di’, ‘tahan’
‘akun’,  ‘aku’,  ‘lama’,  ‘amat’,  ‘di’,  ‘tahan’,  ‘mana’, ‘alasanya’,  ‘bukan’,  ‘akun’,  ‘aku’,  ‘lagi’,  ‘ga’,  ‘jelas’, ‘banget’, ‘padahal’, ‘itu’, ‘akun’, ‘aku’, ‘sendiri’, ‘mana’, ’di’,  ‘tahannya’,  ‘udah’,  ‘lah’,  ‘mau’,  ‘2’,  ‘bulan’,  ‘ga’, ‘jelas’,  ‘kasih’,  ‘satu’,  ‘bintang’, ‘dulu’, ‘nanti’,  ‘kalau’, ‘akun’,  ‘aku’,  ‘udah’,  ‘balik’,  ‘baru’,  ‘kasi’,  ‘5’,  ‘oke’, ‘jadi’,  ‘menyesal’,  ‘instal’,  ‘kalau’,  ‘akun’,  ‘aku’,  ‘aja’, ‘di’, ‘tahan’
d. Filter Token merupakan tahap dimana kata-kata dengan panjang karakter tertentu dihilangkan untuk meningkatkan kejelasan kalimat. Peneliti dalam proses ini menetapkan panjang kata minimal 3 karakter dan maksimal 10 karakter. Tabel 4 di bawah ini menampilkan contoh komentar sebelum dan setelah melalui proses Filter Token .
Tabel 4. Ilustrasi Filter Token
Sebelum Filter Token
Sesudah Filter Token ‘threads’, ‘luar’, ‘biasa’, ‘mirip’, ‘seperti’, ‘twitter’, ‘dan’,
‘bisa’,  ‘memberikan’,  ‘pengalaman’,  ‘sosial’,  ‘media’, ‘yang’, ‘luar’, ‘biasa’
‘threads’,  ‘luar’,  ‘biasa’,  ‘mirip’,  ‘seperti’,  ‘twitter’, ‘dan’,  ‘bisa’,  ‘memberikan’,  ‘pengalaman’,  ‘sosial’, ‘media’, ‘yang’, ‘luar’, ‘biasa’
‘akun’,  ‘aku’,  ‘lama’,  ‘amat’,  ‘di’,  ‘tahan’,  ‘mana’, ‘alasanya’,  ‘bukan’,  ‘akun’,  ‘aku’,  ‘lagi’,  ‘ga’,  ‘jelas’, ‘banget’, ‘padahal’, ‘itu’, ‘akun’, ‘aku’, ‘sendiri’, ‘mana’, ’di’,  ‘tahanya’,  ‘udah’,  ‘lh’,  ‘mau’,  ‘2’,  ‘bulan’,  ‘ga’, ‘jelas’,  ‘kasi’,  ‘satu’,  ‘bintang’,  ‘dulu’,  ‘nanti’,  ‘kalau’, ‘akun’,  ‘aku’,  ‘udah’,  ‘balik’,  ‘baru’,  ‘kasi’,  ‘5’,  ‘oke’, ‘jadi’,  ‘menyesal’,  ‘instal’,  ‘kalau’,  ‘akun’,  ‘aku’,  ‘aja’, ‘di’, ‘tahan’
‘akun’,  ‘aku’,  ‘lama’,  ‘amat’,  ‘tahan’,  ‘mana’, ‘alasanya’,  ‘bukan’,  ‘akun’,  ‘aku’,  ‘lagi’,  ‘jelas’, ‘banget’,  ‘padahal’,  ‘itu’,  ‘akun’,  ‘aku’,  ‘sendiri’, ‘mana’,  ‘tahannya’,  ‘udah’,  ‘lah’,  ‘mau’,  ‘bulan’, ‘jelas’,  ‘kasih’,  ‘satu’,  ‘bintang’,  ‘dulu’,  ‘nanti’, ‘kalau’, ‘akun’, ‘aku’, ‘udah’, ‘balik’, ‘baru’, ‘kasih’, ‘oke’,  ‘jadi’,  ‘menyesal’,  ‘instal’,  ‘kalau’,  ‘akun’, ‘aku’, ‘aja’, ‘tahan’

## 3.4 Pemodelan
Pada  tahapan  ini  peneliti  akan  melakukan  pengukuran  performa  terhadap  data  ulasan  yang  sudah  diolah  dan  sudah diberikan setimen. Data tersebut akan di bagi menjadi 2 tahapan yaitu:
a. Modeling menggunakan split data
Gambar 7. Proses modeling menggunakan split data
Pada Gambar 7. Menunjukan proses modeling menggunakan split data menggunakan RapidMiner. Beberapa tools digunakan pada proses modeling dengan memasukan split data untuk menentukan perbandingan data latih dan data uji. Tools berikutkan algoritma yang ingin digunakan seperti Decision Tree, KNN , dan Naïve Bayes . Tools berikutnya Apply
Muhammad Iqbal, Perbandingan Algoritma Naïve Bayes, KNN, dan Decision Tree terhadap Ulasan Aplikasi Threads dan Twitter
Model untuk menerapkan model data yang telah dilatih pada data baru dan membuat prediksi berdasarkan model tersebut. Tools Performance berikutnya untuk memudahkan melihat tingkat akurasi dan efektivitas model. Dalam tahapan ini, data akan dibagi menjadi dua bagian, yaitu data latih dan data uji dengan rasio pembagian sebesar 80:20, 70:30, dan 60:40. Hasil akurasi dapat dilihat pada Tabel 5 dibawah ini.
Tabel 5. Perbandingan Accuracy dengan Split Data Dataset Threads Dataset Twitter Perbandingan  Decision Tree  Naïve Bayes KNN Perbandingan  Decision Tree  Naïve Bayes KNN 80:20 65.62% 66.41% 62.50% 80:20 72.78% 85.56% 71.67% 70:30 65.45% 63.35% 61.78% 70:30 72.96% 79.26% 71.33% 60:40 65.97% 64.31% 64.88% 60:40 72.98% 74.44% 71.78%
Berdasarkan  Tabel  5  maka  disimpulkan  akurasi  tertinggi  pada  aplikasi Twitter adalah  85.56%  menggunakan algoritma Naïve  Bayes dengan  menggunakan  perbandingan  80:20  sedangkan  pada  algoritma Decision  Tree sebesar 72.98%  dan KNN 71.78%  dengan  menggunakan  perbandingan  60:40.  Pada  aplikasi Threads akurasi  tertinggi  adalah 66.41%  dengan  algoritma Naïve  Bayes dengan  rasio  pembagian  data  80:20  sedangkan  pada  algoritma Decision  Tree sebesar 65.97% dan KNN 64,88% dengan menggunakan perbandingan 60:40.
b. Modeling menggunakan cross validation
Gambar 8. Proses modeling menggunakan metode Cross Validation
Pada  Gambar  8.  Menunjukan  proses  modeling  menggunakan cross  validation menggunakan RapidMiner . Beberapa tools digunakan pada proses modeling cross validation pada sebelah kiri menggunakan tools algoritma seperti Decision Tree , KNN , dan Naïve Bayes . Pada sebelah kanan tools yang digunakan apply model dan performance , fungsi apply  model untuk  menerapkan  model  yang  telah  dilatih  pada  data  baru  dan  membuat  prediksi  berdasarkan  model tersebut. Tools Performance berikutnya untuk memudahkan melihat tingkat akurasi dan efektivitas model. Pada tahap ini, peneliti membagian data latih dan data uji menjadi 10 subset secara acak (number of folds = 10).
Tabel 6. Perbandingan Accuracy dengan menggunakan cross validation
Dataset Threads Dataset Twitter Naïve Bayes 65.52% Naïve Bayes 77.93% Decision Tree 65.43% Decision Tree 72.97% KNN 62.46% KNN 71.57%
Menurut  tabel  5 dan  tabel  6, yang berisi  hasil  pengukuran performa  model  klasifikasi  naïve  bayes  dengan  dua metode,  pembagian  dataset  dengan  split  data  dan  cross  validation,  pemodelan  dengan  split  data  menghasilkan  80:20, dengan akurasi naïve bayes tertinggi 85.56% pada aplikasi Twitter dan 66.41% pada aplikasi threads. Algoritma naïve bayes  memiliki  akurasi  tertinggi  pada  cross  validation,  dengan  77,93%  pada  aplikasi  Twitter  dan  65.52  pada  aplikasi threads.

## 3.5 Evaluasi
Pada tahapan ini, dilakukan pengujian dengan memanfaatkan Confusion Matrix yang diperoleh dari proses pemodelan Naïve  Bayes.  Dalam  sub  bab  3.5  terungkap  bahwa  akurasi  dengan  rasio  pembagian  data  menjadi  80:20  lebih  unggul daripada metode cross validation. Oleh karena itu, Tabel 7 menyajikan Confusion Matrix dari evaluasi pengklasifikasian naïve bayes dengan dataset yang digunakan berjumlah 638 pada aplikasi threads, terdapat 510 data latih dan 128 data uji, sedangkan pada aplikasi twitter terdapat  899 dataset terdiri dari 540 data latih dan 359 data uji.
Tabel 7. Confusion Matrix pada aplikasi Threads True Positive True Negative Class Precision Pred. Positive 48 26 64.86% Pred. Negative 17 37 68.52% Class recall 73.85% 58.73%
Perhitungan dari tabel 7 adalah sebagai berikut :
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛  = 𝑇𝑃 𝑇𝑃 + 𝐹𝑃 = 48
48 + 26 = 48 74 =  64.86%
Muhammad Iqbal, Perbandingan Algoritma Naïve Bayes, KNN, dan Decision Tree terhadap Ulasan Aplikasi Threads dan Twitter
𝑅𝑒𝑐𝑎𝑙𝑙  = 𝑇𝑃 𝑇𝑃 + 𝐹𝑁 = 48 48 + 17 = 48 65 =  73.85% 𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦  = 𝑇𝑃 + 𝑇𝑁 𝑇𝑃 + 𝑇𝑁 + 𝐹𝑃 + 𝐹𝑁 = 48 + 37 48 + 37 + 26 + 17 = 85
128 =  66.41%
Berdasarkan perhitungan dari tabel 7 berisi hasil perhitungan menggunakan algoritma naïve bayes yang berisi dari precision 64.86%, recall 73.85%, dan accuracy 66.41% dari aplikasi threads.
Tabel 8. Confusion Matrix pada aplikasi Twitter True Positive True Negative Class Precision Pred. Positive 83 15 84.69% Pred. Negative 11 71 86.58% Class recall 88.30% 82.56%
Perhitungan dari tabel 8 adalah sebagai berikut :
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑇𝑃 𝑇𝑃 + 𝐹𝑃 = 83 83 + 15 = 83 98 =  84.69% 𝑅𝑒𝑐𝑎𝑙𝑙  = 𝑇𝑃 𝑇𝑃 + 𝐹𝑁 = 83 83 + 11 = 83
94 =  88.30% 𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦  = 𝑇𝑃 + 𝑇𝑁 𝑇𝑃 + 𝑇𝑁 + 𝐹𝑃 + 𝐹𝑁 = 83 + 71 83 + 15 + 11 + 71 = 154
180 =  85.56%
Berdasarkan perhitungan dari tabel 8 berisi hasil perhitungan menggunakan algoritma naïve bayes yang berisi dari precision 84.69%, recall 88.30%, dan accuracy 85.56% dari aplikasi twitter.
Gambar 9. Perbandingan Hasil RapidMiner

## 4. KESIMPULAN
Hasil  penelitian  menunjukan  dalam  proses  pengklasifikasian  ulasan  pada  aplikasi  Threads  dan  Twitter  menggunakan model algoritma Decision Tree , KNN , dan Naïve Bayes dengan rasio pembagian data 80:20, Naïve Bayes mendapatkan akurasi tertinggi, yaitu 66.41% pada aplikasi Threads dan 85.56% pada aplikasi Twitter , pada algoritma Decision Tree mendapatkan  akurasi  sebesar  72.78%  pada  aplikasi Twitter dan  pada  aplikasi Threads sebesar  65.62%,  sedangkan algoritma  KNN  hanya  mendapatkan  71.67%  pada  aplikasi Twitter dan  pada  aplikasi Threads 62.50%.  Penelitian  ini menggunakan data ulasan 899 pada aplikasi Twitter dan 638 pada aplikasi Threads . Pada aplikasi Twitter terdapat 245 sentimen  positif  dan  654  sentimen  negatif,  sedangkan  pada  aplikasi Threads terdapat  220  sentimen  positif  dan  418 senitmen negatif. Dengan demikian dapat kesimpulan metode klasifikasi Naïve Bayes lebih unggul meskipun akurasinya belum mencapai 100%. Pada algoritmat Naïve Bayes dilakukan perhitungan percision, recall, dan accuracy pada aplikasi Threads dan Twitter. Pada aplikasi Threads mendapatkan 64.86% pada percision , 73,85% pada recall , dan 66.41% pada accuracy . Sedangkan pada aplikasi Twitter mendapatkan 84.69% pada percision , 88,30% pada recall , dan 85.56% pada accuracy. Dalam upaya memperoleh hasil analisis sentimen yang lebih akurat, peneliti diharapkan menggunakan dataset yang lebih banyak.
0,00% 20,00% 40,00% 60,00% 80,00% 100,00% Percision Recall Accuracy Perbandingan Twitter Threads
Muhammad Iqbal, Perbandingan Algoritma Naïve Bayes, KNN, dan Decision Tree terhadap Ulasan Aplikasi Threads dan Twitter

## REFERENCES
[1] A. R. Abdillah and F. N. Hasan, “Analisis Sentimen Terhadap Kandidat Calon Presiden Berdasarkan Tweets Di Sosial Media Menggunakan Naive Bayes Classifier,” Smatika Jurnal, vol. 13, no. 01, pp. 117–130, 2023, doi: 10.32664/smatika.v13i01.750.
[2] R. D. Himawan and E. Eliyani, “Perbandingan Akurasi Analisis Sentimen Tweet terhadap Pemerintah Provinsi DKI Jakarta di Masa Pandemi,” Jurnal Edukasi dan Penelitian Informatika (JEPIN), vol. 7, no. 1, p. 58, 2021, doi: 10.26418/jp.v7i1.41728.
[3] A. Nugroho, “Analisis Sentimen Pada Media Sosial Twitter Menggunakan Naive Bayes Classifier Dengan Ekstrasi Fitur N- Gram,” J-SAKTI (Jurnal Sains Komputer dan Informatika), vol. 2, no. 2, p. 200, 2018, doi: 10.30645/j-sakti.v2i2.83.
[4] A. D. Adhi Putra,  “Analisis Sentimen pada Ulasan pengguna Aplikasi Bibit Dan Bareksa dengan Algoritma KNN,”  JATISI (Jurnal Teknik Informatika dan Sistem Informasi), vol. 8, no. 2, pp. 636–646, 2021, doi: 10.35957/jatisi.v8i2.962.
[5] D. Normawati and S. A. Prayogi, “Implementasi Naïve Bayes Classifier Dan Confusion Matrix Pada Analisis Sentimen Berbasis Teks Pada Twitter,” Jurnal Sains Komputer & Informatika (J-SAKTI, vol. 5, no. 2, pp. 697–711, 2021.
[6] D. Ramadhan and E. B. Setiawan, “Analisis Sentimen Program Acara di SCTV pada Twitter Menggunakan Metode Naive Bayes dan  Support  Vector  Machine,”  …  .Telkomuniversity.Ac.Id,  vol.  6,  no.  2,  pp.  9736–9743,  2019,  [Online].  Available: https://openlibrarypublications.telkomuniversity.ac.id/index.php/engineering/article/view/10708.
[7] C.  F.  Hasri  and  D.  Alita,  “Penerapan  Metode  Naïve  Bayes  Classifier  Dan  Support  Vector Machine  Pada  Analisis  Sentimen Terhadap Dampak Virus Corona Di Twitter,” Jurnal Informatika dan Rekayasa Perangkat Lunak (JATIKA), vol. 3, no. 2, pp. 145–160, 2022, [Online]. Available: http://jim.teknokrat.ac.id/index.php/informatika.
[8] R. Puspita and A. Widodo, “Perbandingan Metode KNN, Decision Tree, dan Naïve Bayes Terhadap Analisis Sentimen Pengguna Layanan  BPJS,”  Jurnal  Informatika  Universitas  Pamulang,  vol.  5,  no.  4,  pp.  646–654,  2020,  doi: 10.32493/informatika.v5i4.7622.
[9] M. I. Fikri, T. S. Sabrila, and Y. Azhar, “Perbandingan Metode Naïve Bayes dan Support Vector Machine pada Analisis Sentimen Twitter,” Smatika Jurnal, vol. 10, no. 02, pp. 71–76, 2020, doi: 10.32664/smatika.v10i02.455.
[10]  C. Cahyaningtyas, Y. Nataliani, and I. R. Widiasari, “Analisis Sentimen Pada Rating Aplikasi Shopee Menggunakan Metode Decision Tree Berbasis SMOTE,” Aiti, vol. 18, no. 2, pp. 173–184, 2021, doi: 10.24246/aiti.v18i2.173-184.
[11]  R.  W.  Samsir,  Ambiyar,  Unung  Verawardina,  Firman  Edi,  “Analisis  Sentimen  Pembelajaran  Daring  Pada  Twitter  di  Masa Pandemi  COVID-19 Menggunakan  Metode  Naïve  Bayes,”  Jurnal  Media  Informatika  Budidarma, vol. 5, no.  1, pp.  157–163, 2021, doi: 10.30865/mib.v5i1.2604.
[12]  A. P. Giovani, A. Ardiansyah, T. Haryanti, L. Kurniawati, and W. Gata, “Analisis Sentimen Aplikasi Ruang Guru Di Twitter Menggunakan Algoritma Klasifikasi,” Jurnal Teknoinfo, vol. 14, no. 2, p. 115, 2020, doi: 10.33365/jti.v14i2.679.
[13]  E. Laia and M. Yamin, “Penerapan Algoritma Naïve Bayes dalam Menganalisis Sentimen pada Review Pengguna E-Commerce,” Media Online), vol. 4, no. 1, pp. 305–316, 2023, doi: 10.30865/klik.v4i1.1186.
[14]  R. Wahyudi and G. Kusumawardana, “Analisis Sentimen pada Aplikasi Grab di Google Play Store Menggunakan Support Vector Machine,” Jurnal Informatika, vol. 8, no. 2, pp. 200–207, 2021, doi: 10.31294/ji.v8i2.9681.
[15]  F.  Setya  Ananto  and  F.  N.  Hasan,  “Implementasi  Algoritma  Naïve  Bayes  Terhadap  Analisis  Sentimen  Ulasan  Aplikasi MyPertamina pada Google Play Store,” Jurnal ICT : Information Communication & Technology, vol. 23, no. 1, pp. 75–80, 2023, [Online]. Available: https://ejournal.ikmi.ac.id/index.php/jict-ikmi.
[16]  A. B. Sasmita, B. Rahayudi, and L. Muflikhah, “Analisis Sentimen Komentar pada Media Sosial Twitter tentang PPKM Covid- 19 di Indonesia dengan Metode Naïve Bayes,” Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, vol. 6, no. 3, pp. 1208–1214, 2022, [Online]. Available: http://j-ptiik.ub.ac.id.
[17]  N.  Hardi,  Y.  Alkahfi,  P.  Handayani,  W.  Gata,  and  M.  R.  Firdaus,  “Analisis  Sentimen  Physical  Distancing  pada  Twitter Menggunakan  Text  Mining  dengan  Algoritma  Naive  Bayes  Classifier,”  Sistemasi,  vol.  10,  no.  1,  p.  131,  2021,  doi: 10.32520/stmsi.v10i1.1118.
[18]  Ernianti Hasibuan and Elmo Allistair Heriyanto, “Analisis Sentimen Pada Ulasan Aplikasi Amazon Shopping Di Google Play Store  Menggunakan  Naive  Bayes  Classifier,”  Jurnal  Teknik  dan  Science,  vol.  1,  no.  3,  pp.  13–24,  2022,  doi: 10.56127/jts.v1i3.434.
[19]  I. Verawati and B. S. Audit, “Algoritma Naïve Bayes Classifier Untuk Analisis Sentiment Pengguna Twitter Terhadap Provider By.u,” Jurnal Media Informatika Budidarma, vol. 6, no. 3, p. 1411, 2022, doi: 10.30865/mib.v6i3.4132.
[20]  R. Slamet, W. Gata, A. Novtariany, K. Hilyati, and F. A. Jariyah, “Analisis Sentimen Twitter Terhadap Penggunaan Artis Korea Selatan Sebagai Brand Ambassador Produk Kecantikan Lokal,” INTECOMS: Journal of Information Technology and Computer Science, vol. 5, no. 1, pp. 145–153, 2022, doi: 10.31539/intecoms.v5i1.3933.
[21]  M.  I.  Ahmadi,  D.  Gustian,  and  F.  Sembiring,  “Analisis  Sentiment  Masyarakat  terhadap  Kasus  Covid-19  pada  Media  Sosial Youtube dengan Metode Naive bayes,” Jurnal Sains Komputer & Informatika (J-SAKTI, vol. 5, no. 2, pp. 807–814, 2021.
[22]  A. Aziz, “Analisis Sentimen Identifikasi Opini Terhadap Produk, Layanan dan Kebijakan Perusahaan Menggunakan Algoritma TF-IDF dan SentiStrength,” Jurnal Sains Komputer & Informatika (J-SAKTI, vol. 6, no. 1, p. 115, 2022.