## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v6i3.4132

## Algoritma Naïve Bayes Classifier Untuk Analisis Sentiment Pengguna Twitter Terhadap Provider By.u
Ike Verawati * , Bagas Sonas Audit
Ilmu Komputer, Informatika, Universitas Amikom Yogyakarta, Yogyakarta, Indonesia Email: 1,* Ikeverawati@amikom.ac.id, 2 Bagas.1490@students.amikom.ac.id Email Penulis Korespondensi: Ikeverawati@amikom.ac.id
Abstrak− Perkembangan internet yang  meningkat  beberapa  tahun  terakhir  menyebabkan orang-orang dengan mudah  untuk memberikan opininya terhadap sesuatu produk. By.u sebagai produk baru penyedia layanan internet membuat banyak user barunya  saling  memberikan  opini.  Banyak  user  by.u  memberikan  opininya  melalui  media  sosial  khususnya  twitter.  Dari permasalahan tersebut dilakukan penelitian menggunakan analisis sentimen. Tahapan penelitian terdiri dari pengumpulan data dari media sosial twitter, preprocessing data, pembobotan data TF-IDF dan klasifikasi menggunakan algoritma Naïve Bayes Classifier. Untuk mendapatkan evaluasi hasil yang terbaik, maka dilakukan perbandingan data latih dan data uji. Klasifikasi data dilakukan dengan cara otomatis setelah pembersihan data dalam proses preprocessing. Label data hasil klasifikasi otomatis ada 2, yaitu positif dan negatif. Dataset setelah klasifikasi akan digunakan sebagai  data latih dan data uji. Dataset yang akan diujikan dibedakan menjadi 3 jumlah, yaitu jumlah 1000 dataset, 2000 dataset, dan 3000 dataset. Pengujian dilakukan sebanyak 3  kali  untuk  setiap  dataset.    Pengujian  akurasi  dilakukan  menggunakan  confusion  matrix.  Hasil  pengujian  dengan  akurasi tertinggi diperoleh classifier nave Bayes dengan model multinomial 85%.
Kata Kunci: Naïve Bayes Classifier; Sentiment Analysis; Classification; Text Mining; Twitter
Abstract− The development of the internet which has increased in recent years has made it easy for people to give their opinion on a product. By.u, as a new internet service provider, has made many new users share their opinions with each other. Many by.u users give their opinions through social media, especially twitter. From these problems, research was conducted using sentiment analysis. The research stages consisted of collecting data from social media Twitter, preprocessing data, weighting TF-IDF data and classifying using the Naïve Bayes Classifier algorithm. To get the best evaluation results, a comparison of training data and test data was carried out. Data classification is done automatically after cleaning the data in the preprocessing process. There are 2 labels for the data resulting from the automatic classification, namely positive and negative. The datas et after classification will be used as training data and test data. The datasets to be tested are divided into 3 numbers, namely the number of 1000 datasets, 2000 datasets, and 3000 datasets. The test was carried out 3 times for each dataset. The accuracy test is carried out using a confusion matrix. The test results with the highest accuracy were obtained by the nave Bayes classifier with a multinomial model of 85%.
Keywords : Naïve Bayes Classifier; Sentiment Analysis; Classification; Text Mining; Twitter

## 1. PENDAHULUAN
Pada beberapaa tahun belakangan ini banyak bermunculan provider internet baru yang memikat banyak pengguna internet di indonesia. Salah satu dari provider tersebut adalah by.u yang merupakan anak dari provider tertua di indonesia yaitu telkomsel. Setelah by.u muncul banyak pengguna internet tertarik karena dengan harga yang lebih murah  dari  telkomsel  namun  kecepatan  internet  yang  didapatkan  sama,  bahkan  bisa  jadi  lebih  cepat.  Hal  ini membuat  banyak  pengguna  internet  memberikan  komentar  mereka  melalui  sosial  media,  mulai  dari  komentar positif hingga negatif. Twitter menjadi salah satu media sosial yang digunakan oleh para pengguna internet untuk memberikan komentar dan review terhadap provider by.u. Dengan adanya fenomena tersebut, penelitian ini akan mengambil  komentar  dan  postingan  tweet  dalam  twitter  tersebut  untuk  digunakan  dalam  analisis  sentimen terhadap opini kepuasan pelanggan pada provider by.u yang masih baru ini.
Analisis sentimen adalah metode pemrosesan data yang tidak tersetruktur di ubah menjadi data terstruktur untuk mendapatkan sentiment[1]. Sentimen biasanya berkaitan dengan emosi, pendapat ataupun komentar yang dinyatakan dengan bentuk data teks. Dalam penelitian ini data text diambil dari komentar dan postingan Twitter dengan kata kunci “by.u”. Data ini dapat  digunakan sebagai  acuan dalam melihat sentiment pengguna internet terhadap kepuasan pada provider baru by.u. Data tersebut  akan diolah untuk  mengklasifikasikan opini menjadi positif  atau  negatif.  Untuk  melakukan  klasifikasi  data  teks  terdapat  berbagai  macam  algoritma  yang  dapat digunakan.
Naive  Bayes  Classifier  adalah  salah  satu  algoritma  yang  di  gunakan  untuk  klasifikasi  data.    Terdapat beberapa  penelitian  menggunakan  metode  Naive  Bayes  Classifier  untuk  dokomen  text  yang  sudah  pernah dilakukan di antaranya  yaitu analisis sentimen perubahan ke kurikulum 2013[2], penelitian kepuasan masyarakat terhadap pemilihan presiden 2019[3], dan analisis sentimen terhadap  jasa transportasi online[4]. Dari penelitian tersebut,  peneliti  memilih  menggunakan  algoritma  Naïve  Bayes  untuk  melakukan  klasifikasi  opini  positif  dan negatif  terhadap  provider  by.u  ini.  Metode  Naive  Bayes  Classifier  memiliki  tingkat  akurasi  yang  baik  untuk klasifikasi data text[5]. Tujuan di buatnya penelitian ini yaitu Mengetahui akurasi dari algoritma dalam klasifikasi tweet  terhadap provider by.u. dan Mengetahui pengaruh jumlah dataset  terhadap akurasi  algoritma naive bayes classifier.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v6i3.4132
Submitted: 18/05/2022 ; Accepted: 22/06/2022 ; Published: 25/07/2022
Sebelumnya  telah  terdapat  penelitian  terkait  analisis  sentimen.  Pada  tahun  2017,  Umi  Rofiqoh  dkk melakukan penelitian mengenai perbandingan hasil akurasi sentimen terhadap algoritma Support Vector Machine dengan Lexicon Based Feature, Hasilnya diperoleh tingkat akurasi sebesar 79%.[6]
Setyo Budi, (2017) melakukan penelitian analisis sentimen untuk review film menggunakan algoritma K- Means  dan  membandingkan  hasil  akurasi  terhadap  jumlah  dataset.  Hasil  dari  penelitian  ini,  untuk  600  data memiliki akurasi 58%, 1400 data memiliki akurasi 57%, dan 2000 data menghasilkan akurasi sebesar 50%.[7] Penelitian  selanjutnya  dilakukan  oleh  Fajar  Ratnawati,  (2018)  mengenai  implementasi  algoritma  Naïve Bayes dengan menggunakan 5-fold cross validation, menghasilkan akurasi tertinggi 90%.[8]

## 2. METODOLOGI PENELITIAN

## 2.1 Tahapan Penelitian
Model penelitian yang akan digunakan adalah eksperimen dan evaluasi. Menggunakan software jupyter notebook dengan  bahasa  phyton.  Tahapan  penelitian  ini  adalah  studi  literatur,  pengumpulan  data  dengan  cara  crawling, preprocessing data, pembobotan dengan TF-IDF, klasifikasi dengan Algoritma naïve bayes, evaluasi.

## Gambar 1. Tahapan Penelitian

## 2.2 Analisis Sentimen
Analisis sentimen adalah teknik penyusunan bahasa, komputasi, dan text mining untuk tujuan menganalisis opini atau emosi seseorang terhadap suatu topik atau kegiatan tertentu[9], dasar analisis sentimen adalah pengelompokan suatu teks dalam satu kalimat atau data yang kemudian dapat menentukan apakah kalimat tersebut bersifat positif, negatif atau netral[10]. Sehingga dapat disimpulkan bahwa analisis sentimen merupakan proses untuk menentukan pendapat atau opini dari seseorang yang diutarakan dalam bentuk data text dan dapat ditentukan sebagai sentiment positif, negatif, atau netral.

## 2.3 Text Mining
Text  mining  adalah  penambangan  data  teks  yang  dilakukan  oleh  komputer  untuk  mendapatkan  sesuatu  yang sebelumnya tidak diketahui informasinya yang berasal dari informasi yang diekstrak secara otomatis dari sumber yang  berbeda-beda[11].  Text  mining  merupakan  penerapan  konsep  data  mining  untuk  mencari  pola  informasi didalamnya,  data  teks  memilki  banyak  informasi  yang  tidak  terstruktur  sehingga  membutuhkan  proses  yang panjang  untuk  menjadi  lebih  terstruktur[12].  Tahapan  proses  dalam  text  mining  secara  umum  adalah  text preprocessing dan feature selection.

## 2.4 Text Preprocessing
Text  preprocessing  merupakan  tahapan  untuk  mengubah  data  teks  yang  tidak  terstruktur  menjadi  terstruktur, sehingga  dapat  memudahkan  dalam  proses  komuterisasi.  Untuk  itu  diperlukan  beberapa  tahapan  proses  untuk melakukanya, yaitu :
1) Case Folding
Proses case folding adalah mengubah semua huruf didalam data teks dari huruf “a” sampai “z” menjadi huruf kecil.
2) Tokenizing
Proses tokenizing adalah pemotongan kata menjadi beberapa bagian dan di proses ini dilakukan penghapusan data yang tidak dikenali program, antara lain username, hashtag, url, tanda baca, dan emotikon.
3) Filtering
Proses  filtering  dilakukan  untuk  menghapus  kata-kata  yang  tidak  penting  berdasarkan  kamus  stopword, contohnya kata penghubung “ke”, dan “di”, atau kata-kata yang tidak memiliki makna
4) Normalisasi
Proses normalisasi pada proses ini dilakukan perubahan kata yang tidak baku menjadi kata yang baku.
5) Stemming
Proses stemming adalah proses mengubah kata yang memiliki imbuhan menjadi  kata dasar, contohnya kata memalukan akan diubah menjadi malu.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v6i3.4132
Submitted: 18/05/2022 ; Accepted: 22/06/2022 ; Published: 25/07/2022

## 2.5 Klasifikasi
Klasifikasi  bertujuan  untuk  memberikan  label  terhadap  data.  Dalam  penlitian  kali  ini  akan  menggunakan klasifikasi  secara otomatis. Untuk dapat  melakukan klasifikasi  secara otomatis diperlukan pemodelan data dari dataset  yang  telah  teruji  dengan  label  terlebih  dahulu.  Untuk  itu  diambil  dataset  dari  Indonesian-General- Sentiment-Analysis-Dataset[13].

## 2.6 Pembobotan TF-IDF
Pembobotan Tf-Idf bertujuan untuk memberikan bobot nilai pada setiap kata. Dalam melakukan pembobotan ini dibutuhkan Term Frequency (TF) yaitu banyaknya kata atau term tertentu yang terdapat didalam dokumen, dan Inverse Document Frequency (IDF) yaitu frekuensi kemunculan kata atau term dalam suatu dokumen. Nilai IDF dapat dilihat dari teks atau term itu sendiri, jika tidak sering muncul maka nilainya akan lebih besar daripada nilai IDF yang sering muncul. Jika pada keseluruhan dokumen mengandung term tertentu, maka nilai IDF term akan bernilai  0. Maka dapat  diartikan term yang sering muncul  atau terdapat pada keseluruhan dokumen merupakan term yang tidak berguna untuk membedakan dokumen berdasarkan pola tertentu.[14] Rumus TF-IDF :
𝑊𝑑𝑡 = 𝑇𝐹𝑑𝑡  × 𝐼𝐷𝐹𝑑𝑡
(1)

## 2.7 Naïve Bayes Classifier
Metode Naive Bayes Classifier adalah metode algoritma klasifikasi untuk memprediksi probabilitas dan statistik, yang  dimana  nantinya  klasifikasi  akan memprediksi  probabilitas  pada  keanggotaan  kelas  suatu  data  yang  akan dimasukkan dalam kelas tertentu, sesuai dengan perhitungan probabilitasnya. Metode ini didasarkan pada teorema bayes yang ditemukan oleh Thomas Bayes[15]. Naïve Bayes Classifier dapat diartikan bahwa suatu nilai atribut kelas tidak dapat dipengaruhi maupun mempengaruhi nilai atribut lainya, penjelasan inilah yang disebut Naïve, ini  mengasumsikan  kemunculan  term  dalam  sebuah  kalimat  tidak  dapat  mempengaruhi  kata  lainya[16].  Pada penerapannya dalam analisis sentiment term atau kata yang muncul akan memiliki bobot masing-masing yang jika ditambahkan total bobot keseluruhannya maka dapat diketahui apakah kalimat tersebut masuk ke dalam sentiment negatif atau positif. Rumus dari Naïve Bayes Classifier berdasarkan teorema bayes adalah sebagai berikut :
𝑃(𝐻|𝑋) = (𝑃(𝑋|𝐻) 𝑃(𝐻) 𝑃(𝑋) ) (2) X = Data dokumen dengan kelas yang belum diketahui.
H
= Hipotetis dari data X merupakan suatu kelas spesifik.
P(H│X)= Probabilitas dari hipotesis H berdasarkan kondisi X (posteriori probability). P(H) = Probabilitas dari hipotersis H (prior probabilty). P(X│H)= Probabilitas X berdasarkan dari kondisi pada hipotesis H. P(X) = Probabilitas dari X

## 2.8 Multinomial Naive Bayes Classifier
Multinomial Naïve Bayes Classifier merupakan salah satu variasi dari algoritma naïve bayes classifier. Algoritma ini menggunakan distribusi multinomial pada fungsi conditional probabilities. Meskipun menggunakan distribusi multinomial, algoritma ini dapat digunakan untuk kasus text mining dengan cara merubah data teks menjadi bentuk nominal yang dapat dihitung dengan nilai integer. Pada multinomial naïve bayes classifier, kelas dokumen tidak hanya diihitung dari kata yang muncul namun jumlah kemunculan kata itu sendiri[17]

## 2.9 Evaluasi
Pada proses ini akan menghitung performa dari sistem yang sudah dibangun, dalam hal ini adalah performa analisis sentimen.  Terdapat  berbagai  macam  perhitungan  yang  dapat  digunakan  untuk  proses  evaluasi,  yaitu  akurasi, presisi,  recall,  dan  F-score.  Untuk  dapat  mencari  nilai-nilai  tersebut  yang  perlu  dilakukan  adalah  membuat confussion  matrix  untuk  merepresentasikan  hasil  dari  klasifikasi  dataset,  tabel  dari  hasil  evaluasi  klasifikasi dokumen ditunjukan sebagai berikut:
Tabel 1. Confussion Matrix Actual Values Predicted Values Positif Negatif Positif TP FP Negatif FN TN
Dari tabel tersebut dapat dilihat ada empat kemungkinan yang terjadi pada prose klasifikasi: True Positive (TP) adalah nilai yang diprediksi benar dan faktanya nilai tersebut adalah benar. False Positive (FP) adalah nilai yang diprediksi benar tetapi faktanya nilai tersebut adalah salah. True negative (TN) adalah nilai yang diprediksi salah dan faktanya nila tersebut adalah salah. Serta yang terakhir False Negative (FN) adalah nilai yang diprediksi

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v6i3.4132
Submitted: 18/05/2022 ; Accepted: 22/06/2022 ; Published: 25/07/2022
salah  tetapi  nilai  tersebut  adalah  benar.  Dengan  melihat  tabel  maka  dapat  dilakukan  penghitungan  untuk mendapatkan hasil evaluasi klasifikasi yang telah dilakukan. Rumus untuk mencari akurasi, precission, dan recall:
Accuracy = (𝑇𝑃+𝑇𝑁) (𝑇𝑃+𝐹𝑃+𝐹𝑁+𝑇𝑁) (3) Precission = (𝑇𝑃) (𝑇𝑃+𝐹𝑃) (4) Recall = (𝑇𝑃) (𝑇𝑃+𝐹𝑁) (5)

## 3. HASIL DAN PEMBAHASAN

## 3.1 Pengumpulan Data
Pengumpulan  data  dalam  penelitian  ini  menggunakan  metode  crawling  dengan  bantuan  fitur  API  dari  twitter. Untuk dapat melakukan pengumpulan data, harus mendapatkan access token dari twitter dengan cara mendaftarkan aplikasinya  terlebih  dahulu.  Setelah  syarat  terpenuhi  maka  proses  pengumpulan  data  dapat  dilakukan.  Pada pengumpulan data untuk penelitian ini menggunakan kata kunci by.u dan hanya yang berbahasa indonesia yang akan diambil. Hasil dari crawling akan disimpan dalam bentuk .xlsx
Tabel 2. Data Hasil Crawling Date Username Tweet 2021-05-23 16:50:31 pickmeuca by.U ngadat 2021-05-27 04:50:51 vvindk_w @byu_id Alhamdulillah by.u ada paket unlimited, so 1 bulan cuman bayar 140k ajaa makasih loh min, ini beneran unlimited tanpa fup 2021-05-26 21:38:04 ayussabrina by.u jam segini dah error aja
3.2. Preprocessing Data
Inputan  data  dalam  proses  ini  merupakan  data teks  yang  masih  baru  diambil  dari  twitter,  yang  kemudian  akan dilakukan preprocessing data dengan urutan proses case folding, tokenizing, stop word removal, normalisasi, dan yang terakhir stemming.

## 3.2.1 Menerjemahkan Emoticon
Pada proses awal setelah didapatkan data dari crawling twitter, dilakukan penerjemahan emoticon kedalam bentuk teks.
Tabel 3. Penerjemahan Emotikon Tweet Tweet_Emoji by.U ngadat by.U ngadat  "wajah lelah" @byu_id Alhamdulillah by.u ada paket unlimited, so 1 bulan cuman bayar 140k ajaa
makasih loh min, ini beneran unlimited tanpa fup
@byu_id Alhamdulillah by.u ada paket unlimited, so 1 bulan cuman bayar 140k ajaa  "Wajah Dengan Air Mata Sukacita" "Hati merah"️ "Hati merah"️ makasih loh min, ini beneran unlimited tanpa fup
by.u jam segini dah error aja
by.u jam segini dah error aja "Wajah Cemberut"

## 3.2.2 Case Folding
Pada  proses  ini  semua  isi  dokumen  teks  akan  diubah  menjadi  huruf  kecil  (lower  case),  tujuanya  untuk menyeragamkan semua isi dokumen.

## 3.2.3 Tokenizing
Pada  tahapan  ini  dilakukan  pemisahan  kalimat  menjadi  potongan  kata  atau  token,  kemudian  kata  yang  tidak digunakan seperti username, link, dan angka akan dihapus.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v6i3.4132
Tabel 4. Tokenizing Tweet Tokenizing by.u ngadat  "wajah lelah" ['by', '.', 'ngadat', '``', 'wajah', 'lelah', "''"]
@byu_id alhamdulillah by.u ada paket unlimited, so 1 bulan cuman bayar 140k ajaa
"wajah dengan air mata sukacita" "hati merah"️ "hati merah"️ makasih loh min, ini beneran unlimited tanpa fup ['_id', 'alhamdulillah', 'by', '.', 'ada', 'paket', 'unlimited', ',', 'so', 'bulan', 'cuman', 'bayarajaa', '``', 'wajah', 'dengan', 'air', 'mata', 'sukacita', "''", '``', 'hati', 'merah', "''", '?', '``', 'hati', 'merah', "''", '?', 'makasih', 'loh', 'min', ',', 'ini', 'beneran', 'unlimited', 'tanpa', 'fup', '?'] by.u jam segini dah error aja "wajah Cemberut" ['by', '.', 'jam', 'segini', 'dah', 'error', 'aja', '``', 'wajah', 'cemberut', "''"]

## 3.2.4 Stopword Removal
Pada proses ini kata yang dianggap tidak memiliki makna akan dihapus.

## 3.2.5 Normalisai
Pada  tahap ini  dilakukan  proses  mengubah  kata  tidak  baku  dan  singaktan  menjadi  kata  baku,  serta menghapus tanda baca.

## 3.2.6 Stemming
Proses stemming merupakan proses mengubah kata yang ada pada dokumen menjadi bentuk dasarnya. Didalam proses ini menggunakan library sastrawi.
Tabel 5. Stemming Tweet Stemming by ngadat `` wajah lelah '' by ngadat wajah lelah _id alhamdulillah by paket unlimited sok cuman bayarajaa `` wajah air mata sukacita '' `` hati merah '' `` hati merah '' terima kasih min benaran unlimited fup id alhamdulillah by paket unlimited sok cuman bayarajaa wajah air mata sukacita hati merah hati merah terima kasih min benar unlimited fup by jam segini sudah error `` wajah cemberut ''
by jam gin sudah error wajah cemberut
… …
3.3 Klasifikasi
Sebelum proses klasifikasi secara otomatis dapat dilakukan, diperlukan pemodelan dari dataset yang sudah teruji dengan  label  terlebih  dahulu.  Untuk  itu  diambil  dataset  dari  Indonesian-General-Sentiment-Analysis-Dataset, sebanyak 5479 data teks dengan 2887 data negatif dan 2592 data positif.

## 3.3.1 TF-IDF
Dokumen  teks  yang  sudah  melewati  beberapa  proses  sebelumnya,  kemudian  dimasukkan  kedalam  proses pembobotan dengan term frequency inverse document frequency (TF-IDF). Dalam tahap ini pemberian bobot pada satu kata harus melalui 3 proses, yang pertama menghitung term frequency atau kemunculan kata, kedua proses menghitung  inverse document frequency, dan yang terakhir adalah menghitung  weight atau bobot dengan cara melakukan perkalian hasil term frequency dengan inverse document frequency.

## 3.3.2 Klasifikasi Naïve Bayes
Setelah seluruh proses preprocessing dan pembobotan selesai barulah klasifikasi dapat dilakukan.
Tabel 6. Hasil Klasifikasi Tweet label by ngadat wajah lelah 0 id alhamdulillah by paket unlimited sok cuman bayarajaa wajah air mata sukacita hati merah hati merah terima kasih min benar unlimited fup 1 by jam gin sudah error wajah cemberut 0

## 3.4 Uji Coba Sistem
Uji coba sistem dilakukan untuk melihat kinerja sistem dalam proses klasifikasi. Dalam pengujian akan dilakukan 3 kali dengan jumlah dataset yang berbeda seperti yang telah ditentukan pada tabel 2

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v6i3.4132
Tabel 7. Data Training dan Testing Pengujian Total Dataset 1 1000 2 2000 3 3000

## 3.5 Evaluasi Confusion Matrix
Evaluasi confusion matrix dilakukan untuk mengetahui akurasi dari hasil klasifikasi algoritma. Metode ini terdiri dari True Positive, True Negative, False Positive, dan False Negatuve. Setelah didapat data dari confusion matrix barulah accuracy, recall dan precission dapat dihitung.

## 3.5.1 Pengujian 1
Tabel 8. Hasil Pengujian 1 Predicted Values Positive Negative Positive 70 (TP) 1 (FP) Negative 19 (FN) 10 (TN)
Hasil pengujian pertama dapat dilihat dalam tabel 3, menunjukan nilai true positive (TP) adalah 22, false positive (FP) bernilai 1, false nehative (FN) bernilai 19, dan true negative (TN) bernilai 10.
3.5.2 Pengujian 2
Tabel 9 . Hasil Pengujian 2 Predicted Class Actual Class Positive Negative Positive 119 (TP) 3 (FP) Negative 37 (FN) 41 (TN)
Hasil pengujian pertama dapat dilihat dalam tabel 4, menunjukan nilai true positive (TP) adalah 119, false positive (FP) bernilai 3, false nehative (FN) bernilai 37, dan true negative (TN) bernilai 41.

## 3.5.3 Pengujian 3
Tabel 10. Hasil Pengujian 3 Predicted Class Actual Class Positive Negative Positive 181 (TP) 3 (FP) Negative 41 (FN) 74 (TN)
Hasil pengujian pertama dapat dilihat dalam tabel 3, menunjukan nilai true positive (TP) adalah 181, false positive (FP) bernilai 3, false nehative (FN) bernilai 41, dan true negative (TN) bernilai 74.

## 3.6 Evaluasi Hasil Pengujian
Tabel 11. Hasil Pengujian Pengujian Accuracy Precission Recall 1 80% 91% 35% 2 80% 93% 53% 3 85% 96% 64%
Setelah  dilakukan  pengujian  3  kali  dengan  algoritma  naïve  bayes  classifier,  menghasilkan  akurasi  pada pengujian pertama sebesar 80%, pengujian kedua sebesar 80%, dan pengujian ke tiga didapatkan akurasi sebesar 85%. Dari tabel 6 dapat dilihat nilai rata-rata dari accuracy, precissionm dan recall

## 4. KESIMPULAN
Setelah  melakukan  penelitian  ini  dapat  diambil  kesimpulan  bahwa  Algoritma  Naïve  Bayes  Classifier  dapat melakukan  analisis  sentimen  dengan  benar  dan  melakukan  klasifikasi  secara  otomatis  setelah  melalui  tahapan- tahapan  proses,  yaitu  Preprocessing  data,  pembobotan  kata,  membuat  model  untuk  klasifikasi  otomatis  dan dibuatnya data training untuk melatih klasifikasi pada data testing. Tahapan proses tersebut dapat berjalan dengan baik  dan  mengklasifikasikan  data  dengan  parameter  positif  dan  negatif.  Setelah  dilakukan  3  kali  pengujian didapatkan hasil akurasi 80%, 80%, dan 85%. Didapatkan hasil akurasi paling tinggi pada pengujian terakhir yakni

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v6i3.4132
Submitted: 18/05/2022 ; Accepted: 22/06/2022 ; Published: 25/07/2022
sebesar  85%.  Dengan  pengujian  menggunakan  3 dataset  yang  memiliki  jumlah  data  yang  berbeda,  dan  setelah mendapatkan hasil tingkat akurasi dari proses analisis sentimen dapat disimpulkan bahwa jumlah dataset dalam pengujian sangat berpengaruh terhadap tingkat akurasi Algoritma Naïve Bayes Classifier. Hal ini ditunjukan oleh hasil  tingkat  akurasi  pada  pengujian  ketiga  dengan  3000  dataset  mendapatkan  nilai  akurasi  85%,  lebih  besar daripada pengujian pertama dengan 1000 dataset yang hanya memiliki akurasi sebesar 80%.

## REFERENCES
[1] A. Shelar and C. Y. Huang, “Sentiment analysis of twitter data,” 2018, doi: 10.1109/CSCI46756.2018.00252.
[2] D. S. Pamungkas, N. A. Setiyanto, and E. Dolphina, “Analisis Sentiment Pada Sosial Media Twitter Menggunakan Naive Bayes Classifier Terhadap Kata Kunci ‘Kurikulum 2013’’,’” vol. 14, no. 4, pp. 299–314, 2015.
[3] M. D. R. W. Wahyudi, “Analisis sentimen ujaran kebencian pemilihan presiden 2019 menggunakan algoritme Naïve Bayes,” JNANALOKA , 2020, doi: 10.36802/jnanaloka.2020.v1-no1-12.
[4] B. M. Pintoko and K. M. L, “Analisis Sentimen Jasa Transportasi Online pada Twitter Menggunakan Metode Naïve Bayes Classifier,” e-Proceeding Eng. , 2018.
[5] D. Olivita, Y. Vitriani, J. Teknik Informatika, F. Sains dan Teknologi, U. H. Sultan Syarif Kasim Riau Jl Soebrantas No, and  S.  Baru,  “Perbandingan  Klasifikasi  Tugas Akhir Mahasiswa  Jurusan  Teknik  Informatika  Menggunakan  Metode Naïve Bayes Classifier dan K-Nearest Neighbor,” J. Sains, Teknol. dan Ind. , vol. 14, no. 1, pp. 79–85, 2016.
[6] U.  Rofiqoh,  R.  S.  Perdana,  and  M.  A.  Fauzi,  “Analisis  Sentimen  Tingkat  Kepuasan  Pengguna  Penyedia  Layanan Telekomunikasi Seluler Indonesia Pada Twitter Dengan Metode Support Vector Machine dan Lexion Based Feature,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. Univ. Brawijaya , vol. 1, no. 12, pp. 1725–1732, 2017, [Online]. Available: http://j-ptiik.ub.ac.id/index.php/j-ptiik/article/view/628.
[7] S. Budi, “Text Mining Untuk Analisis Sentimen Review Film,” Techno.COM , vol. 16, no. 1, pp. 1–8, 2017.
[8] F. Ratnawati, “Implementasi Algoritma Naive Bayes Terhadap Analisis Sentimen Opini Film Pada Twitter,” INOVTEK Polbeng - Seri Inform. , vol. 3, no. 1, p. 50, 2018, doi: 10.35314/isi.v3i1.335.
[9] C. C. Aggarwal and C. X. Zhai, Mining text data , vol. 9781461432234. 2013.
[10]  C. Troussas, M. Virvou, K. J. Espinosa, K. Llaguno, and J. Caro, “Sentiment analysis of Facebook statuses using Naive Bayes Classifier for language learning,” 2013, doi: 10.1109/IISA.2013.6623713.
[11]  R. Feldman and J. Sanger, The Text Mining Handbook . 2006.
[12]  J. Han, M. Kamber, and J. Pei, Data Mining: Concepts and Techniques . 2012.
[13]  R. Ferdiana, F. Jatmiko, D. D. Purwanti, A. S. T. Ayu, and W. F. Dicka, “Dataset Indonesia untuk Analisis Sentimen,” J. Nas. Tek. Elektro dan Teknol. Inf. , vol. 8, no. 4, p. 334, 2019, doi: 10.22146/jnteti.v8i4.533.
[14]  A. Rahman, W. Wiranto, and A. Doewes, “Online News Classification Using Multinomial Naive Bayes,” ITSMART J. Teknol. dan Inf. , vol. 6, no. 1, pp. 32–38, 2017.
[15]  F. Handayani and S. Pribadi, “Implementasi Algoritma Naive Bayes Classifier dalam Pengklasifikasian Teks Otomatis Pengaduan dan Pelaporan Masyarakat melalui Layanan Call Center 110,” J. Tek. Elektro , vol. 7, no. 1, pp. 19–24, 2015, doi: 10.15294/jte.v7i1.8585.
[16]  N.  Saputra,  T.  B.  Adji,  and  A.  E.  Permanasari,  “Analisis  Sentimen  Data  Presiden  Jokowi  dengan  Preprocessing Normalisasi dan Stemming Menggunakan Metode Naive Bayes dan SVM,” J. Din. Inform. , vol. 5, no. November, p. 12, 2015.
[17]  A. H. Setianingrum, D. H. Kalokasari, and I. M. Shofi, “Implementasi Algoritma Multinomial Naive Bayes Classifier,” J. Tek. Inform. , vol. 10, no. 2, pp. 109–118, 2018, doi: 10.15408/jti.v10i2.6822.