## Institut Riset dan Publikasi Indonesia (IRPI)
MALCOM: Indonesian Journal of Machine Learning and Computer Science
Journal Homepage: https://journal.irpi.or.id/index.php/malcom Vol. 2 Iss. 1 April 2022, pp: 71-77 P-ISSN: 2797-2313 ISSN(E): 2775-8575

## Comparison of Classification Algorithms for Sentiment Analysis of Islam Nusantara in Indonesia

## Perbandingan Algoritma Klasifikasi untuk Analisis Sentimen Islam Nusantara di Indonesia
Eghi Ditendra 1, Suryani 2 , Siti Romelah 3 ,M Habil Arsyiddik Tanjung 4 , May Sarah 5
1,2,4,5 Departemen of Information System, Faculty of Science and Technology, UIN Sultan Syarif Kasim Riau, Indonesia
3 Departement of Computer Engineering and Netwoking, Vocational High School of 1 Rejotangan, Tulungagung, East Java, Indonesia
Email: 1 eghiditendra1@gmail.com, 2 suryaniani0602@gmail.com, trisula58@gmail.com 3 ,
4 habilarsyiddikt23@gmail.com, 5 maysarah926@gmail.com
Received Apr 21th 2022; Revised Apr 26th 2022; Accepted Apr 30th 2022 Corresponding Author: Suryani

## Abstract
This study uses three Classification Algorithms, namely K-Nearest Neighbor, Naïve Bayes, and Decision Tree in the Analysis of Nusantara Islamic Sentiments through Twitter data by crossing Twitter data from  Twitter community  comments  about  Nusantara  Islam  on  January  1,  2014  to  November  11,  2019.  used  are  python, Twitter, and Rapid Miner. The beginning of the research starts from the success of the data, the process, and the results of the highest agreement. From these results, KNN and NBC are the best algorithms with the same value of 56.71% with 10 positive responses, 276 negative, and 3914 neutral. Twitter's public opinion about Islam is mostly neutral, arguably good, and arguably bad. Islam Nusantara is a common topic in Indonesian society through data obtained at this time.
Keyword: Crawling, Decision Tree, Islam Nusantara, KNN, NBC, Twitter

## Abstrak
Penelitian ini menggunakan perbandingan tiga Algoritma Klasifikasi, yaitu K-Nearest Neighbor, Naïve Bayes, dan  Decision  Tree  pada  Analisis  Sentimen  Islam  Nusantara  berdasarkan  data  Twitter  dengan  cara mengcrawlingkan data Twitter komentar masyarakat Twitter tentang Islam Nusantara dari tanggal 1 Januari 2014  sampai  11  November  2019.  Tools  yang  digunakan  adalah  python,  Twitter,  dan  Rapid  Miner.  Awal penelitian  dimulai  dari  pengumpulan  data, proses,  dan hasil  dari  akurasi  yang  tertinggi. Dari  hasil  tersebut, KNN dan NBC adalah algoritma terbaik dengan value yang sama yaitu 56,71% dengan 10 respon positif, 276 negatif,  dan  3914  netral.  Pendapat  masyarakat  dari  Twitter  mengenai  Islam  Nusantara  kebanyakan  adalah netral, bisa dibilang baik, dan bisa dibilang buruk. Islam Nusantara merupakan topik yang biasa saja dalam masyarakat Indonesia melalui data yang didapatkan saat ini.
Kata kunci : Crawling , Decision Tree , Islam Nusantara, KNN, NBC, Twitter

## 1. PENDAHULUAN
Perkembangan komunikasi di dunia saat ini berkembang sangat pesat, terutama media sosial. Media sosial saat ini sudah seperti kebutuhan masyarakat pada umumnya, salah satu media yang banyak digunakan yaitu Twitter. Dewasa ini, Twitter menjadi salah satu situs microblogging populer, ini terlihat sejak pertamanya kalinya Twitter diluncurkan [1]. Awalnya Twitter adalah situs pertemanan, namun kini beralih fungsi sebagai platform pemasaran yang efisien. Hal ini terjadi karena Twitter dinilai memiliki kemampuan  mempengaruhi pengguna berdasarkan topik, pendapat dan berita yang dapat dilihat melalui halaman Twitter [2].
Dari 264 juta jiwa, pemakai internet di Indonesia sebesar 55% dan Twitter memiliki 19,5 juta pengguna di Indonesia dari 500 juta pengguna global. Setiap harinya, paling tidak ada 9,7 juta tweet yang berasal dari pengguna di Indonesia [3]. Jumlah yang cukup besar tersebut merupakan cuitan para penggunanya tentang hal pendidikan, hiburan, pekerjaan, dan termasuk juga keagamaan.
Salah satu isu keagamaan yang sering di diskusikan dari tahun ke tahun dan kembali di perbincangkan kembali di tahun 2019 adalah Islam Nusantara. Islam Nusantara adalah perwujudan nilai-nilai Islam yang telah mengalami percampuran dengan kebudayaan lokal [4]. Banyak perdebatan mengenai Islam Nusantara ini, ada yang mendukung, dan bahkan ada yang tidak setuju dengan Islam Nusantara tersebut. Ada yang mengatakan bahwa percampuran nilai Islam dengan budaya lokal itu baik, dan bahkan ada yang mengatakan bahwa Islam Nusantara merupakan paham yang sesat dan dibuat-buat oleh pengarangnya [5]. Untuk mengetahui bagaimana bentuk  Islam  Nusantara  tersebut,  maka  dapat  dilakukan  dengan  cara  analisa  sentimen  komentar  pengguna sosial media  di Twitter.
Analisis sentimen didefinisikan sebagai opinion mining. Analisis ini dapat diterapkan dalam berbagai kemungkinan, seperti analisa produk konsumen, jasa kesehatan, keuangan, peristiwa sosial dan politk. Analisis sentimen pada suatu kalimat, bertujuan untuk memetakan pertimbangan penilaian positif atau negatif terhadap suatu  kejadian  atau  entitas  tertentu  [6].  Analisa  sentimen  dilakukan  guna  menentukan  sentimen  dari  Islam Nusantara, khususnya mengetahui sentimen publik terhadap isu Islam Nusantara negatif, netral atau baik di tahun 2014-2019.
Berdasarkan  penelitian  yang  dilakukan  oleh  Khamar  yang  mencoba  melakukan  perbandingan  untuk mengetahui  tingkat  akurasi  dari  tiga  buah  algoritma  yaitu  k-NN,  Naive  Bayes  dan  SVM,  didapatkan  hasil bahwa algoritma k-NN merupakan Algoritma yang baik untuk melakukan klasifikasi teks pendek [7]. Beberapa penelitian yang dilakukan oleh Taheri dan Marmmadov[8] tentang analisis dokumen tekstual, Algoritma yang paling banyak digunakan adalah Naive Bayes Classifier. Naïve Bayes adalah salah satu algoritma yang popular digunakan  untuk  keperluan  data  mining  karena  kemudahan  penggunaannya  serta  waktu  pemrosesan  yang cepat, mudah diimplementasikan dengan strukturnya yang cukup sederhana dan tingkat efektifitas tinggi [8].
Pada penelitian yang dilakukan Youn dan McLeod [9] di tahun 2006 membuktikan bahwa decision tree dengan algoritma C4.5 lebih efisien dan paling sederhana jika dibandingkan algoritma klasifikasi yang lainnya. Dari Penelitian lain yang dilakukan oleh Jyh-Jian pada tahun 2008 [10] diperoleh hasil bahwa Algoritma ID3 dari  decision  tree  merupakan  Algoritma  yang  paling  baik  jika  dibandingkan  dengan  beberapa  algoritma klasifikasi lainnya.
Algoritma K-NN termasuk salah satu pembelajaran mesin yang paling sederhana dimana sebuah objek diklasifikasikan berdasarkan kelas mayoritas sejumlah k objek tetangga. Pemilihan terbaik k tergantung pada data.  Secara  umum  nilai  k  lebih  besar  akan  mengurangi  efek  derau  saat  klasifikasi  tetapi  menyebabkan perbedaan antar kelas tidak mencolok. Akurasi dari Algoritma k-NN dapat berkurang karena adanya derau dan fitur  atau  atribut  yang  tidak  relevan  maupun  fitur  yang  skalanya  tidak  konsisten  dibandingkan  fitur  lainnya [11]. Penelitian selanjutnya akan dilakukan hampir sama dengan penelitian Khamar [7]. Tetapi, kali ini akan menggunakan  3  algoritma  yang  hampir  sama  yang  akan  di  lakukan  dengan  analisis  sentimen  dari  Islam Nusantara yaitu k-NN, Naïve Bayes, dan Decision Tree.

## 2. BAHAN DAN METODE
Metodologi penelitian dari penelitian ini dapat ditunjukkan pada gambar 1 dengan proses utama terdiri atas crawling data, pra proses, pelabelan, pembagian data, pemodelan algoritma serta analisis. Algoritma yang digunakan dalam penelitian ini adalah k-NN, Naïve Bayes, dan Decision Tree.

## 2.1. Twitter
Twitter merupakan  perangkat  komunikasi  internet  yang  sangat  populer  di  kalangan  pengguna  dunia maya, twitter dapat  di  jadikan  media  untuk  memberikan  tanggapan  mengenai  suatu  fenomena  yang  sedang hangat  di  perbincangkan.  Menurut  laporan  yang  dirilis  oleh Wearesocial pada  awal  tahun  2018  dijelaskan bahwa  pengguna  internet  di  Indonesia  mencapai  angka  132  juta  orang  dengan  60%  persennya  mengakses internet menggunakan ponsel pintar, menjadikan Indonesia sebagai peringkat ke-4 terbesar negara pengakses internet.

## 2.2. Crawling Data
Proses ini merupakan proses untuk mengambil data – data posting dengan menggunakan bantuan API search  pada  twitter.  Pengumpulan  data  dilakukan  dengan  cara  mengambil  tweet  (Crawling)  sebanyak  9800 data  training  dan  4200  data  testing  dengan  total  14000  data    tweet  Twitter  Indonesia  mengenai  “Islam Nusantara” menggunakan tools Anaconda  dan Twitter. Data islam nusantara bisa dilihat pada tabel 1 dan Data training bisa dilihat pada tabel 2 setra data testing bisa dilihat pada tabel 3.
Gambar 1. Metodologi Penelitian

## 2.3. Pre- Processing
Preprocessing adalah tahapan terpenting dalam setiap sistem Natural Learning Processing, karena setiap karakter, kata, dan kalimat diproses untuk mencari pengetahuan menarik, non-trivial, dan pengetahuan dalam kalimat tidak terstruktur [8]. Tahapan-tahapan dalam preprocessing biasanya ialah [14]:
1. Normalisasi: merupakan proses yang dilakukan unruk membersihkan fitur-fitur yang tidak diperlukan dalam pengambilan data yang ada pada twitter , seperti URL, Username, dan lain-lain.
2. Tokenisasi: adalah tahapan memisahkan kumpulan teks menjadi kata-kata, simbol dan elemen-elemen lainnya yang disebut token.
3. Filter  Token  merupakan  pengambilan/menyaring  sebuah  kata  yang  berkarakter  missal  di  input  nilai karakter 3 maka panjang dalam sebuah karakter 3 maka panjang dalam sebuah karakter kata akan di filter menjadi panjang 3 karakter sesuai panjang karakter yang diinputkan.
4. Stemming: proses menghilangkan kata-kata yang tidak penting dalam teks namun sering muncul yang tidak memiliki pengaruh apapun dalam proses ekstraksi sentimen suatu preview. Misalnya kata yang termasuk kata penunjuk waktu dan kata
Tabel 1. Data Islam Nusantara No Text Sentimen 1 islam nasionalis jenis islam yg islam nusantara netral 2 quotes lisan jari ciri adab adab ciri manusia tiada … positif 3 sesat aqidah islam nusantara http bit ly shoxu negatif 4 sesat aqidah islam nusantara http bit ly shoxu negatif 5 runtuh iman masuk islam nusantara toleransi … positif 6 keluarga balayudha islam nusantara selamat … positif 7 rutin latih pencak silat asipkholbihi pemkab pkl rks … netral 8 klu utk nu khawatir mas broo nu islam moderat dgn … negatif 9 selamat menang tanding kaligrafi islam nusantara … positif … … … 14000 islam nusantara netral
Tabel 2 . Data Training No Text Sentimen 1 islam nasionalis jenis islam yg islam nusantara netral 2 quotes lisan jari ciri adab adab ciri manusia tiada … positif 3 sesat aqidah islam nusantara http bit ly shoxu … negatif 4 sesat aqidah islam nusantara http bit ly shoxu … negatif 5 runtuh iman masuk islam nusantara toleransi … positif 6 keluarga balayudha islam nusantara selamat ... positif 7 rutin latih pencak silat asipkholbihi pemkab pkl … netral 8 klu utk nu khawatir mas broo nu islam moderat … negatif 9 selamat menang tanding kaligrafi islam nusantara… positif … … … 9800 islam nusantara astaghfirullah negatif Tabel 3. Data Testing No Text Sentimen 1 islam nusantara arab arab alat tarik perhati biar ... netral 2 islam nusantara bong netral 3 islam nusantara cuman islam proposal netral 4 menteri agama islam nusantara netral 5 ntu biksu arab pakai gak mnghargai budaya … netral 6 jil islam nusantara sumber picu pecah nkri… negatif 7 islam muslim menyakini islam islam rahmat … positif 8 kumpul audio sesat jil jaring islam liberal… negatif 9 amat politik adi prayitno saing partai gerindra … positif … … … 4200 islam nusantara netral

## 2.4. K-NN
Algoritma  k-Nearest  Neighbour  (K-NN)  adalah  Algoritma  untuk  melakukan  klasifikasi  objek berdasarkan  data  latih  terdekat  pada  ruang  fitur  [11].  K-NN  adalah  sebuah  jenis  pembelajaran  berdasarkan instance  atau  lazy  learning,  dimana  fungsi  hanya  sesuai  secara  lokal  dan  komputasi  ditangguhkan  hingga klasifikasi.

## 2.5. Naïve Bayes
Naive bayes classifier adalah algoritma klasifikasi yang didasarkan kepada teorma Bayes dengan asumsi independen dan difungsikan untuk melakukan prediksi data seakurat mungkin [13]. Naïve bayes merupakan salah  satu  Algoritma  yang  banyak  digunakan  berdasarkan beberapa  sifatnya  yang  sederhana,  Algoritma  ini mengklasifikasikan  data  berdasarkan  probabilitas  P  atribut  x  dari  setiap  kelas  y  data  [9].  Naïve  bayes mengklasifikasikan  kelas  berdasarkan  pada  probabilitas  sederhana  dengan  mengasumsikan  bahwa  setiap atribut dalam data tersebut bersifat salih berpisah. Pada model probabilitas setiap kelas k dan jumlah atribut a yang dapat ditunjukkan pada persamaan 1.
𝑃 =   (𝑦 1 |𝑥 1, 𝑥 2 , … 𝑥 𝑎 ) (1)
Perhitungan naïve bayes yaitu probabilitas dari kemunculan dokumen x a pada kategori kelas Y k P(x a |y k ), dikali  dengan  probabilitas  kategori  kelas  P(y k ).  Dari  hasil  kali  tersebut  kemudian  dilakukan  pembagian terhadap  probabilitas  kemunculan  dokumen  P(x a ).  Sehingga  didapatkan  rumus  perhitungan  Naïve  Bayes dituliskan pada persamaan 2.
𝑃 =   (𝑦 1 |𝑥 1, 𝑥 2 , … 𝑥 𝑎 ) (2)
Kemudian dilakukan proses pemilihan kelas yang optimal maka dipilih nilai peluang terbesar dari setiap probabilitas kelas yang ada. Maka didapatkan rumu untuk memilih nilai terbesar seperti pada persamaan 3.
𝑦(𝑥 𝑖 )   = arg max 𝑃(𝑦) ∏ 𝑎 𝑖 = 1 𝑃(𝑥 1 | 𝑦) (3)

## 2.6. Decision Tree
Algoritma  ini  merupakan  salah  satu  Algoritma  yang  ada  pada  teknik  klasifikasi  dalam  data  mining. Decision Tree merupakan suatu konsep flowchart yang strukturnya pohon (tree), dimana setiap node (simpul internal) merepresentasikan atribut, dan cabangnya menggambarkan hasil tes atau nilai input atribut, sedangkan
daunnya  merupakan  representasi  dari  kelas  atau  distribusi  kelas  [13].  Algoritma  ini  merupakan  salah  satu Algoritma yang ada pada teknik klasifikasi dalam data mining. Algoritma pohon keputusan mengubah fakta yang sangat besar menjadi pohon keputusan yang merepresentasikan aturan. Pohon keputusan juga berguna untuk mengekplorasi data, menemukan hubungan tersembunyi antara sejumlah calon variable input dengan sebuah variable target [12].
Data dalam pohon keputusan biasanya dinyatakan dalam bentuk tabel dengan atribut dan record. Atribut menyatakan  suatu  parameter yang  disebut  kriteria  dalam pembentukan  pohon.  Misalkan  untuk menentukan main  tenis,  kriteria  yang  diperhatikan  adalah  cuaca,  angina,  dan  suhu.  Salah  satu  atribut  merupakan  atribut yang menyatakan data solusi per item data yang disebut atribut hasil.

## 3. HASIL DAN ANALISIS
Dari  hasil  data  yang  telah  di  preprocessing  tadi,  maka  data  tersebut  langsung  diklasifikasi  kan menggunakan tools Rapid Miner. Data Preproccessing tadi akan di proses kembali menggunakan Algoritma Decision tree, K-NN, dan Naïve Bayes.

## 3.1. Decision Tree
Data yang telah melewati tahap preprocessing tadi, langsung diproses melalui rapid miner, dan didapatkan tingkat akurasi dari Decision Tree sebesar 49,90 %
Tabel 4 . Prepocessing Decision Tree Row sentimen Prediction(s.. Confidence(.. Confidence(.. Confidence(.. Text 1 netral netral 0.486 0.185 0.330 islam nusant.. 2 netral netral 0.486 0.185 0.330 islam nusant.. 3 netral netral 0.486 0.185 0.330 islam nusant.. 4 netral netral 0.486 0.185 0.330 menteri aga.. 5 netral netral 0.486 0.185 0.330 ntu biksu ara.. 6 negatif netral 0.486 0.185 0.330 jil islam nusa.. 7 positif netral 0.486 0.185 0.330 islam musli.. 8 negatif netral 0.486 0.185 0.330 kumpul audio.. 9 positif netral 0.486 0.185 0.330 amat politik a.. 10 negatif netral 0.486 0.185 0.330 islam nusant.. 11 netral netral 0.486 0.185 0.330 jejak keliling.. 12 netral netral 0.486 0.185 0.330 jejak keliling.. 13 netral netral 0.486 0.185 0.330 jejak keliling.. 14 positif netral 0.486 0.185 0.330 nu promosi i.. 15 negatif netral 0.486 0.185 0.330 hijrah tren la..
ExampleSet (4.200 examples, 5 special attributes, 1 regular attribute)
Tabel 5. Hasil Akurasi Decision Tree Evaluation True Netral True Negatif True Positif Class Precision Pred. netral 2096 1301 803 49.90% Pred. negatif 0 0 0 0.00% Pred. positif 0 0 0 0.00% Class recall 100.00% 0.00% 0.00% -
Tabel  5  merupakan  hasil  pengukuran  tingkat  akurasi  menggunakan  tool  Rapid  Miner.  Didapatkan  akurasi 49.90% untuk prediksi netral dengan jumlah true netral 2096, true negatif 1301 dan true positif 803.

## 3.2. K-NN
Data yang telah melewati tahap preprocessing tadi, langsung diproses melalui rapid miner, disini kami menggunakan k 1 sehingga didapatkan tingkat akurasi dari k-NN sebesar 56,71 %
Tabel 6. Prepocessing K-NN Row Sentimen Prediction(s.. Confidence(.. Confidence(.. Confidence(.. Text 1 netral netral 1 0 0 islam nusant.. 2 netral netral 1 0 0 islam nusant.. 3 netral netral 1 0 0 islam nusant.. 4 netral netral 1 0 0 menteri aga.. 5 netral netral 1 0 0 ntu biksu ara.. 6 negatif negatif 0 0 1 jil islam nusa.. 7 positif netral 1 0 0 islam musli..
Row Sentimen Prediction(s.. Confidence(.. Confidence(.. Confidence(.. Text 8 negatif negatif 0 0 1 kumpul audio.. 9 positif netral 1 0 0 amat politik a.. 10 negatif netral 1 0 0 islam nusant.. 11 netral netral 1 0 0 jejak keliling.. 12 netral netral 1 0 0 jejak keliling.. 13 netral netral 1 0 0 jejak keliling.. 14 positif netral 1 0 0 nu promosi i.. 15 negatif netral 1 0 0 hijrah tren la..
ExampleSet(4.200 examples, 5 special attributes, 1 regular attribute)
Tabel 7. Hasil Akurasi K-NN Evaluation True Netral True Negatif True Positif Class Precision Pred. netral 2096 1025 793 53.55% Pred. negatif 0 276 0 100.00% Pred. positif 0 0 10 100.00% Class recall 100.00% 21.21% 1.25% -
Tabel 7 adalah hasil akurasi algoritma K-NN menggunakan tool Rapid Miner. Didapat akurasi 56.71% dengan jumlah true netral 2096, true negatif 1025, dan true positif 793.

## 3.3. Naïve Bayes Classifier
Data yang telah melewati tahap preprocessing tadi, langsung diproses melalui rapid miner, dan didapatkan tingkat akurasi dari NBV sebesar 56,71 %
Tabel 8. Preprocessing NBC Row Sentimen Prediction(s.. Confidence(.. Confidence(.. Text 1 netral netral 0.333 0.333 islam nusant.. 2 netral netral 0.333 0.333 islam nusant.. 3 netral netral 0.333 0.333 islam nusant.. 4 netral netral 1.000 0.000 menteri aga.. 5 netral netral 0.333 0.333 ntu biksu ara.. 6 negatif negatif 0.000 0.000 jil islam nusa.. 7 positif netral 0.333 0.333 islam musli.. 8 negatif negatif 0.333 0.333 kumpul audio.. 9 positif netral 0.333 0.333 amat politik a.. 10 negatif netral 0.333 0.333 islam nusant.. 11 netral netral 0.333 0.333 jejak keliling.. 12 netral netral 0.333 0.333 jejak keliling.. 13 netral netral 0.333 0.333 jejak keliling.. 14 positif netral 0.333 0.333 nu promosi i.. 15 negatif netral 0.333 0.333 hijrah tren la..
ExampleSet(4.200 examples, 5 special attributes, 1 regular attribute)
Tabel 9. Hasil Akurasi NBC
Evaluation True Netral True Negatif True Positif Class Precision Pred. netral 2096 1025 793 53.55% Pred. negatif 0 276 0 100.00% Pred. positif 0 0 10 100.00% Class recall 100.00% 21.21% 1.25% -
Data yang sama kemudian dilakukan pengukuran menggunakan tool Rapid Miner, dengan hasil akurasi 56.71% seperti pada tabel 9.

## 3.4. Hasil
Hasil yang didapatkan dari perbandingan 3 klasifikasi tersebut dapat ditunjukkan pada tabel 10.
Tabel 10. Hasil Akurasi 3 Algoritma
Sentimen Analisis KNN NBC DecisionTree Positif 803 10 10 0 Negatif 1301 276 276 0 Netral 2096 3914 3914 4200 Akurasi 56,71% 56,71% 49,90%
Klasifikasi  yang paling bagus dari tingkat akurasi adalah KNN dan NBC. Dimana Akurasi keduanya sama dengan tingkat akurasi sebesar 56,71 %. Dari hasil Prediksi Sentimen yang didapatkan sesuai akurasi tertinggi. Topik “Islam Nusantara” menurut pendapat masyarakat dari data Twitter yang di Crawling adalah Netral. Masyarakat Twitter banyak berpendapat dan memilih Netral mengenai Islam Nusantara yang ada di Indonesia ini, maka dari itu Islam Nusantara menurut data penelitian ini merupakan pokok pembicaraan yang biasa pada umumnya melalui data 2014-2019 dari komentar masyarakat Twitter.

## 4. KESIMPULAN
Dari  hasil  yang  didapatkan,  Islam  Nusantara  merupakan  Topik  pembahasan  yang  biasa  saja  dimana masyarakat hanya berpendapat Netral. Adapun dalam hasil tersebut yang berbicara positif sebanyak 10 orang, 276 negatif, dan 3914 netral dari 4200 data yang di dapatkan dari Twitter tahun 1 Januari 2014 - 11 November 2019. Perhitungan yang bagus tersebut didapatkan dari dua algoritma yang memiliki akurasi terbaik yaitu KNN dan  NBC  yang  memiliki  value  yang  sama  dalam  menentukan  klasifikasi  data.  Penelitian  ini  agar  lebih dilanjutkan atau dikembangkan kembali hasil penelitian ini dimana hasil yang didapatkan belum tentu mutlak atau benar dalam mengambil keputusan yang akan dibuat kedepannya, dikarenakan data Twitter yang berisi pendapat masyarakat secara acak sehingga tingkat keakuratan dan keaslian para kritikus yang masih diragukan.

## REFERENSI
[1]. D.  Rosdiansyah,  “ANALISIS  SENTIMEN  TWITTER  MENGGUNAKAN  ALGORITMA  K- NEAREST NEIGHBOR DAN PENDEKATAN LEXICON,” UIN Suska Riau, 2014.
[2]. C.  B.  Hanson,  “Native  Advertising  on  Facebook  and  Twitter :  A  Content  Analysis  of  Sponsored Messages in User News Feeds,” pp. 388–393, 2019.
[3]. C. Prianto, N. H. Harani, and I. Firmansyah, “Analisis Sentimen Terhadap Kandidat Presiden Republik Indonesia Pada Pemilu 2019 di Media Sosial Twitter,” vol. 3, no. 4, pp. 405–413, 2019.
[4]. E. Susanto and Karimullah, “Islam Nusantara: Islam Khas dan Akomodasi terhadap Budaya Lokal,” vol. 16, no. 1, pp. 56–80, 2016.
[5]. B. A. Saebani, “The role of islamic scholars in interpreting of the local culture as a model nusantara islam,” vol. 06, no. 12, pp. 161–174, 2019.
[6]. M. R. Irfan, M. A. Fauzi, and Tibyani, “Analisis Sentimen Kurikulum 2013 pada Twitter menggunakan Ensemble Feature dan Algoritma K-Nearest Neighbor,” vol. 2, no. 9, pp. 3006–3014, 2018.
[7]. M. Machado, E. Ruiz, and K. J. Abraham, “A New Statistical Approach for Comparing Algorithms for Lexicon Based Sentiment Analysis,” pp. 1–16, 2019.
[8]. N. Muchammad, P. Insap, W. Wahyu, “Studi Literatur Tentang Perbandingan Algoritma untuk Proses Analisis Sentimen di Twitter,”pp. 1-8, 2016
[9]. O. Somantri, “Text Mining Untuk Klasifikasi Kategori Cerita Pendek Menggunakan Naïve Bayes”, vol. 12, no. 1, pp. 1-6, 2017
[10]. Sheu,  Jyh-Jian,  May  2008,  An  Efficient  Two-phase  Spam  Filtering  Methode  Based  on  E-mails categorization. International Journal of Network Security, Vol 8, No 3, pp. 334-343. Taiwan.
[11]. W.Imama, T. Eranti, “Prediksi Ketepatan Waktu Lulus Mahasiswa dengan k-NN dan NBC”, Vol. 3, No. 2, pp. 1-8 2017
[12]. B.  Dwi,  F.  Slamat.  “Klasifikasi  Data  Karyawan  untuk  menentukan  Jadwal  Kerja  menggunakan Algoritma Decision Tree”, pp. 1-7
[13]. A. Harun and D. P. Ananda. "Analisa Sentimen Opini Publik Tentang Vaksinasi Covid-19 di Indonesia Menggunakan Naïve bayes dan Decission Tree: Analysis of Public Opinion Sentiment About Covid-19 Vaccination in Indonesia Using Naïve Bayes and Decission Tree.", MALCOM: Indonesian Journal of Machine Learning and Computer Science, Vol. 1, No. 1, pp: 58-64, 2021.
[14]. R.  W.  Hardian,  P.  E.  Prasetio,  U.  Khaira,  T.  Suratno.  "Analisis  Sentiment  Kuliah  Daring  Di  Media Sosial  Twitter  Selama  Pandemi  Covid-19  Menggunakan  Algoritma  Sentistrength:  Online  Lecture Sentiment  Analisys  On  Twitter  Social  Media  During  The  Covid-19  Pandamic  Using  Sentistrength Algorithm.", MALCOM: Indonesian Journal of Machine Learning and Computer Science, Vol. 1, No. 2, pp: 138-143, 2021.