ISSN: 2337-7631 (Printed) ISSN: 2654-4091 (Online)
PENERAPAN METODE LONG SHORT-TERM MEMORY (LSTM) DALAM ANALISIS SENTIMEN TERHADAP PELAKSANAAN PILKADA DI MASA PANDEMI COVID-19
Dika Melati 1 , Herfina 2 dan Mulyati 3
1,3 Fakultas MIPA, Universitas Pakuan, Jl. Pakuan, Tegallega, Bogor, Indonesia
1 Emai l: dika.065117103@unpak.ac.id
3 Email : mulyati@unpak.ac.id 2 Sekolah Pascasarjana, Universitas Pakuan, Jl. Pakuan, Tegallega, Bogor, Indonesia
2 Email: herfina@unpak.ac.id

## ABSTRAK
Pelaksanaan pilkada di tengah pandemi Coronavirus disease 2019 (COVID-19) menjadi sorotan dan perbincangan masyarakat luas. Hal ini disebabkan karena melibatkan banyak orang sehingga menjadi salah  satu  resiko  penularan  virus  tersebut.  Oleh  karena  itu  dalam  penelitian  ini  melakukan  analisis bagaimana sentimen masyarakat terhadap Pilkada ditengah Pandemi COVID-19. Salah satu metode yang digunakan  dalam  analisis  sentimen  adalah Long  Short-Term  Memory (LSTM) . LSTM  merupakan pengembangan  dari  model Recurrent  Neural  Network (RNN)  yang  dapat  mengganti  node  RNN  yang bermasalah di hidden layer dengan sel LSTM yang dirancang untuk menyimpan informasi sebelumnya. Adapun data yang digunakan dalam penelitian ini adalah data tweet berbahasa Indonesia yang diambil dari Twitter dengan jumlah 5053 data.  Data dari tweet tersebut dilakukan pre-processing terlebih dahulu agar mudah  dalam  pengklasifikasian,  kemudian  diseleksi  dan  ditransformasikan  untuk  diproses  dalam data mining dengan menggunakan LSTM. Pengklasifikasian LSTM dievaluasi dengan menggunakan Confusion Matrix didapatkan accuracy sebesar 79,78%, precision sebesar 69% dan recall sebesar 64%. Dilakukan juga pengujian dengan epoch dan dropout yang berbeda, didapatkan bahwa nilai rata-rata accuracy lebih dari 80%, dan nilai accuracy terbesar diperoleh dengan epoch 45 dan dropout 20. Kata kunci: LSTM, COVID-19, Pilkada, Twitter

## ABSTRACT
The implementation of regional elections in the midst of the Coronavirus disease 2019 (COVID- 19) pandemic has become the spotlight and discussion of the wider community. This is because it involves many people so that it becomes one of the risks of transmission of the virus. Therefore, this study analyzes how public sentiment towards the elections amid the COVID-19 Pandemic. One method used in sentiment analysis is Long Short-Term Memory (LSTM). LSTM is a development of the Recurrent Neural Network (RNN) model that can replace problematic RNN nodes in the hidden layer with LSTM cells designed to store previous information. The data used in this research is Indonesian tweet data taken from Twitter with a total of 5053 data classified into positive and negative sentiment classes. The data from the tweets is preprocessed first to make it easy to classify, then selected and transformed to be processed in data mining using LSTM. The LSTM classification was evaluated using the Confusion matrix to obtain an accuracy of 79,78%, a precision of 69% and a recall of 64%. Tests were also carried out with different epochs and dropouts, it was found that the average accuracy value was more than 80%, and the greatest accuracy was obtained with epoch of 45 and dropout of 20.
Keywords: LSTM, COVID-19, Regional Elections, Twitter

## 1. PENDAHULUAN
Pemilihan umum maupun Pemilihan Kepala Daerah (Pilkada) dilakukan untuk memilih wakil- wakil rakyat yang nantinya diharapkan membawa perubahan baru bagi Indonesia. Pelaksanaan Pilkada di tahun  2020  menghadapi  tantangan  baru  dibandingkan  pelaksanaan  sebelumnya  yaitu  adanya  pandemi Coronavirus disease 2019 (COVID-19). Penularan virus dapat terjadi melalui droplet dan kontak dengan virus kemudian virus dapat masuk ke dalam mukosa yang terbuka [ 1 ]. Hal tersebut harus menjadi fokus para penyelenggara Pilkada agar dapat melakukan sesuai protokol kesehatan dengan mempertimbangkan kesehatan dan keselamatan rakyat karena pelaksanaan Pilkada membutuhkan partisipasi dan keterlibatan banyak orang sehingga bisa menjadi salah satu penyebab penularan virus tersebut.  Pelaksanaan Pilkada di tengah pandemi tersebut menjadi sorotan dan perbincangan masyarakat luas ada yang berpendapat positif dan ada juga yang berpendapat negatif. Pendapat tersebut dapat ditemukan diantaranya di tweet dari twitter
yang selanjutnya dilakukan analisis yaitu analisis sentimen. Analisis sentimen merupakan pengekspresian sikap, opini, pendapat, emosi, subjektifitas pandangan dan penilaian seseorang terhadap apa yang ditulis [ 2 ].  Analisis  sentimen  dilakukan  untuk  melihat  sentimen  dari  seseorang  terhadap  suatu  masalah. Dibutuhkannya metode yang efektif dan akurat untuk menganalisis suatu permasalahan. Salah satu metode yang  digunakan  adalah Long  Short-Term  Memory (LSTM).  LSTM  adalah  salah  satu  varian Recurrent Neural Network (RNN) yang dapat digunakan untuk mempelajari dependensi text sequences [ 3 ]. LSTM dapat  mengganti  node  RNN  yang  bermasalah  di hidden  layer dengan  sel  LSTM  yang  dirancang  untuk menyimpan informasi sebelumnya [ 4 ].
Beberapa penelitian yang sudah dilakukan mengenai analisis sentimen diantaranya yaitu tentang Analisis Sentimen Opini Pilkada DKI 2017 Pada Dokumen Twitter Berbahasa Indonesia Menggunakan Naïve  Bayes  dan  Pembobotan  Emoji. Dari  hasil  pengujian accuracy diperoleh  68,52%  untuk  kondisi pembobotan tekstual, 75,93% untuk pembobotan non-tekstual, dan 74,81% untuk kondisi penggabungan dengan nilai konstanta 0,5 untuk tekstual dan 0,5 untuk non-tekstual [ 5 ]. Penelitian lainnya tentang Analisis Sentimen  Presepsi  Masyarakat  Terhadap  Pemilu  2019  Pada  Media  Sosial  Twitter  Menggunakan Naïve Bayes.  Hasil  evaluasi  diperoleh  rata-rata recall sentiment  positif  36,8%,  sentiment  negatif  93,2%,  dan sentiment netral 86,8% [ 6 ].  Penelitian selanjutnya mengenai RNN dengan LSTM untuk Analisis Sentimen Data  Instagram.  Hasil  tingkat accuracy pengujian  yang  didapatkan  sebesar  65%  dan  tingkat accuracy penerapan  yang  didapatkan  sebesar  79,46%  [ 7 ].  Penelitian  lainnya  yaitu  Klasifikasi  Topik  dan  Analisa Sentimen Terhadap Kuesioner Umpan Balik Universitas Menggunakan Metode LSTM. Hasil konfigurasi terbaik  didapatkan  nilai  rata-rata accuracy sebesar  89,16%,  dan  untuk  implementasi  klasifikasi  topik sebesar 92,98% [ 8 ]. Penelitian lainnya mengenai Analisis sentimen menggunakan algoritma LSTM pada media sosial mengenai komentar terhadap acara televisi apakah acara tersebut bermuatan sentimen atau tidak. Hasil pengujian metode diperoleh tingkat accuracy sebesar 97% dan loss sebesar 12% [ 9 ]. Penelitian selanjutnya  mengenai  sentimen  analisis  terhadap  Pilkada  2020  menggunakan  algoritma Naive Bayes Classifier (NBC)  dan Support  Vector  Machine (SVM).  Hasil  penelitian  didapatkan  bahwa  NBC memberikan  hasil  yang  lebih  baik  dibandingkan  SVM.  Secara  keseluruhan  penggunaan  metode  NBC memiliki performansi yang baik dalam mengklasifikasi tweet dengan tingkat accuracy 92,2% [ 10 ]. Berdasarkan  permasalahan  dan  penelitian  terkait  maka  dilakukan  penelitian  mengenai  analisis sentimen  terhadap  pelaksanaan  pilkada  di  tengah  pandemi  COVID-19  dengan  metode  LSTM  sehingga dapat mengetahui sentimen masyarakat dan mengetahui tingkat accuracy model dalam klasifikasi dengan menggunakan LSTM.
2. MATERI DAN METODE
Long Short-Term Memory (LSTM) Long  Short-Term  Memory (LSTM)  merupakan  salah  satu  model deep  learning yang  dapat digunakan untuk melakukan klasifikasi sentimen [ 7 ]. LSTM dapat mengganti node RNN yang bermasalah di hidden  layer dengan  sel  LSTM  yang  dirancang  untuk  menyimpan  informasi  sebelumnya.  LSTM mempunyai tiga gerbang yaitu input gate, forget gate, dan output gate untuk mengontrol penggunaan dan memperbarui informasi teks sebelumnya . Sel memori dan tiga gerbang dirancang untuk memungkinkan LSTM  membaca,  menyimpan  dan  pembaruan  informasi  sebelumnya  [ 11 ].  LSTM  sangat  cocok  untuk mempelajari long-term dependencies. Terdapat previous  cell state, output cell state, dan forget  gate, di mana previous cell, 𝐶 𝑡−1 berfungsi menyimpan konteks lama. 𝐶 𝑡 , output cell state berfungsi menyimpan konteks yang baru, 𝑓 𝑡 , merupakan forget gate yang akan memberikan keputusan di previous cell state 𝐶 𝑡−1 . yang  akan  disimpan  ataupun  dilupakan.  Fungsi  aktivasi sigmoid ,  nilai output mendekati  0  maka  akan dilewati dan nilai mendekati 1 akan disimpan. Perhitungan forget gate dengan Persamaan 1 : 𝑓 𝑡 = σ (𝑊 𝑓 . [ℎ 𝑡−1 , 𝑥 𝑡 ] + 𝑏 𝑓 ) (1)
menggunakan fungsi aktivasi sigmoid, Input gate ( 𝑖 𝑡 ) digunakan untuk menentukan informasi baru yang akan disimpan di cell state ( 𝐶 𝑡 ) , menggunakan fungsi aktivasi 𝑡𝑎𝑛ℎ menghasilkan kandidat konteks baru 𝐶 𝑡 . Perhitungan kandidat konteks baru dan Input gate ( 𝑖 𝑡 ) dengan Persamaan 2 dan 3 :
Č 𝑡 = tanh (𝑊 𝐶 . [ℎ 𝑡−1, 𝑥 𝑡 ] +   𝑏 𝐶 ) (2)
𝑖 𝑡 = σ ( 𝑊 𝑖 . [ℎ 𝑡−1, 𝑥 𝑡 ] +   𝑏 𝑖 ) (3)
Cell state 𝐶 𝑡 akan melakukan pembaruan dengan Persamaan 4 . 𝐶 𝑡 =   𝑓 𝑡 ∗ 𝑐 𝑡−1 +   𝑖 𝑡 ∗   Č 𝑡 (4)
Langkah terakhir dengan output gate 𝑂 𝑡 , dan sigmoid layer dengan Persamaan 5 : 𝑜 𝑡 =  σ (𝑊 𝑜 . [ℎ 𝑡−1, 𝑥 𝑡 ] +   𝑏 𝑜 (5)
Vol. 12 No. 1, Maret 2024, pp. 22~28 DOI: 10.35508/jicon.v12i1.9899
dan untuk mendapatkan hasil output gate 𝑂 𝑡 dengan Persamaan 6 . ℎ 𝑡 = 𝑜 𝑡 𝑡𝑎𝑛ℎ (𝑐 𝑡 ) (6)
Metode
Metode yang diterapkan pada penelitian ini menggunakan data mining yang merupakan tahapan proses Knowledge  Discovery  and  Data  Mining (KDD)  [ 12 ].  Tahapan  dari  KDD  ini  dapat  dilihat  pada Gambar 1 .
Gambar 1. Tahapan Knowledge Discovery in Database (KDD)
Berikut penjelasan dari Tahapan KDD:
1. Cleaning and Integration
Pembersihan ( cleaning ) data merupakan proses memperbaiki kekacauan data, menghilangkan nilai- nilai  data yang salah, dan memeriksa data yang tidak konsisten.  Integrasi ( Integration ) data adalah penggabungan data dari beberapa sumber yang berbeda [ 13 ]. Pengambilan data menggunakan Twitter , di  mana  data  yang  diperoleh  belum  sepenuhnya  siap  digunakan,  diperlukannya  tahap  pembersihan untuk menyamakan bentuk kata, membuang duplikasi data, dan memeriksa data yang tidak konsisten . Tahapan-tahapan  Pembersihan yang  dilakukan  disesuaikan  berdasarkan  kondisi  data  yang  telah dikumpulkan dari media sosial Twitter. Proses pembersihan data dapat dilihat pada Gambar 2 .

## Gambar 2. Pembersihan Data
2. Selection and Transformation
Pemilihan data perlu dilakukan, data tweet yang sesuai digunakan untuk dianalisis. Transformasi yang dilakukan  pada  tahap  ini  yaitu  mengubah dataframe yang  dihasilkan  dari  proses coding disimpan dalam format comma separated values (csv) untuk diproses dalam data mining. Proses selection dan transformation dapat dilihat pada Gambar 3 .
Gambar 3. Selection and Transformation
3. Data Mining
Data  mining merupakan  teknik,  atau  metode  yang  digunakan  untuk  mencari  informasi  dengan menerapkan metode LSTM dalam penelitian ini. Data mining bertujuan untuk menemukan informasi yang berguna dari data yang berjumlah sangat banyak[ 1 ] seperti pada Gambar 4 .
Gambar 4. Data Mining
4. Evaluation and Presentation
Evaluasi model dilakukan dengan meggunakan confusion matrix dan tahap presentation merupakan tahap informasi ditampilkan dalam bentuk yang mudah dimengerti. Dalam penelitian ini hasil berupa analisis  sentimen  positif  dan  negatif  terhadap  pelaksanaan  Pilkada  di  tengah  wabah  COVID-19 dipresentasikan dalam bentuk visualisasi.

## 3. HASIL DAN PEMBAHASAN
Proses pengambilan data berasal dari tweet di Twitter pada bulan Maret 2020 sampai Desember 2020, proses pengambilan data dapat dilihat pada Gambar 5 .  Proses pengambilan data menggunakan twitter Dev  agar  mendapatkan  akses  pengambilan  data  dengan library twepy pada  python  dengan  kata  kunci “pilkada 2020” dan “pilkada pandemi”. Jumlah data yang didapat sebanyak 50 53 data. Dilakukannya tahap pembersihan data di mana data yang sebelumnya belum sepenuhnya siap digunakan. Dilakukannya tahap preprosesing untuk menyamakan bentuk kata, membuang duplikasi data dan memeriksa data yang tidak konsisten  sehingga  data  berkurang  menjadi  1415.  Berkurangnya  data  pada  tahap  tersebut  dikarenakan banyaknya kesamaan data (Gambar 5 ).
Gambar 5. Crawling Data Jumlah  sentimen  negatif  dari  data  hasil  praproses  didapatkan  1001  data  dan  sentiment  positif sebesar 414. Pengguna Twitter yang paling sering melakukan tweet mengenai pilkada di tengah pandemi COVID-19  yaitu  dari  tahun  2008  sampai  2021.  Paling  banyak  melakukan tweet berkaitan  dengan pelaksanaan pilkada di tengah pandemi COVID-19 adalah pengguna tahun 2020, hal ini bertepatan dengan pelaksanaan pilkada di tahun 2020, seperti yang terlihat pada Gambar 6 .
Gambar 6. Data Pengguna Twitter

## Proses LSTM
LSTM mempunyai tiga gerbang yaitu input gate, forget gate , dan output gate untuk mengontrol penggunaan  dan  memperbarui  informasi  teks  sebelumnya.  Memori  dan  tiga  gerbang  dirancang  untuk memungkinkan  LSTM  membaca,  menyimpan  dan  memperbarui  informasi  sebelumnya  [ 11 ].  Proses Algoritma  LSTM  menggunakan Library numpy,  keras,  sklearn  dan  tensorflow.  Dengan  menggunakan hidden layer 25, epoch 35, dropout 0.5, proses LSTM dapat dilihat pada Gambar 7 .
Gambar 7. Proses LSTM
Training Model Proses training model menggunakan epoch sebesar 30, dengan hidden layer sebanyak 20, dengan menggunakan library sklearn pada python. Hasil training model dapat dilihat pada Gambar 8 .
Gambar 8. Accuracy Model Pada saat training model mengalami overfitting di mana titik training mulai naik tetapi loss dari validasi menurun. Model mengalami overfitting dikarenakan model menghasilkan performa baik pada saat training tetapi pada saat testing model mengalami performa yang kurang baik. Penyebab overfitting bisa saja terjadi salah satu faktor penyebab overfitting kompleksitas model variabel yang melebihi data yang digunakan.

## Evaluasi Model
Mengukur  kinerja  suatu  model  yang  telah  dibuat  merupakan  hal  terpenting  dalam machine learning. Hasil prediksi model dengan LSTM divisualisasikan dengan confusion matrix seperti pada Tabel 1 .
Tabel 1. Hasil Confusion Matrix Aktual Prediksi Positif Negatif Positif 74 (TP) 41 (FN) Negatif 33 (FP) 218 (TN)
Untuk  mengukur  kinerja  model  yang  dibuat  dilakukannya  perhitungan accuracy,  precision ,  dan recall menggunakan Persamaan 7 , 8 dan 9 .
𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 𝑇𝑃+𝑇𝑁 𝑇𝑃+𝑇𝑁+𝐹𝑃+𝐹𝑁 (7) 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑇𝑃 𝐹𝑃+𝑇𝑃 (8) 𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃 𝐹𝑁+𝑇𝑃 (9)
Berdasarkan Tabel 1 , diperoleh nilai accuracy sebesar 79,78%, precision sebesar 69%, dan recall sebesar 64% yang berarti model dapat melakukan prediksi dengan benar dan dapat dipercaya. Pengujian nilai accuracy model  juga  dilakukan  sebanyak  5  iterasi  dengan  menggunakan epoch dan dropout yang berbeda. Diperoleh hasil rata-rata accuracy sebesar 81,63%, sedangkan nilai accuracy terbesar diperoleh dengan epoch 45 dan dropout 20 yaitu sebesar 83,33% seperti yang terlihat pada Tabel 2 . Jika  dilihat  dari  nilai accuracy lainnya  dapat  disimpukan  bahwa  semakin  banyak  jumlah  data training yang dilakukan maka tingkat hasil accuracy yang dihasilkan akan semakin tinggi, hasil accuracy bergantung kepada kecocokan jumlah epoch dan jumlah dataset.
Vol. 12 No. 1, Maret 2024, pp. 22~28 DOI: 10.35508/jicon.v12i1.9899
Tabel 2. Perbandingan nilai accuracy . Epoch dan dropout Accuracy Epoch 30, dropout 57. 81,18% 81,18% 80,38% 81,45% 81,72% Epoch 40, dropout 30. 80,91% 82,80% 81,99% 81,72% 80,91% Epoch 45, dropout 20. 83,33% 80,91% 80,65% 83,06% 82,26%

## 4. KESIMPULAN DAN SARAN
Data tweet mengenai  pilkada  di  tengah  COVID-19  yang  dikumpulkan  dan  sudah  dilakukan prepossessing berjumah  1415  data  dengan  label  positif  dan  negatif.  Pembagian  data  latih  dan  data  uji dilakukan  dengan random  state. Hasil  klasifikasi  dengan  menggunakan  LSTM  didapatkan  jumlah sentiment negatif sebesar 1001, dan positif sebesar 414. Pada saat training model mengalami overfitting dimana  titik training mulai  naik  tetapi loss dari  validasi  menurun.  Evaluasi  klasifikasi  LSTM  pada penelitian  ini  dengan  menggunakan confusion  matrix didapatkan  nilai accuracy sebesar  79,78%,  nilai precision sebesar 69%, dan recall sebesar 64%. Dilakukan juga pengujian dengan epoch dan dropout yang berbeda, didapatkan bahwa nilai accuracy rata rata sebesar 81,63% dan kurasi terbesar diperoleh dengan epoch 45 dan dropout 20 sebesar 83,33. Hal ini dapat disimpulkan bahwa model dapat melakukan prediksi dengan benar dan dapat dipercaya keakuratannya. Adapun saran yang didapatkan untuk untuk penelitian selanjutnya adalah dataset yang digunakan lebih beragam dan dilakukan pelabelan secara otomatis serta hasil yang diperoleh dengan metode LSTM ini dapat dibandingkan dengan metode deep learning lainnya.

## DAFTAR PUSTAKA
[1] D. Handayani, D. R. Hadi, F. Isbaniah, E. Burhan, and H. Agustin, “Penyakit Virus Corona 2019,” Jurnal  Respirologi  Indonesia ,  vol.  40,  no.  2,  pp.  119 – 129,  2020.  [Online].  Available: https://www.jurnalrespirologi.org/index.php/jri/article/view/101 .
[2]  S. F. Aliyah, H. Yasin, S. Suparti, B. Warsito, and T. Widiharis, “Analisis Sentimen PT Tiki Jalur Nugraha  Ekakurir  (PT  Tiki  JNE)  Pada  Media  Sosial  Twitter  Menggunakan  Model  Feed  Forward Neural  Network,” , J.  Statistika  Unimus ,  vol.  11,  no.  2,  2020.  [Online].  Available: https://jurnal.unimus.ac.id/index.php/statistik/article/view/6087 .
[3]  F.  A.  Nugraha,  N.  H.  Harani,  R.  Habibi,  and  Rd.  N.  S. Fatonah,  “Sentiment  Analysis  on  Social Distancing and Physical Distancing on Twitter Social Media using Recurrent Neural Network (RNN) Algorithm,” Join , vol. 5, no. 2, pp. 195 – 204, 2020, doi: 10.15575/ join.v5i2.632 .
[4] L. Wiranda and M. Sadikin,  “Penerapan Long Short Term Memory pada Data Time Series untuk Memprediksi Penjualan Produk PT. Metiska farma”, janapati , vol. 8, no. 3, pp. 184 – 196, 2020, doi: 10.23887/janapati.v8i3.19139 .
[5]  A. R. T. Lestari, R. S. Perdana, and M. A. Fauzi, “Analisis Sentimen Tentang Opini Pilkada DKI 2017 Pada Dokumen Twitter Berbahasa Indonesia Menggunakan Naive Bayes dan Pembobotan Emoji”, J- PTIIK , vol. 1, no. 12, pp. 1718 – 1724, 2017. [Online]. Available: https://j-ptiik.ub.ac.id/index.php/j- ptiik/article/view/627 .
[6] S. Juanita, “Analisis Sentimen Persepsi Masyarakat Terhadap Pemilu 2019 Pada Media Sosial Twitter Menggunakan  Naive  Bayes,” J.  MEDIA  Inform.  Budidarma ,  vol.  4,  no.  3,  p.  552,  2020,  doi: 10.30865/mib.v4i3.2140 .
[7]  R. Cahyadi, A. Damayanti, and D. Aryadani , “ Recurrent Neural Network (RNN) dengan Long Short Term Memory (LSTM)  u ntuk  Analisis Sentimen Data  Instagram,” JIKO , vol.  5  no. 2,  2020, doi: 10.26798/jiko.v5i1.407
Vol. 12 No. 1, Maret 2024, pp. 22~28 DOI: 10.35508/jicon.v12i1.9899
[8]  D. A. Lionovan, L. W.  Santoso,  and R.  Intan, “Klasifikasi Topik dan Analisa Sentimen Terhadap Kuesioner Umpan Balik Universitas menggunakan Metode Long Short-Term Memory, ” Jurnal Infra , vol.  8,  no.  2,  2020.  [Online].  Available:  https://publication.  petra.ac.id/index.php/teknik- informatika/article/view/10512
[9]  A. A. Mudding and Arifin A Abd Karim, “Analisis Sentimen menggunakan Algoritma LSTM Pada Media Sosial”, JUPIKOM , vol. 1, no. 3, 2022. doi: 10.55606/jupikom.v1i3.517 .
[10] A.  Muzaki  and  A.  Witanti,  “Sentiment  Analysis  of  the  Community  in  The  Twitter  to  The  2020 Election In Pandemic COVID- 19 By Method Naive Bayes Classifier ”, JUTIF , vol. 2, no. 2, pp. 101- 107, 2021. doi: 10.20884/1.jutif.2021.2.2.51 .
[11] M. A. Nurrohmat and A. SN, “Sentiment Analysis of Novel Review Using Long Short -Term Memory Method,” IJCCS , vol. 13, no. 3, p. 209, Jul. 2019, doi: 10.22146/ijccs.41236 .
[12]  M. Bramer, Principles of Data Mining , vol 3, University of Portsmouth, Portsmouth, Hampshire, UK: Springer, 2016.
[13]  J. Han, M. Kamber, and J. Pei, Data Mining: Concepts and Techniques Third Edition , 2011.