ANALISIS SENTIMEN PADA OPINI PENGGUNA APLIKASI QASIR MENGGUNAKAN SUPPORT VECTOR MACHINE DAN RANDOM FOREST
(SENTIMENT ANALYSIS ON USER OPINION OF QASIR APPLICATION USING A SUPPORT VEC- TOR MACHINE AND RANDOM FORESTS)
Dhana Aulia Ayu Kurniawan 1) , Ema Utami 2) , Hanif Al Fatta 3) 1, 2,3) Magister Teknik Informatika, Universitas AMIKOM Yogyakarta Jalan Ring Road Utara, Condong Catur, Depok, Sleman, Yogyakarta 55281 e-mail: dhana8277@students.amikom.ac.id 1) , ema.u@amikom.ac.id 2) , hanif.a@amikom.ac.id 3)

## ABSTRAK
Qasir merupakan aplikasi Point-Of-Sale (POS) berbasis android yang bisa diakses secara gratis pada Google Playstore. Dengan banyaknya aplikasi POS yang tersedia, pengguna akan lebih selektif dalam memilih aplikasi yang akan digunakan. Salah satu aspek yang dapat mempengaruhi keputusan memilih aplikasi adalah opini pada aplikasi  tersebut.  Opini  merupakan  informasi  yang  didapatkan  setelah  menggunakan  aplikasi  bisa  berisi  kritik maupun  saran.  Sehingga  berdasarkan  hal  tersebut  pengguna  dapat  menyimpulkan  bagaimana  pengguna  lain menggunakan  aplikasi  tersebut.  Selain  berguna  untuk  pengguna,  opini  jika  diolah  dengan  baik  akan menghasilkan sebuah informasi yang dapat digunakan untuk evaluasi bagi tim pengembang. Untuk menganalisa dan  menemukan  hubungan  antar  data  yang  dimiliki  dapat  menggunakan  Data  Mining.  Penelitian  ini  akan menggunakan  metode  Support  Vector  Machine  dan  Random  Forest,  namun  masing  masing  metode  memiliki kekurangan dan kelebihannya sehingga kedua metode tersebut akan dibandingkan nilai akurasinya. Hasil yang didapat  adalah  Support  Vector  Machine  memiliki  nilai  akurasi  tertinggi  dengan  80,63%  sedangkan  Random Forest sebesar 80,21%.
Kata Kunci: POS, Klasifikasi, Random Forest, Support Vector Machine, Analisis Sentimen.

## ABSTRACT
Qasir  is  an  Android-based  Point-Of-Sale  (POS)  application  that  can  be  accessed  for  free  on  the  Google Playstore. With so many POS applications available, users will be more selective in choosing the application to use. One aspect that can influence the decision to choose an application is the opinion on the application. Opin- ion is information obtained after using the application that can contain criticism or suggestions. So based on this the user can conclude how other users use the application. Besides being useful for users, opinions if processed properly will produce information that can be used for evaluation for the development team. To analyze and find relationships between owned data, you can use Data Mining. This research will use the Support Vector Machine and Random Forest methods, but each method has its advantages and disadvantages so that the accuracy of the two methods will be compared. The results obtained are that the Support Vector Machine has the highest accura- cy value with 80.63% while the Random Forest is 80.21%.
Keywords: POS, Classification, Random Forest, Support Vector Machine, Sentiment Analysis

## I. P ENDAHULUAN
oogle  Play  Store  merupakan  sebuah  ap- likasi  pada smartphone dimana  berbagai jenis  kategori  aplikasi  dapat  diunduh secara  berbayar  maupun  gratis.  Qasir  merupakan salah  satu  aplikasi Point-Of-Sale (POS)  berbasis android  yang  terdapat  di  Google  Play  Store.  Ap- likasi  ini  diciptakan  untuk  mencatat  penjualan, mengelola produk, mengawasi stok dan memantau laporan transaksi. Akan tetapi banyaknya aplikasi POS  membuat  pengguna  lebih  selektif  dalam menentukan  aplikasi  yang  akan  digunakan.  Opini
merupakan  informasi  yang  didapatkan  setelah menggunakan  aplikasi  bisa  berisi  kritik  maupun saran. Sehingga berdasarkan hal tersebut pengguna  dapat  menyimpulkan  bagaimana  ap- likasi  tersebut.  Selain  berguna  untuk  pengguna, opini  jika  diolah  dengan  baik  akan  menghasilkan sebuah  informasi  yang  dapat  digunakan  untuk evaluasi bagi tim pengembang.
Untuk  menganalisa  dan  menemukan  hubungan antar  data  dapat  menggunakan Data  Mining .  Di- antara  banyaknya  metode  yang  dapat  digunakan untuk  menganalisis  opini  berbentuk  teks,  yang akan  digunakan  dalam  penelitian  ini  adalah
G
metode Support Vector Machine (SVM) dan Ran- dom Forest .
Metode Support  Vector  Machine (SVM)  meru- pakan  teknik  prediksi,  klasifikasi  maupun  regresi yang digunakan pada banyak aplikasi  seperti bio- informatika,  pengenalan  tulisan  tangan,  dan  se- bagainya.  Implementasi  dari  SVM  ini  memer- lukan data training dan data testing sehingga digo- longkan  dalam supervised learning .  [8]  Konsep dasar  dari  SVM  ini  adalah  mencari hyperline ter- baik  sebagai  pemisah  antara  dua class data. Metode  ini  memiliki  kelebihan  diantaranya  im- plementasi  yang  mudah,  kemampuan  untuk mengklasifikasikan  pattern  yang  tidak  masuk  da- lam  class  dalam training set ,  kemudian  dapat meminimalisir eror pada training set , dan kemam- puan  untuk  menghadapi  masalah  dalam pattern . [5]
Sedangkan Random  Forest dibangun  dari  be- berapa decision  tree dengan  memilih  sejumlah  F fitur  secara  random  sehingga  digunakan  sebagai node untuk  membangun decision  tree .  Nilai  F akan  mempengaruhi  hasil  akhir  dari  kinerja  algo- ritma Random  Forest .  Jika  nilai  F  terlalu  kecil, maka  nilai  korelasi  dari tree tersebut  semakin kecil.  Kemudian  jika  nilai  F  nya  terlalu  besar maka  nilai  korelasi  dari tree tersebut  akan  se- makin  besar.  [4].  Metode  ini  membangun  banyak tree dalam  mengklasifikasikan  suatu  objek  ber- dasarkan  atributnya.  Keuntungan  menggunakan metode ini dapat mengcover dataset besar dengan dimensi tinggi. Mampu mengestimasi missing da- ta  dan  mempertahankan  akurasi  secara  efektif ketika  jumlah  missing  data  yang  banyak  hal  ini dikarenakan Random  Forest mempunyai  metode tersendiri untuk balancing error . [6]
Tujuan  dari  penelitian  ini  adalah  menganalisis sentiment opini pada aplikasi Qasir menggunakan algoritma Support  Vector  Machine dan Random Forest yang  kemudian  hasil  akurasi  dari  masing masing aplikasi akan dibandingkan untuk menemukan  metode  mana  yang  paling  cocok dengan  data  opini  yang  dimiliki.  Dengan menggunakan  2  kelas  (positif  dan  negative), penelitian  ini  akan  menggunakan  sebanyak  2767 data  opini  yang  akan  di  proses  terlebih  dahulu menggunakan  Phyton.  Sedangkan  untuk  proses analisis metode akan menggunakan aplikasi Rapid Miner 9.9.

## II. STUDI PUSTAKA
Pada  penelitian  sebelumnya  yang  menganalisis sentimen  menggunakan Support  Vector  Machine
(SVM) dengan jumlah dataset 3000 opini aplikasi pada  google  playstore  dan  metode  evaluasi menggunakan k-fold  cross  validation yang  ber- nilai  10 mendapatkan nilai  akurasi  tertinggi  sebe- sar  90,67%  dengan  menggunakan  metode pre- processing data  yaitu Tokenization,  transform case,  Filter  tokens  (by  length),  Filter  stopwords, Stemming dan Labeling . [1]
Selanjutnya  merupakan  penelitian  terdahulu yang  menggunakan  metode  modifikasi  dari Ran- dom  Forest yaitu Modified  Balanced  Random Forest .  Hal  ini  dikarenakan  data  yang  dihadapi merupakan imbalanced data  yang  nantinya  akan mempengaruhi  performa  dari  analisis  yang  akan dibangun.  Metode  dari pre-processing yang digunakan adalah case folding, cleaning, tokeniza- tion, stopword removal, stemming dan remove un- known  word .  Dari  penelitian  ini  menghasilkan nilai  akurasi  tertinggi  sebesar  79%  dengan  nilai F1-Scores 74% [9].
Penelitian  sebelumnya  membandingkan  perfor- ma  dari  metode Naïve  Bayes dan Support  Vector Machine dengan  menggunakan Particle  Swarm Optimization (PSO)  dan dataset yang  digunakan sebanyak  1364  opini.  Hasil  penelitian  menunjuk- kan  bahwa  performa  dari  metode  PSO  - Support Vector  Machine lebih  baik  dengan  nilai  akurasi 93% dan nilai AUC 97% dibandingkan PSO - Na- ïve Bayes dengan nilai akurasi 69% dan nilai AUC 65%. [10]
Kemudian  terdapat  penelitian  sebelumnya  yang membandingkan  kinerja  antara  metode  metode Random  Forest , Naïve  Bayes dan Support  Vector Machine dengan  tweet  sebagai dataset dan menggunakan  metode  pembobotan  kata  TD-IDF menghasilkan  akurasi Support  Vector  Machine tertinggi  diantara  metode  lainnya  dengan  nilai 77,58%  disusul  dengan Random  Forest sebesar 75,81% dan Naïve Bayes sebesar 75,22%. Teknik pra  -  pemrosesan  data  yang  digunakan  ada Case- folding,  cleaning  text,  Tokenize,  Stemming dan Stopword removal .[3]
Selanjutnya  terdapat  penelitian  yang  mem- bandingkan Naïve  Bayes,  Support  Vector  Ma- chine,  Decision  Trees dan Random  Forest menggunakan  400.000  opini  amazon  sebagai da- taset dengan perbandingan 80% untuk  data train- ing dan  20%  untuk  data testing .  Metode pre- processing yang  digunakan  adalah Tokenization, Removal Stopwords dan Stemming . Menghasilkan metode Support  Vector  Machine dengan  akurasi tertinggi  89%  dan  sebagai  metode  yang  komplit dikarenakan  memiliki  nilai  yang  tinggi  untuk
semua  atribut  evaluasi  seperti  Akurasi,  Presisi, Recall dan F1  Score .    Disusul  dengan  metode Random  Forest yang  menghasilkan  akurasi tertinggi  88%  kemudian  metode Naïve  Bayes dengan  nilai  85%  dan  terakhir  metode Decision Tree dengan nilai 82%. [11]
Yang  terakhir  adalah  penelitian  sebelumnya yang membandingkan Naïve Bayes, Random For- est dan Support  Vector  Machine menggunakan dataset opini  aplikasi  Ruang  Guru  pada  Google Playstore  dengan  data  sebanyak  1629.  Dengan menggunakan  metode pre-processing  Tokeniza- tion,  Stemming,  Case  Folding dan Stopword  Re- moval menghasilkan bahwa Metode Random For- est memiliki akurasi tertinggi dengan nilai 97,16% dan  AUC  sebesar  0,996  kemudian  SVM  dengan nilai  akurasi  96,01%  dengan  AUC  sebesar  0,543 dan  yang  terakhir  adalah Naïve  Bayes dengan akurasi 94,16% dengan AUC sebesar 0,999 [2].

## III. METODE PENELITIAN
Pada  penelitian  ini  merupakan  penelitian  ek- sperimen  dengan  sifat  penelitian  deskriptif  dan menggunakan  pendekatan  kuantitatif  karena  ber- tolak  ukur  dari  performa  model  yang  digunakan. Tahapan  dari  penelitian  ini  dapat  dilihat  pada gambar 1 dibawah ini:

## Gambar 1. Alur Penelitian
Secara  keseluruhan,  penelitian  ini  akan  dibagi dalam 2 tahap yaitu :

## A. Pengumpulan Data
Dengan  menggunakan  data  pada  kolom komentar  google  playstore.  Metode  yang akan digunakan adalah web scraping yang merupakan proses untuk pengambilan atau ekstraksi  data  dari  sebuah website yang disimpan dalam format tertentu. Kemudian data  tersebut  akan  dievaluasi.  Setelahnya data  yang  akan  disimpan  adalah  dalam format csv.

## B. Pengolahan Data
a. Text  preprocessing  : Tahapan  untuk mempersiapkan data sebelum digunakan  pada  proses  selanjutnya dengan  cara  membersihkan  data  teks mentah,  karena  data  yang  diperoleh  bi- asanya  bersifat  tidak  terstruktur  dan memiliki  banyak noise contohnya  im- buhan,  tanda  baca,  karakter  khusus, angka,  dan  lain  sebagainya.  [5]  Pada penelitian  ini  menggunakan  scenario Case  folding,    cleaning,  stopword  re- moval, remove frequent  and rare word,
dan stemming .
b. Labelling : Menggunakan lexicon based dengan  SentiWordNet  yang  merupakan hasil dari anotasi otomatis WordNet.
c. Pembobotan  : Menggunakan  metode TF-IDF  dengan  mengihutung  jumlah kemunculan term setiap dokumen dikali dengan  jumlah  setiap  kemunculan  kata yang sama pada semua dokumen. d. Klasifikasi Data : Menggunakan
metode SVM dan Random Forest .
e. Evaluasi : Menggunakan Cross Valida- tion , yang merupakan merupakan teknik
validasi  untuk  mengukur  hasil  analisa akan menggeneralisasi data independen.
Pada  dasarnya,  teknik  ini  akan  mem- prediksi model kemudian mem-
perkirakan  seberapa  akurat  hasil  dari analisis  model.  Salah  satu  teknik  dari cross validation adalah k-fold cross val- idation . Fokus utamanya adalah menghilangkan  bias  pada  data  yang digunakan  sehingga  pendekatan  yang dilakukan adalah memecah data dengan ukuran yang sama berdasarkan k bagian set data. [7]
Setelah keseluruhan proses dilakukan, dataset hasil  akan  diterjemahkan  kedalam wordcloud sehingga bisa diketahui kata yang sering muncul dalam komentar aplikasi Qasir ini.

## IV. HASIL DAN PEMBAHASAN
Pada  bab  ini  akan  dijelaskan  implementasi  dari rancangan yang dipaparkan pada bab sebelumnya.

## A. Pengumpulan Data
Pada penelitian ini, data berasal dari Google PlayStore,  nama instance dari  aplikasi  yang akan diambil datanya adalah
‘com.innovecto.etalastic’ language EN  dan country ID  untuk  Indonesia.  Untuk syntax dapat dilihat pada gambar 2.
Gambar 2. Crawling Data All
Setelah mengambil seluruh data review , data akan  di filter menggunakan score .  Jika  ingin mengambil  seluruh  data  maka filter  score None ,  akan  tetapi  jika  ingin  mengambil  spe- sifik score maka value  None diganti  dengan 1,2,3,4 atau 5. Untuk syntax dapat dilihat pada gambar 3.
Gambar 3. Crawling Data Filter
Karena tidak akan menggunakan seluruh da- ta,  maka  perlu  di select  column yang digunakan  dalam  tahapan  selanjutnya.  Pada penelitian  ini  menggunakan  4 column yaitu username, at, content dan score . Untuk syntax dapat dilihat pada gambar 4.
Gambar 4. Crawling Data Select Column
Berikut  merupakan  hasil  dari scraping data pada gambar 5.

## Gambar 5. Hasil Akhir Data
Proses  terakhir  dalam  pengumpulan  data adalah download hasil  tersebut  kedalam  file CSV  untuk  bisa  digunakan  dalam  proses  se- lanjutnya yang bisa dilihat pada gambar 6.
Gambar 6. Convert to CSV

## B. Text Preprocessing
Pada tahapan ini menggunakan Google Col- lab dengan Bahasa Phyton. Terdapat beberapa tahapan yang dilakukan yaitu :
a. Transform Case : Mengubah seluruh huruf menjadi huruf kecil yang bisa dilihat pada gambar 7.
Gambar 7. Transform Case
b. Remove Punctuation / Tokenize : Menghilangkan  karakter  tertentu  seperti tanda  baca,  angka,  simbol,  dan  link  URL seperti pada gambar 8.
Gambar 8. Tokenize
c. Stopword :  Menghilangkan  kata  yang  di- anggap tidak penting pada kalimat dengan menggunakan library dari  nltk.corpus  da- lam  Bahasa  inggris.  Proses  import  terlihat pada gambar 9.

## Gambar 9. Import NLTK Corpus
Setelah  daftar  kata  ter impor t,  kemudian masuk  kedalam  proses stopword .  Untuk proses  dan  hasilnya  dapat  dilihat  pada gambar 10.
Gambar 10. Stopword
d. Remove  Frequent  word :  Menghilangkan kata  yang  sering  muncul  seperti  pada gambar 11.
Gambar 11. Remove Frequent Word
e. Remove Rare word : Pada tahapan ini akan menghilangkan  kata  yang  jarang  muncul seperti pada gambar 12.
Gambar 12. Remove Rare Word
f. Stemming :  Mengubah  kata  menjadi  kata dasarnya  yang  prosesnya  dapat  dilihat  pa- da gambar 13.
Gambar 13. Stemming
g. Labeling : Untuk labeling akan menggunakan  sentiwordnet  dengan output yang  akan  diambil  hanya  Positif  dan Negatif saja. Untuk prosesnya dapat dilihat pada gambar 14.
Gambar 14. Labeling
Data  mentah  yang  awalnya  2767,  setelah diproses  menjadi  1213.  Hal  ini  membuktikan bahwa  separuh  dari  data  mentah  tidak  dapat digunakan lebih lanjut karena tidak memenuhi kriteria dari setiap proses data pre-processing yang dilakukan. Setelah itu data akan di export ke  csv.  Hasil  akhir  bisa  dilihat  pada  gambar 15 dibawah ini.

## Gambar 15. Data Akhir

## C. Pengolahan data
Selanjutnya  adalah  memproses  data  di  Rapid Miner  menggunakan  metode Support  Vector Machine (SVM) dan Random Forest yang dapat dilihat pada gambar 16 dan 17. Pada proses ter- sebut  dilakukan  didalam cross  validation yang meliputi  proses training dan testing dengan menggunakan proses pemodelan untuk mendapatkan  nilai  akurasi.  Untuk  nilai  k  pada masing masing metode menggunakan 5.

## Gambar 16. Proses SVM
Gambar 17. Proses Random Forest
Nilai akurasi  yang didapat  metode SVM ada- lah 80,63% dengan margin +/- 1.55%. Dan rata rata micro yang didapatkan adalah  80,63%. Se- hingga  nilai  maksimal  untuk  akurasinya  adalah 82.18%  dan  minimalnya  adalah  79.08%.  Se- dangkan  untuk  presisi  positif  bernilai  81.38% dan negative sebesar 56.75%. Untuk recall posi- tif  sebesar  98.36%  dan  recall  negative  sebesar 8.75%.  Untuk  nilai  AUCnya  sebesar  0.815,  se- hingga  analisis  sudah  dilakukan  dengan  baik. Pada gambar 18 terdapat hasil akurasi dan con- fusion  matrix yang  dihasilkan  oleh  metode SVM.

## Gambar 18. Hasil SVM
Kemudian  pada  gambar  19  terdapat  Grafik ROC  dan  gambar  20  terdapat Plot  View yang dihasilkan oleh metode SVM.

## Gambar 19. Grafik AUC SVM

## Gambar 20. Plot View SVM
Sedangkan  nilai  akurasi  yang  didapatkan metode Random Forest sebesar 80.21% dengan margin +/- 0.04%. Rata rata micro yang didapat adalah  80.21%.  Sehingga  nilai  maksimal  untuk akurasinya sebesar 80.25% dan minimal sebesar 80.17%.  Untuk  nilai  presisi  positif  nya  sebesar 80.21%  dan  presisi negative nya  sebesar  0%. Untuk  nilai recall positif  sebesar  100%  dan  re- call  negative  sebesar  0%.  Untuk  nilai  AUCnya sendiri  sebesar  0.820,  sehingga  analisis  sudah dilakukan    dengan  baik.  Pada  gambar  21  ter- dapat  hasil  akurasi  dan confusion  matrix yang dihasilkan oleh metode Random Forest .

## Gambar 21. Hasil Random Forest
Kemudian  pada  gambar  22  terdapat  Grafik ROC  dan  gambar  23  terdapat Plot  View  yang dihasilkan oleh metode Random Forest .
Gambar 22. Grafik AUC Random Forest
Gambar 23. Plot View Random Forest
Sehingga saat kedua metode ini dibandingkan, nilai  akurasi  tertinggi  dimiliki  oleh  SVM dengan  perbedaan  0,42%.  Walaupun  pada  nilai AUC  metode Random  Forest memiliki  nilai lebih  tinggi  0,05%  daripada  SVM,  akan  tetapi akurasi yang dihasilkan SVM lebih baik.
Berikut merupakan kumpulan kata yang sering muncul saat pre-processing data, kemudian data tersebut  diolah  dan  divisualisasikan  dengan menggunakan wordcloud yang dapat dilihat pa- da gambar 24 untuk kelas positif dan gambar 25 untuk kelas negatif.
Gambar 24. Word cloud Positive Class
Gambar 25. Word cloud Negative Class
Dari  gambar  tersebut  terdapat  beberapa  kata yang ter-highlight yaitu Cashier, Simple, Menu, Great untuk  positif  dan Error,  Problem,  Fix, Print,  Transaction untuk  negatif.  Dengan  ini, dapat  disimpulkan  bahwa  kata  kata  yang  ter- highlight merupakan  kata  yang  banyak  muncul dalam komentar yang diolah. Atau kata ini juga merupakan kata kunci untuk mengetahui hal apa saja yang positif dan negatif dari aplikasi ini.
Salah  satu  contoh  komentar  positif  yang memuat  salah  satu  kata  yang  ada  pada wordcloud  : A simple  application but  very use- ful.  There  are  still  many  improvements  but  ap- plaud the developers who are open to the obsta- cles  we  encounter.  Hopefully  the  features  will increase. Komentar ini menganggap aplikasi ini simpel  dan  sangat  berguna  walaupun  memiliki banyak ruang untuk dikembangkan lagi.
Dan salah satu contoh komentar negatif: Log- in as operator or supervisor the receipt is print- ed  only  half  without  subtotal,  total,  pay  and change.  Login  as  owner  of  the  receipt,  every- thing is printed. The store cashier must log in as the  owner  so  that  the  receipt  can  be  printed completely.  Fix  the  application  again. Komen- tar  ini  merupakan  salah  satu  contoh  bug  pada fitur  printer  dengan  spesifik  user.  Sehingga  tim developer  dapat  memperbaiki  sesuai  komentar yang dipaparkan.
Secara  keseluruhan,  dalam  komentar  positif rata rata pengguna menuliskan tentang penggunaan  aplikasi  Qasir  yang  simple,  useful, dan  bagus.  Dan  pada  komentar  negatif, pengguna mendapatkan error pada saat menggunakan  aplikasi  di  fitur  print,  transaksi dan pada saat menggunakan aplikasi Pro (Qasir- Pro/ layanan berbayar).

## V. K ESIMPULAN
Berdasarkan  analisis  dan  pengujian  yang dilakukan  pada  opini  aplikasi  Qasir  di  Google Playstore  menggunakan  metode  SVM  dan Random  Forest ,  maka  kesimpulan  yang  diambil adalah akurasi SVM lebih baik 0,42% dibandingkan Random Forest dengan
menggunakan  tahapan  text preprocessing yang sama  dan  k  yang  sama.  Walaupun  memiliki banyak  kekurangan,  penelitian  ini  berhasil mengklasifikasikan  sentimen  pengguna  aplikasi Qasir.  Dengan  nilai  AUC  yang  diatas  8 menunjukkan  bahwa  analisis  dilakukan  dengan baik.

## DAFTAR P USTAKA
[1] M. I. Ahmadi, F. Apriani, M. Kurniasari, S. Handayani and D. Gustian, "SENTIMENT ANALYSIS ONLINE SHOP ON THE PLAY STORE USING METHOD SUPPORT VECTOR MACHINE (SVM)," Seminar Nasional Informatika 2020, 2020.
[2]   R. D. Himawan and Eliyani, "Perbandingan Akurasi Analisis Sentimen Tweet," JEPIN ((Jurnal Edukasi dan Penelitian Informatika), 2021.
[3]   E. Fitri, Y. Yuliani, S. Rosyida and W. Gata, "Analisis Sentimen Terhadap Aplikasi Ruangguru Menggunakan Algoritma Naive Bayes, Random Forest Dan Support Vector Machine," TRANSFORMTIKA, 2020.
[4]   L. Muflikah, Widodo, W. F. Mahmudi and Solimun, Machine Learning Dalam Bioinformatika, Malang: UB Press, 2021.
[5]   F. A. Nugraha, R. Habibi and N. H. Harani, Analisis Sentimen Terhadap Pembatasan Sosial Menggunakan Deep Learning, Bandung: Kreatif industri Nusantara, 2020.
[6]   F. A. Sianturi, P. M. Hasugian, A. Simangunsong and B. Nadeak, Data Mining Teori dan Aplikasi Weka, Indonesia: IOCS Publisher, 2020, p. 113.
[7]   F. Tempola, M. Muhammad and A. Khairan, "Perbandingan Klasifikasi Antara KNN dan Naive Bayes pada Penentuan Status Gunung Berapi dengan
K-Fold Cross Validation," Jurnal Teknologi Informasi dan Ilmu Komputer, 2018.
[8]   I. Werdiningsih, B. Nuqoba and M. , Data Mining Menggunakan Android, Weka dan SPSS, Surabaya: Pusat Penerbitan dan Percetakan UNAIR, 2020.
[9]   F. N. Zamzami and M. D. P. Adiwijaya, "Analisis Sentimen Terhadap Review Film Menggunakan Metode Modified Balanced Random Forest dan Mutual Information," JURNAL MEDIA INFORMATIKA BUDIDARMA, 2021.
[10]  A. Mustopa, Hermanto, Anna, E. B. Pratama, A. Hendini and D. Risdiansyah, "Analysis of User Reviews for the PeduliLindungi Application on Google Play Using the Support Vector Machine and Naive Bayes Algorithm Based on Particle Swarm Optimization," IEEE, 2020.
[11]  M. Guia, R. R. Silva and J. Bernardino, "Comparison of Naïve Bayes, Support Vector Machine, Decision Tree and Random Forest on Sentiment Analysis," SCITEPRESS – Science and Technology Publications,
2019.