## Implementasi Algoritma DBSCAN dan Support Vector Machine Dalam Penentuan Sentimen Pengguna Aplikasi PeduliLindungi
Annisa Tsamratul ‘Ain, Sri Supatmi Magister Sistem Informasi, Universitas Komputer Indonesia Jl Dipati Ukur 112-116 Bandung
E-mail: ica03tsamratul@gmail.com, sri.supatmi@email.unikom.ac.id

## ABSTRAK
Aplikasi  PeduliLindungi  adalah  aplikasi  yang  digunakan  untuk  melakukan  pelacakan  dan penghentian  penyebaran  Coronavirus  Disease  (COVID-19)  yang  dikembangkan  oleh pemerintah.  Aplikasi  PeduliLindungi  dapat  di  download  melalui  Google  PlayStore  untuk pengguna  android  dan  App  Store  untuk  pengguna  iOS.  Pengguna  aplikasi  dapat menyampaikan keluhan dan pujiannya atas aplikasi yang digunakan, serta memberikan nilai atau  rating  terhadap  aplikasi  tersebut.  Namun,  terkadang  rating  yang  diberikan  dengan komentar yang diberikan tidak sesuai. Ada rating yang tinggi tetapi pada komentarnya berisi keluhan atau komplain atas aplikasinya. Penelitian ini bertujuan untuk melihat sentimen dari komentar pengguna aplikasi PeduliLindungi, sehingga pengembang aplikasi dapat mengetahui keluhan pengguna terhadap aplikasi PeduliLindungi. Penelitian ini menggabungkan metode clustering dan klasifikasi dalam menentukan sentimen pengguna aplikasi. Metode clustering digunakan  untuk  mengelompokkan  komentar  positif  dan  negatif  pada  data  latih.  Metode klasifikasi  akan  digunakan  untuk  memprediksi  komentar  positif  dan  negatif  pada  data  uji. Kombinasi  algoritma  yang  digunakan  DBSCAN  dan  SVM.  Hasil  yang  diperoleh  oleh kombinasi  algoritma  DBSCAN-SVM  didapatkan  sentimen  positif  sebanyak  1.551  dan sentimen negatif sebanyak 8.449 dan hasil confusion matrix yang didapatkan adalah 99,8%.
Kata kunci: PeduliLindungi, DBSCAN, SVM

## 1. Latar Belakang
Aplikasi PeduliLindungi adalah aplikasi yang digunakan  untuk  melakukan  pelacakan  dan penghentian  penyebaran  Coronavirus  Disease (COVID-19) yang dikembangkan oleh pemerintah [1]. Aplikasi ini mengumpulkan data yang telah dimasukan oleh satgas penanggulangan COVID-19 atau lembaga terkait yang berasal dari berbagai daerah, sehingga dapat berlaku secara nasional. Tujuan dari implementasi  aplikasi  PeduliLindungi  yaitu masyarakat  yang  berada  di  tempat  umum  atau fasilitas  publilk,  seperti  sekolah,  tempat  makan, pusat  perbelanjaan,  bandara  dan  sebagainya. Aplikasi PeduliLindungi memiliki beberapa fitur yang  bermanfaat,  diantaranya,  mendaftar  untuk vaksin COVID-19, mengunduh sertifikat vaksin,
menerima  hasil  tes  COVID-19,  sehingga  tidak perlu  mencetak  surat  hasil  tes  COVID-19,  dan sebagai check-in untuk ke fasilitas publik. Namun pada  penerapannya,  penggunaan  aplikasi PeduliLindungi  masih  banyak  kekurangan sehingga menimbulkan keluhan dari masyarakat [2].
Aplikasi  PeduliLindungi  dapat  diunduh melalui  Google  PlayStore  untuk  pengguna android  dan  App  Store  bagi  pengguna  iOS. Pengguna aplikasi dapat menyampaikan keluhan dan pujiannya atas aplikasi yang digunakan, serta memberikan  nilai  atau  rating  terhadap  aplikasi tersebut. Namun, terkadang rating yang diberikan dengan  komentar  yang  diberikan  tidak  sesuai. Ada rating yang tinggi tetapi pada komentarnya berisi keluhan atau komplain atas aplikasinya.
Pada  penelitian  ini  akan  melihat  sentimen positif  dan  negatif  dari  pengguna  aplikasi PeduliLindungi  berdasarkan  komentar  dari Google  PlayStore  dan  App  Store.  Penelitian  ini akan menggunakan gabungan algoritma DBSCAN dan SVM dan menggunakan software JupyterLab dengan bahasa pemrograman Python dan  Orange.  Lalu  akan  dilakukan  perbandingan terhadap  gabungan  metode  tersebut  terhadap akurasi  dan  presisi  hasil  dari  sentimen  yang didapatkan.
Terdapat  beberapa  penelitian  yang  pernah dilakukan  yang  berkaitan  dengan  analisis sentimen.  Penelitian  yang  dilakukan  oleh  Wiga Maulana  Baihaqi,  Muliasari  Pinilih,  Miftakhul Rohmah  (2018)  melakukan  analisis  sentimen untuk  memprediksi  unsur  SARA  pada  Twitter. Hasil yang didapatkan adalah diperoleh 139 tweet positif SARA dan 62 tweet negatif SARA, hasil akurasi yaitu 70,15% dan 71,14% [3]. Penelitian lainnya  yang  dilakukan  oleh  Muhammad  Fadli Asshiddiqi  dan  Kemas  Muslim  Lhaksmana (2020)  melakukan  analisis  sentimen  pada instagram  mengenai  kinerja  PSSI.  Hasil  yang didapatkan  adalah  hasil  pada  Decision  Tree dengan  TF-IDF  nilai  akurasi  87,45%, precision 87,72%, recall 91,74%  dan  F1-Score  89,69% sedangkan  hasil  yang  daidapatkan  dari  SVM dengan  TF-IDF  mendapatkan  nilai  akurasi akurasi 94,36%, precision 96,78%, recall 94,30% dan F1-Score 95,53% [4]. Penelitian selanjutnya dilakukan  oleh  Andris  Faesal,  Aziz  Muslim, Aditya  Hastami  Ruger,  Kusrini  (2020) melakukan  analisis  sentimen  pengguna  Twitter terhadap  produk  penjualan  toko  online.  Hasil yang  didapatkan  adalah  tingkat  akurasi  sebesar 89,80 % [5].

## 2. Metode Penelitian
Analisis  sentimen  merupakan  suatu  poses untuk  melakukan  analisis  teks  yang  digunakan untuk  mendapatkan  sentimen  atau  opini  dari internet  dan  platform  media  sosial.  Entitas  dari
analisis  sentimen  bisa  berupa  individu,  produk, jasa,  peristiwa  atau  topik  tertentu.  Analisis sentimen akan membentuk sistem yang bertujuan dalam  mengenali  opini  ke  dalam  bentuk  teks. Dengan  bantuan  analisis  sentimen,  informasi yang didapatkan belum terstruktur sehingga dapat diubah  menjadi  data  yang  lebih  terstruktur. Analisis  sentimen  dapat  dilakukan  dengan menggunakan  data  mining  [4][6].  Data  mining merupakan proses dalam menemukan pola yang unik  dan  pengetahuan  dari  sejumlah  besar  data. Sumber  data  dapat  berasal  dari  database,  data warehouse, web, tempat penyimpanan informasi lain atau data yang dimasukkan ke dalam system. Data  mining  juga  dikenal  sebagai Knowledge Discovery  in  Databases  (KDD), selain  itu  data mining  juga  dikenal  sebagai  langkah  penting dalam  proses  penemuan  pengetahuan.  Pada penelitian  ini  menggunakan  dua  metode  yaitu clustering  dan  klasifikasi  [7][8]. Clustering merupakan proses dalam melakukan pengorganisasian  terhadap  objek  atau  data  ke dalam  beberapa  kelompok (cluster) dimana anggota cluster memiliki  kemiripan  terhadap beberapa  karakteristik  dari  objek  atau  data. Terdapat  beberapa  algoritma  dari clustering seperti,  K-Means,  K-Medoid,  Agglomerative, DBSCAN,  dan  sebagainya.  Penelitian  ini  akan menggunakan algoritma DBSCAN [12].
Density-Based  Clustering  of  Application with Noise atau DBSCAN merupakan algoritma yang  membangun  area  kepadatan  untuk menemukan cluster dalam  bentuk  yang sembarang. DBSCAN menggunakan 2 parameter yang  digunakan  sebelum  melakukan clustering yaitu epsilon (eps) dan minimum points (minPts). Epsilon adalah  maksimal  jarak  antar  dua  data dalam  satu cluster dan minimum  points adalah jumlah  data  minimal  dalam  jarak epsilon agar dapat  membentuk  suatu cluster [13].  Tahapan dari DBSCAN yaitu [13]:
a. Menentukan  nilai  minPts  dan  epsilon (eps) yang akan digunakan dan memilih data awal secara acak.
b. Menghitung  jarak  antar  data  terhadap semua data dengan menggunakan rumus Euclidian distance .
c. Ambil semua hasil objek observasi yang density-reachable (observasi dalam suatu cluster namun  bukan  tetangga  dalam jangkauan  epsilon)  dengan  amatan  data awal.
d. Apabila  observasi  memenuhi  nilai epsilon  lebih  dari  minimal  jumlah observasi  dalam  suatu  kelompok  maka observasi  data  dikategorikan  sebagai core points dan kelompok terbentuk.
e. Jika observasi data adalah border points dan  tidak  ada  objek  observasi density- reachable dengan  observasi  maka lanjutkan pada objek observasi lainnya.
f. Ulangi  langkah  b  sampai  e  semua observasi data diproses.
Klasifikasi  adalah  suatu  proses  untuk mengkategorikan  data  yang  ada  sesuai  dengan atribut  atau  kelasnya.  Metode  klasifikasi menggunakan  data  latih  untuk  menghitung  cara terbaik  untuk  memetakan  data  ke  kategori tertentu dan menggunakan data uji untuk menguji performa  dari  model  yang  terbentuk.  Metode klasifikasi memiliki beberapa algoritma diantaranya Decision  Tree , Support  Vector Machine ,  KNN, Naïve  Baiyes ,  dan  sebagainya. Penelitian  ini  akan  menggunakan  algoritma Support  Vector  Machine . Support  Vector Machine atau  SVM  merupakan  algoritma  yang menerima  input  data  yang  menghasilkan  output berupa  garis  yang  memisahkan  kelas-kelas  dari data tersebut. SVM bertujuan untuk menemukan plane yang mempunyai margin maksimum, jarak maksimum  antara  titik  data  pada  kedua  kelas. Hyperplanes  adalah  batas  dari decision yang membantu  untuk  mengklasifikasikan  titik  data.
Titik data yang berada di kedua sisi hyperplane dapat dikaitkan dengan kelas yang berbeda [14].
Gambar 1. Hyperplane pada SVM (Sumber:
https://medium.com/@samsudiney/penjelasan- sederhana-tentang-apa-itu-svm-149fec72bd02)
Tahapan  Penelitian  yang  dilakukan  adalah melakukan  studi  literatur  terhadap  penelitian terdahulu dan melakukan pengumpulan data atau ekstraksi  data  dari  Google  PlayStore  dan AppStore  menggunakan  JupyterLab  dengan bahasa  pemrograman  Pyhon.  Selanjutnya melakukan  proses  text  clustering  diantaranya melakukan prarposes teks, pembobotan fitur dan pengelompokan  menggunakan  DBSCAN-SVM. Tahapan  terakhir  melakukan  evaluasi  terhadap model yang didapatkan menggunakan confusion matrix .
Gambar 2. Tahapan Penelitian

## 3. Hasil dan Pembahasan
a. Ekstraksi Data
Pengumpulan  data  dilakukan  dengan melakukan ekstraksi data dari Google PlayStore dan  App  Store.  Ekstraksi  data  menggunakan JupyterLab dengan bahasa pemrograman Python. Total data yang didapatkan sebanyak 10.000.
Gambar 3. Hasil ekstraksi data
Hasil  ekstraksi  data  dari  Google PlayStore dan App Store digabungkan ke dalam
satu  file  excel  sehingga  didapatkan  beberapa atribut yaitu:
Tabel 1. Atribut dataset Atribut Penjelasan Atribut userName Nama pengguna rating Nilai  atau  rating  terhadap aplikasi date Tanggal  dibuat  komentar  atau review review Isi review atau komentar Pada  penelitian  ini  akan  berfokus  pada  atribut review  untuk  melihat  sentimen  dari  pengguna aplikasi PeduliLindungi.
b. Praproses Teks
Pada praproses teks ini akan melakukan pengubahan  teks  mentah  menjadi  teks  yang terdefinisi  dengan  baik  sehingga  data  yang didapatkan  siap  diolah  pada  proses  selanjutnya. Data  yang  diperoleh  dari  Google  PlayStore  dan App  Store  masih  merupakan  data  mentah  yang belum rapi dan belum siap untuk diproses.
Tahapan  praproses  teks  yang  dilakukan adalah:
1) Transformation digunakan  untuk
mengubah data teks yang dimasukkan.  Proses  ini  mengubah teks  menjadi  huruf  kecil  semua, menghilangkan aksen, dan menghapus link yang tidak dibutuhkan  agar  dapat  mudah diproses pada proses selanjutnya. 2) Tokenization digunakan untuk membagi teks dalam kalimat menjadi kata  per  kata.  Proses  ini  bertujuan memudahkan  proses  selanjutnya dalam meyaring kata-kata. 3) Filtering digunakan untuk
menyaring  kata-kata  yang  akan digunakan dalam proses selanjutnya.
Proses ini akan menghapus kata-kata seperti  ke,  yang,  dari,  di,  dan  kata-
Mulai Ekstraksi Data Data Transformation Tokenization Filtering Data teks Preprocess Text Pembobotan Fitur dengan Bag of Words DBSCAN-SVM Data teks yang sudah diberikan bobot Hasil Prediksi Data Evaluasi Confusion Matrix Selesai Studi Literatur
kata  yang  tidak  diperlukan  dalam melakukan analisis.
Tabel 2. Praproses Teks Sebelum Praproses Teks Setelah Praproses Teks Aplikasi  seperti  tidak  di  urus sama  sekali,  padahal  ini aplikasi  di  butuhkan  bahkan syarat dari negara jika mau ke luar kota PAYAH
[aplikasi,  seperti,  tidak, urus, sama, sekali, padahal, aplikasi, butuhkan, bahkan, syarat,  negara,  jika,  mau,
luar, kota, payah]
Setelah  di  update  aplikasi malah  ga  bisa  dibuka.... Dibersihkan  cache  juga  ga bisa.... .sertfikat juga ga keluar keluar.. Kontak email pedulilindungi juga diabaikan.. Bad apps :( [setelah,  update,  aplikasi, malah,  ga,  bisa,  dibuka, dibersihkan,  cache,  juga, ga, bisa, sertfikat, juga, ga, keluar,  keluar,  kontak, email, pedulilindungi, juga, diabaikan, bad]
c. Pembobotan Fitur Pembobotan  fitur  bertujuan  untuk memberikan nilai terhadap kata-kata dengan cara menghitung  frekeuensi  kata-kata.  Pembobotan fitur  dilakukan  menggunakan Bag  of  Words . Pembobotan  fitur  dilakukan  untuk  memberikan nilai pada setiap kata pada teks komentar.
Tabel 3. Hasil Pembobotan Fitur dengan Bag of Words No Words Bobot 1 update 0.0380893 2 ok 0.0373801 3 bagus 0.0368262 4 tidak 0.0319029 5 bisa 0.0300583 6 membantu 0.0198229 7 ga 0.0190312 8 good 0.0177236 9 baik 0.0169397 10 mantap 0.0166916
Kata-kata  yang  sering  muncul  dapat dijadikan  sebagai  acuan  untuk  penentuan sentimen positif dan negatif.
Tabel 4. Contoh Kata Positif dan Negatif No Kata Positif Kata Negatif 1 Oke Jelek 2 Bagus Buruk 3 Mantap Bug 4 Baik Perbarui 5 Membantu Error 6 Terimakasih Ganggu 7 Praktis Rusak dst dst
d. DBSCAN-SVM Data  dibagi  menjadi  2  dengan  rasio 70%:30%.  Pada  software  Orange,  DBSCAN menggunakan  2  parameter  yaitu core  point neighbors (minPts)  dan neighborhood  distance (eps) untuk membentuk klaster. Nilai core point neighbors yaitu  50  dan neighborhood  distance yaitu  25,00  yang  digunakan  pada  data  latih. Sehingga didapatkan 2 cluster , yaitu C1 dan C2. Jumlah  komen  yang  dapat  pada  C1  yaitu  5.866 dan C2 sebanyak 1.134. Dilihat dari komentarnya C1  berisi  komentar  negatif  dan  C2  berisi komentar positif.
Gambar 4. Hasil DBSCAN-SVM
Pada data uji didapatkan sentimen positif sebanyak  417  dan  sentimen  negatif  sebanyak 2.583.
e. Evaluasi Tahap  evaluasi  akan  menggunakan confusion  matrix . Confusion  matrix merupakan pengukuran  kinerja  klasifikasi  di  mana  output
dalam  bentuk  dua  atau  lebih  kelas. Confusion matrix memiliki  4  kombinasi  berbeda  dari  nilai yang  diprediksi  dan  aktual  dalam  sebuah  tabel. Confusion  Matrix  dapat  menghitung  akurasi, presisi,  recall,  dan  skor  F-1  [9][10][11]. Confusion matrix akan dilakukan pada data latih dan  data  uji  DBSCAN-SVM.  Hasil confusion matrix dari data latih yang berjumlah 7.000 data adalah:
Tabel 5. Hasil confusion matrix data latih
DBSCAN-SVM Predicted Negative Positive Actual Negative 5866 0 Positive 0 1134
Sehingga  didapatkan  nilai accuracy , precision, recall dan F1  score dari  data  latih dengan hasil sebagai berikut:
Tabel 6. Nilai accuracy, precision dan recall data latih DBSCSAN-SVM
Cluster Accuracy Precision Recall F1 Score Positif 100% 100% 100%  100% Negatif 100% 100% 100%  100% Rata- rata 100% 100% 100%  100%
Dari tabel di atas, hasil confusion matrix dari  7.000  data  latih mempunyai  nilai  cukup tinggi,  sehingga  dapat  disarankan  model  yang terbentuk  dapat  digunakan  untuk  prediksi  data baru.
Confusion  matrix data  uji  DBSCSAN- SVM  yang  berjumlah  3.000  data,  didapatkan hasil sebagai berikut:
Tabel 7. Hasil confusion matrix data uji DBSCAN-SVM
Predicted Negative  Positive Actual Negative 2578 5 Positive 0 417
Sehingga  didapatkan  nilai accuracy , precision, recall dan F1  score dari  data  uji dengan hasil sebagai berikut:
Tabel 8. Nilai accuracy, precision dan recall data uji DBSCSAN-SVM
Cluster  Accuracy  Precision  Recall F1 Score Positif 99,8% 98,8% 100%  99,4% Negatif 99,8% 100% 99,8%  99,9% Rata- rata 99,8% 99,8% 99,8%  99,8%
f. Pembahasan Pada  kolom  komentar  atau  review  di Google PlayStore dan AppStore terhadap aplikasi PeduliLindungi  terdapat  beberapa  rating  yang tidak sesuai dengan komentarnya seperti:
Tabel 9. Contoh rating yang tidak sesuai dengan
komentar userName rating date review Yudha Sapjamal 1 18/06/2022 14:30 Bagus ferry kondolembang 1 19/06/2022 11:07 Mantap Una Marsela 2 15/06/2022 16:13 Ok mantap Akhdan Ziad Az-Zaky 5 16/06/2022 20:09 jelek Dinieko Anjabi 5 14/06/2022 18:04 Sangat jelek, buatan Indonesia emang memalukan, biar bintang yang berbicara dimasnara dindin 5 19/06/2022 14:33 keseringan minta di update, bikin ribet Apriyono Apriyono 4 15/06/2022 21:44 Menyebalkan,bikin ribet...
Dengan menggunakan analisis sentimen, dapat  diketahui  sentimen  pengguna  terhadap aplikasi  PeduliLindungi.  Dengan  algoritma DBSCAN-SVM  didapatkan  komentar  positif sebanyak  1.551  dan  komentar  negatif  sebanyak 8.449. Berdasarkan hasil analisis sentimen yang
sudah dilakukan, persentase komentar positif dan negatif  dari  kedua  kombinasi  algoritma didapatkan:
Tabel 10. Persentase komentar aplikasi PeduliLindungi Algoritma Komentar Positif Komentar Negatif DBSCAN- SVM 15,51% 84,49% Sehingga dapat disimpulkan sebanyak lebih dari 80% pengguna aplikasi PeduliLindungi memberikan  komentar  negatif  terhadap  aplikasi PeduliLindungi.
Gambar 5. Word Cloud Komentar Negatif
Berdasarkan  gambar  diatas,  berikut adalah 20 kata yang sering muncul dari komentar negatif:
Gambar 6. 20 kata yang sering muncul pada komentar negatif
Dari tabel kata-kata di atas, terdapat kata- kata  yang  menggambarkan  keluhan  dari pengguna  seperti  update,  ribet,  error,  lemot  dan sebagainya.  Melalui  kata-kata  dari  komentar
negatif  yang  sering  muncul,  diharapkan pengembang aplikasi dapat mengetahui  keluhan pengguna  dan  menjadikan  evaluasi  terhadap aplikasinya. Pengembang aplikasi dapat membangun suatu sistem yang dapat menampung komentar  atau  review  pengguna  aplikasi  dari Google PlayStore, App Store atau platform media online lainnya agar dapat diketahui sentimen dari opini atau pandangan atau timbal balik pengguna baik  bersentimen  positif  atau  negatif  terhadap aplikasi.

## 4. Kesimpulan
Pada penelitian dapat disimpulkan: a. Berdasarkan  hasil  analisis  sentimen yang  sudah  dilakukan,  sentimen pengguna aplikasi PeduliLindungi lebih dari 80% bersentimen negatif. Dengan kata-kata  yang  sering  muncul  pada komentar  negatif  yaitu  update,  ribet, error,  ga  bisa,  lemot  dan  sebagainya. Diharapkan  bagi  pengembang  aplikasi dapat  mengetahui  keluhan  pengguna dan  menjadikan  evaluasi  terhadap aplikasinya.  Pengembang  aplikasi dapat  membangun  suatu  sistem  yang dapat  menampung  komentar  atau review  pengguna  aplikasi  dari  Google PlayStore,  App  Store  atau  platform media  online  lainnya  agar  dapat diketahui  sentimen  dari  opini  atau pandangan atau timbal balik pengguna baik  bersentimen  positif  atau  negatif terhadap aplikasi. b. Berdasarkan  hasil  evaluasi confusion matrix dari  data  latih  dan  data  uji, kinerja dari algoritma DBSCAN-SVM mendapatkan  nilai  kinerja  yang  cukup tinggi, sehingga dapat digunakan untuk melakukan prediksi sentiment pengguna aplikasi PeduliLindungi.
5. Daftar Pustaka [1] PeduliLindungi. “PeduliLindungi”.
https://www.pedulilindungi.id/
[15/06/22]
[2] Aji,  Arsenius  Wisnu,  and  Maria
Puspitasari.  "Penerimaan  Masyarakat Atas  Kebijakan  Penggunaan  Aplikasi PeduliLindungi." Jurnal
Kebijakan Publik 13, no. 2.
[3] Baihaqi,  W.M.,  Pinilih,  M.  and Rohmah,  M.,  2020.  Kombinasi  k- Means  dan  Support  Vector  Machine (SVM)  untuk  Memprediksi  Unsur
SARA  pada  Tweet. Jurnal  Teknologi Informasi  dan  Ilmu  Komputer , 7 (3), pp.501-510.
[4] Asshiddiqi,  M.F.  and  Lhaksmana,
K.M.,  2020.  Perbandingan  Metode Decision  Tree  Dan  Support  Vector Machine Untuk Analisis Sentimen Pada Instagram Mengenai Kinerja PSSI. eProceedings of Engineering , 7 (3).
[5] Faesal,  A.,  Muslim,  A.,  Ruger,  A.H. and  Kusrini,  K.,  2020.  Sentimen analisis  pada  data  tweet  pengguna twitter terhadap produk penjualan toko online  menggunakan  metode  k- means. MATRIK:  Jurnal  Manajemen, Teknik  Informatika  dan  Rekayasa Komputer , 19 (2), pp.207-213.
[6] adminlp2m, 2022. https://lp2m.uma.ac.id/2022/02/21/anal isis-sentimen-sentiment-analysis- definisi-tipe-dan-cara-kerjanya/
[15/06/22]
[7] Han,  J.,  Pei,  J.  and  Tong,  H., 2022. Data  mining:  concepts  and techniques . Morgan kaufmann.
[8] Vercellis, C.,
2011. Business intelligence: data mining and optimization for decision making . John Wiley & Sons.
[9] Novaković,  J.D.,  Veljović,  A.,  Ilić, S.S.,  Papić,  Ž.  and  Milica,  T.,  2017. Evaluation  of  classification  models  in machine learning. Theory and Applications  of  Mathematics  & Computer Science , 7 (1), pp.39-46.
[10] Anggreany,  Maria  Susan.  2020. “Confusion Matrix”.
https://socs.binus.ac.id/2020/11/01/con fusion- matrix/#:~:text=Confusion%20Matrix %20adalah%20pengukuran%20perfor ma,nilai%20prediksi%20dan%20nilai %20aktual . [15/06/22]
[11] Deng,  X.,  Liu,  Q.,  Deng,  Y.  and Mahadevan,  S.,  2016.  An  improved method  to  construct  basic  probability assignment  based  on  the  confusion matrix for classification
problem. Information Sciences , 340 , pp.250-261.
[12] Subakti,  Puji.,  Nosa,  Muhammad Ridho., Heriadi, Herman. And Rijanto, Estiko.,  2020.  Klasterisasi  Produk Marketplace  menggunakan  metode  K- Mean  dibandingkan  metode  K- Medoids. International  Journal  of Electrical  and  Computer  Engineering (IJECE) Vol. 9, No. 4.
[13] David,  2020.  DBSCAN  Clustering. https://algotech.netlify.app/blog/dbsca n-clustering/ [15/06/22]
[14] Wahyuni, Eka Dyar., Afriyanti, Amalia Anjani.,  dan  Afandi,  Mohammad Irawan., 2020, Klasifikasi Teks Dengan Python.
[15] Pulungan, M.R.U, Ratnawati, D.E.A.,Rahayudi, B., 2022, Analisis Sentimen Ulasan Aplikasi
PeduliLindungi dengan Metode Random Forest, Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, Vol.  6, No. 9