## Pengaruh Synthetic Minority Oversampling Technique pada Analisis Sentimen Menggunakan Algoritma K-Nearest Neighbors
Raisha Fatiya *1 , Novi Yusliani *2 , Mastura Diana Marieska *3 , Danny Matthew Saputra *4
# Program Studi Teknik Informatika Fakultas Ilmu Komputer Universitas Sriwijaya Jl. Raya Palembang – Prabumulih Km.32 Indralaya, Ogan Ilir, Sumatera Selatan
1 raishafatiyaa@gmail.com
2 novi_yusliani@unsri.ac.id
3 mastura.diana@ilkom.unsri.ac.id
4 danny.saputra@gmail.com
Abstrak—  Salah  satu  permasalahan  yang  kerap  timbul  dan mempengaruhi  proses  pengklasifikasian  adalah  data  tidak seimbang  (imbalanced  data).  Suatu  data  dikatakan  tidak seimbang  apabila  data  tersebut  terbagi  menjadi  kelas minoritas  dan  mayoritas.  Hal  tersebut  akan  memberikan pengaruh berupa dampak buruk pada hasil klasifikasi karena hasil  yang  didapatkan  akan  bias  terhadap  kelas  mayoritas. Penelitian  ini  bertujuan  untuk  mengetahui  pengaruh Synthetic Minority Oversampling Technique untuk menangani permasalahan  imbalance  data  pada  analisis  sentimen menggunakan  algoritma  K-Nearest  Neighbors.  Synthetic Minority Oversampling Technique (SMOTE) adalah salah satu metode yang dapat digunakan untuk melakukan pembentukan  data  synthetic  untuk  mengatasi  imbalanced data.  Metode  klasifikasi  yang  digunakan  adalah  K-Nearest Neighbors  (KNN)  dengan  nilai  k=3.  Penelitian  ini menggunakan  tiga  dataset  sentimen  yang  memiliki  topik Covid,  Pilkada  1,  dan  Pilkada  2.  Hasil  evaluasi  dari  ketiga dataset  tersebut  menghasilkan  nilai  rata-rata  accuracy sebesar  70%  pada  KNN  tanpa  SMOTE  dan  menghasilkan 78%  pada  KNN+SMOTE.  Hal  ini  menunjukkan  bahwa SMOTE dapat mengatasi permasalahan imbalanced data dan dapat  memberikan  pengaruh  berupa  peningkatan  akurasi pada penelitian ini.
Kata kunci — Analisis Sentimen, imbalanced data, Natural Language Processing, Synthetic Minority Oversampling Technique, K-Nearest Neighbors

## I. P ENDAHULUAN
Teknologi telah berkembang dengan pesat, setiap orang dapat  dengan  mudah  berkomunikasi  dan  menerima informasi.  Salah  satu  media  sosial  yang  dapat  digunakan untuk  penyebaran  informasi  dan  memiliki  pengguna terbanyak  adalah twitter [1] . Melalui twitter setiap  orang dapat memberikan opini terhadap suatu topik. Opini yang disampaikan dapat dalam bentuk komentar positif ataupun negatif.  Analisis  sentimen  adalah  salah  satu  penelitian  di bidang Natural  Language  Processing yang  digunakan
untuk  menganalisis  suatu  komentar  apakah  termasuk  ke dalam polaritas positif atau negatif.
Algoritma machine  learning dapat  digunakan  untuk melakukan  proses  klasifikasi  analisis  sentimen.  Ada banyak algoritma yang dapat  digunakan seperti algoritma Multinomial Naive Bayes , Linear SVM, dan Random Forest Classification [2].  Selain  ketiga  jenis  algoritma  tersebut, algoritma K-Nearest  Neighbors (KNN) juga  dapat digunakan karena algoritma ini dapat mengolah data dalam jumlah  yang  besar  serta  dapat  diterapkan  dalam perhitungan yang sederhana [3].
Saat  ini  terdapat  permasalahan  yang  muncul  dalam penelitian analisis sentimen yaitu terdapat data yang tidak seimbang  pada dataset [3].  Permasalahan  tersebut  dapat diatasi  dengan  melakukan resample  dataset dengan menggunakan Synthetic Minority Oversampling Technique (SMOTE) . SMOTE digunakan untuk membangkitkan data synthetic pada  kelas  minoritas  agar  data  yang  digunakan seimbang dan tidak bias terhadap kelas mayoritas.
Pada  penelitian  sebelumnya,  hasil  penelitian  yang menggunakan  SMOTE  pada  data  yang  tidak  seimbang cenderung menghasilkan peningkatan akurasi dibandingkan tanpa menggunakan SMOTE. Metode Naive Bayes +SMOTE  menghasilkan  akurasi  yang  lebih  besar dibandingkan metode Naive Bayes tanpa SMOTE dengan selisih  0,855%  [4].  Metode  SVM+SMOTE  juga menghasilkan akurasi yang lebih tinggi dibandingkan SVM tanpa  SMOTE.  Akurasi  yang  didapatkan  SVM+SMOTE sebesar  83,16%  sedangkan  SVM  tanpa  SMOTE menghasilkan akurasi sebesar 80,97% [5].
Berdasarkan  hal  tersebut,  maka  penelitian  ini  akan berfokus  pada  pengujian  terhadap  pengaruh Synthetic Minority  Oversampling  Technique (SMOTE)  untuk mengatasi imbalance  data pada  analisis  sentimen menggunakan algoritma K-Nearest Neighbors (KNN).

## II. L ANDASAN T EORI

## A. Analisis Sentimen
Analisis  sentimen  adalah  bidang  ilmu  yang  dirancang untuk  menganalisis  aspek  positif  ataupun  negatif  dari beberapa  teks  [6]. Teks  yang  digunakan  dalam  penelitian analisis  sentimen  dapat  berupa  komentar  atau  opini.  Saat ini  analisis  sentimen  sudah  banyak  diterapkan  untuk mengatasi beberapa kasus misalnya kasus review pengguna e-commerce dan pelayanan hotel.

## B. Text Preprocessing
Text preprocessing adalah tahapan yang dilakukan untuk memproses  data  agar  dapat  digunakan  untuk  melakukan analisis  sentimen  [1]. Text  preprocessing terdiri  dari beberapa proses namun tidak semua proses digunakan pada penelitian  ini.  Berikut  proses  yang  digunakan  pada penelitian ini:
1)  Noise  Removal: Proses  yang  digunakan  untuk menghilangkan derau atau noise pada teks.
2)  Case  Folding: Proses  yang  digunakan  untuk mengganti semua huruf pada teks menjadi lowercase.
3) Normalisasi: Proses  yang  digunakan  untuk mengganti  kata  yang  tidak  baku  menjadi  kata  baku  yang sesuai dengan KBBI.
4) Stopword  Removal: Proses  yang  digunakan  untuk menghilangkan  kata  umum  yang  berulang  dan  tidak bermakna.
5) Stemming: Proses  yang  digunakan  untuk  mencari kata  dasar  pada  suatu  kata  dengan  menghapus  imbuhan. Imbuhan  yang  dapat  dihilangkan  adalah  awalan  ( prefix) , akhiran  ( suffix) ,  sisipan  ( infix), dan  kombinasi  awalan- akhiran ( confix).
6) Tokenization: Proses  yang  digunakan  untuk memisahkan teks menjadi unit yang lebih kecil.

## C. TF-IDF
TF-IDF adalah salah satu metode yang dapat digunakan untuk memberikan bobot terhadap kata yang ada pada suatu dataset [7] . Nilai  pembobotan  didapatkan  dari  hasil perkalian  antara  TF  ( Term  Frequency )  dan  IDF  ( Index Document  Frequency ).  Nilai  pembobotan  TF-IDF dipengaruhi oleh banyaknya kemunculan suatu kata. Nilai bobot  suatu  kata  akan  kecil  apabila  kata  tersebut  tampil pada  banyak  dokumen  karena  kata  yang  sering  muncul menandakan  bahwa  kata  tersebut  adalah  kata  umum  [8]. Rumus pembobotan TF-IDF dapat dilihat pada persamaan berikut [8].
𝑡𝑓𝑖𝑑𝑓 𝑑,𝑡 =   𝑡𝑓 𝑑,𝑡 𝑥 𝑖𝑑𝑓 𝑑,𝑡 = 𝑡𝑓 𝑑,𝑡 𝑥  log 𝑁 𝑑𝑓 𝑡 (1)
Keterangan: 𝑡𝑓𝑖𝑑𝑓 𝑑,𝑡 : bobot data ke-t di dokumen ke-d 𝑡𝑓 𝑑,𝑡 : jumlah data ke-t di dokumen ke-d 𝑖𝑑𝑓 𝑑,𝑡 : jumlah inverse frekuensi dokumen
𝑁 : total dokumen
𝑑𝑓 𝑡 : jumlah dokumen yang mengandung data ke-t

## D. SMOTE
SMOTE  adalah  salah  satu  teknik  populer  yang  dapat digunakan  untuk  mengatasi  permasalahan imbalanced dataset [9] . Proses SMOTE dilakukan dengan membentuk data baru ( synthetic ) pada data minoritas agar data menjadi seimbang  [4].  Pembentukan  data synthetic dilakukan dengan mencari nilai k-tetangga terdekat yang selanjutnya dapat  dipilih  secara  acak  untuk  melakukan  perhitungan SMOTE [10]. Penggunaan teknik SMOTE terbukti efektif terhadap imbalanced  datast karena  dapat  meningkatkan performance model  dengan  rata-rata  sekitar  12%  pada penelitian yang dilakukan oleh [3].
Proses  pembentukan  data synthetic akan  melewati tahapan  mencari  jarak  tetangga  terdekat  dengan menggunakan rumus euclidean distance yang dapat dilihat pada persamaan berikut.
𝑑𝑖𝑠𝑡 =   √∑ (𝑋 𝑖2 −  𝑋 𝑖1 ) 2 𝑛 𝑖=1 (2)
Keterangan:
𝑋 𝑖2 : data uji 𝑋 𝑖1 : data sampel i : atribut n
: jumlah atribut
Setelah  mencari  jarak  terdekat,  proses  selanjutnya adalah  melakukan  pembentukan  data synthetic dengan menggunakan persamaan berikut [11].
𝑋 𝑛𝑒𝑤 =   𝑋 𝑖 + (𝑋 ′ −   𝑋 𝑖 )   ×  𝛿 (3)
Keterangan :
𝑋 𝑛𝑒𝑤 : data buatan ( synthetic )
𝑋 𝑖 : data yang akan direplikasi 𝑋′ : data yang memiliki jarak terdekat dengan 𝑋 𝑖 𝛿 : nilai random antara 0 dan 1

## E. KNN
KNN  adalah  suatu  algoritma machine  learning yang dapat  digunakan  untuk  mengklasifikasikan  suatu  objek berdasarkan kelas yang ada [12]. Algoritma KNN bekerja dengan  mengklasifikasikan  suatu  objek  dengan  melihat data training yang  memiliki  jarak  terdekat  [13].  Jarak tersebut  dapat  dicari  dengan  menggunakan  perhitungan cosine similarity yang digunakan untuk menghitung tingkat kemiripan suatu data. Semakin besar nilai cosine similarity maka  tingkat  kemiripan  akan  semakin  besar  [14].  Rumus cosine similarity dapat dilihat pada persamaan berikut [15].
𝑐𝑜𝑠(𝑎, 𝑏) = 𝑎 .𝑏 ‖𝑎‖ .‖𝑏‖ = 𝑎 1 𝑏 1 +⋯+ 𝑎 𝑛 𝑏 𝑛 √𝑎 1 2 +⋯+ 𝑎 𝑛 2 √𝑏 1 2 +⋯+ 𝑏 𝑛 2 (4)
Keterangan:
𝑎 . 𝑏 : dot product vektor a dan vektor b
‖𝑎‖ : panjang vektor a ‖𝑏‖ : panjang vektor b

## F. Confusion Matrix
Confusion  matrix adalah  metode  pengukuran  performa yang dapat digunakan untuk mengevaluasi kinerja metode klasifikasi. Confusion matrix dapat dilihat pada tabel 1.
TABEL I C ONFUSION M ATRIX
Fakta Prediksi Positif Negatif Positif TP FN Negatif FP TN
C onfusion matrix pada tabel 1 terdiri dari dua kelas yaitu kelas positif dan negatif yang akan membentuk empat sel matrix yaitu TP  ( True  Positive ),  TN  ( True  Negative) , FN ( False Negative ) dan FP ( False Positive ).
Terdapat  beberapa kriteria performa yang dapat diukur dalam confusion matrix yaitu accuracy, precision, recall, f- measure dan sebagainya [16]. Pada penelitian ini, beberapa kriteria performa yang diterapkan adalah sebagai berikut:
1) Accuracy: Proses yang digunakan untuk mengukur tingkat keakuratan suatu model dalam mengklasifikasikan suatu  objek.  Perhitungan accuracy dapat  dilihat  pada persamaan berikut.
𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 𝑇𝑃+𝑇𝑁 𝑇𝑃+𝐹𝑃+𝐹𝑁+𝑇𝑁 (5)
2) Precision: Proses  yang  digunakan  untuk menghitung  rasio  antara  jumlah  dokumen  yang  benar positif denngan data prediksi. Perhitungan precision dapat dilihat pada persamaan berikut.
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑇𝑃 𝑇𝑃+𝐹𝑃 (6)
3) Recall: Proses  yang  digunakan  untuk  menghitung kemampuan  model  menemukan  informasi  yang  relevan. Rumus recall dapat dilihat pada persamaan berikut.
𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃
𝑇𝑃 + 𝐹𝑁
(7)
4) F-Measure: Proses  yang  digunakan  untuk  melihat keseimbangan  nilai precision dan recall .  Perhitungan f- measure digambarkan pada persamaan berikut.
𝐹 − 𝑚𝑒𝑎𝑠𝑢𝑟𝑒 = 2 𝑋 (𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 𝑋 𝑅𝑒𝑐𝑎𝑙𝑙)
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛+𝑅𝑒𝑐𝑎𝑙𝑙 (8)

## III. M ETODE P ENELITIAN

## A. Pengumpulan Data
Data  yang  diolah  pada  penelitian  ini  adalah  data sekunder  berupa  kumpulan  komentar  dari twitter. Data yang digunakan terdiri  dari tiga dataset yang berasal  dari sumber yang berbeda-beda. Data pertama adalah data tweet yang bertopik Covid terdiri yang didapatkan dari penelitian [17].
Data  kedua  adalah  data tweet yang  bertopik  Pilkada Gubernur  DKI  Jakarta  yang  dapat  diakses  melalui https://github.com/riochr17/Analisis-Sentimen-ID. Data ketiga adalah data yang memiliki topik yang sama dengan data kedua yaitu mengenai Pilkada Gubernur DKI Jakarta namun didapatkan dari penelitian [18].

## B. Struktur Dataset
Dataset yang digunakan adalah dataset dengan data yag tidak seimbang. Dataset pertama terdiri dari dari 625 data training yang terbagi menjadi 125 data berlabel positif dan 500  data  berlabel  negatif.  Serta  memiliki  data testing sebanyak  100  data  yang  terbagi  menjadi  40  data berlabel positif dan 60 data berlabel  negatif . Kelas minoritas pada dataset Covid adalah data berlabel positif yang berjumlah 125 data.
Dataset kedua  terdiri  dari  dari  533  data training yang terbagi  menjadi  133  data  berlabel  positif  dan  400  data berlabel negatif. Serta memiliki data testing sebanyak 127 data yang terbagi  menjadi  77 data berlabel  positif dan 50 data berlabel negatif . Kelas minoritas pada dataset Pilkada 1 adalah data berlabel positif yang berjumlah 133 data.
Dataset pertama terdiri dari dari 625 data training yang terbagi  menjadi  500  data  berlabel  positif  dan  125  data berlabel negatif. Serta memiliki data testing sebanyak 120 data yang terbagi  menjadi  60 data berlabel  positif dan 60 data berlabel negatif . Kelas minoritas pada dataset Pilkada 2 adalah data berlabel negatif yang berjumlah 125 data.

## C. Kerangka Kerja
Penelitian ini akan melewati setiap tahapan proses pada diagram kerangka kerja yang ditampilkan pada Gambar 1.
Pada  Gambar  1  ditunjukkan  bahwa  tahapan  pertama yang  dilakukan  adalah  melakukan split pada dataset . Proses ini akan membagi data menjadi data testing dan data training. Setelah  itu,  data  tersebut  akan  melewati  tahap preprocessing .  Data training yang  telah  melewati  tahap preprocessing akan  melakukan  proses  pembobotan  kata dengan  menggunakan  TF-IDF.  Selanjutnya  data  tersebut akan melakukan proses pembentukan data synthetic dengan menggunakan  SMOTE  untuk  mengatasi imbalanced  data yang  ada  pada  data training. Setelah  mendapatkan  data synthetic, proses selanjutnya adalah melakukan pembobotan  lagi  dengan  TF-IDF  namun  pada  tahap  ini, pembobotan TF-IDF dilakukan terhadap data training dan data testing yang  telah  membentuk  data synthetic. Selanjutnya akan dilakukan proses klasifikasi menggunakan algoritma KNN. Pada langkah terakhir, hasil klasifikasi yang sudah didapatkan akan di evaluasi.

## D. Metode Pengembangan Perangkat Lunak
Pada  penelitian  ini,  metode  pengembangan  perangkat lunak  yang  digunakan  adalah  metode Rational  Unified Process (RUP).  Metode  ini  terdiri  dari  empat  fase  yang dijelaskan sebagai berikut:
5)  Fase Insepsi: Pada fase ini, peneliti akan membuat rancangan  pemodelan  dengan  menentukan  kebutuhan fungsional dan kebutuhan non fungsional perangkat lunak yang akan dibangun. Peneliti juga akan melakukan analisis dan desain terhadap kebutuhan perangkat lunak yang akan dibangun dengan membuat use case diagram dan skenario use case .
6)  Fase  Elaborasi: Pada  fase  ini,  peneliti  akan membuat pemodelan bisnis, perancangan data, perancangan tnterface ,  diagram activity¸ dan  diagram sequence.
7)  Fase  Konstruksi: Pada  fase  ini,  peneliti  akan melakukan serangkaian proses iterasi pada proses analisis, desain, implementasi dan pengujian.
Fase  Transisi:  Pada  fase  ini,  peneliti  akan  melakukan pengujian terhadap perangkat lunak yang telah dibuat.

## IV. H ASIL DAN P EMBAHASAN
Pengujian perangkat lunak dilakukan dengan menggunakan  tiga  data  yaitu  data  Covid,  Pilkada  1,  dan Pilkada  2.  Pengujian  dilakukan  sesuai  diagram  kerangka kerja  yang  telah  dibuat.  Data  akan  melewati  tahap preprocessing , TF-IDF, SMOTE dan tahap pengklasifikasian  menggunakan  KNN.  Hasil  pengujian yang didapatkan akan ditampilkan dalam bentuk confusion matrix serta nilai accuracy, precision, recall, dan f-measure. Proses  pembentukan  data synthetic menggunakan beberapa  parameter  yaitu  nilai  N  dan  K.  N  adalah parameter  yang  akan  menunjukkan  berapa  persen  data minoritas  akan  dibangkitkan  sehingga  data training akan menjadi  seimbang.  Sedangkan  K  adalah  parameter  yang
digunakan  untuk  menentukan  jumlah  tetangga  terdekat yang  akan  diambil  dalam  menentukan  proses  klasifikasi KNN  dan  proses  SMOTE.  Berdasarkan  percobaan  yang dilakukan  pada dataset pertama,  nilai  K  yang  memiliki accuracy tertinggi  pada  KNN+SMOTE  dan  memiliki pengaruh berupa peningkatan accuracy terbesar didapatkan oleh  nilai  K=3.  Berdasarkan  hasil  tersebut,  nilai  K  yang digunakan pada pengujian ini adalah 3.

## E. Hasil Pengujian Dataset Covid
Pada dataset ini data yang digunakan berjumlah 625 data training yang terbagi menjadi 125 data berlabel positif dan 500 data berlabel negatif. Sedangkan data testing berjumlah 100 data yang terbagi menjadi 40 data berlabel positif dan 60  berlabel  negatif.  Kelas  minoritas  pada  data training adalah  data  berlabel  positif  dengan  total  125  data. Berdasarkan hal tersebut, nilai parameter N SMOTE pada data  ini  sebesar  300%  sehingga  data  akan  dibangkitkan sebanyak  300%  dari  data  minoritas  agar  data training menjadi  seimbang.  Hasil  evaluasi  dataset  Covid ditampilkan pada tabel 2.
TABEL 2 H ASIL E VALUASI D ATASET C OVID KNN KNN+SMOTE Accuracy 0,70 0,74 Recall 0,48 0,60 Precision 0,68 0,71 F-Measure 0,56 0,65
Berdasarkan tabel 2, penggunaan SMOTE memberikan pengaruh  berupa  peningkatan accuracy,  recall,  precision, dan f-measure .  Peningkatan  terbesar  terjadi  pada  nilai recall dengan peningkatan sebesar 12%.

## F. Hasil Evaluasi Dataset Pilkada 1
Dataset ini menggunakan data yang berjumlah 533 data training yang terbagi menjadi 133 data berlabel positif dan 400 data berlabel negatif. Sedangkan data testing berjumlah 127 data yang terbagi menjadi 77 data berlabel positif dan 50  berlabel  negatif.  Kelas  minoritas  pada  data training adalah  data  berlabel  positif  dengan  total  133  data. Berdasarkan hal tersebut, nilai parameter N SMOTE pada data  ini  sebesar  200%  sehingga  data  akan  dibangkitkan sebanyak  200%  dari  data  minoritas  agar  data training menjadi  seimbang.  Hasil  evaluasi  dataset  Pilkada  1 ditampilkan pada tabel 3.
TABEL 3
H ASIL E VALUASI D ATASET P ILKADA 1 KNN KNN+SMOTE Accuracy 0,62 0,72 Recall 0,42 0,61 Precision 0,91 0,89 F-Measure 0,57 0,72
Berdasarkan tabel 3, penggunaan SMOTE memberikan pengaruh  berupa  peningkatan accuracy,  recall dan f- measure .  Namun  juga  memberikan  pengaruh  berupa penurunan nilai precision sebesar 2%. Peningkatan terbesar terjadi pada nilai recall dengan peningkatan sebesar 19%.
G. Hasil Evaluasi Dataset Pilkada 2 Dataset ini  terdiri  dari  data  yang  berjumlah  625  data training yang terbagi menjadi 500 data berlabel positif dan 125 data berlabel negatif. Sedangkan data testing berjumlah 120 data yang terbagi menjadi 60 data berlabel positif dan 60  berlabel  negatif.  Kelas  minoritas  pada  data training adalah  data  berlabel  negatif  dengan  total  125  data. Berdasarkan hal tersebut, nilai parameter N SMOTE pada data  ini  sebesar  300%  sehingga  data  akan  dibangkitkan sebanyak  300%  dari  data  minoritas  agar  data training menjadi  seimbang.  Hasil  evaluasi  dataset  Pilkada  2 ditampilkan pada tabel 4.
TABEL 4 H ASIL E VALUASI D ATASET P ILKADA 2 KNN KNN+SMOTE Accuracy 0,79 0,88 Recall 0,97 0,95 Precision 0,72 0,84 F-Measure 0,83 0,89
Berdasarkan tabel 4, penggunaan SMOTE memberikan pengaruh  berupa  peningkatan accuracy,  precision dan f- measure .  Namun  juga  memberikan  pengaruh  berupa penurunan  nilai recall sebesar  2%.  Peningkatan  terbesar terjadi  pada  nilai precision dengan  peningkatan  sebesar 12%.
Grafik perbandingan nilai accuracy pada seluruh dataset ditampilkan pada gambar 2.
Gambar. 2  Grafik Perbandingan Accuracy Seluruh Dataset
Gambar  2  menunjukkan  bahwa  terjadinya  peningkatan accuracy pada  seluruh dataset saat  menggunakan KNN+SMOTE. Peningkatan accuracy terjadi berkisar 4% hingga 9%.

## V. K ESIMPULAN
Pada  penelitian  ini,  penggunaan  metode  KNN  yang dikombinasikan  dengan  SMOTE  pada  data  yang  tidak seimbang mampu memberikan pengaruh berupa peningkatan performa model. Hal ini membuktikan bahwa SMOTE dapat diterapkan untuk menangani permasalahan data  yang  tidak  seimbang.  Peningkatan  nilai accuracy terbesar didapatkan oleh dataset Pilkada 2 dengan jumlah peningkatan sebesar 9%.

## R EFERENSI
[1] A.  Deviyanto  and  M.  D.  R.  Wahyudi,  “Penerapan  Analisis Sentimen  Pada  Pengguna  Twitter  Menggunakan  Metode  K- Nearest Neighbor,” JISKA (Jurnal Inform. Sunan Kalijaga) , vol. 3, no. 1, p. 1, 2018, doi: 10.14421/jiska.2018.31-01.
[2] R.  D.  Himawan  and  Eliyani,  “Perbandingan  Akurasi  Analisis Sentimen  Tweet  terhadap  Pemerintah  Provinsi  DKI  Jakarta  di Masa,” J. Edukasi dan Penelit. Inform. , vol. 7, no. 1, pp. 58–63,
2021, [Online]. Available: https://jurnal.untan.ac.id/.
[3] W.  Satriaji  and  R.  Kusumaningrum,  “Effect  of  Synthetic Minority  Oversampling  Technique  (SMOTE),  Feature Representation,  and  Classification  Algorithm  on  Imbalanced Sentiment Analysis,” 2018 2nd Int. Conf. Informatics Comput.
Sci. ICICoS 2018 , pp. 99–103, 2018, doi: 10.1109/ICICOS.2018.8621648.
[4] N. Sulistiyowati and M. Jajuli, “Integrasi Naive Bayes Dengan Teknik  Sampling  Smote  Untuk  Menangani  Data  Tidak Seimbang,” Nuansa  Inform. ,  vol.  14,  no.  1,  p.  34,  2020,  doi: 10.25134/nuansa.v14i1.2411.
[5] A.  C.  Flores,  R.  I.  Icoy,  C.  F.  Peña,  and  K.  D.  Gorro,  “An
Evaluation  of  SVM  and  Naive  Bayes  with  SMOTE  on Sentiment Analysis Data Set,” pp. 1–4, 2018.
[6] S.  Kaur,  G.  Sikka,  and  L.  K.  Awasthi,  “Sentiment  Analysis Approach  Based  on  N-gram  and  KNN  Classifier,” ICSCCC 2018 - 1st Int. Conf. Secur. Cyber Comput. Commun. , pp. 13–
16, 2018, doi: 10.1109/ICSCCC.2018.8703350.
[7] H.  Sudira,  A.  L.  Diar,  and  Y.  Ruldeviyani,  “Instagram Sentiment  Analysis  with  Naive  Bayes  and  KNN:  Exploring Customer Satisfaction of Digital Payment Services in Indonesia,” 2019  Int.  Work.  Big  Data  Inf.  Secur.  IWBIS  2019 ,  pp.  21–26, 2019, doi: 10.1109/IWBIS.2019.8935700.
[8] A.  A.  Hakim,  A.  Erwin,  K.  I.  Eng,  M.  Galinium,  and  W. Muliady, “Automated document classification for news article in Bahasa Indonesia based on term frequency inverse document frequency (TF-IDF) approach,” Proc. - 2014 6th Int. Conf. Inf. Technol. Electr. Eng. Leveraging Res. Technol. Through Univ. Collab. ICITEE 2014 , pp. 0–3, 2014, doi: 10.1109/ICITEED.2014.7007894.
[9] K. Ghosh, A. Banerjee, S. Chatterjee, and S. Sen, “Imbalanced Twitter  Sentiment  Analysis  using  Minority  Oversampling,” 2019 IEEE 10th Int. Conf. Aware. Sci. Technol. iCAST 2019  -
Proc. , pp. 1–5, 2019, doi: 10.1109/ICAwST.2019.8923218.
[10] N. V Chawla, K. W. Bowyer, L. O. Hall, and W. P. Kegelmeyer, “SMOTE :  Synthetic  Minority  Over-sampling  Technique,” J.
Artif. Intell. Res. , vol. 16, pp. 321–357, 2002.
[11] Z.  Zheng,  Y.  Cai,  and  Y.  Li,  “Oversampling  method  for imbalanced classification,” Comput. Informatics , vol. 34, no. 5, pp. 1017–1037, 2015.
[12] D.  W.  Wibawa,  M.  Nasrun,  and  C.  Setianingsih,  “Sentiment
Analysis  on  User  Satisfaction  Level  of  Cellular  Data  Service Using  the  K-Nearest  Neighbor  (K-NN)  Algorithm,” Proc.  - 2018  Int.  Conf.  Control.  Electron.  Renew.  Energy  Commun.
ICCEREC 2018 , pp. 235–241, 2018,
doi: 10.1109/ICCEREC.2018.8711992.
[13] S.  S.  Istia  and  H.  D.  Purnomo,  “Sentiment  analysis  of  law enforcement performance using support vector machine and K- nearest neighbor,” Proc. - 2018 3rd Int. Conf. Inf. Technol. Inf. Syst.  Electr.  Eng.  ICITISEE  2018 ,  pp.  84–89,  2018,  doi: 10.1109/ICITISEE.2018.8720969.
[14] M. R. Peterson, T. E. Doom, and M. L. Raymer, “GA-facilitated classifier  optimization  with  varying  similarity  measures,” GECCO  2005  -  Genet.  Evol.  Comput.  Conf. ,  pp.  1549–1550, 2005, doi: 10.1145/1068009.1068253.
[15] D. Soyusiawaty and Y. Zakaria, “Book data content similarity detector with cosine similarity (case study on digilib.uad.ac.id),” Proceeding 2018 12th Int. Conf. Telecommun. Syst. Serv. Appl. TSSA 2018 , pp. 1–6, 2018, doi: 10.1109/TSSA.2018.8708758.
[16] C.  Bunkhumpornpat,  K.  Sinapiromsaran,  and  C.  Lursinsap, “Safe-level-SMOTE:  Safe-level-synthetic  minority  over- sampling technique for handling the class imbalanced problem,”
Lect.  Notes  Comput.  Sci.  (including  Subser.  Lect.  Notes  Artif.
Intell.  Lect.  Notes  Bioinformatics) ,  vol.  5476  LNAI,  pp.  475– 482, 2009, doi: 10.1007/978-3-642-01307-2_43.
[17] R. Kurniawan and A. Apriliani, “Analisis Sentimen Masyarakat Terhadap  Virus  Corona  Berdasarkan  Opini  Dari  Twitter Berbasis Web Scraper,” Jurnal INSTEK (Informatika Sains dan Teknologi) , vol. 5, no. 1. p. 67, 2020, doi: 10.24252/instek.v5i1.13686.
[18] A.  R.  T.  Lestari,  R.  S.  Perdana,  and  M.  A.  Fauzi,  “Analisis Sentimen  Tentang  Opini  Pilkada  DKI  2017  Pada  Dokumen Twitter  Berbahasa  Indonesia  Menggunakan  Näive  Bayes  dan Pembobotan  Emoji,” J.  Pengemb.  Teknol.  Inf.  dan  Ilmu Komput. , vol. 1, no. 12, pp. 1718–1724, 2017.