Volume 2 No. 1 Mei 2021 E-ISSN: 2722-547X
Komparasi Metode K-NN, Support Vector Machine , Dan Random Forest Pada E-Commerce Shopee
Sri Watmah 1 , Suryanto 2 , Martias 3
1,2,3 Universitas Bina Sarana Informatika e-mail: 1 sriwatmah.wtm@bsi.ac.id, 2 suryanto.syt@bsi.ac.id, 3 martias.mts@bsi.ac.id
Abstrak - Marketplace berbasis aplikasi android sangat digemari di Indonesia, salah satu toko online yang tengah digemari  oleh  orang  indonesia  yaitu  shopee.  Selain  menawarkan  kemudahan  dalam  berbelanja  tentu  saja  ada kendala  dalam  penggunaanya,  baik  dalam  bentuk  pelayanan  maupun  produk  yang  dipasarkan. Text  Mining menjadi  metode  yang  tepat  untuk  mengetahui  kepuasan  pengguna.  Sentimen  analisis  sangat  diperlukan  untuk mengetahui  keakurasian  dan  prediksi. Review pada playstore umumnya  diberikan  ketika  seseorang  telah menginstal aplikasi pada smartphone Android. Disini penulis menguji seberapa kepuasan pengguna akun shopee berdasarkan review pada google playstore menggunakan metode K-NN, Support Vector Machine , dan Random Forest .  Berdasarkan  penghitungan  menunjukan  bahwa  metode  K-NN  mempunyai  nilai  akurasi  89,0%,  presisi 89,7% dan recall 87,5%. Pada metode klasifikasi Random Forest menunjukan nilai akurasi 83,0%, presisi 85,7% dan recall 81,4%. Untuk metode SVM menunjukan  nilai akurasi 89,4%, presisi 89,5% dan recall 89,7%. Dengan demikian metode  klasifikasi  terbaik pada  studi ini adalah metode  SVM  dengan nilai  89,4%  presisi  89,5% dan recall 89,7%.
Kata Kunci: senitiment analisis, marketplace, text mining

## PENDAHULUAN
Di  Indonesia  pasar  online  semakin  gencar dalam persaingannya. Pengguna smartphone dengan platform  Android  di  Indonesia  mendominasi  pasar, pengguna Android di Indonesia pada Desember 2019 adalah sebesar 93.22% dan berada di bawahnya IOS sebesar  6.38%.(gs.statcounter.com,  2020)  Tentu dengan  besarnya  pengguna  Android  di  Indonesia seharusnya  menjadi  perhatian  serius  bagi  para perusahaan marketplace terhadap komentar pengguna Android pada Google Playstore. Google telah  mengubah  fitur  komentar  dan rating di Playstore . Perubahan ini diperlukan karena pada  banyak  kasus, review jadul  untuk  sebuah aplikasi  tak  lagi  bisa  merepresentasikan  kondisi aplikasi  tersebut  saat  ini  alias  tak  relevan  lagi. Contohnya  adalah review dan  penilaian  jelek  yang didapat sebuah aplikasi karena sebuah bug yang kini sudah  diperbaiki.  (www.genpi.co,  2020)  sehingga komentar di Playstore lebih relevan.
Setiap  pengguna  hanya  punya  kesempatan satu kali untuk komentar sehingga lebih fokus dalam mengetahui sentimen khusus pengguna sesuai update terbaru,  Shopee  adalah  salah  satu e-commerce yang paling tren saat ini, bahkan menurut urutan Aplikasi E-commerce Shopee  menduduki  urutan  pertama diantara Aplikasi E-commerce di pengguna Android. Menyusul  Tokopedia  dan  Bukalapak  di  bawahnya. (iprice.co.id, 2020).
Disisi  lain, Opini  Mining atau  juga  disebut Sentiment Analysis dilakukan untuk melihat kecenderungan  dari  komentar  terhadap  suatu  kasus
atau  objek  itu  positif atau negatif  (Rozi  dkk,  2012). Komentar  yang  didapatkan  biasanya  dari  sosial media. Pada penelitian sebelumnya berdasarkan data review pada  aplikasi  shopee  dengan  menggunakan metode Improved K-NN dan Jaro Winkler Distance dimana review menggunakan  bahasa  Indonesia menghasilkan nilai rata-rata akurasi 0,876 (Shanty & Wele,  2019).  Metode  SVM  yang  digunakan  dengan TextBlob dan  W-WSD  menunjukan  nilai  akurasi sentimen yang tidak jauh berbeda yaitu sekitar 62% (Hasan  &  Shamshirband,  2018)  (Ankit  &  Saleen, 2018)
Namun  penulis  kali  ini  ingin  lebih  fokus terhadap  pengalaman  pengguna  Andoid  sehingga pencarian  komentar  bersumber  dari  komentar aplikasi  Shopee  di Google  Playstore (Wahyu Handani, 2019) (Yadav & Yadav, 2018). Review pada playstore umumnya diberikan ketika seseorang telah menginstal aplikasi pada smartphone Android. Pada studi  kali  ini  penulis  menggunakan  tiga  metode klasifikasi yang berbeda untuk menggali kecenderungan  dari  komentar  pengguna  lalu membandingkan  hasilnya  untuk  mengetahui  rasio dan akurasi menggunakan data mining.

## METODE PENELITIAN

## 1. Langkah Klasifikasi
Tentu  saja,  dalam  penelitian  ini  hal  pertama yang  harus  dilakukan  adalah collecting data,  lalu setelah  mengumpulkan  data,  ada  beberapa  langkah yang harus dilakukan agar mendapatkan hasil terbaik. Data  .komentar  yang  telah  diambil  dari playstore
kemudian  diolah  dengan cleansing dan  pemberian label,  kemudian  ke  tahap pre-processing yang meliputi anotation removal, remove URL, tokenization,  indonesian  stemming,  transformation not (negative), indonesian stop word removal , hingga masuk  ke  tahap  analisa  menggunakan tool yang meliputi training  data,  testing  data dan  hingga akhirnya didapatkan hasil analisa. Dalam analisa ini menggunakan  tiga  metode  klasifikasi  yaitu  K - Nearest Neighbor (K-NN), Support Vector Machine (SVM) dan Random Forest, Gambar 1 menunjukkan langkah-langkah  dalam  analisis  klasifikasi  sentimen analisis yang diusulkan.

## Gambar 1: Langkah Klasifikasi Data

## 2. Landasan Teori
Perusahaan  yang  mengevaluasi  aplikasinya berdasarkan review dari  pengguna  merupakan  hal yang seharusnya. Opini mining dari komentar Google Playstore menjadikan  penelitian  ini  lebih  relevan terhadap  pengalaman  pengguna  terhadap  aplikasi Shopee.
Penelitian  sentimen  analisis  untuk  mengetahui keakuratan  dari  sentimen  dari  twitter  salah  satunya menggunakan  K-NN    (Bayhaqy,  2018).  Penelitian klasifikasi  sentimen  analisis  menggunakan Support Vector Machine (Naz & Malik, 2019) dan Penelitian sentimen  analisis  menggunakan Random  Forest (Hitesh dkk, 2019)
Dari  penjelasan  di  atas, sentiment  analysis dalam  konsep  data mining merupakan  cara  untuk mengetahui pengetahuan dan prediksi serta kesimpulan  baru  (Hitesh  dkk,  2019).  Untuk  lebih memahami  ketiga  metode  yang  digunakan,  berikut sekilas  penjelasan  tentang  metode K-Nearest Neighbor,  Support  Vector  Machine dan Random Forest.

## 1. K-NN
Penelitian analisis  sentimen  untuk  menentukan akurasi  sentimen  dari  Twitter,  salah  satunya menggunakan K-NN dengan 4 fitur, yang menghasilkan  peningkatan  akurasi  untuk  semua
dataset ketika menormalkan dataset dan peningkatan ketika  menambahkan  nama  fitur  sebagai  kata  kunci (Naz  dkk,  2019).  Untuk  membuat  prediksi  dengan metode  K-NN  kita  perlu  membuat  perkiraan  jeda antara  titik  kueri  dan  kasing  dari sample yang digunakan.  Pada  dasarnya  metode  K-NN  adalah metode yang digunakan untuk mengelompokan objek sesuai  data  pembelajaran  yang  digunakan  paling dekat dengan objek (R. Prabowo & Thelwall, 2009). Salah  satu  opsi  yang  biasa  digunakan  untuk mengukur jarak ini dikenal dengan Euclidean.
d(a, b) = ∑(Xi − Yi) 2 (1)
n i=0
Dengan d (a,b) menunjukan jarak Euclidean, x merupakan  data  pertama  pada sample yang digunakan, y menunjukan data kedua, i menunjukan fitur  keberapa  yang  digunakan,  dan  n  menunjukan jumlah fitur yang digunakan
2. Support Vector Machine (SVM) Support  Vector  Machine adalah  metode pembelajaran  terawasi  yang  mengkaji  data  dan mengidentifikasi  pola  yang  digunakan  untuk pengelompokan  (A.  S.  H.  Basari  dkk,  2013).  SVM merupakan  metode  yang  paling  baik  untuk mendapatkan  hasil  yang  terbaik  karena  SVM  dapat memproses  data  dengan  efektif  dan  efisien  (R. Prabowo  &  M.  Thelwall,  2009).  Namun  SVM mempunyai kekurangan dalam penentuan parameter atau  fitur  yang  tepat  (S.  Hidayat,  2016). Support Vector  Machine diusulkan  untuk  menghubungkan sentimen  klasifikasi  Twitter  menggunakan  model mesin  klasifikasi  domain  pembelajaran  yang memanfaatkan  berbagai  fitur  tekstual,  yaitu  data Twitter  n-gram.  Pemrosesan  menggunakan  tiga skema penimbangan yang berbeda untuk memahami dampak  penimbangan  terhadap  akurasi classifier . Studi  masa  depan  dengan  tujuan  memberikan pengetahuan eksternal dan hasil untuk meningkatkan kinerja pengklasifikasi SVM (Naz dkk, 2019).
3. Random Forest
Random  forest merupakan  metode  yang diusulkan  oleh  Breiman  sebagai  salah  satu  metode pengklasifikasian.  Random  Forest  menghasilkan banyak  pohon  keputusan  (Ankit,  &  Saleena,  N., 2018).  Dalam  proses  mengembangkan  pohon keputusan  (DT),  ada  dua  proses  acak  yang diperkenalkan. Salah satunya menggunakan bootstrap sampel  yang  digunakan  untuk  membuat sampel. Jika ada N kasus di set pelatihan, sampel acak N  kasus  dari  aslinya  data  dengan  penggantian. Probabilitas  sampel  yang  sama  yang  tidak  dipilih dalam  N  sampling  adalah  (1  -  1  /  N)  N.  Dengan peningkatan N, probabilitas akhirnya cenderung ke 1 /  e.  Dalam  RF,  sampel  tersebut,  yang  tidak  dipilih dalam  proses  pengambilan  sampel,  dikenal  sebagai
out-of-bag (OOB), dan menggunakan data ini, tingkat kesalahan dapat diperkirakan (Kurniawan, 2020).
Analisis  sentimen  di  jejaring  sosial  populer seperti  Twitter,  Facebook  dan  Instagram.  Dalam analisis  sentimen  ini  pilih  Twitter  dan  klasifikasi popularitas tweet untuk memahami aspek positif dan negatif  dari  data  sentimen.  Twitter  2019 real-time dengan  model  pemilihan  fitur  word2vec  dengan random forest seperti BOW dan TF-IDF. Peningkatan  akurasi  dan  hasil  analisis  sentimen didorong  oleh  Word2vec  karena  itu  meningkatkan kualitas  fitur  dengan  pertimbangan  semantik kontekstual  dari  kata-kata  yang  ada  dalam  teks (Hitesh, 2019).

## 3. Evaluasi Sentimen Analisis
Proses  klasifikasi  analisis  sentimen  telah terpenuhi  pada  langkah,  langkah  berikutnya  yaitu mengevaluasi hasil. Pada tahap ini, perhitungan hasil akan  di  uji  dengan  parameter  akurasi,  presisi  dan recall.
Akurasi  (A)  ditujukan  untuk  dokumen  yang masuk  dalam  kategori  benar,  baik  benar  positif maupun  benar  negatif.  Persamaan  yang  digunakan untuk menghitung akurasi:
Accuracy = TP + TN TP + TN + FP + FN (2)
Precision (P) menunjukan  berapa  banyak hasil pemrosesan  yang  relevan  terhdap  informasi  yang dibutuhkan  atau  dapat  disebut  juga  bahwa  presisi merupakan  klasifikasi  true  positif  dan  semua  data yang  digunakan  diprediksi  kedalam  kelas  positif. Nilai presisi dapat dihitung dengan persamaan:

## Precision = TP TP + FP (3)
Dan  yang  terakhir  Recal  (R), recall ini menunjukan  seberapa  banyak  data  yang  relevan berdasarkan pengumpulan oleh sistem, dalam hal ini jumlah  dokumen  yang  termasuk true positif  dan semua  dokumen  yang  benar-benar  positif  (termasuk false  negative ). Recall dapat  dihitung  dengan menggunakan persamaan:

## Recall = TP TP + FN (4)
Variabel  yang  digunakan  pada  persamaan- persamaan  diatas  (TP,  TN,  FP,  FN)  didapat  dari confusion  matrix ,  dimana  TP  singkatan True Positive ,  data  positif  diklasifikasikan  dalam  positif. TN untuk True Negative ,  data negatif masuk dalam
kategori  negatif.  FP  singkatan  dari False  Positive, data  negatif  masuk  dalam  kategori  positif.  FN singkatan  dari False  Negative ,  data  positif dikategorikan sebagai data negatif. Untuk lebih jelas berikut ini tabel confusion :
Tabel 1 . Confusion Matrix Prediction Yes Prediction No True Yes TP FN True No FP TN
Dalam  studi  ini  penghitungan  data  dilakukan secara random oleh sistem yang dilakukan oleh rapid miner untuk data testing dan data training.

## HASIL DAN PEMBAHASAN

## 1. Pengumpulan Data dan Pemberian Label Data
Sebelum melakukan sentiment analisis hal yang pertama  dilakukan  adalah  mengumpulkan  data. Dalam  proses  ini  pengumpulan  data  diambil  dari komentar  pengguna  di playstore yang  dilakukan dengan  menggunakan  data scraper. Pengumpulan data secara manual ini membuat data yang diperoleh masih mentah dan belum ada proses apapun terhadap data  sehingga  data  masih  perlu  diolah  lebih  lanjut lagi.  Setelah  data  terkumpul  selanjutnya  dilakukan pelabelan  yang  dilakukan  secara  manual  oleh beberapa  orang  yang  merupakan  pengguna  dan penyuka layanan online shop . Pada penelitian ini ada dua  macam  label  yaitu  negatif  dan  postif.  Negatif untuk penilaian yang buruk sedangkan positif untuk penilaian  yang  baik.  Dalam  studi  ini  menggunakan 265 data komentar, yang terdiri dari 144 data dengan label negatif dan 121 data dengan label positif. Pada tabel  2  dibawah  ini  beberapa  contoh  data  komentar yang sudah diberi label.
Tabel 2. Contoh Label Data No Comment Sentiment 1 Males  betul  dahh  ihh!!  Gua cuma  kendala  direview.  Kalo gua  liat  review  dari  hal  1-25, baru  sampai  hal  15  udah  balik lagi  ke  hal  1!  Menurut  gua ganggu  betul,  kenapa?  Gua udah  liat  jauh  review  malah balik  lagi  kepertama!!  Udah gua  update  masih  tetap  kaya gitu  heran!!  Tolong  dong diperbaiki! Makasih negatif 2 Shopee  sekarang  tidak  sesuai realitanya. Jangan bayar tagihan  di Shopee.  Tidak jelas, kalau bisa buang badan kenapa tidak mereka. Bisa uang Shopee pay  berkurang.  Tapi  prosesnya negatif
bisa  lama  sampai  1  harian  -  2 harian.  Jangan  mau  ambil resiko.  Dapat  koin  sampai banyak,  bisa  tidak  masuk  ke kolom koin. 3 Bagus  app  nya.  Hanya  saja lemot  sekali  di  hp  saya.  Harus extra sabar, kadang udah pelan² kliknya, eh blm muncul, di klik lagi  selang  10  detik  kemudian ga  muncul2.  Jeda  1-5  menit kemudian  langsung  tiba²  spt diklik berkali² dlm satu waktu. negatif 4 Puassssss  banget  belanja  di shopee..barang  apa  aja  ada disini, harga juga variasi..pinter-pinter  aja  pilih barang  biar  dapat  barang  yang bagus dan harga yang terjangkau...nggak pernah kecewa belanja disini.. positif 5 Sy pengguna tetap shopee, app ini  bagus  tapi  ada  beberapa kekurangan  yg  mungkin  bisa diperbaiki. Mungkin bisa dipertimbangkan  1.  Sofware pencarinya  agar  di  tingkatkan, saat mencari agar bisa menemukan  kata  bukan  hanya pada nama barang tapi juga kata dalam descripsi positif 6 Memudahkan  untuk  belanja, pelayanan sangat nyaman, pembatalan belanja juga prosesnya  cepat.  Pokoknya shopee is the best dah, mantap. Semoga  kedepan  shopee  jauh lebih sip lagi. Karena masih ada produk-produk  yang  tidak  ada di dalam shopee. positif

## 2. Pre-processing Data
Setelah  data  terkumpul  dan  dilengkapi  dengan label maka tahap berikutnya yaitu preprocessing data. Tahap ini dilakukan secara online menggunakan gata framework dengan menggunakan pilihan Techniques (Kurniawan, 2020) seperti pada gambar 2.
Gambar 2. Tahapan pre-processing data pada gata framework
Ada  beberapa  pilihan  kriteria  untuk pre- processing data  pada  gata  framework,  dalam penelitian ini penulis memilih beberapa fitur seperti:
1.   @ Anotation Removal
Fitur  ini  digunakan  untuk  mengubah  semua huruf kapital yang ada pada data komentar  menjadi huruf  kecil.  seperti  yang  ditampilkan  pada  tabel  3. Pada tabel 3 terlihat adanya perubahan huruf kapital pada koment menjadi huruf kecil.
Tabel 3.  Proses Anotation Removel
Sebelum Sesudah Baru juga kemarin di update udah  suruh  update  lagi  aja, udah gitu LEMOOOOOTTTTT
banget  lagi  sekarang,  jadi berat  ni  aplikasi,,  padahal sinyal  bagus,  memori  HP masih  banyak  yang  kosong, buka aplikasi yang lain juga lancar � aja.. tolong diperbaiki lagi kedepannya
baru  juga  kemarin  di update  udah  suruh  update lagi aja, udah gitu lemooooottttt  banget  lagi sekarang,  jadi  berat  ni aplikasi,,  padahal  sinyal bagus,  memori  hp  masih banyak yang kosong, buka aplikasi  yang  lain  juga lancar � aja.. tolong diperbaiki lagi kedepannya

## 2. Transformation removel URL
URL pada umumnya berupa rangkaian karakter dengan  suatu  format  standar  tertentu  dan  digunakan untuk  menunjuk  ke  suatu  alamat  sumber  berupa dokumen maupun  gambar.  Fitur ini  berfungsi  untuk menghilangkan URL yang ada pada data koment.

## 3. Tokenization
Proses yang bertujuan untuk memotong kalimat dalam  bentuk  kata-kata.  Proses  tokenisasi  juga digunakan  untuk  menghilangkan  tanda  baca  dan angka  yang  tidak  dibutuhkan.  Seperti  yang  tampak pada tabel 4 terdapat tanda titik yang dihilangkan.
Tabel 4. Proses Tokenisasi
Masukan Keluaran ini  kenapa  top  up  shopee pay ku...gk nambah saldo nya..padahal  keterangan di  email  ku  sudah  sukses berhasil..padahal biasanya lancar2 aja...kenapa ini gak masuk2 sih...padahal mau segera di pakai... ini  kenapa  top  up  shopee pay  kugk  nambah  saldo nyapadahal keterangan di email  ku  sudah  sukses berhasilpadahal  biasanya lancar  ajakenapa  ini  gak masuk  sihpadahal  mau segera di pakai

## 1. Indonesian Stemming
Proses  mengubah  kata  berimbuhan  menjadi kata dasar sesuai dengan bahasa indonesia yang baik. Seperti  yang  terdapat  pada  tabel  5,  disitu  tampak beberapa kata berimbuhan yang berubah menjadi kata dasar setelah mengalami proses indonesian stemming.
Tabel 5. Proses Stemming
Sebelum Sesudah Tagihan Tagih Berkurang Kurang Prosesnya Proses Berbeda Beda Harusnya Harus Pembayaran Bayar Menyebalkan Sebal

## 2. Transformation Not (convert negation)
Dalam logika matematika negasi, atau ingkaran adalah operasi matematika terhadap suatu pernyataan, baik tunggal maupun majemuk. Operasi negasi  merupakan  kata  yang  dapat  membalikkan makna kata aktual (S. Hidayat, 2016).

## Tabel 6. Transformation Not (Negative)
Input Output klaim hadiah gratis sebagai  guna  baru  tidak pernah  bisa  di  dapat  ada aja  alas  sistem  haha aplikasi sering lemot kenapa ya makin sini kok makin  agak  gimana  gitu shopee  beda  dgn  muncul awal dulu klaim hadiah gratis sebagai guna baru tidak_pernah bisa di dapat ada  aja  alas sistem haha aplikasi sering
lemot  kenapa  ya  makin sini  kok  makin  agak gimana  gitu  shopee  beda dgn muncul awal dulu

## 3. Indonesian Stop Word Removal (Filtering)
Filtering digunakan untuk menghilangkan kata- kata  yang  sering  muncul  tetapi  dianggap  tidak memiliki  makna.  Penghapusan  kata-kata  yang dianggap  tidak  memiliki  makna.  Pada  beberapa program aplikasi yang berhubungan dengan pengolahan  data  ini  karena  penggunaanya  yang terlalu  umum,  sehingga pengguna  dapat  lebih  fokus terhadap  kata  yang  lebih  penting  (Jianqiang,  2018). Pada  tabel  7  dibawah  ini  menunjukan  contoh  dari indonesian stop word removal.

## Tabel 7. Indonesian Stop Word Removal
Betul Cuma Dari Hal Baru Sampai Sekarang Jangan Kalau Bisa Kenapa Kurang Tapi Mau Dapat Sampai Banyak Ke Ini Di Balik Lagi Atas Akhir Ada Aja Saya Dalam Sangat Terus

## 3.Klasifikasi Sentiment Analysis
Langkah  berikutnya  dalam  sentimen  analisis setelah pre-processing data  yaitu  tahap  percobaan dan pengaplikasian data menggunakan tiga algoritma yang berbeda sebagai perbandingan. Dalam studi ini ada  tiga  algoritma  yang  digunakan  yaitu K-Nearest Neighbor (K-NN), Support  Vector  Machine (SVM) dan Random Forest . Gambar dibawah menampilkan cross validation dari ketiga algoritma yang dihitung menggunakan aplikasi rapid miner 9.5.
Gambar 3. Konten Cross Validation Random  Forest
Gambar 4. Konten Cross Validation SVM
Gambar 5. Konten Cross Validation K-NN
Pada  gambar  3,  4  dan  5  menunjukan  proses penerapan  model  yang  dilakukan untuk menghitung performa  dari  masing-masing  metode  klasifikasi yang  digunakan.  Ketiga  metode  telah  dimasukan dalam operator aplikasi rapid miner.

## 4. Hasil dan Pembahasan
Gambar 6 dibawah ini menunjukan proses utama pada  rapidminer  dengan  tiga  algoritma  K-NN, Random Forest dan Support vector Machine.
Gambar 6. Proses Utama Dalam Rapid Miner
Pada gambar 6 file yang digunakan dalam bentuk excel  kemudian  di  poses  menggunakan sample ( bootstrapping ) yang digunakan untuk meresampling data  sampel  dengan  syarat  pengembalian  pada datanya  dalam menyelesaikan  statistik  ukuran  suatu sampel  dengan  harapan  sampel  tersebut  mewakili data populasi sebenarnya, biasanya ukuran resampling  diambil  secara  ribuan  kali  agar  dapat mewakili  data  populasinya.  Kemudian  lanjut  ke proses set role yang berfungsi untuk mengubah suatu atribut atau bahkan lebih. Berikutnya ada nominal to text yang  berfungsi  untuk  mengubah  jenis  atribut nominal  yang  dipilih  diubah  ke  bentuk  teks,  juga berfungsi  untuk  memetakan  semua  nilai  atribut kedalam  nilai string yang  tepat.  Selanjutnya  proses dokumen  yang  berfungsi  untuk  mengeksekusi perintah  yang  sudah  ditentukan  sebelumnya,  disini juga menggunakan multiply karena dalam pengujian ini  secara  langsung  memasukan  ketiga  metode klasifikasi.  Dibawah  ini  tabel  yang  menunjukan confusion matriks dari rapid miner:
Tabel 8.  Confusion Matrix
Metode TP FP TN FN K-NN 113 13 123 16 Random Forest 105 21 115 24 SVM 116 15 121 13
Dari  tabel  diatas  dapat  dihitung  nilai  akurasi, presisi  dan recall dengan  menggunakan  persamaan (2),  (3),  (4).  Tabel  dibawah  ini  menunjukan  hasil penghitungan menggunakan formula:
Tabel 9. Hasil penghitungan menggunakan formula Metode Accuracy Precision recall K-NN 89,0% 89,6% 87,5% Random Forest 83,0% 83,3% 81,3% SVM 89,4% 88,5% 89,9%
Dari  perhitungan  menggunakan  formula  nilai tertinggi ditunjukan pada metode SVM yaitu dengan akurasi  89,4%,  presisi  88,5%  dan recall 89,9%. Sementara hasil penghitungan dengan menggunakan rapid miner dapat dilihat pada tabel dibawah.
Tabel 10. Hasil Penghitungan Menggunakan Rapid Miner Metode Accuracy Precision Recall K-NN 89,0% 89,7% 87,5% Random Forest 83,0% 85,7% 81,4% SVM 89,4% 89,5% 89,7%
Dari  tabel  10  terlihat  bahwa  nilai  dengan menggunakan  metode  K-NN  mengalami  perubahan pada nilai presisi dari 89,6% menjadi 89,7%. Untuk metode  Random  Forest  nilai  presisi  mengalami kenaikan dari  83,3%  menjadi 85,7%  dan recall dari 81,3% menjadi 81,4% sedangkan untuk nilai akurasi tetap.  Untuk  metode  SVM  terdapat  perubahan  dari presisi  yang  semula  88,5  menjadi  89,5%  dan recall mengalami penurunan dari 89,9% menjadi 89,7%.

## KESIMPULAN
Dari  hasil  studi  yang  dilakukan  dengan menggunakan 265 data koment pada google playstore dengan menggunakan tiga metode klasifikasi yaitu k- Nearest  Neighbor,  support  vector  machine dan random  forest menunjukan  bahwa  metode  K-NN mempunyai  nilai  akurasi  89,0%,  presisi  89,7%  dan recall 87,5%. Pada metode klasifikasi Random Forest menunjukan  nilai  akurasi  83,0%,  presisi  85,7%  dan recall 81,4%. Untuk metode SVM menunjukan  nilai akurasi  89,4%,  presisi  89,5%  dan  recall  89,7%. Dengan  demikian  metode  klasifikasi  terbaik  pada studi  ini  adalah  metode  SVM  dengan  nilai  89,4% presisi 89,5% dan recall 89,7%. Kedepannya studi ini masih  dapat  dikembangkan  seperti  menggunakan metode  klasifikasi  yang  berbeda  ataupun  dengan menggunakan data terbaru, namun jika ingin menjadi bahan pertimbangan yang baik bagi suatu organisasi atau perusahaan maka data komen dapat diambil dari
beberapa  tahun  kebelakang  sebagai  acuan  dalam pengembangan  organisasi  atau  perusahaan  dimasa mendatang.

## REFERENSI
https://gs.statcounter.com/os-market share/mobile/indonesia Accessed 2 February 2020.
https://www.genpi.co/berita/10783/google-ubah- sistem-rating-aplikasi-di-play-store-kenapa-ya Accessed 2 February 2020.
https://iprice.co.id/insights/mapofecommerce/ Accessed 4 February 2020.
Imam Fahrur Rozi, Sholeh Hadi Pramono dan Erfan Achmad  Dahlan.  “Implementasi  Opinion  Mining (Analisis  Sentimen)  untuk  Ekstraksi  Data  Opini Publik  pada  Perguruan  Tinggi.  Indonesia”  EECCIS Vol. 6, No. 1, June 2012.
Shanty,  L.,  &  Wele,  W.  (2019).  Analisis  Sentimen Review  Shopee  Berbahasa  Indonesia  Menggunakan Improved  K-Nearest  Neighbor  dan  Jaro  Winkler Distance. 3(7), 7172–7179.
Bayhaqy,  A.,  Sfenrianto,  S.,  Nainggolan,  K.,  & Kaburuan, E. R. (2018). Sentiment Analysis about E- Commerce  from  Tweets  Using  Decision  Tree,  K- Nearest  Neighbor,  and  Naïve  Bayes.  2018 International  Conference  on  Orange  Technologies (ICOT). doi:10.1109/icot.2018.8705796.
Naz,  S.,  Sharan,  A.,  &  Malik,  N.  (2019).  Sentiment Classification on Twitter Data Using Support Vector Machine.  Proceedings  -  2018  IEEE/WIC/ACM International  Conference  on  Web  Intelligence,  WI 2018,  676–679. https://doi.org/10.1109/WI.2018.00- 13.
Hitesh,  M.  S.  R.,  Vaibhav,  V.,  Kalki,  Y.  J.  A., Kamtam,  S.  H.,  &  Kumari,  S.  (2019).  Real-time sentiment  analysis  of  2019  election  tweets  using word2vec  and  random  forest  model.  2019  2nd International
Conference on Intelligent Communication  and  Computational  Techniques, ICCT 2019.
https://doi.org/10.1109/ICCT46177.2019.8969049.
A.  S.  H.  Basari,  B.  Hussin,  I.  G.  P.  Ananta,  and  J. Zeniarja,  “Opinion  mining  of  movie  review  using hybrid method of support vector machine and particle swarm  optimization,”  Procedia  Eng.,  vol.  53,  pp. 453–462, 2013.
R. Prabowo and M. Thelwall, “Sentiment Analysis: A Combined Approach,” J. Informetr., vol. 3, no. 2, pp. 143–157, 2009.
S.  Hidayat,  “An  Islamic  Party  in  Urban  Local Politics:  The  PKS  Candidacy  at  the  2012  Jakarta Gubernatorial  Election,”  J.  Polit.,  vol.  2,  pp.  5–40,
2016. B.  Liu,  Web  Data  Mining.  Berlin,  Heidelberg: Springer Berlin Heidelberg, 2011 [Online]. Available:http://link.springer.com/10.1007/978-3-
642-19460-3.
Wanshan  Peng  ,  Shihua  Li,  Ze  He1  ,  Silan  Ning  , Yuhan  Liu1  and  Zhonghua  Su1,  “Random  Forest Classification  Of  Rice  Planting  Area  Using Multitemporal Polarimetric Radarsat-2 Data” 978-1- 5386-9154-0/19 doi: 10.1109/igarss.2019.8898654.
Kurniawan,  S.,  Gata,  W.,  Puspitawati,  D.  A., Parthama, I. K. S., Setiawan, H., & Hartini, S. (2020). Text Mining Pre-Processing Using Gata Framework and RapidMiner for Indonesian Sentiment Analysis. IOP  Conference  Series:  Materials  Science  and Engineering,  835(1).  https://doi.org/10.1088/1757- 899X/835/1/012057
Jianqiang, Z., Xiaolin, G., & Xuejun, Z. (2018). Deep Convolution Neural Networks for Twitter Sentiment Analysis. IEEE Access , 6 , 23253–23260. https://doi.org/10.1109/ACCESS.2017.2776930
Hasan, A., Moin, S., Karim, A., & Shamshirband, S. (2018). Machine Learning-Based Sentiment Analysis for Twitter Accounts. Mathematical and Computational Applications , 23 (1), 11. https://doi.org/10.3390/mca23010011
Ankit,  &  Saleena,  N.  (2018).  An  Ensemble Classification System for Twitter Sentiment Analysis. Procedia  Computer  Science , 132 (Iccids), 937–946. https://doi.org/10.1016/j.procs.2018.05.109
Wahyu Handani, S., Intan Surya Saputra, D., Hasirun, Mega  Arino,  R.,  &  Fiza  Asyrofi  Ramadhan,  G. (2019). Sentiment analysis for go-jek on google play store. Journal  of  Physics:  Conference  Series , 1196 (1). https://doi.org/10.1088/1742-
6596/1196/1/012032
Yadav,  S.,  &  Yadav,  S.  (2018).  Text  Mining  of VOOT  Application  Reviews  on  Google  Play  Store. International  Research  Journal  of  Engineering  and Technology (IRJET) e-ISSN: , 1204–1208.