## Klasifikasi Sentimen Ulasan Aplikasi WhatsApp di Play Store Menggunakan Metode K-Nearest Neighbor
Muhammad Riski * , Muhammad Fikry, Yusra
Fakultas Sains dan Teknologi, Prodi Teknik Informatika, Universitas Islam Negeri Sultan Syarif Kasim Riau, Pekanbaru, Indonesia Email: 1,* 11950115133@students.uin-suska.ac.id, 2 muhammad.fikry@uin-suska.ac.id, 3 yusra@uin-suska.ac.id Email Penulis Korespondensi: 11950115133@students.uin-suska.ac.id
Abstrak− Setiap aplikasi memiliki kelebihan dan kekurangan yang dapat mempengaruhi berbagai tanggapan dari pengguna, termasuk tingkat kepuasan dan kekecewaan yang sering diungkapkan melalui ulasan di Google Play Store. Di platform ini, fitur rating dan ulasan memungkinkan pengguna untuk memberikan pendapat dan pengalaman terhadap aplikasi yang mereka gunakan. Salah satu contoh aplikasi yang populer di kalangan masyarakat adalah WhatsApp. Tujuan dari penelitian ini adalah untuk mengukur opini dan pandangan pengguna terhadap aplikasi WhatsApp dengan menggunakan algoritma K-Nearest Neighbor. Data yang digunakan dalam penelitian ini mencakup 1000 data, dengan 669 opini yang positif dan 331 opini yang negatif terhadap aplikasi tersebut. Pengujian dilaku kan dengan variasi nilai parameter k dan nilai threshold yang berbeda-beda.Proses pembagian data latih dan data uji dilakukan melalui beberapa eksperimen dengan tiga rasio berbeda, yaitu 70:30, 80:20, dan 90:10. Dari hasil pengujian ini, didapatkan model terbaik pada skenario pembagian data latih dan data uji dengan rasio 90:10 menghasilkan akurasi mencapai 84%, nilai presisi sebesar 87,65%, recall sebesar 92,21%, dan f1-score sebesar 89,87% untuk kelas positif. Sementara pada kelas negatif, nilai presisi mencapai 68,42%, recall mencapai 56,52%, dan f1-score mencapai 61,90% pada K =14 dan Threshold=20.
Kata Kunci: Klasifikasi Sentimen; WhatsApp; Google Playstore; K-Nearest Neighbor
Abstract− Every app has strengths and weaknesses that can influence various responses from users, including levels of satisfaction and disappointment that are often expressed through reviews on the Google Play Store. On this platform, the ratings and reviews feature allows users to give their opinions and experiences on the apps they use. One example of an application that is popular among the public is WhatsApp. The purpose of this research is to measure users' opinions and views on the WhatsApp application using th e K- Nearest Neighbor algorithm. The data used in this study includes 1000 data, with 669 positive opinions and 331 negative opinions on the application. The process of dividing training data and test data was carried out through several experiments with th ree different ratios, namely 70:30, 80:20, and 90:10. From the results of this test, the best model was obtained in the scenario of dividing training data and test data with a ratio of 90:10 resulting in accuracy reaching 84%, precision value of 87.65%, recall of 92.21%, and f1-score of 89.87% for the positive class. While in the negative class, the precision value reached 68.42%, recall reached 56.52%, and f1-score reached 61.90% at K = 14 and Threshold = 20.
Keywords : Sentiment Classification; WhatsApp; Google Playstore; K-Nearest Neighbor

## 1. PENDAHULUAN
Pada  era  globalisasi  yang  sedang  berlangsung,  perkembangan  teknologi  mengalami  peningkatan  yang  sangat  pesat, terutama  dalam  bidang  komunikasi.  Pada  bulan  Januari  2022,  terdapat  191  juta  orang  di  Indonesia  yang  aktif menggunakan media sosial. Angka ini menunjukkan peningkatan sebesar 12,35%. WhatsApp menjadi pilihan utama di kalangan masyarakat sebagai aplikasi yang paling banyak digunakan mencapai tingkat penggunaan sebesar 88,7%  [1]. Setiap  aplikasi  memiliki  keunggulan  dan  kelemahan  tertentu  yang  dapat  memicu  berbagai  tanggapan  dari  pengguna, termasuk rasa puas dan kekecewaan, yang biasanya diungkapkan melalui ulasan di Google Play Store.
Play Store merupakan bagian dari perusahaan teknologi Google. Fungsinya sebagai tokoh online yang menyajikan beragam  produk  digital  seperti  musik,  buku  elektronik,  aplikasi,  dan  permainan.  Di  Play  Store,  pengguna  dapat menemukan dan mengunduh konten digital sesuai dengan kebutuhan dan preferensi mereka. Melalui Google Play Store, pengguna dapat mengakses berbagai jenis konten digital yang tersedia untuk perangkat Android  [2]. Berdasarkan data dari  StatCounter,  penggunaan  smartphone  di  Indonesia  didominasi  oleh  sistem  operasi  Android,  dengan  persentase mencapai,  84%  [3].  Di  Google  Play  Store,  pengguna  dapat  memberikan rating dan  ulasan  untuk  aplikasi.  Namun, seringkali  terjadi  ketidaksesuaian  antara rating dan  ulasan  yang  diberikan,  sehingga  kurang  mampu  menggambarkan kualitas aplikasi secara akurat. Oleh karena itu, analisis sentimen dapat membantu dalam mengelola data ulasan tersebut [4].
Analisis sentimen adalah proses otomatis untuk menganalisis data  teks dengan tujuan menentukan apakah opini dalam kalimat tersebut bersifat positif atau negatif [5]. Analisis sentimen di kenal juga dengan opinion mining merupakan bidang studi yang melakukan analisis terhadap pendapat, penilaian,  sikap, dan emosi terhadap ungkapan berupa tulisan tesk  [6].  Untuk  mempermudah  proses  analisis  sentimen  mengenai  ulasan  aplikasi  WhatsApp  di  Google  Play  Store, digunakan teknologi Machine Learning dengan metode K-Nearest Neighbor dalam pengolahannya  [7].
Algoritma  K-Nearest  Neighbor  yang  digunakan  sebagai  pengklasifikasikan  data  berdasarkan  label  yang  telah ditetapkan sebelumnya. Klasifikasi K-NN ini bekerja dengan membandingkan objek yang akan diklasifikasikan dengan data latih yang memiliki jarak terdekat [8]. Sebelumnya, telah dilakukan penelitian yang menerapkan metode K-Nearest Neighbor  untuk  menganalisis  sentimen.  Pada  penelitian  [9],  melakukan  analisis  sentimen  tentang  pengguna  aplikasi pedulilindungi yang menujukkan bahwa K-Nearest Neighbor memperoleh akurasi sebesar 73,33% dan untuk algoritma Naive Bayes 70,46%. Selanjutnya pada penelitian [10], yang menerapkan analisis sentimen komparasi dengan metode SVM, K-NN dan NBC menunjukkan akurasi sebesar K-Nearest Neighbor 93,4%, Support Vector Machine sebesar 93,1%
Muhammad  Riski,  Klasifikasi  Sentimen  Ulasan  Aplikasi  WhatsApp  di  Play  Store  Menggunakan  Metode  K-Nearest Neighbor
dan Naïve Bayes Classifier sebesar 87,9%. Pada penelitian [11], yang dilakukan terhadap opini publik tentang saran dan transportasi  mudik  tahun  2019  di  Twitter,  hasil  menunjukkan  bahwa  metode  K-Nearest  Neighbor  mencapai  tingkat akurasi  tertinggi, yaitu 90,76%. Disusul  oleh SVM dengan akurasi  89,03%, Naive Bayes dengan akurasi  78,16%, dan Neural Network dengan akurasi 52,73%.

## 2. METODOLOGI PENELITIAN

## 2.1 Tahap Penelitian
Dalam penelitian ini, terdapat sejumlah tahapan yang dijalankan secara sistematis untuk mencapai hasil yang diinginkan. Salah satu metode yang digunakan adalah K-Nearest Neighbor untuk melakukan klasifikasi sentiment. Proses penelitian melibatkan serangkaian beberapa langkah, mulai dari pengumpulan data, pelabelan manual, preprocessing, pembobotan fitur dengan menggunakan TF-IDF, seleksi fitur dengan threshold , klasifikasi menggunakan metode K-Nearest Neighbor, hingga evaluasi. Tahapan-tahapan ini disajikan dalam Gambar 1.

## Gambar 1. Tahapan Penelitian

## 2.1 Pengumpulan Data
Data  dikumpulkan  sebanyak  1.000  data  dalam  rentang  waktu  Agustus  2022  hingga  Oktober  2022.Data  yang  berhasil diambil adalah berupa ulasan dari  pengguna terhadap aplikasi  WhatsApp. Proses pengambilan data dilakukan melalui proses  scrapping  dan  selanjutnya  disimpan  dalam  sebuah  file  Microsoft  Excel.  Ulasan  pada  Google  Play  Store  dapat memberikan gambaran tentang performa suatu aplikasi [12].

## 2.2 Pelabalan Manual
Pelabelan data dilakukan secara manual oleh pakar Bahasa Indonesia. Ulasan pengguna WhatsApp di bagi dua kategori, yaitu  negatif  dan  positif.  Ulasan  negatif  mencakup  keluhan  dan  masalah  yang  dihadapi  oleh  para  pengguna  aplikasi WhatsApp,  mulai  dari  masalah  teknis  seperti  gangguan  koneksi  dan  lambatnya  respon  aplikasi  hingga  ketidakpuasan terhadap fitur-fitur yang dianggap kurang optimal.  Sementara itu, ulasan positif cenderung menyuarakan kepuasan para pengguna dalam menggunakan aplikasi WhatsApp.

## 2.3 Preprocessing
Preprocessing merupakan langkah-langkah awal dalam mempersiapkan data sebelum dilakukan analisis atau pemrosesan lebih lanjut [13]. Pada tahapan ini berfungsi sebagai untuk membersihkan data dari kata yang tidak perlu yang selanjutnya dilakukan pemodelan dengan metode K-Nearest Neigbhor. Dalam Gambar 2, kita dapat melihat urutan yang dilakukan untuk mempersiapkan data sebelum diproses lebih lanjut.
Gambar 2. Tahapan Preprocessing

## 2.4 Pembobotan Fitur dengan TF-IDF
Pada  metode  pembobotan  fitur  TF-IDF,  terjadi  proses  perhitungan  untuk  mendapatkan  bobot  tiap  fitur.  Pertama, dilakukan perhitungan frekuensi trem (TF) yang menghitung seberapa sering kata-kata muncul dalam sebuah dokumen tertentu. Kemudian, dilakukan perhitungan inverse document frequency (IDF) yang mengukur pentingnya kata tersebut berdasarkan seberapa umum atau jarang kata tersebut muncul dalam seluruh koleksi dokumen. Dengan menggabungkan kedua perhitungan ini, didapatkan bobot yang mencerminkan tingkat kepentingan relatif dari setiap kata dalam dokumen dan koleksi secara keseluruhan [14].

## 2.5 Seleksi Fitur dengan Threshold
Muhammad  Riski,  Klasifikasi  Sentimen  Ulasan  Aplikasi  WhatsApp  di  Play  Store  Menggunakan  Metode  K-Nearest Neighbor
Seleksi  fitur  adalah  langkah  penting  dalam  meningkatkan  efektivitas  dan  efisiensi  klasifikasi  [15]. Salah  satu  metode seleksi fitur yang umum digunakan adalah dengan menggunakan threshold , yang bertujuan untuk mengurangi dimensi dalam  kumpulan  data  teks  [16].  Pada  penelitian  ini,  seleksi  fitur  didasarkan  pada  Document  Frequency  (DF)  dengan menentukan threshold . Teknik seleksi fitur ini mengamsusikan bahwa fitur yang jarang ditemukan di dokumen lain tidak mempengaruhi proses klasifikasi [17].

## 2.6 Klasifikasi K-Nearest Neigbhor
K-Nearest  Neigbhor  merupakan  sebuah  teknik  klasifikasi  yang  memanfaatkan  data  latih  dan  memperhitungkan  jarak terdekat  antara  objek  yang  akan  diklasifikasikan.  Pada  dasarnya,  K-NN  melakukan  klasifikasi  sampel  uji  dengan mempertimbangkan  jaraknya  terhadap  sampel-sampel  latih  terdekat.  Hal  ini  dilakukan  untuk  menentukan  kelas  dari sampel  uji  tersebut  [18].  Keunggulan  utama  K-NN  terletak  pada  kemampuannya  dalam  menghadapi  data  latih  yang mengandung banyak noise serta efisiensi dalam mengoperasikan data latih berukuran besar [19].

## 2.7 Evaluasi
Setelah  proses  klasifikasi,  kinerja  algoritma  K-Nearest  Neighbour  dinilai  dengan  menggunakan confusion  matrix . Confusion matrix yang digunakan dalam penelitian ini memiliki 2 kelas, yaitu positif dan negatif, yang disajikan pada Tabel  1.  Evaluasi  ini  dimaksudkan  untuk  mengukur  seberapa  baik  model  yang  dibuat  menggunakan  pendekatan  K- Nearest Neighbor.
Tabel 1. Confusion Matrix Evaluasi Predicted Positive Negative A ctu al Positive True Positive False Negative
Negative  False Positive True Negative
Berdasarkan Tabel 1, terdapat empat nilai yang diamati dalam confusion matrix , yakni True Positive (TP) yang mencerminkan jumlah data dengan label sentimen positif yang berhasil diklasifikasikan dengan benar sebagai sentimen positif. Selanjutnya, False Positive (FP) adalah jumlah data dengan label  sentimen negatif yang salah diklasifikasikan sebagai sentimen positif. Kemudian, terdapat False Negative (FN) yang menunjukkan jumlah data dengan label sentimen positif  yang  salah  diklasifikasikan  sebagai  sentimen  negatif.  True  Negative  (TN)  adalah  jumlah  data  dengan  label sentimen negatif yang berhasil diklasifikasikan dengan tepat sebagai sentimen negatif [20].

## 3. HASIL DAN PEMBAHASAN

## 3.1 Pengumpulan Data
Pada penelitian ini data yang dikumpulkan diperoleh dari ulasan aplikasi WhatsApp di Google Play Store melalui proses web  scrapping . Web  scrapping merupakan  proses  ekstraksi  data  dari  halaman  web  secara  otomatis.  Teknik  ini memungkinkan  untuk  mengambil  informasi  dari  situs  web.  Data  yang  dikumpulkan  sebanyak  1.000  ulasan  yang selanjutnya dikategorikan menjadi 2 kelas, yaitu positif dan negatif.

## 3.2 Pelabelan Manual
Data  yang  diperoleh  dilakukan  pelabelan  menjadi  2  ketegori  yaitu  label  positif  dan  negatif  oleh  validator  Bahasa Indonesia. Hasil pelabelan yang dilakukan oleh validator Bahasa Indonesia menmperoleh hasil label positif sebesar 669 data dan label negatif sebesar 331 data. Di Gambar 3 terdapat informasi mengenai jumlah data untuk setiap kelas, baik kelas positif maupun negatif.
Muhammad  Riski,  Klasifikasi  Sentimen  Ulasan  Aplikasi  WhatsApp  di  Play  Store  Menggunakan  Metode  K-Nearest Neighbor

## 3.3 Preprocessing
Data  ulasan  WhatsApp  yang  telah  dikumpulkan  melalui  proses webscraping akan  melewati  tahap preprocessing . Preprocessing data ini mencakup beberapa langkah, antara lain cleaning, case folding, tokenizing, normalisasi, negation handling,  stopword  removal,  dan  steaming.  Proses  cleaning  melibatkan  pembersihan  data  dari  simbol,  tagar,  url, username, dan emotikon. Pada langkah case folding, teks dalam dokumen diubah menjadi huruf kecil. Tahap tokenizing adalah langkah yang dilakukan untuk memisahkan kalimat menjadi bagian yang lebih kecil yang disebut token. Tahap normalisasi  merupakan  bagian  dari  proses  untuk  memperbaiki  kesalahan  penulisan  yang  tidak  sesuai  dengan  kamus Bahasa  Indonesia.  Proses  ini  dilakukan  dengan  bantuan  kamus  normalisasi  yang  telah  disusun  secara  manual.  Pada tahapan ini, dilakukan upaya untuk  mengidentifikasi  kata-kata yang mengandung unsur penyangkalan, seperti "tidak," "bukan," "belum," dan "jangan." Proses negasi dilakukan dengan menggabungkan kata penyangkalan dengan kata yang mengikutinya menggunakan tanda garis bawah ( underscore ) untuk membentuk satu kata baru. Kemudian, kata tersebut diartikan ulang menggunakan kamus negasi yang telah disusun oleh penulis. Pada langkah stopword removal, dilakukan proses penghapusan kata-kata yang tidak relevan dalam dokumen. Bertujuan untuk menyederhanakan teks dan fokus pada kata-kata  yang  lebih  penting  dalam  analisis.  Proses  stemming  melibatkan  transformasi  kata-kata  dengan  imbuhan  ke bentuk dasar. Hasil dari setiap tahapan preprocessing dapat dilihat pada Tabel 2.
Tabel 2. Hasil Preprocessing Tahapan Sebelum Sesudah Cleaning Ini  wa  knpa  si , ada  tlp  masuk  tp  ga nyambung "!!!! Pdhl  sinyal  bagus , bisa  buat aplikasi lain dan lancar ! Ini  wa  knpa  si  ada  tlp  masuk  tp  ga  nyambung Pdhl  sinyal  bagus  bisa  buat  aplikasi  lain  dan lancar
Case Folding I ni  wa  knpa  si  ada  tlp  masuk  tp  ga  nyambung
P dhl  sinyal  bagus  bisa  buat  aplikasi  lain  dan lancar ini  wa  knpa  si  ada  tlp  masuk  tp  ga  nyambung pdhl  sinyal  bagus  bisa  buat  aplikasi  lain  dan lancar Tokenizing ini wa knpa si ada tlp masuk tp ga nyambung pdhl sinyal bagus bisa buat aplikasi lain dan lancar ini,  wa,  knpa,  si,  ada,  tlp,  masuk,  tp,  ga, nyambung,  pdhl,  sinyal,  bagus,  bisa,  buat, aplikasi, lain, dan, lancar Normalisasi ini, wa , knpa ,  si,  ada, tlp , masuk , tp , ga , nyambung, pdhl, sinyal,  bagus,  bisa, buat , aplikasi, lain , dan, lancar ini, whatsapp , kenapa , si, ada, telepon , masuk , tapi , tidak , nyambung, padahal, sinyal, bagus, bisa, melakukan , aplikasi, lain, dan, lancar Negation handling ini,  whatsapp,  kenapa,  si,  ada,  telepon,  masuk, tapi, tidak , nyambung ,  padahal,  sinyal,  bagus, bisa, melakukan, aplikasi, lain, dan, lancar
ini,  whatsapp,  kenapa,  si,  ada,  telepon,  masuk, tapi, berpisah ,  padahal,  sinyal,  bagus,  bisa, melakukan, aplikasi, lain, dan, lancar
Stop
Removal
ini, whatsapp, kenapa ,  si, ada ,  telepon,  masuk, tapi ,  berpisah, padahal ,  sinyal,  bagus,  bisa, melakukan, aplikasi, lain , dan , lancar
whatsapp,  si,  telepon,  masuk,  berpisah,  sinyal, bagus, aplikasi, lancar Steaming whatsapp,  si,  telepon,  masuk, berpisah ,  sinyal, bagus, aplikasi, lancar whatsapp  si  telepon  masuk pisah sinyal  bagus aplikasi lancar

## 3.4 Klasifikasi K-Nearest Neighbor
Algoritma K-Nearest Neighbor (K-NN) digunakan untuk memproses data vektor bobot hasil transformasi TF-IDF. Pada tahap  ini,  jarak  ke  tetangga  terdekat  dihitung  berdasarkan  konsep  K-NN  dengan  menggunakan  metode  klasifikasi berdasarkan data latih. Pengujian metode K-NN menggunakan parameter nilai k yang beragam, yaitu bilangan asli dari 1 sampai dengan 20. Nilai threshold yang digunakan yaitu threshold pada Document Frequency (DF) dari angka 1 sampai dengan 20. Pada pengujian algoritma K-NN, dilakukan 3 skenario dengan pembagian data latih dan data uji yang berbeda. Skenario pertama membagi data dengan rasio 70% data latih dan 30% data uji, skenario kedua dengan rasio 80% data latih dan 20% data uji, dan skenario ketiga dengan rasio 90% data latih dan 10% data uji. Seluruh hasil pengujian tersebut tercatat pada Tabel 3.
Tabel 3. Penguji Model K-NN Skenario Pengujian  Data Latih  Data Uji  Nilai K  Threshold  Akurasi Skenario pertama 70% 30% 19 13 73,67% Skenario Kedua 80% 20% 12 18 75,5% Skenario Ketiga 90% 10% 14 20 84%
Tabel 3 menggambarkan hasil pengujian metode K-Nearest Neighbors pada model terbaik dalam setiap skenario. Dalam skenario pertama, data latih dan data uji dibagi dengan rasio 70:30, menghasilkan model terbaik dengan k = 19 dan DF Threshold = 13, serta mencapai tingkat akurasi sebesar 73,67%. Skenario kedua melibatkan pembagian data latih dan data uji dengan rasio 80:20, yang menghasilkan model terbaik dengan k = 12 dan DF Threshold = 18, dan mencapai akurasi sebesar 75,5%. Skenario ketiga, dengan pembagian data latih dan data uji pada rasio 90:10, menghasilkan model terbaik dengan k = 14 dan DF Threshold = 20, mencapai tingkat akurasi sebesar 84%.
Muhammad  Riski,  Klasifikasi  Sentimen  Ulasan  Aplikasi  WhatsApp  di  Play  Store  Menggunakan  Metode  K-Nearest Neighbor
Dalam  perbandingan  akurasi  model  terbaik  pada  setiap  skenario,  ditemukan  bahwa  skenario  ketiga  dengan pembagian data latih dan data uji 90:10 menunjukkan performa terbaik. Hal ini menandakan bahwa penggunaan data latih yang  lebih  besar  menghasilkan  model  dengan  akurasi  terbaik.  Selain  itu  di  temukan  juga  bahwa  menentukan  nilai Thershold . Selanjutnya, menentukan nilai parameter K yang tepat juga dapat menghasilkan model yang optimal.

## 3.5 Word Cloud
Word  cloud ,  juga  dikenal  sebagai  awan  kata,  merupakan  representasi  visual  dari  sekumpulan  kata  dalam  teks  yang menonjolkan kata-kata yang paling sering muncul. Word cloud digunakan dalam berbagai bidang seperti analisis teks, visualisasi data, presentasi, dan desain grafis. Melalui word cloud pengguna dapat dengan cepat mengidentifikasi pola kata-kata yang dominan, memudahkan pemahaman teks yang kompleks serta memberikan gambaran umum tentang topik atau sentimen yang terkandung dalam suatu dokumen. Dalam evaluasi model, dilakukan beberapa skenario pembagian data latih dan data uji dengan rasio 70:30, 80:20, dan 90:10. Setelah pengujian, penulis memilih hasil word cloud dengan rasio  90:10  karena  dinilai  sebagai  hasil  terbaik  dalam  klasifikasi  menggunakan  metode  K-Nearest  Neighbor.  Hasil visualisasi word cloud ada pada Gambar 4.

## Gambar 4. Word Cloud

## 3.6 Evaluasi
Dalam evaluasi  model, digunakan metode confusion  matrix pada beberapa skenario  pembagian data latih  dan data uji dengan rasio 70:30, 80:20, dan 90:10. Hasil pengujian tersebut menunjukkan nilai akurasi, presisi, recall, dan f1-score dari model yang diuji. Hasil dari evaluasi model pada setiap skenario pembagian data latih dan data uji akan memberikan gambaran tentang performa model dalam berbagai kondisi.
a. Confusion matrix pembagian data latih dan data uji dengan rasio 70:30
Gambar 5. Confusion Matrix pada rasio 70:30
Gambar  5  merupakan  hasil confusion  matrix pada  model  terbaik  dengan  pengujian  menggunakan  rasio  70:30. Model terbaik diperoleh dengan nilai K=19 dan threshold = 18 yang menghasilkan akurasi mencapai 73,67%, nilai presisi sebesar 75,51%, recall sebesar 90,69%, dan f1-score sebesar 82,41% untuk kelas positif. Sementara pada kelas negatif, nilai presisi mencapai 65,45%, recall mencapai 37,50%, dan f1-score mencapai 47,68%. Confusion matrix menunjukkan model mengklasifikasikan positif sebanyak 245 dan negatif sebanyak 55, dengan True Positive (TP) sebanyak 185, False Positive (FP) sebanyak 60, True Negative (TN) sebanyak 36, dan False Negative (FN) sebanyak 19.
b. Confusion matrix pembagian data latih dan data uji dengan rasio 80:20
Muhammad  Riski,  Klasifikasi  Sentimen  Ulasan  Aplikasi  WhatsApp  di  Play  Store  Menggunakan  Metode  K-Nearest Neighbor
Gambar 6. Confusion Matrix Pada Rasio 80:20
Gambar  6  merupakan  hasil confusion  matrix pada  model  terbaik  dengan  pengujian  menggunakan  rasio  70:30. Model terbaik diperoleh dengan nilai K=12 dan threshold = 13 yang menghasilkan akurasi mencapai 75,5%, nilai presisi sebesar 77,99%, recall sebesar 89,86%, dan f1-score sebesar 83,50% untuk kelas positif. Sementara pada kelas negatif, nilai presisi mencapai 65,85%, recall mencapai 52,43%, dan f1-score mencapai 61,90%. Confusion matrix menunjukkan model mengklasifikasikan positif sebanyak 159 dan negatif sebanyak 41, dengan True Positive (TP) sebanyak 124, False Positive (FP) sebanyak 35, True Negative (TN) sebanyak 27, dan False Negative (FN) sebanyak 24.
c. Confusion matrix pembagian data latih dan data uji dengan rasio 90:10
Gambar 7. Confusion Matrix Pada Rasio 90:10
Gambar  7  merupakan  hasil confusion  matrix pada  model  terbaik  dengan  pengujian  menggunakan  rasio  70:30. Model terbaik diperoleh dengan nilai K=14 dan threshold = 20 yang menghasilkan akurasi mencapai 84%, nilai presisi sebesar 87,65%, recall sebesar 92,21%, dan f1-score sebesar 89,87% untuk kelas positif. Sementara pada kelas negatif, nilai presisi mencapai 68,42%, recall mencapai 56,52%, dan f1-score mencapai 61,90%. Confusion matrix menunjukkan model mengklasifikasikan positif sebanyak 81 dan negatif sebanyak 19, dengan True Positive (TP) sebanyak 71, False Positive (FP) sebanyak 10, True Negative (TN) sebanyak 13, dan False Negative (FN) sebanyak 6.
Berdasarkan ketiga confusion matrix yang dihasilkan dari pengujian, terlihat bahwa metode K-NN cenderung lebih unggul  dalam  mengklasifikasikan  kelas  positif  dibandingkan  dengan  kelas  negatif.  Hal  ini  dapat  diamati  dari perbandingan nilai presisi, recall, dan f1-score antara kedua kelas. Penyebab dari perbedaan ini adalah ketidakseimbangan jumlah data antara kedua kelas, di mana jumlah data untuk kelas positif lebih banyak daripada jumlah data untuk kelas negatif.  Ketidakseimbangan  ini  dapat  mempengaruhi  kinerja  metode  K-NN  dalam  mengenali  dan  memprediksi  kelas minoritas karena algoritma cenderung lebih sering mengklasifikasikan ke dalam kelas mayoritas.

## 4. KESIMPULAN
Berdasarkan  hasil  pengujian,  metode  K-Nearest  Neighbors  (K-NN)  efektif  dalam  mengklasifikasikan  sentimen  pada ulasan aplikasi WhatsApp di Play Store. Metode K-NN dilakukan pengujian dengan mengunakan 3 skenario pembagian data  90:10,  80:20,  70:30.  Metode  K-NN  menghasilkan  peforma  model  terbaik  pada  pembagian  data  90:10  yang menghasilkan akurasi mencapai 84%, nilai presisi sebesar 87,65%, recall sebesar 92,21%, dan f1-score sebesar 89,87% untuk kelas positif. Sementara pada kelas negatif, nilai presisi mencapai 68,42%, recall mencapai 56,52%, dan f1-score mencapai  61,90%  pada  k  =14  dan  Threshold=20.  Berdasarkan  hasil  pengujian,  metode  K-NN  menunjukkan kecenderungan lebih baik dalam mengklasifikasikan kelas positif dibandingkan dengan kelas negatif, seperti terlihat pada perbandingan nilai presisi, recall, dan f1-score kedua kelas. Penggunaan data latih yang lebih besar menghasilkan model dengan  akurasi  terbaik.  Selain  itu,  juga  ditemukan  bahwa  menentukan  Threshold  dan  parameter  K  yang  tepat  dapat menghasilkan model optimal.  Penelitian selajutnya disarankan untuk  menambah data dengan jumlah kelas positif dan
Muhammad  Riski,  Klasifikasi  Sentimen  Ulasan  Aplikasi  WhatsApp  di  Play  Store  Menggunakan  Metode  K-Nearest Neighbor
negatif yang seimbang bertujuan untuk memperoleh model yang lebih optimal dalam mengklasifikasikan sentimen positif dan negatif.

## REFERENCES
[1] M.  I.  Mahdi,  “Pengguna  Media  Sosial  di  Indonesia  Capai  191  Juta  pada  2022,”  Dataindonesia.id,  25  Februari  2022. https://dataindonesia.id/digital/detail/pengguna-media-sosial-di-indonesia-capai-191-juta-pada-2022 (diakses 21 Maret 2023).
[2] M. P. Utama, “Klasifikasi Komentar Di Google Playstore Tentang Kepuasan Pengguna Terhadap Aplikasi Ojek Online Dengan Menggunakan Metode C4.5,” Universitas Islam Negeri Sultan Syarif Kasim Riau, Pekanbaru, 2021.
[3] StatCounter,  “Mobile  Operating  System  Market  Share  in  Indonesia,”  StatCounter,  Mei  2023.  https://gs.statcounter.com/os- market-share/mobile/indonesia (diakses 21 Juni 2023).
[4] Y. Asri, W. N. Suliyanti, D. Kuswardani, dan M. Fajri, “Pelabelan Otomatis Lexicon Vader dan Klasifikasi Naive Bayes dalam menganalisis sentimen data ulasan PLN Mobile,” Jurnal Pengkajian dan Penerapan Teknik Informatika, vol. 15, no. 2, hlm. 264– 275, Nov 2022, doi: 10.33322/petir.v15i2.1733.
[5] H. Setiawan, E. Utami, dan S. Sudarmawan, “Analisis Sentimen Twitter Kuliah Online Pasca Covid-19 Menggunakan Algoritma Support Vector Machine dan Naive Bayes,” Jurnal Komtika (Komputasi dan Informatika), vol. 5, no. 1, hlm. 43–51, Jul 2021, doi: 10.31603/komtika.v5i1.5189.
[6] I. W. Suryawan Budi, N. Widya Utami, dan K. Q. Fredlina, “Analisis Sentimen Review Wisatawan Pada Objek Wisata Ubud Menggunakan Algoritma Support Vector Machine,” Jurnal Informatika Teknologi dan Sains, vol. 5, no. 1, hlm. 133–140, 2023.
[7] Z. Ulfah Siregar, R. R. A. Siregar, dan R. Arianto, “Klasifikasi Sentiment Analysis Pada Komentar Peserta Diklat Menggunakan Metode K-Nearest Neighbor,” Jurnal Kilat, vol. 8, no. 1, hlm. 81–92, 2019.
[8] A. Tangkelayuk dan E. Mailoa, “Klasifikasi Kualitas Air Menggunakan Metode KNN, Naïve Bayes Dan Decision Tree,” Jurnal Teknik Informatika dan Sistem Informasi, vol. 9, no. 2, hlm. 1109–1119, 2022, doi: doi.org/10.35957/jatisi.v9i2.2048.
[9] A. P. Wibowo, W. Darmawan, dan N. Amalia, “Komparasi Metode Naïve Bayes Dan K-Nearest Neighbor Terhadap Analisis Sentimen Pengguna Aplikasi Pedulilindungi,” IC-Tech, vol. 17, no. 1, hlm. 18–23, 2022, doi: doi.org/10.47775/ictech.v17i1.234.
[10]  I.  G.  Hendrayana,  D.  G.  H.  Divayana,  dan  M.  W.  A.  Kesiman,  “Komparasi  Metode  SVM,  K-NN  Dan  NBC  Pada  Analisis Sentimen,”  Jurnal  Indonesia :  Manajemen  Informatika  dan  Komunikasi,  vol.  4,  no.  1,  hlm.  191–198,  Jan  2023,  doi: 10.35870/jimik.v4i1.157.
[11]  M.  W.  Pertiwi,  “Analisis  Sentimen  Opini  Publik  Mengenai  Sarana  Dan  Transportasi  Mudik  Tahun  2019  Pada  Twitter Menggunakan Algoritma Naïve Bayes, Neural Network, KNN Dan SVM,” Inti Nusa Mandiri, vol. 14, no. 1, hlm. 27–32, 2019, [Daring]. Tersedia pada: http://www.nusamandiri.ac.id
[12]  R. I. Alhaqq, I. M. Kurniawan Putra, dan Y. Ruldeviyani, “Analisis Sentimen terhadap Penggunaan Aplikasi MySAPK BKN di Google Play Store,” Jurnal Nasional Teknik Elektro dan Teknologi Informasi, vol. 11, no. 2, hlm. 105–113, 2022.
[13]  E. Suryati, Styawati, dan A. Ari Aldino, “Analisis Sentimen Transportasi Online Menggunakan Ekstraksi Fitur Model Word2vec Text Embedding Dan Algoritma Support Vector Machine (SVM),” Jurnal Teknologi dan Sistem Informasi, vol. 4, no. 1, hlm. 96–106, 2023, doi: 10.33365/jtsi.v4i1.2445.
[14]  M.  I.  Putri  dan  I.  Kharisudin,  “Analisis  Sentimen  Pengguna  Aplikasi  MarketplaceTokopedia  Pada  Situs  Google  Play Menggunakan  Metode  Support  Vector  Machine(SVM),  Naïve  Bayes,  dan  Logistic  Regression,”  dalam  Prosiding  Seminar Nasional Matematika, 2022, hlm. 759–766.
[15]  M.  M.  Rohman,  Indriati,  dan  S.  Adinugroho,  “Analisis  Sentimen  pada  Ulasan  Aplikasi  Mobile  JKN  Menggunakan  Metode Maximum Entropy dan Seleksi Fitur Gini Index Text,” Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, vol. 5, no. 6, hlm. 2646–2654, 2021.
[16]  H. Sakdiyah, “Analisis Sentimen Customer Review Brand Kopi Kenangan Menggunakan Metode Naive Bayes,” Universitas Islam Negeri Maulana Malik Ibrahim, Malang, 2023.
[17]  I. Febriansyah, M. Fikry, dan Yusra, “Analisis Sentiment di Twitter terhadap Anies Baswedan sebagai Bakal Calon Presiden 2024 Menggunakan Metode K-Nearest Neighbor,” G-Tech: Jurnal Teknologi Terapan, vol. 7, no. 3, hlm. 1061–1070, 2023, doi: 10.33379/gtech.v7i4.2723.
[18]  A.  P.  Giovani,  Ardiansyah,  T.  Haryanti,  L.  Kurniawati,  dan  W.  Gata,  “Analisis  Sentimen  Aplikasi  Ruang  Guru  Di  Twitter Menggunakan Algoritma Klasifikasi,” Jurnal Teknoinfo, vol. 14, no. 2, hlm. 115–124, Jul 2020, doi: 10.33365/jti.v14i2.679.
[19]  V. R. Prasetyo, I. A. Ryanda, dan D. A. Prima, “Analisis Sentimen Dan Kategorisasi Review Pelanggan Pada Cafe Kopi Paste Dengan Metode Naive Bayes Dan K-Nearest Neighbor,” Jurnal Ilmiah NERO, vol. 8, no. 1, 2023.
[20]  R. S. Amardita, Adiwijaya, dan M. D. Purbolaksono, “Analisis Sentimen terhadap Ulasan Paris Van Java Resort Lifestyle Place di  Kota  Bandung  Menggunakan  Algoritma  KNN,”  Jurnal  Riset  Komputer,  vol.  9,  no.  1,  hlm.  62–68,  Feb  2022,  doi: 10.30865/jurikom.v9i1.3793.