## Journal of Information System Research (JOSH)
Volume 4, No. 3, April 2023, pp 855 − 864 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v4i3.3349
Analisis Sentimen Ulasan Aplikasi WeTV Untuk Peningkatan Layanan Menggunakan Metode K-Nearst Neighbor
Nurkholimah Faridhotun * , Elin Haerani, Reski Mai Candra
Fakultas Sains dan Teknologi, Teknik Informatika, Universitas Islam Negeri Sultan Syarif Kasim Riau, Pekanbaru Jl. HR. Soebrantas No.Km. 15, RW.15, Simpang Baru, Kota Pekanbaru, Riau, Indonesia Email: 1,* 11950121726@students.uin-suska.ac.id, 2 elin.haerani@uin-suska.ac.id, 3 reski.candra@uin-suska.ac.id Email Penulis Korespondensi: 11950121726@students.uin-suska.ac.id Submitted: 09/04/2023; Accepted: 30/04/2023; Published: 30/04/2023
Abstrak −Aplikasi streaming online merupakan kegiatan menonton film sangat digemari oleh masyarakat salah satunya adalah WeTV.  WeTV  merupakan  Streaming  Online  yang  digunakan  masyarakat  untuk  sebagai  media  hiburan.Aplikasi  WeTV memiliki rating sebesar 4 dari 256 ribu ulasan yang ditulis oleh  penggunanya. Kumpulan ulasan berupa teks tersebut dapat dikumpulkan dan diklasfikasikan menjadi tanggapan negatif, tanggapan netral, dan tanggapan negatif. Tanggapan positif adalah komentar  yang  optimis  atau  mendukung.Tanggapan  negatif  adalah  komentar  terhadap  ungkapan  atau  kasus  yang  tidak mendukung pernyataan terhadap kasus terkait. Tanggapan netral adalah komentar yang sulit untuk dipahami antara negatif atau positif yang sifatnya untuk memberikan saran, kalimat yang memiliki ulasan dari pengguna aplikasi dapat bersifat positif negatif dan  netral,  data  akan  melalui  proses  klasifikasi  dengan  menggunakan  metode  K-Nearst  Neighbor.  Pada  penelitian  ini menggunakan  12000  review  yang  berasal  dari  playstore.  Penelitian  menggunakan  tahap  preprocessing  yaitu  cleaning,  case folding, tokenizing, normalisasi, stopword removal dan steaming selanjutnya ke tahap TF-IDF dan untuk hasil akhirnya akan dilakukan pengujian dengan confusion matrix menggunakan bahasa pemograman Python. Hasil akurasi tertinggi dari proses pengujian dengan nilai K= 3 pada model dataset 90% data latih dan 10% data uji memperoleh akurasi sebesar 0,70%, precision 0,76%,recall  0,69%,  f1-score  0,72%.  Berdasarkan  hasil  penelitian  bahwa  metode  K-Nearst  Neighbor  baik  dalam  proses identifikasi tanggapan negatif pada WeTV.
Kata Kunci: Confusion Matrix; KNN; Preprocessing; TF-IDF; WeTV
Abstract −Online streaming applications are activities for watching movies that are very popular with the public, one of which is WeTV. WeTV is an online streaming that is used by the public as a medium of entertainment. The WeTV application has a rating of 4 out of 256 thousand reviews written by its users. The collection of reviews in the form of text can be collected and classified  into  negative  responses,  neutral  responses,  and  negative  responses.  Positive  responses  are  comments  that  are optimistic or supportive. Negative responses are comments on phrases or cases that do not support statements about related cases.  Neutral  responses  are  comments  that  are  difficult  to  understand  between  negative  or  positive  in  nature  to  provide suggestions, sentences that have reviews from application users can be positive, negative and neutral, the data will go through a classification process using the K-Nearst Neighbor method. In this study, 12,000 reviews were used from the playstore. The research  used  the  preprocessing  stage,  namely  cleaning,  case  folding,  tokenizing,  normalization,  stopword  removal  and steaming then to the TF-IDF stage and the final results will be tested with a confusion matrix using the Python programming language. The highest accuracy results from the testing process with a value of K = 3 in the dataset model 90% training data and 10% test data obtain an accuracy of 0.70%, precision 0.76%, recall 0.69%, f1-score 0.72% . Based on the results of the research that the K-Nearest Neighbor method is good in the process of identifying negative responses on WeTV.
Keywords : Confusion Matrix; KNN; Preprocessing; TF-IDF; WeTV

## 1. PENDAHULUAN
Aplikasi streaming online digunakan sebagai media hiburan yang digemari oleh masyarakat berdasarkan asosiasi penyelenggara  jasa  internet  Indonesia  periode  2022-2023  terdapat  215,63  juta  orang.  Angka   meningkat  2,67% dibandingkan  dengan  periode  sebelumnya  yang  berjumlah  210,03  juta  orang  [1]  Aplikasi  streaming  online digunakan untuk menonton yang membuat pengguna tidak merasa bosan, salah satu aplikasinya adalah WeTV. WeTV adalah aplikasi layanan yang dikemangkan oleh perusahaan teknologi global yang berada di China. WeTV bersaing dengan aplikasi layanan streaming online lainnya. Tahun 2020, WeTV bekerja sama dengan organisasi kreasi Indonesia dengan film seperti My Speaker My Significant Other dan Impeccable the Series yang mendapat respon positif dari pengguna WeTV[2]
Selain film dan acara televisi Asia, WeTV memiliki reality show dan variety show. Setiap pengguna WeTV bebas  menonton  berbagai  macam  film  dan  berhak  memberikan  ulasan  tanpa  ada  batasan[3]  Berbagai  macam komentar  sangat  berpengaruh  bagi  pihak  WeTV  berupa  komentar  negatif,  positif,  dan  netral.  Tanggapan  dari pengguna WeTV digunakan sebagai perbaikan bagi perusahaan aplikasi WeTV sehingga dapat membuat aplikasi menjadi lebih baik. Semakin banyak pengguna yang menggunakan aplikasi WeTV, maka semakin tinggi rating aplikasi  tersebut  [4].  Namun, karena  banyaknya ulasan  pengguna,  sulit  bagi  pihak  WeTV  untuk  membaca  dan menganalisisnya  secara  manual  merupakan  cara  yang  tidak  efektif,  sehingga  hal  tidak  disarankan.  Selain  itu, ulasan dapat memengaruhi aplikasi WeTV dalam peningkatan pelayanannya.
Dengan  menggunakan  metode  K-Nearst  Neighbor,  perlu  dilakukan  analisis  sentimen  terhadap  review aplikasi  WeTV  untuk  mengatasi  masalah  tersebut  [5].  Analisis  sentimen  menghasilkan  sekumpulan  data berdasarkan rating dari para pengguna aplikasi, sehingga data digunakan developer dalam mengambil keputusan untuk  evaluasi  pada  aplikasi  WeTV  untuk  mengurangi  rating  rendah  dan  mempertahankan  penggunanya  agar

## Journal of Information System Research (JOSH)
Volume 4, No. 3, April 2023, pp 855 − 864 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v4i3.3349
tidak  berpindah  ke  aplikasi  streaming  online  lain.  Penelitian  ini  mengambil  data  melalui  google  playstore  dengan sebanyak 12000 data dari bulan Juli 2019- Maret 2023. Ulasan perlu dilakukan klasifikasi meliputi ulasan positif, netral dan ulasan negatif, menggunakan algoritma K-Nearst Neighbor. Berdasarkan data pembelajaran yang paling dekat dengan objek maka digunakan metode K-Nearst Neighbor untuk mengklasifikasikannya. [6].
Penelitian yang dilakukan oleh (Salwa, 2021), analisis sentimen data ulasan menggunakan algortima SVM pada aplikasi Iflix  berdasarkan data dari 1 Januari 2021 hingga 17 Maret 2021 sebesar 1.134 ulasan Berdasarkan proses klasifikasi dengan menggunakan metode SVM yang dilakukan menunjukkan nilai akurasi tertinggi dimiliki oleh  skenario  data  latih  70  %  dan  data  uji  30  %  sebesar  93,45  %.  Sedangkan  hasil  confusion  matrix  adalah kemampuan prediksi kelas positif yang tepat benar adalah 145 ulasan dan kemampuan prediksi kelas negatif yang tepat benar adalah 653 ulasan. Sedangkan tingkat kesalahan yang dapat terjadi dalam melakukan prediksi kelas positif (false negative) sebesar 60 ulasan dan tingkat kesalahan 76 yang dapat terjadi dalam melakukan prediksi kelas negatif (false positive) sebesar 17 ulasan [7]
Berdasarkan  penelitian  sebelumnya  (Sri  Rahayu,  2022),  penerapan  metode  K-Nearest  Neighbor  (KNN) untuk  analisis  sentimen  kepuasan  pengguna  pada  aplikasi  flip  financial  technology  berdasarkan  data  yang digunakan dalam riset yang berasal dari Google Playstore, data 11.002 merupakan review tanggal 4-10 September 2021,  terdapat  9.373  data  dihasilkan  selama  tahap  preprocessing,  dan  tahap  pelabelan  menghasilkan  6.343 komentar positif, 1.247 komentar netral, dan 1.783 komentar negatif. Algoritma KNN digunakan dalam proses klasifikasi, yang menghasilkan tingkat akurasi 76,68 persen, tingkat penarikan 86,92 persen untuk ulasan positif, 46,92 persen untuk ulasan negatif, dan 67,23 persen untuk ulasan netral. Kelas presisi untuk review negatif sebesar 65,46 persen, sedangkan kelas presisi untuk review netral sebesar 57,45 persen. Data kelas dengan review paling positif  memiliki  nilai  presisi  sebesar  82,67  persen.  nilai  tekanan  70,97  persen  dan  spesifisitas  96,60  persen. Temuan penelitian ini mengarahkan para peneliti pada kesimpulan bahwa proporsi data yang benar yang berisi ulasan positif lebih tinggi daripada keseluruhan data yang diperkirakan berisi. Nilai recall sebesar 86,92 persen menunjukkan bahwa proporsi data yang diprediksi berisi review positif juga tinggi dibandingkan dengan jumlah total data yang berisi review positif.[8]
Perbandingan  Naive  Bayes,  SVM,  dan  KNN  untuk  sentimen  gadget  berdasarkan  aspek  dilakukan  oleh Jessica pada tahun 2021. Menurut temuan penelitian dan pengujian yang dilakukan  pada komentar Gadget flip Samsung Galaxy Z di YouTube, banyak pengguna memiliki pendapat positif tentang desain sementara yang lain memiliki  pendapat  negatif  tentang  harga,  spesifikasi,  dan  citra  merek.  Model  klasifikasi  SVM  mencapai  hasil terbaik jika dibandingkan dengan metode Naive Bayes, SVM, dan KNN. Dari keempat aspek yang meliputi aspek desain (94,40 persen), aspek harga (97,44 persen), aspek spesifikasi (96,22 persen), dan aspek citra merek (97,63 persen), akurasi SVM adalah 96,43%. [9]
Aplikasi  WeTV  memiliki  ulasan  positif,  netral,  dan  negatif  yang  digunakan  untuk  mengevaluasi  suatu produk untuk peningkatan kualitas. [10]. Untuk situasi ini, pemeriksaan opini dapat diterapkan pada aplikasi survei yang  tersedia  di  Google  Play  Store.  Jenis  sumber  data  yang  digunakan  dalam  penelitian  ini  adalah  yang membedakannya dengan penelitian sebelumnya. Metode K-Nearst Neighbor (KNN) digunakan dalam penelitian ini, dan datanya berasal dari data review aplikasi WeTV yang tersedia di Google Play Store dari Juli 2019 hingga Maret 2023.

## 2. METODOLOGI PENELITIAN

## 2.1 Tahapan Penelitian
Tahapan penelitian sebagai berikut:

## Journal of Information System Research (JOSH)
Volume 4, No. 3, April 2023, pp 855 − 864 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v4i3.3349
Berikut penjelasan dari gambar 1:
a. Data  berasal  dari  review  ulasan  aplikasi  WeTV  pada  Google  Play  Store  pengumpulan  data  dengan menggunakan bahasa pemograman Phython dan web scrapping. Data yang dihasilkan sebanyak 12000 data yang diambil dari Juli 2019- Maret 2023. Data yang terkumpul dibagi menjadi 3 kelas sentimen, yaitu positif, netral dan negatif.
b. Proses preprocessing yaitu tahap pengolahan data untuk mempermudah proses klasfikasikasi yang terdiri dari cleaning, case folding, tokenizing, normalisasi, stopword removal, dan stemming.
c. Pembobotan kata TF-IDF untuk pembobotan jumlah frekuensi kata yang digunakan pada proses klasifikasi.
d. Metode  K-Nearst  Neighbor  digunakan  sebagai  klasifikasi  data  untuk  mendapatkan  analisis  opini.  Pada banyaknya jumlah data digunakan sebagai uji model yang diperoleh data training.
e. Unrtuk  mengetahui  kinerja  metode  dilakukan  evaluasi  untuk  nilai  akurasi  dengan  menggunakan  confusion matrix

## 2.3 Pembobotan Kata TF-IDF
Salah satu teknik pembobotan jumlah frekuensi kata adalah pembobotan kata. Menurut Robertson bahwa metode TF-IDF digunakan untuk proses pembobotan kata karena efektif dan akurat. Teknik pembobotan data yang dapat digunakan, antara lain Jumlah dokumen yang mengandung term tertentu disebut dengan document frequency (DF), Salah  satu  metode  untuk  menentukan  bobot  setiap  term  dalam  teks  adalah  term  frequency  (TF),  dan  inverse document  frequency  (idf)  yaitu  suatu  metode  untuk  menghitung  frekuensi  kemunculan  suatu  term  di  seluruh kumpulan  teks.  Term  Frequency  Inverse  Document  Frequency  (TF-IDF)  digunakan  untuk  menghitung  bobot dengan mengintegrasikan term frequency (TF) dan inverse document frequency (IDF) [11] Teknik ini memiliki nilai  signifikan  yang relatif  terhadap  waktu  kemunculannya  dalam  teks.  Selain  itu, frekuensi  dokumen  terbalik (IDF) adalah metode untuk menghitung berapa kali suatu istilah muncul di semua koleksi teks. Rumus perhitungan TF-IDF [12] :
𝑤𝑖𝑗 = 𝑡𝑓 ( 𝑖 , 𝑗 ) 𝑥 𝑖𝑑𝑓 (1)
Rumus mencari nilai idf sebagai berikut:
idf = log n dfi (2)
Keterangan:
W(i,j) : bobot dalam dokumen j Tf(i, j)  :frekuensi kemunculan term i dalam dokumen j Idf :nilai idf dari kata i N : jumlah semua dokumen DF : Jumlah dokumen yang mengandung kata i

## 2.3 Klasifikasi
Pada  machine  learning klasifikasi  termasuk  supervised  learning  [13].  Pada  bidang  kecerdasan  buatan, machine learning adalah studi tentang metode yang dapat diprogram dan dipelajari dari data sebelumnya [14]. Pada setiap kelas yang telah ditentukan, supervised learning adalah proses membandingkan data baru dengan data yang sudah ada  [15].  Berdasarkan  data  training  dan  jarak  terdekat  objek,  klasifikasi  K-Nearst  Neighbor  digunakan  untuk mengklasifikasikan  objek.  Saat  menentukan  label prediktif  untuk data  uji,  jumlah  tetangga  terdekat  dinyatakan dengan nilai K. Jarak K tetangga terdekat pada jarak K tetangga terdekat yang dipilih. Pada data uji, label prediksi kelas diberikan kepada kelas dengan voting terbanyak [16] Tujuan algoritma ini adalah menggunakan atribut dan sampel  pelatihan  untuk  mengklasifikasikan  objek  baru.  Klasifikasi  yang  digunakan  sebagai  nilai  prediksi  dari sebuah  query  instance  baru  yaitu  algoritma  K-Nearst  Neighbor  (KNN).  Tujuan  dari  algortima  ini  untuk mengklasifikasikan obyek baru berdasarkan atribut dan training sample [17]. Jarak euclidean (Euclidean Distance) biasanya  digunakan  untuk  menentukan  apakah  tetangga  dekat  atau  jauh.  Jarak  euclidean  digunakan  untuk menghitung jarak ukuran untuk menentukan seberapa dekat dua benda satu sama lain[18] Berikut rumus dari jarak euclidean.
d(x, y) =   √∑ (x 1 − y 1 ) 2 r k=1 (3)
Metode K-Nearest Neighbor dapat dihitung dengan cara berikut [19] :
1. Tentukan K
2. Gabungkan  semua  data  pelatihan  untuk  menentukan  jarak  data  baru.  Jarak  dihitung  menggunakan  jarak Euclidean
3. Urutkan jarak dari yang terdekat
4. Periksa kelas K tetangga terdekat
5. Data kelas baru = mayoritas kelas K tetangga terdekat menentukan K parameter.

## Journal of Information System Research (JOSH)
Volume 4, No. 3, April 2023, pp 855 − 864 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v4i3.3349

## 2.3 Pengujian
Pengukuran klasifikasi menggunakan Confusion Matrix. Dalam bidang data mining, akurasi ditentukan dengan menghitung jumlah prediksi benar dan salah yang dibuat dengan metode klasifikasi baik menggunakan data aktual maupun data prediksi[20]  Cofusion matrix adalah tabel yang menghasilkan hasil klasifikasi terhadap masalah biner (tiga kelas) [21].
Tabel 1. Confusion Matrix Kelas Hasil Prediksi Positif Netral Negatif Positif True Positif False Positif Negatif False Positif Negatif Actual Class Netral False Netral Positif False Netral Negatif True Netral Negatif False Negatif Positif True Negatif False Negatif Netral Akurasi, recall, dan precision merupakan hasil output perhitungan confusion matrix Akurasi     = (TP+TN) TP+TN+FP+FN × 100% (4) Precission = TP TP+FP × 100% (5) Recall          = TP TP+FN × 100% (6) Keterangan: TP
: True Positif
TN
: True Negatif FP : False Positif FN : False Negatif

## 3. HASIL DAN PEMBAHASAN

## 3.1 Pengumpulan Data
Proses dalam mengumpulkan data dengan menggunakan bahasa pemograman Phython dan web scrapping.  Dari Juli  2019  hingga  Maret  2023,  terkumpul  sebanyak  12000  data  Data  yang  terkumpul  dibagi  menjadi  3  kelas sentimen, yaitu positif, netral dan negatif. Hasil pengumpulan data dalam format csv terdapat pada gambar 2:

## Gambar 2. Pengumpulan Data

## 3.2 Pelabelan Data
Pelabelan data ulasan WeTV dilakukan secara manual sehingga dapat menentukan kelas dari pelabelan data yang terdiri dari kelas sentimen positif, netral dan negatif. Berikut contoh ulasan data WeTV pada tabel 2:
Tabel 2. Contoh Data Ulasan WeTV Teks Label Sangat membantu apalikasinya..... Positif Iklan...Tolong di tiadakan Netral Gak bisa di buka, aplikasi jelek Negatif

## 3.3 Text Preprocessing
Tahap pengolahan data adalah text preprocessing. Sebelum digunakan untuk melatih model, data yang diberi label harus  menjalani  langkah-langkah  preprocessing  data  [22].  Preprocessing  data  meliputi  case  folding,  cleaning, tokenizing, normalisasi, stopword removal, dan steaming [23]. Tahapan preprocessing terdiri dari:

## Journal of Information System Research (JOSH)
Volume 4, No. 3, April 2023, pp 855 − 864 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v4i3.3349

## 3.3.1 Cleaning Data
Pada tahap ini, membersihkan data dalam informasi  seperti  URL,  tagar, pemberitahuan, dan emoji seperti  kata “cukup baik dan memuaskan.. ☺ ” menjadi “cukup baik dan memuaskan”. Hasil proses cleaning terdapat pada tabel 3 sebagai berikut:
Tabel 3. Hasil Proses Cleaning
Sebelum Sesudah Sangat membantu aplikasinya.....
Sangat membantu aplikasinya
Iklan... Tolong di tiadakan
Iklan Tolong di tiadakan
Gak bisa di buka, aplikasi jelek
Gak bisa di buka aplikasi jelek

## 3.3.2 Case Folding
Tahap untuk mengubah huruf besar dalam dokumen, seperti kata “Cukup baik” menjadi “cukup baik”. Hasil proses case folding terdapat pada tabel 4 sebagai berikut:
Tabel 4. Hasil Proses Case Folding
Sebelum Sesudah Sangat membantu aplikasinya sangat membantu aplikasinya Iklan Tolong di tiadakan iklan tolong di tiadakan
Gak bisa di buka aplikasi jelek
gak bisa di buka aplikasi jelek

## 3.3.3 Tokenizing
Pada tahap ini, dilakukan pemisahan setiap kata yang terdapat dalam dokumen. Hasil proses tokenizing terdapat pada tabel 5 sebagai berikut:
Tabel 5. Hasil Proses Tokenizing Sebelum Sesudah sangat membantu aplikasinya [‘sangat’, ‘membantu’, ‘apalikasinya’] iklan tolong di tiadakan [‘iklan’, ‘tolong’, ‘di’, ‘tiadakan’]
gak bisa di buka aplikasi jelek
[‘gak’, ‘bisa’, ‘di’,  ‘buka’,  ‘aplikasi’, ‘jelek’]

## 3.3.4 Normalisasi
Proses pengubahan kata-kata yang salah eja atau tidak baku menjadi bahasa baku, seperti  kata “tiadakan” menjadi “hapus”. Hasil proses normalisasi terdapat pada tabel 6 sebagai berikut:
Tabel 6. Hasil Proses Normalisasi Sebelum Sesudah Sangat sangat Membantu  membantu apalikasinya aplikasinya iklan iklan tolong tolong tiadakan hapus gak tidak bisa bisa di di buka buka jelek jelek

## 3.3.5 Stopword Removal
Tahap ini, menghapus kata-kata yang tidak perlu digunakan harus dihapus, seperti "di", "ke",dan "dari". Hasil proses stopword removal terdapat pada tabel 7 sebagai berikut:
Tabel 7. Hasil Proses Stopword Removal
Sebelum
Sesudah
[‘sangat’, ‘membantu’, ‘aplikasinya’] [‘sangat’, ‘membantu’, ‘apalikasi’]
[‘sering’, ‘iklan’, ‘tolong’, ‘di’, ‘tiadakan’]
[‘sering’, ‘iklan’, ‘tolong’, ‘hapus’]
[‘tidak’, ‘bisa’, ‘di’,  ‘buka’,  ‘aplikasi’, ‘jelek’]
[‘tidak’, ‘bisa’, ‘buka’,  ‘aplikasi’, ‘jelek’]

## Journal of Information System Research (JOSH)
Volume 4, No. 3, April 2023, pp 855 − 864 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v4i3.3349

## 3.3.6 Stemming
Pada  tahap  ini  semua  kata  mengalami  transformasi  menjadi  bentuk  dasarnya  pada  tahap  ini,  seperti  kata “membantu” jadi “bantu”. Hasil proses stemming terdapat pada tabel 8 sebagai berikut:
Tabel 8. Hasil Proses Stemming
Sebelum Sesudah sangat membantu aplikasinya sangat bantu aplikasi iklan tolong hapus iklan tolong hapus
tidak bisa buka aplikasi jelek
tidak bisa buka aplikasi jelek

## 3.4 Tahap TF-IDF
Tahap  TF-IDF  berfungsi  untuk  menghitung  bobot  pada  setiap  kata  atau  term  yang  digunakan,  dan  juga  untuk menghasilkan  nilai  dari  term  yang  sudah  diekstrak  sebelumnya.  Menurut  Robertson  bahwa  metode  TF-IDF digunakan untuk proses pembobotan kata karena efektif dan akurat.  Hasil dari TF-IDF terdapat pada gambar 3 sebagai berikut:
Gambar 3. TF-IDF

## 3.5 Klasifikasi
Algoritma K-Nearst Neighbor digunakan untuk analisis sentimen data tahapan TF-IDF yang telah diubah menjadi vektor  bobot  hasil.  Pada  tahap  ini,  jarak  ke  tetangga  terdekat  dihitung  menggunakan  konsep  algoritma  KNN, analisa dari metode klasifikasi yang telah diperoleh data latih. Nilai k yang digunakan dalam proses perhitungan yaitu 3. Terdapat 4 skenario yaitu 60% data latih dan 40% data uji skenario pertama, 70% data latih dan 30% data uji skenario ketiga, 80% data latih dan 20% data uji skenario ketiga, serta 90% data latih dan 10% data uji skenario keempat.  Pengujian  yang  dilakukan  dengan  algoritma  KNN  menghasilkan  hasil  terdapat  pada  tabel  9  sebagai berikut:
Tabel 9. Hasil Klasifikasi Pada KNN Skenario K Accuracy 60:40 3 0,63% 70:30 3 0,66% 80:20 3 0,68% 90:10 3 0,70%
Tabel diatas menjelaskan bahwa hasil terbaik pada model KNN yang menggunakan skenario 90:10 dengan nilaiK=3 nilai akurasi sebesar 0,70%.

## 3.6 Pengujian
Pengujian menggunakan confusion matrix yang berguna dalam pengecekan dan melihat hasil prediksi algoritma klasifikasi yaitu KNN. Untuk hasil penerapan confusion matrix dilakukan empat skenario yang menampilkan nilai accuracy, precision, recall, dan   f1-score sebagai berikut:
a. Skenario Pertama
Hasil dari skenario pertama yaitu 60% data latih dan 40% data uji terdapat pada gambar 4:

## Journal of Information System Research (JOSH)
Volume 4, No. 3, April 2023, pp 855 − 864 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v4i3.3349
Gambar 4. Hasil Confusion Matrix Skenario Pertama
Skenario  pertama  pada  gambar  4.  dengan  pembagian  data  latih  sebanyak  60%  dan  40%  data  uji menghasilkan nilai accuracy sebesar 0,63%, precission 0,72%, recall 0,65%, dan f1-score 0,68%. Hasil prediksi untuk setia kelas sentimen negative true positive (diprediksi benar) sebesar 2373 data, sedangkan true negative (diprediksi  salah)  sebesar  1502  data.  Untuk  kelas  netral  true  positive  (diprediksi  benar)  sebesar  2545  data sedangkan  true  negative  (diprediksi  salah)  sebesar  279  data.Untuk  kelas  positif  true  positif  (diprediksi  benar) sebesar 1011 data, sedangkan true negative (diprediksi salah) sebesar 1766 data. b. Skenario kedua Hasil dari skenario kedua yaitu 70% data latih dan 30% data uji terdapat pada gambar 5:
Gambar 5. Confusion Matrix Skenario Kedua
Skenario kedua pada gambar 5. dengan pembagian data latih sebanyak 70% dan 30% data uji menghasilkan nilai  accuracy  sebesar  0,66%,  precission  0,74%,  recall 0,67%,  dan  f1-score 0,70%.  Hasil  prediksi untuk  setiap

## Journal of Information System Research (JOSH)
Volume 4, No. 3, April 2023, pp 855 − 864 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v4i3.3349
kelas  sentimen  negative  true  positive  (diprediksi  benar)  2109  data,  sedangkah  true  negative  (diprediksi  salah) sebesar 1061 data. Untuk kelas netral true positive (diprediksi benar) sebesar 1963 data sedangkan true negative (diprediksi salah) sebesar 200 data. Untuk kelas positif true positif  (diprediksi benar) sebesar 813 data, sedangkan true negative (diprediksi salah) sebesar 1234 data. c. Skenario ketiga
Hasil dari skenario ketiga yaitu 80% data latih dan 20% data uji terdapat pada gambar 6:
Gambar 6. Confusion Matrix Skenario Ketiga
Skenario ketiga pada gambar 6. dengan pembagian data latih sebanyak 80% dan 20% data uji menghasilkan nilai  accuracy  sebesar  0,68%,  precission  0,74%,  recall 0,68%,  dan  f1-score 0,71%.  Hasil  prediksi untuk  setiap kelas  sentimen  negative  true  positive  (diprediksi  benar)  1406  data,  sedangkah  true  negative  (diprediksi  salah) sebesar 662 data. Untuk kelas netral true positive (diprediksi benar) sebesar 1337 data sedangkan true negative (diprediksi salah) sebesar 127 data. Untuk kelas positif true positif (diprediksi benar) sebesar 588 data, sedangkan true negative (diprediksi salah) sebesar 804 data. d. Skenario keempat Hasil dari skenario keempat yaitu 90% data latih dan 10% data uji terdapat pada gambar berikut:
.

## Journal of Information System Research (JOSH)
Volume 4, No. 3, April 2023, pp 855 − 864 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v4i3.3349
Skenario  keempat  pada  gambar  7.  dengan  pembagian  data  latih  sebanyak  90%  dan  10%  data  uji menghasilkan  nilai  accuracy  sebesar  0,70%,  precission  0,76%,  recall  0,69%,  dan  f1-score  0,72%.  Hasil  kelas sentimen  negatif  sebesar  2109  data,  992  data  negatif  diprediksi  sebagai  netral,  dan  69  data  negatif  diprediksi sebagai positif. Hasil kelas sentimen netral sebesar 1963 data, 173 data netral diprediksi sebagai negatif, dan 27 data netral sebagai positif. Hasil kelas sentimen positif 813 data,572 data positif diprediksi sebagai negatif, da 662 data positif diprediksi sebagai netral. Hasil grafik perbandingan confusion matrix terdapat pada gambar 8 sebagai berikut:

## Gambar 8. Grafik Perbandingan Skenario Confusion Matrix
Berdasarkan gambar 8 bahwa diagram perbandingan dari hasil perhitungan confusion matrix dari empat skenario  disimpulkan  bahwa  proses  klasifikasi  menggunakan  algoritma  KNN  yang  menggunakan  nilai  K=3, mendapatkan  hasil  akurasi  70%  untuk  keempat  skenario  yang  telah  dijalankan.  Skenario  dengan  performasi model tertinggi didapatkan oleh 2 skenario, pertama skenario keempat dengan accuracy 0,70%, precission 0,76%, recall 0,69%, dan f1-score 0,72%. Kedua yang tertinggi pada skenario ketiga dengan accuracy 0,68%, precission 0,74%, recall 0,68% dan f1-score 0,71%. Skenario yang memiliki akurasi terendah pada skenario kedua dengan accuracy 0,66%, precisson 0,74%, recall 0,67% dan f1-score 0,70%.Kedua yang terendah pada skenario pertama dengan  accuray 0,63%, precission 0,72%, recall 0,65% dan f1-score 0,68%.

## 4. KESIMPULAN
Berdasarkan pengujian menggunakan algoritma K-Nearst Neighbor  dalam melakukan  klasifikasi sentimen data review pengguna WeTV menghasilkan akurasi baik. Skenario dengan model tertinggi didapatkan oleh 2 skenario dengan nilai k=3, yang pertama skenario keempat , pertama skenario keempat dengan accuracy 0,70%, precission 0,76%,  recall  0,69%,  dan  f1-score  0,72%.  Kedua  yang  tertinggi  pada  skenario  ketiga  dengan  accuracy 0,68%, precission 0,74%, recall 0,68% dan f1-score 0,71%. Skenario yang memiliki akurasi terendah pada skenario kedua dengan accuracy 0,66%, precisson 0,74%, recall 0,67% dan f1-score 0,70%.Kedua yang terendah pada skenario pertama dengan  accuray 0,63%, precission 0,72%, recall 0,65% dan f1-score 0,68%. Hasil klasifikasi berdasarkan dari kepuasan dan keluhan yang dihadapi oleh pengguna Aplikasi WeTV. Sentimen negatif  dari ulasan aplikasi ini berasal dari keluhan pengguna. Ketika menggunakan aplikasi ini, banyak sekali iklan dan ketentuan VIP berbayar yang membuat merasa mendapatkan layanan yang kurang. Terkadang pengguna ingin menginstal dan menggunakan aplikasi, tetapi mengalami kesulitan karena tidak memahami sesuatu. Oleh karena itu, saran untuk developer aplikasi WeTV agar dapat meningkatkan pelayanan untuk menjadi lebih baik dikalangan pengguna WeTV supaya tidak beralih ke platform streaming online lain.
0, 72% 0, 74% 0, 74% 0, 76% 0, 65% 0, 67% 0, 68% 0, 69% 0, 68% 0, 70% 0, 71% 0, 72% 0, 63% 0, 66% 0, 68%
0, 70% S K E N A R I O P E R T A M A   ( 6 0 : 4 0 ) S K E N A R I O   K E D U A
( 7 0 : 3 0 ) S K E N A R I O   K E T I G A ( 8 0 : 2 0 )
S K E N A R I O
K E E M P A T   ( 9 0 : 1 0 )

## PERBANDINGAN CONFUSION MATRIX
Precission Recall
f1-Score
Accuracy

## Journal of Information System Research (JOSH)
Volume 4, No. 3, April 2023, pp 855 − 864 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v4i3.3349

## REFERENCES
[1] S.  Sarnita,  “APJII:  Pengguna  Internet  Indonesia  215,63  Juta  pada  2022-2023,” https://dataindonesia.id/ . https://dataindonesia.id/digital/detail/apjii-pengguna-internet-indonesia-21563-juta-pada-20222023  (accessed  Mar.  20, 2023).
[2] K. Sistem, D. Produk, and P. Musyarakah, “Fakultas ekonomi dan bisnis islam,” vol. 5, no. 0355, pp. 18–20, 2014.
[3] U. Kulsum, M. Jajuli, and N. Sulistiyowati, “Analisis Sentimen Aplikasi WETV di Google Play Store Menggunakan Algoritma  Support  Vector  Machine,” J.  Appl.  Informatics  Comput. ,  vol.  6,  no.  2,  pp.  205–212,  2022,  doi: 10.30871/jaic.v6i2.4802.
[4] F. F. Irfani, “Analisis Sentimen Review Aplikasi Ruangguru Menggunakan Algoritma Support Vector Machine,” JBMI (Jurnal Bisnis, Manajemen, dan Inform. , vol. 16, no. 3, pp. 258–266, 2020, doi: 10.26487/jbmi.v16i3.8607.
[5] A.  D.  Adhi  Putra,  “Analisis Sentimen  pada  Ulasan pengguna  Aplikasi  Bibit  Dan  Bareksa dengan  Algoritma  KNN,” JATISI (Jurnal Tek. Inform. dan Sist. Informasi) , vol. 8, no. 2, pp. 636–646, 2021, doi: 10.35957/jatisi.v8i2.962.
[6] M. M. Baharuddin, H. Azis, and T. Hasanuddin, “Analisis Performa Metode K-Nearest Neighbor Untuk Identifikasi Jenis Kaca,” Ilk. J. Ilm. , vol. 11, no. 3, pp. 269–274, 2019, doi: 10.33096/ilkom.v11i3.489.269-274.
[7] S. Kamilia, “Analisis Sentimen Data Ulasan Menggunakan Algoritma Support Vector Machine (Studi Kasus: Aplikasi Iflix),” Universitas Islam Indonesia Yogyakarta, 2021.
[8] S. Rahayu, Y. MZ, J. E. Bororing, and R. Hadiyat, “Implementasi Metode K-Nearest Neighbor (K-NN) untuk Analisis Sentimen Kepuasan Pengguna Aplikasi Teknologi Finansial FLIP,” Edumatic J. Pendidik. Inform. , vol. 6, no. 1, pp. 98– 106, 2022, doi: 10.29408/edumatic.v6i1.5433.
[9] J. W. Iskandar and Y. Nataliani, “Perbandingan Naïve Bayes, SVM, dan k-NN untuk Analisis Sentimen Gadget Berbasis Aspek,” J.  RESTI  (Rekayasa  Sist.  dan  Teknol.  Informasi) ,  vol.  5,  no.  6,  pp.  1120–1126,  2021,  doi: 10.29207/resti.v5i6.3588.
[10]  M.  S.  Alrajak,  I.  Ernawati,  and  I.  Nurlaili,  “Analisis  Sentimen  Terhadap  Pelayanan  PT  PLN  di  Jakarta  pada  Twitter dengan Algoritma K- Nearest Neighbor (K-NN),” Semin. Nas. Mhs. Ilmu Komput. dan Apl. , vol. 1, no. 2, pp. 110–122, 2020.
[11]  A. A. Puspitasari, E. Santoso, and Indriati, “Klasifikasi Dokumen Tumbuhan Obat Menggunakan Metode Improved k- Nearest Neighbor,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. , vol. 2, no. 2, pp. 486–492, 2018.
[12]  Y. D. Pramudita, S. S. Putro, and N. Makhmud, “Klasifikasi Berita Olahraga Menggunakan Metode Naïve Bayes dengan Enhanced  Confix  Stripping  Stemmer,” J.  Teknol.  Inf.  dan  Ilmu  Komput. ,  vol.  5,  no.  3,  p.  269,  2018,  doi: 10.25126/jtiik.201853810.
[13]  M.  Mihuandayani,  E.  Feriyanto,  S.  Syarham,  and  K.  Kusrini,  “Opinion  Mining  Pada  Komentar  Twitter  E-Ktp Menggunakan Naive Bayes Classifier,” Semnasteknomedia Online , vol. 6, no. 1, pp. 1-2–25, 2018, [Online]. Available: https://ojs.amikom.ac.id/index.php/semnasteknomedia/article/view/2052
[14]  I. Iwandini, A. Triayudi, and G. Soepriyono, “Analisa Sentimen Pengguna Transportasi Jakarta Terhadap Transjakarta Menggunakan Metode Naives Bayes dan K-Nearest Neighbor,” J. Inf. Syst. Res. , vol. 4, no. 2, pp. 543–550, 2023, doi: 10.47065/josh.v4i2.2937.
[15]  A. P. N. April Lia Hananto, Bayu Priyatna, Agustia Hananto, Data Mining: Penerapan Algoritma (SVM, Naïve Bayes, K-NN) Dan Implementasi Menggunakan Rapid Miner . Bandung- Jawa Barat: CV. Media Sains Indonesia, 2023.
[16]  R. Puspita and A. Widodo, “Perbandingan Metode KNN, Decision Tree, dan Naïve Bayes Terhadap Analisis Sentimen Pengguna Layanan BPJS,” J. Inform. Univ. Pamulang , vol. 5, no. 4, p. 646, 2021, doi: 10.32493/informatika.v5i4.7622.
[17]  A. Y. Permana and H. Noviyani, “Komparasi Algoritma Naïve Bayes Dan K-Nearest Neighbor Dalam Melihat Analisis Sentimen Terhadap Vaksinasi Covid-19,” Pros. SAINTEK , vol. 1, no. 1, pp. 128–134, 2022.
[18]  M. A. Ferdina Kusumah, Nurjaidin, ANALISIS SISTEM PENDETEKSI WAJAH PADA GAMBAR DENGAN METODE K-NEAREST NEIGHBOR . Tanggerang Selatan: Pascal Books, 2021. doi: 978-623-5312-17-0.
[19]  S. Martha and E. Sulistianingsih INTISARI, “K Nearest Neighbor Dalam Imputasi Missing Data,” Bul. Ilm. Math. Stat. dan Ter. , vol. 07, no. 1, pp. 9–14, 2018, [Online]. Available: http://archive.ics.uci.edu/ml/datas/Iris.
[20]  D. Normawati and S. A. Prayogi, “Implementasi Naïve Bayes Classifier Dan Confusion Matrix Pada Analisis Sentimen Berbasis Teks Pada Twitter,” J. Sains Komput. Inform. (J-SAKTI , vol. 5, no. 2, pp. 697–711, 2021, [Online]. Available: http://ejurnal.tunasbangsa.ac.id/index.php/jsakti/article/view/369
[21]  Yuyun,  Nurul  Hidayah,  and  Supriadi  Sahibu,  “Algoritma  Multinomial  Naïve  Bayes  Untuk  Klasifikasi  Sentimen Pemerintah  Terhadap  Penanganan  Covid-19  Menggunakan  Data  Twitter,” J.  RESTI  (Rekayasa  Sist.  dan  Teknol. Informasi) , vol. 5, no. 4, pp. 820–826, 2021, doi: 10.29207/resti.v5i4.3146.
[22]  A. J. Putra, “Implementasi Metode Support Vector Machine Dalam Analisis Sentimen Pada Data Ulasan Twitter Vaksin Covid-19,” Dsp. Repos. , 2021, [Online]. Available: https://dspace.uii.ac.id/handle/123456789/34613%0Ahttps://dspace.uii.ac.id/bitstream/handle/123456789/34613/17522
246 Andika Julianto Putra.pdf?sequence=1&isAllowed=y
[23]  M.  Furqan,  S.  Sriani,  and  S.  M.  Sari,  “Analisis  Sentimen  Menggunakan  K-Nearest  Neighbor  Terhadap  New  Normal Masa Covid-19 Di Indonesia,” Techno.Com , vol. 21, no. 1, pp. 51–60, 2022, doi: 10.33633/tc.v21i1.5446.