## Journal of Information System Research (JOSH)
Volume 4, No. 3, April 2023, pp 874 − 882 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v4i3.3355

## Analisa Sentimen Ulasan Aplikasi Wetv Untuk Peningkatan Layanan Menggunakan Metode Naïve Bayes
Novi Lestari * , Elin Haerani, Reski Mai Candra
Fakultas Sains dan Teknologi, Teknik Informatika, Universitas Islam Negeri Sultan Syarif Kasim Riau, Pekanbaru Jl. HR. Soebrantas No.Km. 15, RW.15, Simpang Baru, Kota Pekanbaru, Riau, Indonesia Email: 1,* 11950125150@students.uin-suska.ac.id, 2 elin.haerani@uin-suska.ac.id, 3 reski.candra@uin-suska.ac.id Email Penulis Korespondensi: 11950125150@students.uin-suska.ac.id Submitted: 10/04/2023; Accepted: 30/04/2023; Published: 30/04/2023
Abstrak −Aplikasi streaming online yang paling terpopuler adalah WeTV. WeTV merupakan Streaming Internet based yang digunakan masyarakat untuk sebagai media hiburan. Aplikasi WeTV ini telah diunduh sebanyak 50.000 pengguna. Komentar dari para pengguna aplikasi dapat mempengaruhi citra dari aplikasi tersebut, tergantung dari bagaimana layanan yang diberikan pengembang  aplikasi.  Banyaknya  berbagai  tanggapan  baik  positif,  netral  dan  negatif  membawa  pengaruh  besar  bagi pihak WeTV. Untuk mengklasifikasi ulasan dari para pengguna tidak bisa dilakukan secara manual, dengan jumlah data yang sangat banyak maka tidak bisa dilakukan dengan mudah. Oleh karena itu pada penelitian ini bertujuan untuk menganalisis ulasan dari para pengguna aplikasi WeTV di goggle Playstore. Pada penelitian ini dilakukan tahap processing terdiri dari cleaning, case folding, tokenezing, normalisasi, stopword removal dan steaming selanjutnya masuk ketahap tf- idf dan untuk hasil akhirnya dilakukan dengan menggunakan confusion matrix menggunakan bahasa pemograman python  dengan menggunakan metode Naive Bayes Classifier dalam penelitian ini data yang digunakan berjumlah 12000 ulasan yang didapatkan di goggle playstrore. untuk  menghasilkan  sentimen positive, negative  dan  netral  terhadap  komentar  pengguna  aplikasi Wetv di goggle Playstore. Pengujian  dengan nilai accuracy tertinggi sebesar 0,64% dengan nilai precision -1 0,58% pada  Class  Recall  dihasilkan  nilai 0,89% pada model dataset 90%:10%
Kata Kunci: Confusion Matrix; Naïve Bayes; Preprocessing; TF-IDF; WeTV
Abstract −The most popular online streaming application is WeTV. WeTV is an internet-based streaming service that is used by the public as an entertainment medium. The WeTV application has been downloaded by up to 50,000 users. Application user ratings may affect the image of the application depending on the services provided by the application developer. Many positive, neutral and negative reactions have had a big impact on WeTV. Categorizing user ratings cannot be done manually because it is not easy with very large amounts of data. Therefore, the purpose of this research is to analyze the user rating of the  WeTV  application  on  the  Goggle  Playstore.  In  this  study  the  processing  steps  consisted  of  cleaning,  case  convolution, tokenization, normalization, stopword and vape removal, after which it was continued with the TF-IDF step and the final result was a confused matrix using the Python programming language with Naive Bayes classifier. method in this research. Using 12,000 reviews found on Google Playstore. to generate positive, negative and neutral sentiments from Wetv application user comments in the play store. The test with the highest precision value of 0.64% with a  -1 precision value of 0.58% in Class Recall gives a value of 0.89% in the 90%:10 balance model.
Keywords : Confusion Matrix; Naïve Bayes; Preprocessing; TF-IDF; WeTV

## 1. PENDAHULUAN
Perkembangan aplikasi mobile di Indonesia bermula dari pesatnya pertumbuhan teknologi smartphone. Menurut Menristekdikti, saat ini terdapat sekitar 167 juta pengguna smartphone di Indonesia, atau 89% dari total populasi negara[1]  .  Karena  angka  ini  sangat  menarik  dalam  hal  peluang  pasar,  banyak  orang  akan  memanfaatkan kesempatan  ini  untuk  mengembangkan  aplikasi  seluler  yang  akan  membantu  mereka  dalam  aktivitas  dan kehidupan  sehari-hari  [2].Di  era  globalisai  saat  ini  kemajuan  teknologi  semakin  maju  dan  semakin  banyak masyarakat yang menggunakanya. Seperti aplikasi layanan streaming film yang bisa di unduh di smartphone[3]. Teknologi ini diciptakan dengan menggunakan media perangkat seluler serta internet yang semakin hari semakin canggih  fitur-fiturnya[4].  Teknologi  ini  ditawarkan  oleh  para  pembuat  media  komunikasi  tersebut  agar memudahkan penggunanya. Salah satu aplikasi streaming online yang memiliki banyak peminatnya yaitu WeTv. WeTV merupakan aplikasi streaming online yang telah diunduh lebih dari 50 juta kali di situs google play store dan aplikasi ini dikembangkan oleh image future. Pada aplikasi wetv pengguna bisa mendapatkan berbagai macam kategori tontonan dimulai dari serial original wetv, variety show, drama, bahkan film yang berasal berbagai negara Asia,  seperti  Korea,  China,  Indonesia  dan  lainnya  [5].  Seiring  waktu,  pengguna  aplikasi  WeTV  sering membicarakan akan  layanan dari aplikasi WeTV. Berbagai macam komentar berpengaruh besar bagi pihak WeTV karena menyertakan komentar yang positif, negatif, dan netral. Perusahaan menggunakan komentar yang diberikan oleh pengguna WeTV sebagai bentuk perbaikan untuk meningkatkan layanan aplikasi WeTV dan menjadikannya lebih  baik  lagi  di  kalangan  pecinta  WeTV.  Namun,  karena  banyaknya  ulasan  dari  pengguna  yang  diterima mempersulit  pengembang    untuk  membacanya  akan  membutuhkan  lebih  banyak  waktu  dan  kerja  keras  untuk membaca  dan  menganalisa  secara  manual  dan  cara  ini  tidak  disarankan  karena  itu  tidak  layak  [6].  Dalam memyelesaikan  masalah  tersebut,  penulis  melakukan  sentimen  analysis  akan  ulasan  aplikasi  WeTV  dengan menggunakan metode Naïve Bayes Classifier. Analisis sentimen yaitu sekumpulan data yang berdasarkan rating dari pengguna aplikasi yang dapat menghasilkan kumpulan data yang nantinya dapat digunakan sebagai bentuk evaluasi  atau sebagai salah satu alat yang digunakan oleh bisnis untuk memutuskan perlu tidaknya meningkatkan

## Journal of Information System Research (JOSH)
Volume 4, No. 3, April 2023, pp 874 − 882 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v4i3.3355
aplikasi WeTV [7]. Penelitian ini mengambil data dari playstore sebanyak 1.500 data. Komentar dari pengguna aplikasi  perlu  dilakukan  klasifikasi  ulasan  positif,  negatif  dan  netral,  yang  dilakukan  proses  menggunakan algoritma  Naïve  Bayes  Classifier.  Salah  satu  teknik  klasifikasi  berdasarkan  teorema  Bayes  adalah  naive  bayes classifier[8]. Metode klasifikasi menggunakan metode probabilistik dan statistik, yang secara khusus memprediksi kemungkinan  berdasarkan  pengalaman  masa  lalu  (teorema  Bayes),  yang  ciri  utamanya  adalah  asumsi ketergantungan (naif) yang sangat kuat dari setiap keadaan/peristiwa[9]. Penelitian yang dilakukan oleh Lorosae, dkk (2018), analisis sentimen pada media sosial terkhusus twitter dalam pelayanan yang disediakan oleh penyedia jasa ekspedisi barang merupakan proses untuk mengelompokkan respon seseorang terhadap pelayanan pengiriman barang yang sedang atau telah dilakukan. Permasalahan yang terjadi dalam penelitian ini terdapat kesulitan untuk menentukan  opini  yang  bersifat  positif,  negatif  ataupun  netral.  Penelitian  ini  bertujuan  untuk  mengembangkan aplikasi yang mampu melakukan analisis sentimen konsumen, dimana Naive Bayer Classifier digunakan sebagai metode  klasifikasi.  Sistem  yang  dibuat  mampu  mengklasifikasikan  sentimen  pada  twitter  kedalam  sentimen positif,  netral  atau  negatif.  Hasil  yang  didapatkan  dari  akurasi  naïve  bayes  pada  data  uji  positif  memperoleh ketepatan 84%.Berdasarkan penelitian yang dilakukan oleh a. Kusuma dan a. nugroho, (2021), analisis kenaikan harga dasar listrik naive bayesian di twitter dengan menerapkan teknik text mining pada sistem yang akan dibangun cukup  berhasil.  Terbukti  bahwa  sistem  yang  dibangun  dapat  melakukan  pre-processing  teks  dan mengklasifikasikan  data  tweet  dalam  jumlah  besar  secara  otomatis.  Metode  klasifikasi  Naive  Bayes  dapat digunakan  sebagai  proses  klasifikasi  untuk  menghasilkan  opini  analitik  dengan  akurasi  92,00  menggunakan ekstraksi  fitur  n-gram . [10]  Pengujian  yang  dilakukan  oleh  Muljono,  Dian  Putri  Artanti,  Abdul  Syukur,  Adi Prihandono,  De  Rosal  I.  Moses  Setiadi  Analisa  Sentimen  Untuk  Penilaian  Pelayanan  Situs  Belanja  Online Menggunakan Algoritma Naïve Bayes Hasil pengujian menggunakan metode Naïve Bayes menunjukkan rata-rata akurasi  sebesar  93,33%.  Penelitian  yang  dilakukan  oleh  Dyarsa  (2015)  di  media  sosial  Twitter  dengan menggunakan Naive Bayes kata kunci “Kurikulum 2013” menciptakan sebuah sistem yang secara otomatis dapat mengklasifikasikan emosi ke dalam kategori positive, negative, dan netral berdasarkan 3.000 data pelatihan dan hasil  tes.  100  data  uji,  akurasi  hingga  91%[11].  Aplikasi  WeTV  bersifat  positif,  netral  dannegatif  dan  telah digunakan untuk menganalisis produk tertentu guna meningkatkan kualitasnya. Dalam hal ini, pendapat pengguna dapat ditemukan di survei untuk aplikasi yang tersedia di Google Play Store. Perbedaan dengan  penelitian sebelumnnya akan didasarkan pada data yang dikumpulkan. Metode yang digunakan dalam penelitian ini adalah Naive Bayes,  dan data yang digunakan adalah data penggunaan WeTV dari bulan Agustus hingga Desember 2022 yang dapat dilihat di Google Play Store.
Tujuan  dari  penelitian  ini  menghasilkan  sekumpulan  informasi  berdasarkan  review  yang  diberikan  oleh pengguna aplikasi sehingga informasi ini nantinya dapat d gunakan sebagai acuan atau salah satu alat digunakan untuk bahan pertimbangan perusahaan dalam mengambil sebuah keputusan untuk melakukan perbaikan terhadap aplikasi

## 2. METODOLOGI PENELITIAN

## 2.1 Tahapan Penelitian
Tahapan penelitian harus sesuai dengan gambar penelitian sebagai berikut:[8]
Pada  Gambar  1  proses  penelitian  ini  berkaitan  dengan  beberapa  tahapan,  yaitu  pengumpulan  data,  text preprocessing, feature extrain TF-IDF, klasifikasi Naive Bayes, pengujian confusion Matrix. Hasil yang diperoleh

## Journal of Information System Research (JOSH)
Volume 4, No. 3, April 2023, pp 874 − 882 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v4i3.3355
dapat  digunakan  sebagai  umpan  balik  bagi  pengembang  aplikasi  untuk  meningkatkan  kualitas  dan  kepuasan pengguna.

## 2.2 Pengumpulan Data
Data berasal dari ulasan aplikasi WeTV di Google Play  Store. Proses pengumpulan data  dengan menggunakan bahasa pemograman Phython dan web scrapping. Data yang dihasilkan sebanyak 12000 data yang diambil dari Juli 2019- Maret 2023. Data yang sudah disediakan akan dibagi menjadi 3 kelas sentimen, yaitu positive, netral dan negative.

## 2.3 Pembobotan Kata
Pembobotan kata adalah metode yang memberi bobot pada suatu kata (term) dengan suatu dokumen. Frekuensi informasi  dalam  sebuah  dokumen  menunjukkan  seberapa  penting  sebuah  kata  dalam  dokumen  tersebut  [9]. Frekuensi dokumen yang  berisi informasi menunjukkan seberapa umum  informasi tersebut. Bobot  sebuah kata bertambah ketika sering muncul dalam  sebuah dokumen dan  berkurang ketika muncul dalam banyak dokumen [10]. Persamaan yang digunakan untuk menentukan proses TF-IDF adalah sebagai berikut:
IDF = Log D DF (1) TF − IDF = tf ∗ idf (2)
Keterangan: D  : Jumlah dokumen dalam set data DF: Jumlah teks yang mengandung kata tersebut tf   : term frequency idf : inversi dokument frequency

## 2.4 Klasifikasi
Naive  Bayes  Classifier  menggunakan  teorema  Bayes  untuk  mengklasifikasikan  dan  menghitung  sekumpulan probabilitas  dengan  menjumlahkan  frekuensi  dengan  menggabungkan  nilai  dataset  [12].  Keuntungan  lain menggunakan algoritma naïve bayes adalah tidak mememerlukan banyak data pelatihan untuk proses klasifikasi. Struktur Pengklasifikasi Nave Bayes sederhana namun berkualitas tinggi. Metode Naive  Bayes Classifier mudah diimplementasikan  karena  strukturnya  yang  sederhana,  waktu  pemrosesan  yang  singkat,  akurasi  tinggi,  dan kemudahan implementasi [8].
Variabel-variabel  dalam  pendekatan  Naive  Bayes  Classifier  tidak  saling  bergantung  [13].  metode Pengklasifikasi Naive Bayes terkenal dengan tingkat akurasinya yang tinggi dengan perhitungan langsung, metode ini sering digunakan untuk menyelesaikan masalah terkait pembelajaran mesin. Pengklasifikasian data ke dalam kelas-kelas tertentu merupakan tujuan dari metode naïve bayes.[14]. Rumus untuk menentukan probabilitas setiap kelas adalah sebagai berikut:
p(positif/netral/negatif) = | dos j | | jumlah data | (3) Keterangan: p(positif/netral/negatif) : Potensi kemunculan suatu dokumen yang memiliki kategorii j dos j : Berapa banyak dokumen dalam setiap katagori j
|jumlah data|
: Jumlah dari dokumen dari semua katagori
Kemudian untuk melakukan perhitungan probabilitas kata terhadap pada setiap kelas j, dengan cara
P ( X i |V j ) = nk+1 n+| kosakata | (4) Keterangan:
P (Xi|Vj) : Peluang kemunculan Xi pada kategori Vj nk : Hasil dari kemunculan frekuensi tiap kata n : Hasil dari kemunculan kata dari tiap kategori |kosakata|: Hasil semua kata dari kategori yang ada Selanjutnya untuk proses klasifikasi data uji menggunakan persamaan sebagai berikut:
𝑉 𝑀𝐴𝑃 = 𝑝 (𝑣) 𝑗 𝑣𝑗𝜖𝑣 𝑎𝑟𝑔𝑚𝑎𝑥 𝜋 𝑝 𝑖 (𝑥 𝑖 ⃒𝑣 𝑗 ) (5)
Keterangan:
P (Vj)   : Peluang kemunculan suatu dokumen yang memiliki kategori j P (Xi|Vj): Peluang kemunculan Xi pada kategori Vj

## 2.5 Pengujian
Confusion matrix merupakan Salah satu teknik untuk menentukan akurasi berdasarkan prediksi status benar atau salah  suatu  objek  [15].  Nilai  akurasi  adalah  derajat  kedekatan  antara  nilai  prediksi  dengan  nilai  sebenarnya. Akurasi adalah tingkat kesesuaian antara informasi yang diminta dan jawaban yang diberikan oleh sistem. Recall

## Journal of Information System Research (JOSH)
Volume 4, No. 3, April 2023, pp 874 − 882 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v4i3.3355
adalah  tingkat  keberhasilan  sistem  dalam  mengambil  informasi   [16].  Berikut  merupakan  tabel  dari  confusion matrix.
Tabel 1. Confusion Matrix Kelas Hasil Prediksi Positive Netral Negative Positive True Positive False Positive Negative  False Positif Negatif Kelas asli  Netral False Netral Positive   False Netral Negative True Netral Negative  False Negatif Positif True Negative False Negatif Netral 𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = (𝑇𝑃+𝑇𝑁) 𝑇𝑃+𝑇𝑁+𝐹𝑃+𝐹𝑁 × 100% (6) 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑇𝑃 𝑇𝑃+𝐹𝑃 × 100% (7) 𝑅𝑒𝑐𝑎𝑙𝑙  = 𝑇𝑃 𝑇𝑃+𝐹𝑁 × 100% (8)

## 3. HASIL DAN PEMBAHASAN

## 3.1 Data Selection
Saat  ini,  penelitian  sedang  dilakukan  melalui  teknik  pengumpulan  data.  Tinjauan  WeTV  mempertimbangkan kumpulan  data.  Metode  Nave  Bayes  Classifier  digunakan  dalam  proses  pengumpulan  data,  yang  melibatkan pengumpulan hingga 12.000 data menggunakan bahasa pemrograman Python selama bulan Agustus dan Desember 2022. Tiga kategori, positif, netral, dan negatif, akan digunakan untuk mengelompokkan data yang dikumpulkan.

## 3.2. Pelabelan Data
Pelabelan data ulasan WeTV dilakukan secara manual. Untuk menentukan kelas dari pelabelan data yang terdiri dari 3 kelas yaitu positif, negatif dan netral. Berikut contoh hasil pelabelan data ulasan WeTV pada Tabel 2:
Tabel 2. contoh data ulasan WeTV Teks Label Saya suka fitur yang disediakan aplikasi ini Positif Kenapa diaplikasi wetv saya tidak muncul subtitelnya Netral Saya sudah membayar tapi akses vip belum di berikan padahal pembayaran saya berhasil Negatif

## 3.2 Text Processing
Tahapan pengelolaan data yang bertujuan untuk memudahkan data yang akan diolah pada tahapan selanjutnya. Berikut tahapan yang dilakukan dalam proses pre-processing[17]
a. Cleaning adalah proses pembersihan atribut yang tidak berhubungan dengan informasi di dalam data, seperti hashtag, URL, mention dan emoticon. hashtag, URL, mention dan emoticon. Berikut hasil proses Cleaning pada Tabel 3.
Tabel 3. Hasil Proses Cleaning Sebelum Cleaning Hasil Cleaning
Saya suka fitur yang disediakan apalikasi ini 😊 Saya suka fitur yang disediakan apalikasi ini
Kenapa diaplikasi wetv saya tidak muncl subtitelnya
Kenapa diaplikasi wetv saya tidak muncl subtitelnya Saya sudah membayar tapi akses vipp belum di berikan padahal pembayaran saya berhasil 🤬🤬🤬
Saya sudah membayar tapi akses vipp belum di berikan padahal pembayaran saya berhasil
b. Case folding  mengubah semua huruf dalam dokumen  menjadi huruf kecil.[18] Data yang diproses hanya huruf  ‘a’ hingga huruf ‘z’ yang diterima. Berikut hasil proses Case Folding pada Tabel 4.
Tabel 4. Hasil Proses Case folding
Sebelum Case folding
Hasil Case folding
Saya suka fitur yang disediakan apalikasi ini
saya suka fitur yang disediakan apalikasi ini
Kenapa diaplikasi wetv saya tidak muncl subtitelnya
kenapa diaplikasi wetv saya tidak muncl subtitelnya Saya sudah membayar tapi akses vipp belum di berikan padahal pembayaran saya berhasil
saya sudah membayar tapi akses vipp belum di berikan padahal pembayaran saya berhasil
c. Tokenizing proses pemecahan kalimat menjadi antar [19] bagian- bagian perkata sesuai dengan kata dalam teks.

## Journal of Information System Research (JOSH)
Volume 4, No. 3, April 2023, pp 874 − 882 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v4i3.3355
Tabel 5. Hasil Proses Tokenizing
Sebelum Tokenzing Hasil Tokenezing saya suka fitur yang disediakan apalikasi ini [‘saya’, ‘suka’, ‘fitur’, ‘yang’, ‘disediakan’, ‘apalikasi’, ‘ini’]
kenapa diaplikasi wetv saya tidak muncl subtitelnya
[’kenapa’, ‘di’,’aplikasi’, ‘wetv’, ‘saya’,’tidak’, ‘muncl, ‘subtitelnya’] saya sudah membayar tapi akses vipp belum di berikan padahal pembayaran saya berhasil [’saya’, ‘sudah’, ‘membayar’, ‘tapi’,’akses’, ‘vipp,
‘belum’, ‘di’, ‘berikan’, ‘padahal’, ‘pembayaran’, ‘saya’,’berhasil’]
d. Normalisasi yaitu tahap yang dilakukan untuk mengganti kata yang salah eja dan juga kata yang tidak baku ke dalam bahasa “apalikasi” menjadi “aplikasi”.
Tabel 6. Hasil Proses Normalisasi Sebelum Normalisasi  Hasil Normalisasi Saya Saya Suka Suka Fitur Fitur Yang Yang Di Di Sediakan Sediakan Apalikasi Aplikasi Ini Ini Kenapa Kenapa Di Di Aplikasi Aplikasi Wetv Wetv saya saya Tidak Tidak Muncl Muncul Subtitelnya Subtitelnya
e. Removal Stopward proses ini semua kata yang tidak memiliki makna kata seperti kata ‘di’, ‘dan’, ‘ oleh’ akan dihilangkan.
Tabel 7. Hasil Proses Removal Stopward Sebelum Removal Stopward Hasil Removal Stopward [‘saya’, ‘suka’, ‘fitur’, ‘yang’, ‘disediakan’, ‘aplikasi’, ‘ini’] [‘saya’, ‘suka’, ‘fitur’, ‘yang’, ‘sediakan’, ‘aplikasi’, ‘ini’] [’kenapa’, ‘diaplikasi’, ‘wetv’, ‘saya’,’tidak’, ‘muncul, ‘subtitlenya’] [’kenapa’, ‘aplikasi’, ‘wetv’, ‘saya’,’tidak’, ‘muncul, ‘subtitlenya’] [’saya’, ‘sudah’, ‘membayar’, ‘tapi’,’akses’, ‘vip, ‘belum’, ‘di’, ‘berikan’, ‘padahal’, ‘pembayaran’, ‘saya’,’berhasil’] [’saya’, ‘sudah’, ‘membayar’, ‘tapi’,’akses’, ‘vip,
‘belum’, ‘berikan’, ‘padahal’, ‘pembayaran’, ‘saya’,’berhasil’]
f. Steaming merupakan proses yang akan dilakukan pemetaan keseluruhan kata yang berbeda menjadi suatu bentuk kata  dasar[20]
Tabel 8. Hasil Proses steamimg Sebelum Steaming
Hasil Steaming
saya suka fitur yang sedia aplikasi ini
saya suka fitur yang sedia aplikasi ini
kenapa aplikasi wetv saya tidak muncul subtitlenya kenapa aplikasi wetv saya tidak muncul subtitle saya sudah membayar tapi akses vip belum berikan padahal pembayaran saya berhasil saya sudah bayar tapi akses vip belum beri padahal bayar saya hasil

## 3.4 Tahap TF-IDF
Tahap  ini  berfungsi  untuk  menghitung  bobot  pada  setiap  kata  atau  term  yang  digunakan,  dan  juga  untuk menghasilkan nilai dari term yang sudah diekstrak sebelumnya [21]. Berikut TF-IDF

## Journal of Information System Research (JOSH)
Volume 4, No. 3, April 2023, pp 874 − 882 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v4i3.3355
Gambar 2. TF-IDF

## 3.5 Klasifikasi
Data  yang  diubah  menjadi  bobot  vektor  sebagai  hasil  dari  langkah  transformasi  digunakan  untuk mengklasifikasikan  sentimen  menggunakan  Algoritma  Naïve  Bayes  Classifier[22].  Hasil  klasifikasi  Algoritma Naive Bayes Classifier menggunakan skenario pertama 60% data latih dan 40% data uji dan skenario kedua 70% data  latih  dan  30%  data  uji  skenario  ketiga  80%  data  praktik  90%  data  uji  dan  10%  data  latih,  20%  data  uji. Pengujian  yang  dilakukan  menggunakan  algoritma  Nave  Bayes  Classifier  menghasilkan  pengujian  sebagai berikut.
Tabel 9. Hasil Klasifikasi Naïve Bayes Classifier Skenario   Accurasy 60:40:00 0,63% 70:30:00 0,80% 80:20:00 0,80% 90:10:00 0,82%

## 3.6 Pengujian
Confusion  Matrix  untuk  menampilkan  hasil  dari  klasifikasi  algoritman  Naïve  bayes.  Cofusion  Matrix menampilkan nilai  accurasy, precision, recall, dan f1-score [23] sebagai berikut:
Gambar 3. Hasil Confusion Matrix skenario pertama
Skenario  pertama  pada  gambar  3  dengan  pembagian  data  latih  60%  data  uji  40%  menghasilkan  nilai accurasy sebesar 0,63%, precission 0,57%, recall 0,92% dan f1-score 0,71%. Hasil prediksi untuk kelas sentimen negatif true positif (diprediksi benar) sebesar 3891 data, sedangkan true negative (diprediksi salah) sebesar 340 data. Untuk kelas netral true positive (diprediksi benar) sebesar 1928 data, sedangkan true negative (diprediksi

## Journal of Information System Research (JOSH)
Volume 4, No. 3, April 2023, pp 874 − 882 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v4i3.3355
salah)  sebesar  896  data.  Untuk  kelas  positif  true  positive  (diprediksi  benar)  sebesar  1698  data,  sedangan  true negative (diprediksi salah) sebesar 1089 data.

## Gambar 4. Hasil Confusion Matrix skenario kedua
Skenario  pertama  pada  gambar  4  dengan  pembagian  data  latih  70%  data  uji  30%  menghasilkan  nilai accurasy sebesar 0,63%, precission 0,57%, recall 0,92% dan f1-score 0,71%. Adapun hasil prediksi untuk setiap kelas  sentimen  negative  true  positive  (diprediksi  benar)  sebesar  2884  data,sedangkan  true  negative  (diprediksi salah salah) sebesar 286 data. Untuk kelas netral true positif sebesar 1411 data sedangkan true negative sebesar 752 data. Untuk kelas positif true positive sebesar 1270 data, sedangkan true negative  sebesar 777 data.
Gambar 5. Hasil Confusion Matrix skenario ketiga
Skenario  pertama  pada  gambar  5  dengan  pembagian  data  latih  70%  data  uji  30%  menghasiilkan  nilai accurasy sebesar 0,63%, precission 0,57%, recall 0,92% dan f1-score 0,71%. Adapun hasil prediksi untuk setiap kelas  sentimen  negative  true  positive  (diprediksi  benar)  sebesar  1849  data,sedangkan  true  negative  (diprediksi salah salah) sebesar 219 data. Untuk kelas netral true positif sebesar 928 data sedangkan true negative sebesar 536 data. Untuk kelas positif true positive sebesar 875 data, sedangkan true negative sebesar 513 data.

## Journal of Information System Research (JOSH)
Volume 4, No. 3, April 2023, pp 874 − 882 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v4i3.3355
Gambar 6. Hasil Confusion Matrix skenario keempat
Skenario  pertama  pada  gambar  6  dengan  pembagian  data  latih  90%  data  uji  10%  menghasilkan  nilai accurasy sebesar 0,82%, precission 0,79%, recall 0,91% dan f1-score 0,85% adapun hasil prediksi untuk setiap kelas  sentimen  negative  true  positive  (diprediksi  benar)  901  data  ,sedangkah  true  negative  (diprediksi  salah) sebesar  114  data.  Untuk  kelas  netral  true  positive  (diprediksi  benar)  sebesar  461  data  sedangkan  true  negative (diprediksi salah) sebesar 284 data.Untk kelas positif true positif (diprediksi benar) sebesar 464 data, sedangkan true negative (diprediksi salah) sebesar 236 data.

## Gambar 7. Perbandingan Confusion Matrix
Berdasarkan  gambar  7  disimpulkan  diagram  perbandingan  dari  hasil  perhitungan  confusion  matrix  dari empat skenario, disimpulkan bahwa klasifikasi menggunakan algoritma naïve bayes didapatkan hasil acurasy lebih dari 60% untuk ke empat skenario yang telah dijalankan. Skenario dengan performasi model tertinggi di dapatkan oleh 1 skenario, pertama skenario keempat dengan accuracy 0,64%, precission 0,58%, recall 0,89%, dan f1-score 0,70%. Skenario yang memiliki nilai akurasi terendah pada skenario ketiga dengan nilai accuray 0,63%, precission 0,57%, recall 0,89% dan f1-score 0,70%

## 4. KESIMPULAN
Berdasarkan hasil implementasi dan pengujian penerapan metode Naïve bayes dapat diambil kesimpulan bahwa dari  Analisis  sentimen  mengungkapkan  bahwa  accurasy  yang  cukup  baik.  Skenario  dengan  performasi  model tertinggi didapatkan oleh 1 skenario, pertama skenario keempat dengan accuracy 0,64%, precission 0,58%, recall 0,89%,  dan  f1-score 0,70%.  Skenario  yang  memiliki  nilai  akurasi  terendah  pada  skenario  ketiga  dengan  nilai accuray 0,63%, precission  0,57%, recall 0,89% dan f1-score 0,70%. Hasil yang diperoleh dari klasifikasi yang dilakukan kurangnya layanan dan keluhan pada aplikasi WeTV di Google Playstore berdampak signifikan   pada aplikasi  WeTV.  Pengembang  diharapkan  dapat  meningkatkan  layanan  untuk  mengevaluasi  bagaimana meningkatkan aplikasi WeTV agar menjadi lebih baik lagi di kalangan penggemar WeTV.

## REFERENCES
[1] T. D. Soesilo And S. Irawan, “Dampak Penggunaan Smartphone Terhadap Interaksi Sosial Remaja, T. D. Soesilo Dan

## Journal of Information System Research (JOSH)
Volume 4, No. 3, April 2023, pp 874 − 882 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v4i3.3355
S. Irawan, No. 2019, Hal. 139-149, 2020.
[2] R.I.P. Ganggi, “Materi Dasar Literasi Media Sosial Sebagai Salah Satu Upaya Membangun Masyarakat Kritis Di Media Sosial,” Anuva, Vol. 2, Tidak. 4, Hal. 337, Doi: 10.14710/Anuva.2.4.337-345, 2018.
[3] M. Ngafifi Dan M. Ngafifi, “Kemajuan Teknologi Dan Pola Kehidupan Manusia Dalam Perspektif Sosial Budaya,” No. 3, Halaman 33–47.
[4] Reichenbach Et Al., "No. 2019; Penelitian Matriks Retina; Vol. 561, No. 3; Hal. S2–S3.
[5] U. Kulsum, M. Jajuli, And N. Sulistiyowati, “Analisis Sentimen Aplikasi Wetv Di Google Play Store Menggunakan Algoritma  Support  Vector  Machine,”  J.  Appl.  Informatics  Comput.,  Vol.  6,  No.  2,  Pp.  205–212,  2022,  Doi: 10.30871/Jaic.V6i2.4802.
[6] I.  Zulfa  And  E.  Winarko,  “Sentimen  Analisis  Tweet  Berbahasa  Indonesia  Dengan  Deep  Belief  Network,”  Ijccs (Indonesian J. Comput. Cybern. Syst., Vol. 11, No. 2, P. 187, 2017, Doi: 10.22146/Ijccs.24716.
[7] S. R. Wardhana, “Analisis Sentimen Pada Opini Pengguna Aplikasi Mobile Untuk Evaluasi Faktor Kebergunaan,” Tesis, 2017.
[8] G. P. Kawani, “Implementasi Naive Bayes,” J. Informatics, Inf. Syst. Softw. Eng. Appl., Vol. 1, No. 2, Pp. 73–81, 2019, Doi: 10.20895/Inista.V1i2.73.
[9] F. N. Ramaulidyah, M. N. Hayati, And R. Goejantoro, “Perbandingan Metode Klasifikasi Naive Bayes Dan K-Nearest Neighbor Pada Data Status Pembayaran Pajak Pertambahan Nilai Di Kantor Pelayanan Pajak Pratama Samarinda Ulu,” Eksponensial,
Vol. 12, No. 2, Pp. 161–165, 2021, [Online]. Available:
Http://Jurnal.Fmipa.Unmul.Ac.Id/Index.Php/Exponensial/Article/View/809%0ahttp://Jurnal.Fmipa.Unmul.Ac.Id/Index. Php/Exponensial/Article/Download/809/346
[10]  A. Kusuma And A. Nugroho, “Analisa Sentimen Pada Twitter Terhadap Kenaikan Tarif Dasar Listrik Dengan Metode Naïve Bayes,” Vol. 15, No. 2, Pp. 137–146, 2021.
[11]  Y.  Cahyono,  “Analisis  Sentiment  Pada  Sosial  Media  Twitter  Menggunakan  Naїve  Bayes  Classifier  Dengan  Feature Selection Particle Swarm Optimization Dan Term Frequency,” Pp. 14–19.
[12]  U. M. Kategori, O. Shop, And P. Instagram, “Online Shop Pada Instagram,” 2021.
[13]  N.  Yustira,  D.  Witarsyah,  And  ...,  “Implementasi  Algoritma  Naïve  Bayes  Classification  Untuk  Klasifikasi  Kelulusan Mahasiswa Tepat Waktu,” Eproceedings 2021, [Online]. Available:
Https://Openlibrarypublications.Telkomuniversity.Ac.Id/Index.Php/Engineering/Article/View/16721%0ahttps://Openli brarypublications.Telkomuniversity.Ac.Id/Index.Php/Engineering/Article/View/16721/16429
[14]  R. I. H. Eka Afrianti, Fthoni, “Text Classification With Naïve Bayes Classifier ( Nbc ) For Grouping Report Description And Recovery Time Duration Of Pt . Pln (Persero) Ws2jb Palembang Area,” (E-Journal), Vol. 12, No. 1, Pp. 1955–1961, 2020.
[15]  Ainurrohmah,  “Akurasi  Algoritma  Klasifikasi  Pada  Software  Rapidminer  Dan  Weka,”  Prisma,  Vol.  4,  Pp.  493–499, 2021, [Online]. Available: Https://Journal.Unnes.Ac.Id/Sju/Index.Php/Prisma/
[16]  A. Arista, I. Yuliana, And N. Kustiningsih, “Journal Of Accounting And Financial Issue,” J. Account. Financ., Vol. 5, No. 1, Pp. 25–36, 2020.
[17]  F. S. Jumeilah, “Penerapan Support Vector Machine (Svm) Untuk Pengkategorian Penelitian,” J. Resti (Rekayasa Sist. Dan Teknol. Informasi), Vol. 1, No. 1, Pp. 19–25, 2017, Doi: 10.29207/Resti.V1i1.11.
[18]  S.  Stephanie,  D.  S.  Naga,  And  V.  C.  Mawardi,  “Pendeteksian  Kemiripan  Teks  Deskripsi  Diri  Pada  E-Recruitment Karyawan Dengan Metode Rabin Karp Dan Jaro Winkler Distance,” J. Ilmu Komput. Dan Sist. Inf., Vol. 9, No. 1, P. 187, 2021, Doi: 10.24912/Jiksi.V9i1.11593.
[19]  B. A. B. Iii, A. Dan, And P. Sistem, “No Title,” Pp. 22–58.
[20]  Anjali,  G.  Jivani,  And  M.  Anjali,  “A  Comparative  Study  Of  Stemming  Algorithms,”  October,  Vol.  2,  No.  2004,  Pp. 1930–1938, 2007.
[21]  N. K. Widyasanti, I. K. Gede, D. Putra, N. Kadek, And D. Rusjayanthi, “Seleksi Fitur Bobot Kata Dengan Metode Tfidf Untuk Ringkasan Bahasa Indonesia,” Vol. 6, No. 2, Pp. 119–126, 2018.
[22]  F.  Ratnawati,  “Implementasi  Algoritma  Naive  Bayes  Terhadap  Analisis  Sentimen  Opini  Film  Pada  Twitter,”  Inovtek Polbeng - Seri Inform., Vol. 3, No. 1, P. 50, 2018, Doi: 10.35314/Isi.V3i1.335.
[23]  I. W. Saputro And B. W. Sari, “Uji Performa Algoritma Naïve Bayes Untuk Prediksi Masa Studi Mahasiswa,” Creat. Inf. Technol. J., Vol. 6, No. 1, P. 1, 2020, Doi: 10.24076/Citec.2019v6i1.178.