## APLIKASI KLASIFIKASI SENTIMEN PADA ULASAN SMARTPHONE DI SITUS JUAL BELI ONLINE BERBASIS WEB MENGGUNAKAN NAIVE BAYES DENGAN TF-IDF
Risky Kararisma, Sri Lestanti, M Taofik Chulkamdi Program Studi Teknik Informatika S1, Fakultas Teknologi Informasi Universitas Islam Balitar Blitar, Jalan Majapahit Blitar, Indonesia riskykiki721@gmail.com

## ABSTRAK
Kepuasan konsumen dapat dilihat melalui kolom ulasan produk dan semua orang bebas untuk melihatnya namun  masalah  yang  terjadi  adalah  keterbatasan  sumberdaya  manusia  membuat  pemilik  usaha  dan  calon pembeli  produk  smartphone  tidak  bisa  membaca  semua  ulasan  tersebut  dalam  waktu  singkat.  Untuk  itu diperlukan  sebuah  metode  yang  dapat  menilai  ulasan-ulasan  tersebut  secara  otomatis.  Solusi  untuk  mengatasi keterbatasan  dalam  melakukan  penilaian  data  ulasan  adalah  dengan  menggunakan  machine  learning  karena menghasilkan  analisa  dengan  basis  statistik  dengan  algoritma  yang  cukup  handal  dengan  akurasi  tinggi  yang dapat  digunakan  untuk  melakukan  klasifikasi  analisa  sentiment  pada  ulasan  produk  smartphone  yang  disebut Naive  Bayes.  Aplikasi  klasifikasi  berbasis  web  menggunakan  Naïve  Bayes  bisa  dibuat melalui  5  tahap  SDLC yang ditulis ke dalam kode sumber menggunakan bahasa pemrograman web pada Framework Laravel. Sebelum melakukan klasifikasi, masing-masing kata pada data ulasan terlebihdahulu diberi bobot menggunakan TF-IDF dan  seluruh  kata  berhasil  diberi  bobot  lalu  disimpan  dalam  database.  Hasil  pengujian  accuracy  aplikasi mencapai  hasil  yang  sangat  baik  yaitu  93%  dan  hasil  precision  dan  recall  yang  mencapai  angka  diatas  85% menunjukkan bahwa algoritma Naive Bayes sudah berfungsi dengan baik pada aplikasi.
Kata kunci :  Classification,  Sentiment  Analysis,  Naive  Bayes,Accuracy,  Precision,  Recall,  lack  Box  Testing, TF-IDF.

## 1. PENDAHULUAN
Persaingan  dalam  bisnis  digital  sangat  ketat karena  pembeli  bebas  memilih  dan  membandingkan produk  yang  satu  dengan  yang  lainnya  baik  dari  sisi kualitas  maupun  harga.  Dalam  informasi  setiap produk terdapat ulasan pembeli yang dapat membantu untuk  memutuskan  ingin  membeli  produk  tersebut atau  tidak.  Baik  atau  buruknya  ulasan  konsumen menjadi  salah  satu  faktor  terpenting  laku  atau tidaknya suatu produk [1].
Kepuasan  konsumen  dapat  dilihat  melalui kolom  ulasan  suatu  produk  dan  semua  orang  bebas untuk  melihatnya.  Untuk  toko online yang  memiliki banyak  pelanggan  dan  omzet  yang  besar  pastinya memiliki  banyak  ulasan  pada  setiap  produk  yang mereka  jual.  Keterbatasan  sumberdaya  manusia membuat  pemilik  usaha  tidak  bisa  membaca  semua ulasan  tersebut dalam waktu singkat,  maka diperlukan sebuah metode yang dapat menilai ulasan- ulasan tersebut secara otomatis.
Solusi  untuk  mengatasi  keterbatasan  dalam melakukan  penilaian  data  ulasan  adalah  dengan menggunakan machine learning karena menghasilkan analisa  dengan  basis  statistik,  cepat  dan  memiliki kemampuan untuk mempelajari data dengan baik [4]. Ulasan merupakan pendapat konsumen yang ditujukan  untuk  memberi  kesan  atau  penilaian  pada produk, maka  klasifikasi ulasan tersebut  bisa  dengan melakukan  analisa  sentiment.  Model  yang  cukup handal  dengan  akurasi  tinggi  yang  dapat  digunakan
untuk  melakukan  klasifikasi  analisa  sentiment  pada ulasan produk adalah model Naive Bayes [7].
Penelitian  ini  hanya  membatasi  klasifikasi ulasan berbasis web untuk produk xiaomi yang dijual di official  store Tokopedia  saja.  Ada  5  batasan masalah  yang  dipakai  sebagai  parameter  pengerjaan penelitian sebagai berikut:
a. Aplikasi  klasifikasi  yang  dibangun  ditujukan untuk  klasifikasi  ulasan  produk smartphone Xiaomi  Redmi  Note  8 yang  dijual  di  akun
Xiaomi Official
Store pada laman tokopedia.com dengan tautan “https : / /www.tokopedia.com/xiaomi/xiaomi-official- redmi-note-8-6-128- gb-garansi-resmi-mi- smartphone-space-black”.
b. Klasifikasi  ulasan  dikelompokkan  menjadi  3 kategori  yaitu  ulasan  positif  untuk  hasil perhitungan  ≥  0,7,  negatif  untuk  hasil perhitungan ≤ 0,4 dan netral jika hasilnya diluar positif dan negatif.
c. Aplikasi  ini  dibuat  menggunakan  bahasa pemrograman web html dan php.
d. Data  latih  ( data  training )  dan  data  uji  ( data testing )  yang  digunakan  merupakan  ulasan konsumen  berbahasa  Indonesia  dengan  jumlah 100 data.
e. Basis  data  yang  digunakan  dalam  aplikasi  ini untuk  menyimpan  ulasan  dan  hasil  klasifikasi adalah MySQL

## 2. TINJAUAN PUSTAKA
2.1. Kajian penelitian
Penelitian  sebelumnya  yang  dilakukan  oleh (Mubarok  dkk.,  2017)  berfokus  pada  analisis sentimen data twitter berbasis aspek untuk menemukan  aspek  yang  sedang  dibahas  dalam  suatu opini dan polaritas sentimennya. Ada tiga proses yang terlibat  dalam  sistem  yaitu  data  preprocessing, pembobotan  dengan  metode  Bag  of  Words, klasifikasi  aspek  dan  sentimennya  menggunakan Naive  Bayes.  Analisa  sentimen  berbasis  aspek dengan  Naive  Bayes  berkinerja  baik  dengan  F1- Measure  terbaik  sebesar  78,12%  karena  ini menggunakan data opnini pada twitter sehingga perlu banyak  persiapan  dan  komputasi  pada  tahap preprocessing dan pembobotan.

## 2.2. Naive Bayes
Naive Bayes adalah salah satu teknik klasifikasi dalam  machine  learning  yang  berbasis  probabilistik sederhana  berdasar  pada  aturan  Bayes  (teorema Bayes)  dengan  asumsi  ketergantungan  yang  kuat (naif).  Dengan  kata  lain  model  yang  dikembangkan dalam Naive Bayes adalah “model fitur independen”. Sebuah  fitur  pada  data  tidak  berkaitan  dengan  ada atau  tidaknya  fitur  lain  dalam  data  yang  sama, prediksi  Bayes  didasarkan  pada  teorema  Bayes dengan rumus berikut:
Ketrangan: P(H) = Probabilitas Awal. P(H|E) = Probabilitas Akhir. Dalam aturan tersebut sebuah probabilitas awal/priori H  atau  P(H)  adalah  probabilitas  dari  suatu  hipotesis sebelum  bukti  diamati.  Sebuah  probabilitas  akhir  H atau  P(H|E)  adalah  probabilitas  dari  suatu  hipotesis setelah  bukti  diamati.  Agar  bisa  menerapkan  model Naive  Bayes,  perlu  dilakukan  pembobotan  terhadap dataset terlebih dahulu.

## 2.3. TF-IDF
Term  Frequency  atau  disingkat  TF  merupakan frekuensi  dari  kemunculan  sebuah  term  atau  kata dalam  suatu  dokumen.  Semakin  besar  jumlah kemunculan  suatu  term  (TF  tinggi)  dalam  dokumen, semakin  besar  pula  bobotnya  dan  memberikan  nilai kesesuaian  yang  semakin  besar.  TF  dihitung menggunakan  perbandingan  antara  frekuensi  sebuah term  dengan  nilai  maksimum  dari  keseluruhan  atau kumpulan  frekuensi  term  yang  ada  pada  suatu dokumen.  IDF  (Inverse  Document  Frequency) merupakan  sebuah  perhitungan  dari  bagaimana  term didistribusikan  secara  luas  pada  dokumen.  IDF menunjukkan  hubungan  ketersediaan  sebuah  term dalam  seluruh  dokumen.  Semakin  sedikit  jumlah dokumen  yang  mengandung  term  yang  dimaksud, maka  nilai  IDF  semakin  besar.  Nilai  TF  dihitungan dengan rumus
Dan nilai IDF dihitungan dengan rumus:

## 2.4. Accuracy, Precision dan Recall
Untuk melakukan pengujian pada metode Naïve Bayes  yang telah diterapkan, cara yang paling umum digunakan  adalah  memakai  perhitungan  accuracy, precision  dan  recall.  Accuracy  didefinisikan  sebagai tingkat  kedekatan  antara  nilai  prediksi  yang dihasilkan aplikasi dengan nilai aktual yang ada pada data sebenarnya.
Keterangan : TP = Jumlah true positive TN = Jumlah true negative FP = Jumlah false positive FN = Jumlah False negative
Precision  adalah  tingkat  ketepatan  antara  informasi yang  diminta  oleh  pengguna  dengan  jawaban  yang diberikan oleh sistem.
Keterangan : TP = Jumlah true positive FP = Jumlah false positive Recall  adalah  tingkat  keberhasilan  sistem  dalam menemukan kembali sebuah informasi.
Keterangan : TP = Jumlah true positive FN = Jumlah False negative
F1  measure  merupakan  perbandingan  rata-rata precision dan recall yang dibobotkan.

## 2.5. Framework Laravel
Laravel merupakan  salah  satu  framework PHP terbaik  saat  ini  yang  dikembangkan  oleh Taylor Otwell yang hadir sebagai platform web development bersifat open  source . Laravel memiliki  sintaks  yang dirancang  guna  memudahkan  dan  mempercepat proses  pengembangan web dengan  gaya  yang ekspresif  dan  elegan.  Meskipun Laravel bukan  satu- satunya  framework  PHP  yang  banyak  digunakan, akan tetapi bisa menjadi opsi yang dapat dipertimbangkan [10].
3. METODE PENELITIAN
3.1. Jenis Penelitian
Penelitian  Pengembangan  atau Research  and Development ( R&D ) adalah metode untuk mengembangkan suatu produk baru atau menyempurnakan  produk  yang  telah  ada.  Produk
tersebut  tidak  selalu  berbentuk  fisik  yang  dapat disentuh  secara  langsung,  tetapi  bisa  juga  dalam bentuk  perangkat  lunak  ( software )  [8].  Penelitian R&D yang  digunakan  pada  ini  bertujuan  mendesain dan  mengembangkan  aplikasi  klasifikasi  ulasan konsumen berbasis web.

## 3.2. Prosedur Pengembangan
Perlu  melakukan  penyesuaian  metode Research and Development ( R&D ) karena yang dikembangkan dalam penelitian ini adalah software aplikasi berbasis web. Metode  pengembangan  perangkat  lunak  dalam umumnya  menggunakan Software  Development  Life Cycle ( SDLC ). SDLC merupakan  siklus  hidup pengembangan  perangkat  lunak  yang  digunakan untuk  membangun  suatu  sistem  yang  terdiri  dari tahap perencanaan, analisia sistem, desain, implementasi , pengetesan  dan  pengintegrasian,  serta tahap perawatan. Berdasarkan pertimbangan tersebut, prosedur pengembangan yang dipakai dalam penelitian  ini  dibuat  dalam  5  tahap  seperti  pada gambar dibawah ini.
Gambar 1. Prosedur Pengembangan

## 3.3. Jenis Data
Data  yang  digunakan  dalam  penelitian  ini merupakan  data  teks  seputar  ulasan  konsumen terhadap  produk smartphone  Xiaomi  Redmi  Note 8. Data  awal  yang  diambil  memiliki  format CSV yang bisa  dibuka  menggunakan  aplikasi MS  Excel .  Data tersebut  kemudian  dimasukkan  masukkan  ke  dalam database  MySQL yang  terkoneksi  dengan  aplikasi yang  dibuat. Output yang  dihasilkan  berupa  data ulasan  yang  telah  berhasil  diklasifikasi  menjadi  3 kelas yaitu ulasan positif, netral dan negatif.

## 3.4. Instrumen Pengumpulan Data
Teknik  analisis  data  dalam  penelitian  ini menggunakan  analisis  kuantitatif  yang  terdiri  dari
Accuracy, Precission, Recall dan F1 Measure. Untuk menghitung accuracy, precission dan recall dibutuhkan data yang ada pada instrumen pengumpulan data.
Ulasan  yang  telah  selesai  diklasifikasi  akan dilakukan  validasi  dengan  mengelompokkan  status dari  hasil  klasifikasi.  Terdapat  4  status  yang  dapat melekat pada hasil klasifikasi yaitu true positive ( TP ), true  negative ( TN ), false  positive ( FP )  dan false negative ( FN ).  Validasi  dilakukan  oleh  peneliti menggunakan  menu  validasi  yang  tersedia  di aplikasi.

## 3.5. Teknik Analisis Data
Teknik  analisis  data  dalam  penelitian  ini menggunakan  analisis  kuantitatif  yang  terdiri  dari Accuracy, Precission, Recall dan F1 Measure. Untuk menghitung accuracy, precission dan recall dibutuhkan data yang ada pada instrumen pengumpulan data yaitu tabel perbandingan.
Ulasan  yang  telah  selesai  diklasifikasi  akan dilakukan  validasi  dengan  mengelompokkan  status dari  hasil  klasifikasi.  Terdapat  4  status  yang  dapat melekat pada hasil klasifikasi yaitu true positive ( TP ), true  negative ( TN ), false  positive ( FP )  dan false negative ( FN ).  Validasi  dilakukan  oleh  peneliti menggunakan  menu  validasi  yang  tersedia  di aplikasi.

## 3.6. Perancangan Sistem Aplikasi
Gambar 2. Flow Chart Diagram Aplikasi Klasifikasi Ulasan Berbasis Web
Alur  berjalannya  aplikasi  klasifikasi  yang terlihat  pada  gambar  2  dimulai  dengan  memasukkan dataset  yang  berisi  ulasan  untuk  disimpan  ke  dalam database  MySQL.  Aplikasi  akan  melakukan  tahap preprocessing  dan  dilanjutkan  dengan  pembobotan kata  menggunakan  metode  TF-IDF.  Metode  TF-IDF akan mengubah data ulasan yang tadinya berupa data teks  menjadi  data  numerik  sehingga  bisa  dilakukan perhitungan  pada  data tersebut.  Setelah itu  pengguna dapat  melakukan  data  training  dan  data  testing  lalu ulasan  tersebut  akan  diklasifikasikan  dengan  metode Naive  Bayes  dan  diberi  label.  Metode  Naive  Bayes akan  menghasilkan  nilai  yang  berkisar  antara  0 hingga  1.  Hasil  perhitungan  metode  Naive  Bayes yang  bernilai  ≥  0,7  akan  diberi  label  positif,  ≤  0,4 akan  diberi  label  negatif  dan  jika  tidak  diantara keduanya  akan  diberi  label  netral.  Alur  aplikasi kemudian  dilanjutkan  dengan  melakukan  validasi hasil ulasan untuk menghitung peformanya. Pengguna  bisa  masuk  menu  validasi  dan  menekan tombol validasi untuk memulai tahap ini. Sistem akan secara otomatis melakukan validasi metode klasifikasi  dengan  menghitung  accuration,  precision dan recall.
Diagram  Skenario  dapat  menunjukkan  alur berjalannya  proses  diagram  use  case  dari  sisi  aktor dan  sistem.  Skenario  dibuat  berdasarkan  case  pada use  case  diagram,  jika  terdapat  generalisasi  maka skenario  yang  dibuat  adalah  use  case  yang  lebih khusus.  Terdapat  2  tipe  diagram  skenario  yaitu skenario normal dan skenario alternatif.
Skenario  normal  adalah  skenario  bila  aplikasi berjalan  tanpa  terjadi  bug  atau  error,  sedangkan skenario  alternatif  adalah  skenario  bila aplikasi tidak berjalan normal atau mengalami error.

## 4. HASIL DAN PEMBAHASAN

## 4.1. Paparan Data
Bagian  ini  memaparkan  tentang  data-data  yang digunakan  atau  nilai  yang  dihasilkan  oleh  aplikasi klasifikasi  berbasis  web  menggunakan  Naive  Bayes. Data yang dibahas meliputi data training , pembobotan  dan data  testing .  Terdapat  3  kelas komentar  yang  diklasifikasi  yaitu  komentar  positif, komentar netral dan komentar negatif.
a. Data training
Data  komentar  yang  telah  dikumpulkan  dan dibagi  menjadi  3  label  yaitu  positif,  netral  dan negatif. Jumlah komentar postif yang dipakai sebagai data training sebanyak 30 komentar. Komentar positif tidak mengandung  kata atau kalimat yang buruk atau mengandung makna negatif di  dalamnya.
Jumlah  komentar  netral  yang  dipakai  sebagai data training sebanyak 30 komentar. Komentar netral tidak  mengandung  kata  atau  kalimat  yang  mengarah ke  positif  maupun  negatif  dan  hanya  dianggap sebagai  kalimat  yang  punya  tujuan  memuji  maupun mencela.  Kalimat  netral  biasanya  tidak  mengarah  ke suatu pujian maupun kritik tertentu terhadap produk.
Jumlah  komentar  negatif  yang  dipakai  sebagai data  training  sebanyak  30  komentar.  Komentar negatif  tidak  mengandung  kata  atau  kalimat  yang baik atau mengandung makna positif di dalamnya.

## b. Pembobotan TF/IDF
Data  yang  sudah  diberi  label  kemudian dilakukan  tahap data  traininig .  Untuk  menghitung bobot  masing-masing  kata  digunakan  algoritma TF / IDF ,  namun  masing-masing  kata  dalam  kalimat tersebut perlu dilakukan preprocessing . Preprocessing yang  terdiri  dari tokenization , case folding , stopwords  removal , emoticon  tokenizer dan steeming kemudian  diterapkan  pada  kata  dihasilkan tersebut.
Proses pembobotan TF/IDF untuk label komentar  positif  menghasilkan  1177  kata  dengan masing-masing  bobot  katanya,  berikut  ini  adalah sebagian contoh hasilnya.
Jumlah dokumen = 30. IDF = Log jumlah dokumen. = Log (jumlah dokumen/ df) = Log (30 / 1) = 1.477121 Berikutnya normalisasi yaitu: IDF+1 = 1.477121 + 1 = 2.477121 Maka diperoleh bobot kata (term) yaitu 2.477121 untuk kata yang lain dapat dilihat pada tabel berikut.
Tabel 1. Contoh pembobotan TF/IDF kategori Positif
KATA df D/df IDF IDF +1 alhamdulillah 1 30 1.477121 2.477121 aman 6 5 0.69897 1.69897 amanah 1 30 1.477121 2.477121 aneh 1 30 1.477121 2.477121 bagus 8 3.75 0.574031 1.574031 baik 12 2.5 0.39794 1.39794 banyak 2 15 1.176091 2.176091 besar 1 30 1.477121 2.477121 cepat 12 2.5 0.39794 1.39794 cukup 3 10 1 2 digunakan 1 30 1.477121 2.477121 hati 1 30 1.477121 2.477121 keren 1 30 1.477121 2.477121 Tabel 2. Contoh pembobotan TF/IDF kategori netral Kata df D/df IDF IDF+1 mutlak 1 30 1.477121 2.477121 benar 1 30 1.477121 2.477121 terserap 0 0 0 1 menonjolkan 1 30 1.477121 2.477121 aktivis 0 0 0 1 sebenarnya 1 30 1.477121 2.477121 aktualitas 0 0 0 1 remaja 1 30 1.477121 2.477121
mempengaruhi 1 30 1.477121 2.477121 terpengaruh 0 0 0 1 udara 1 30 1.477121 2.477121 waspada 1 30 1.477121 2.477121 sepanjangwaktu 1 30 1.477121 2.477121 Tabel 3. Contoh pembobotan TF/IDF kategori negative Kata df D/df IDF IDF+1 abnormal 1 30 1.477121 2.477121 absurd 0 0 0 1 acak 1 30 1.477121 2.477121 aneh 0 0 0 1 beban 0 0 0 1 bejat 0 0 0 1 bekas 1 30 1.477121 2.477121 berantakan 1 30 1.477121 2.477121 berat 0 0 0 1 boros 3 10 1 2 bosan 0 0 0 1 curang 1 30 1.477121 2.477121 curiga 0 0 0 1 derita 1 30 1.477121 2.477121 diam 1 30 1.477121 2.477121

## c. Data testing
Data  testing dilakukan  untuk  mengetahui peforma  dari  klasifikasi  yang  telah  dibuat  dengan membandingkan  antara  hasil  klasifikasi  oleh trainer dan  aplikasi.  Data  yang  digunakan  untuk  tahap data testing diambil  dari  setengah  jumlah  komentar masing-masing  kategori.  Jumlah  komentar  positif yang  dijadikan  sebagai  data  testing  sebanyak  20 komentar,  netral  sebanyak  15  komentar  dan  negatif sebanyak 15 komentar.

## 4.2. Pembahasan
a. Halaman Data Testing
Data  testing  dilakukan  dengan  masuk  ke  menu “ import  excel ”. Pengguna harus menyiapkan terlebih dahulu  file  dengan  ekstensi  “. xlsx ”  yang  berisi kalimat-  kalimat  komentar  yang  akan  dilakukan  tes. Setelah  memiliki file tersebut,  klik  browse,  pilih  file yang berisi komentar, lalu tekan submit.

## Gambar 1. Halaman impor data testing
b. Pengujian Naïve Bayes
Keberhasilan sistem klasifikasi komentar dengan  algoritma Naive  Bayes diukur  menggunakan accuracy , precision dan recall .  Agar  bisa  mengukur accuracy , precision dan recall dibutuhkan  hasil  data
testing  yang  meliputi  jumlah  benar  netral,  benar positf,  benar  negatif  serta  salah  netral,  salah  positif dan salah negatif yang sudah dikumpulkan pada tabel berikut.

## Tabel. 4 Pengujian kategori positif
No. Komentar Label Hasil Testing 1 barang bagus alhamdulillah fast respon dan dikirim cepat Positif Positif 2 Thanks Barang Telah Sampai Dengan Tujuan, Hp asli Terdaftar Kemenperin Packing juga Aman . Barang Sampai 4 Hari Kurir JNE REG. Positif Positif 3 Pengiriman cepat, packing baik, barang sesuai pesanan. Seller  terpercaya Positif Positif 4 Barang sesuai dengan pesanan , pengiriman cepat dan respon penjualnya juga baik , mantab Positif Positif

## Tabel 5. Pengujian kategori netral
No. Komentar Label Hasil Testing 1 ok… terima kasih Netral Netral 2 varian neptune blue ada kemungkinan restock lagi nggak min? Netral Netral 3 gan, yg warna putih ada gak ?  Netral Netral 4 Kabarin ya kalo space blacknya udah ready lagi min. thx Netral Netral 5 Kapan ada stok? Netral Netral

## Tabel 6. Pengujian kategori negatif
No. Komentar Label Hasil Testing 1 udh berkali kali order disini pakingnya hanya bubble saja tanpa dus tambahan, alhasil dus hapenya pada penyok , tolong dong sekelas official dikasih dus, masa order barang 2jtan cuma dpt plastik doang Negatif  Negatif 2 Pengiriman sih cepat tapi belum sampai sebulan banyak bgt kendala Ya flashlight menyala sendiri , Bluetooth sama tiba-tiba mati total hapenya! Negatif  Negatif 3 saya tau box penyok itu kesalahan kurir, tapi kalau si penjual memberikan packing yg aman menggunakan kardus gak mungkin penyok seperti ini Negatif  Negatif 4 Saller tidak responsif !!! sangat kecewa Negatif  Negatif
Tabel. 6 Pengujian kategori kebenaran LABEL Netral Positif Negatif HASIL TESTIN G Netral Benar Netral (BNet) 15 Salah Positif (SPos) 1 Salah Negatif (SNeg) 0 Positif Salah Netral (SNet) 0 Benar Positif (BPos) 13 Salah Negatif (SNeg) 1 Negatif Salah Netral (SNet) 0 Salah Positif (SPos) 1 Benar Negatif (BNeg) 14
Accuracy  merupakan  rasio  prediksi  Benar (netral,  positif  dan  negatif)  dari  keseluruhan  data. Akurasi  dapat  menjawab  pertanyaan  “Berapa  persen ulasan  yang  diprediksi  benar  netral,  positif  dan negatif”  dan  bernilai  antara  0  hingga 1  dalam  angka desimal atau 0 hingga 100% dalam bentuk persentase. Berikut  merupakan  perhitungan nilai accuracy untuk semua kelas.
(BNet+BPos+BNeg/45)  =  15+13+14/45  = 0,9333 atau 93,3%
Berikut  merupakan  perhitungan  nilai precision untuk masing-masing kelas netral, positif dan negatif pada data testing.
a. Precision untuk kategori netral (BNet/(BNet+SNet)) : 15/(15+0+0) = 1,00
b. Precision untuk kategori positif (BPos/(BPos+SPos)) : 13/(13+1+1) = 0,8667
c. Precision untuk kategori negatif (BNeg/(BNeg+SNeg)) : 14/(14+1+0) =0,9333
Precision  merupakan  perhitungan  benar  netral, positif  dan negatif  dibandingkan  dengan  keseluruhan hasil  yang  diprediksi  netral,  positif  dan  negatif. Precision menjawab  pertanyaan  “Berapa  persen ulasan  yang  benar  netral,  positif  dan  negatif  dari keseluruhan ulasan  yang  diprediksi netral  positif  dan negatif?”. Precision bernilai antara 0 hingga 1 dalam angka  desimal  atau  0  hingga  100%  dalam  bentuk persentase,  semakin  dekat  ke  1  atau  100%  maka semakin baik precision tersebut.
Berikut  merupakan  perhitungan  nilai recall untuk  masing-masing  kelas  netral,  positif  dan negatif pada data testing.
a. Recall untuk kategori netral (BNet/(BNet+SPos(net)+SNeg(net))) : 15/(15+1+0) =  0,937
b. Recall untuk kategori positif (BPos/(BPos+SNet(pos)+SNeg(pos))) : 13/(13+0+1) = 0,928
c. Recall untuk kategori negatif (BNeg/(BNeg+SNet(neg)+SPos(neg))) : 14/(14+0+1) =  0,933
Recall merupakan  rasio  prediksi  benar  netral, positif  dan negatif  dibandingkan  dengan  keseluruhan data  yang  benar  netral,  positif  dan  negatif.  Recall
menjawab  pertanyaan  “Berapa  persen  ulasan  yang diprediksi  netral,  positif  dan  negatif  dibandingkan keseluruhan  ulasan  yang  sebenarnya  netral,  positif dan negatif”. Recall bernilai antara 0 hingga 1 dalam angka  desimal  atau  0  hingga  100%  dalam  bentuk persentase,  semakin  dekat  ke  1  atau  100%  maka semakin baik recall tersebut.

## c. Pengujian Kepuasan Pengguna
Pengujian kepuasan pengguna dilakukan oleh 10 orang  yang  brasal  dari  kalangan  masyarakat  umum diminta memberikan nilai pada pertanyaan- pertanyaan  yang  telah  disusun.  Jawaban  masing- masing penguji kemudian dikumpulkan dan rekapitulasi.

## 5. KESIMPULAN DAN SARAN

## 5.1. Kesimpulan
Aplikasi  klasifikasi  berbasis  web  menggunakan Naïve  Bayes dapat  memberikan  kemudahan  untuk melakukan  analisa  sentimen  secara  otomatis  dan memudah  kan  dalam  analisa  kepuasan  pelanggan, Hasil pengujian kekuatan aplikasi dilakukan menggunakan  pengujian accuracy , precision dan recall .  Ketiga  pengujian  tersebut  dapat  mengukur tingkat  keberhasilan aplikasi  dari  sisi algoritma  yang dipakai. Accuracy aplikasi  mencapai  hasil  yang sangat  baik  dengan  mencapai  angka  93%.  Hasil pengukuran precision untuk  kelas  netral  menempati angka  tertinggi  yaitu  100%,  kelas  positif  86,6%  dan kelas  negatif  mencapai  93,3%.  Sementara  itu  untuk hasil recall kelas netral mencapai 93,7%, kelas positif 92,8 dan kelas negatif sebesar 93,3%. Hasil precision dan recall yang  mencapai  angka  diatas  85% menunjukkan  bahwa  algoritma Naïve  Bayes sudah berfungsi dengan baik pada aplikasi.

## 5.2. Saran
Data  yang  digunakan  sebagai  data training hendaknya  bisa  langsung  dimasukkan  dan  diperbarui langsung  oleh  pengguna  dengan  penambahan  menu import data  training, Pengguna  hendaknya  bisa melihat  detil  tahap preprocessing, Aplikasi  bisa dikembangkan  agar  dapat  diakses  secara online menggunakan jaringan internet.

## DAFTAR RUJUKAN
[1]  Budi,  S.,  2017.  Text  mining  untuk  analisis sentimen  review  film  menggunakan  algoritma K-Means. Techno. Com , 16 (1), pp.1-8.
[2]  Fanissa,  S.,  Fauzi,  M.A.  and  Adinugroho,  S., 2018.  Analisis  Sentimen  Pariwisata  di  Kota Malang Menggunakan Metode Naive Bayes dan Seleksi  Fitur  Query  Expansion  Ranking. Jurnal Pengembangan  Teknologi  Informasi  dan  Ilmu Komputer e-ISSN , 2548 , p.964X.
[3]  Mubarok,  M.S.,  Adiwijaya  and  Aldhi,  M.D., 2017,  August.  Aspect-based  sentiment  analysis to  review  products  using  Naïve  Bayes.  In AIP
Conference  Proceedings (Vol.  1867,  No.  1,  p. 020060). AIP Publishing LLC.
[4]   Putra,  J.W.G.,  2019.  Pengenalan  Konsep Pembelajaran Mesin dan Deep Learning. Tokyo. Jepang .
[5]  Salam, N.S.N., Supianto, A.A. and Perdanakusuma,  A.R.,  2019.  Analisis  Sentimen
Opini  Mahasiswa  Terhadap  Saran  Kuesioner
Penilaian  Kinerja  Dosen  dengan  Menggunakan TF-IDF dan K-Nearest Neighbor. Jurnal
Pengembangan  Teknologi  Informasi  dan  Ilmu Komputer e-ISSN , 2548 , p.964X.
[6]  Santoso,  J.C.,  2020.  PENGARUH  ULASAN ONLINE  TERHADAP  MINAT  PEMESANAN HOTEL PADA PENGGUNA TRAVELOKA. Jurnal Hospitality dan
Manajemen Jasa , 8 (1).
[7]  Saritas, M.M. and Yasar, A., 2019. Performance analysis of ANN and Naive Bayes classification
algorithm  for  data  classification. International Journal  of  Intelligent  Systems  and  Applications in Engineering , 7 (2), pp.88-91.
[8]  Sugiyanto, S., Maswarni, M., Nofiar, N., Yusuf, S.  and  Fitria,  J.R.,  2020.  Tata  Kelola  Kandang Dan Pakan Serta Implikasinya Pada Penggemukan Sapi Studi Pada Desa Sindanglaya Kecamatan Tanjung Siang Kabupaten Subang. Abdi Laksana:  Jurnal
Pengabdian Kepada Masyarakat , 1 (2).
[9]  Windiarti,  N.R.,  2018. Klasifikasi  opini  netizen berbahasa
Indonesia berbasis twitter
menggunakan  metode  improved  K-Nearest neighbor (Doctoral dissertation, Universitas
Islam Negeri Maulana Malik Ibrahim).
[10]  Yudhanto, Y. and Prasetyo, H.A., 2018. Panduan  Mudah  Belajar  Framework Laravel . Elex Media Komputindo.