## JEPIN

## (Jurnal Edukasi dan Penelitian Informatika)
ISSN(e): 2548-9364 / ISSN(p) : 2460-0741
Vol. 4 No. 2 Desember 2018

## Sistem Analisis Sentimen pada Ulasan Produk Menggunakan Metode Naive Bayes
Billy Gunawan #1 , Helen Sasty Pratiwi #2 , Enda Esyudha Pratama #3 # Program Studi Informatika Fakultas Teknik Universitas Tanjungpura Jl. Prof Dr H. Hadari Nanawi, Kota Pontianak, 78115
1 privatebillgun@gmail.com
2 helensastypratiwi@informatics.untan.ac.id
3 endaesyudha@gmail.com
Abstrak —  Sistem  analisis  sentimen  merupakan  sistem  yang digunakan  untuk  melakukan  proses  analisis  otomatis  pada ulasan  produk  online  bahasa  Indonesia  untuk  memperoleh informasi  meliputi  informasi  sentimen  yang  merupakan bagian  dari  ulasan  online.  Data  tersebut  diklasifikasikan menggunakan  Naive  Bayes.  Sistem  analisis  sentimen  dibagi menjadi  5  (lima)  tahap,  yaitu crawling , pre-processing , pembobotan  kata,  pembentukan  model  dan  klasifikasi sentimen. Pada pembobotan kata digunakan metode TF-IDF ( Term Frequency – Inverse Document Frequency ). Data yang ada  akan  diklasifikasikan  ke  dalam  5  (lima)  kelas,  yaitu sangat negatif, negatif, netral, positif dan sangat positif. Data tersebut kemudian akan dievaluasi  menggunakan pengujian confusion  matrix dengan  parameter  akurasi, recall ,  dan precision .  Hasil  pengujian  menunjukkan  pada  pengujian  3 kelas  (negatif,  netral  dan  positif)  hasil  terbaik  didapatkan pada 90% data latih dan 10% data uji dengan nilai akurasi 77.78%, recall 93.33%  dan precision 77.78%  dan  pada pengujian  5  kelas  hasil  terbaik  didapatkan  pada  90%  data latih dan 10% data uji  dengan nilai akurasi 59.33 %, recall 58.33 % dan precision 59.33 %. Hasil prediksi kelas data uji yang  relevan  dibandingkan  antara  kelas  sentimen  yang ditandai supervisor dan  kelas  sentimen  yang  dihasilkan  oleh sistem  analisis  sentimen  walaupun  belum  sepenuhnya akurat.
Kata kunci - Naive bayes, Klasifikasi sentimen, TF-IDF, C onfusion matrix , Akurasi

## I. P ENDAHULUAN
Pada  zaman  modern  ini,  sentimen  atau  opini masyarakat semakin bertambah luas dan bebas diungkapkan  di  berbagai  media.  Sentimen  dapat  menjadi potensi  besar  bagi  perusahaan  yang  ingin  mengetahui umpan  balik  ( feedback )  dari  masyarakat  terhadap  merk dagang  mereka.  Merk  telah  dianggap  sebagai  salah  satu asset  tidak  berwujud  ( intangible  asset )  yang  paling berharga  dan  manajemen  merk  adalah  prioritas  penting bagi pihak manajemen perusahaan atau organisasi [1].
Jumlah pengguna ( user ) aktif dalam komunikasi online memiliki  jumlah  data  yang  sangat  banyak  sehingga memunculkan data besar (big data) . Munculnya teknologi big  data yang  merupakan  himpunan  data  dalam  jumlah
yang  sangat  besar,  rumit,  dan  tidak  terstruktur  menjadi salah  satu  sumber  daya  besar  yang  dapat  diolah  untuk memperoleh hasil sentimen yang lebih akurat.
Jumlah  review  dan  opini  sangat  banyak  sehingga  akan menyulitkan  dan  memakan  waktu  untuk  membaca  secara keseluruhan. Oleh karena itu dapat dirancang sistem yang secara otomatis akan   mengelompokkan opini dan review yang ada sesuai  kelasnya.  Kelas sentimen dibagi  menjadi kelas  sangat  positif,  positif,  netral,  negatif,  dan  sangat negatif sehingga pengguna dapat membaca  memilih ingin membaca opini sesuai yang diinginkan [2].
Sistem  analisis  sentimen  yang  dibangun  menggunakan algoritma  klasifikasi  Naive  Bayes.  Ciri  utama  dari algoritma  Naive  Bayes  adalah  asumsi  yang  sangat  kuat (naif) akan independensi dari masing-masing kondisi atau kejadian  [3].  Kelebihan  dari  Naive  Bayes  adalah  proses klasifikasi  data  dapat  disesuaikan  dengan  sifat  dan kebutuhan masing-masing.
Dengan adanya sistem analisis sentimen ini diharapkan dapat  membantu  perusahaan  mengetahui  umpan  balik terhadap  merk  dagangnya  dan  masyarakat  dalam  menilai sebuah produk berdasarkan opini dan review yang ada. Penelitian  Kristiyanti  [4],  pengkajian  ulang  tentang review  produk  kosmetik  dengan  cara  pengklasifikasian review tersebut ke dalam class positif dan negatif. Teknik klasifikasi  yang  digunakan  untuk  klasifikasi  data  adalah Support  Vector  Machine  (SVM)  dengan  penggabungan metode pemilihan fitur Particle Swarm Optimization agar bisa meningkatkan akurasi. Evaluasi pengukuran sebelum dan  sesudah  penambahan  metode  pemilihan  fitur dilakukan  menggunakan  10  Fold  Cross  Validation. Sedangkan  pengukuran  akurasi  diukur  dengan  Confusion Matrix  dan  Kurva  ROC.  Hasil  penelitian  menunjukkan peningkatan  akurasi  Support  Vector  Machine  dari 89.00 % menjadi 97.00 %.
Sipayung,  Maharani  dan  Zefanya  [5]  membuat  sistem analisis  sentimen  menggunakan  metode  Naive  Bayes Classifier  (NBC).  Komentar  dibagi  berdasarkan  sentimen positif  dan  negatif,  sehingga  dapat  dievaluasi  kepuasan pelanggan  terhadap  produk  dan  jasa  yang  disediakan secara terkomputerisasi dan spesifik. Hasil dari penelitian
yang dilakukan mendapatkan enam kategori yang ditinjau dengan  55 keyword kata  benda,  terdapat  120 keyword sentimen  dengan  66  kata  sentimen  positif  dan  54  kata sentimen negatif. Hasil pengolahan terhadap 175 data latih disimpulkan  bahwa  hasil  klasifikasi  sentimen  yang didapat  adalah  sentimen  positif  sebanyak  155  komentar dan  sentimen  negatif  sebanyak  20  komentar.  Kategori sentimen positif terbesar adalah kategori kamar sebesar 73 komentar  dan  kategori  dengan  sentimen  negatif  terbesar adalah  kategori  kamar  sebesar  17  komentar.  Tingkat akurasi  dalam  penentuan  kategori  adalah  sebesar  77.14% dan  75.42%  dalam  penentuan  sentimen  memiliki  tingkat precision 99.12% dan recall 72.9%.

## Gambar. 1 Diagram alir penelitian
Budi  [6]  menyatakan  ada  beberapa  algoritma  yang  di gunakan  untuk  penggalian  dokumen  untuk  analisis sentimen,  salah  satunya  adalah  K-Means.  Didalam penelitian  ini  algoritma  yang  digunakan  adalah  K-Means dengan  pembobotan  kata  TF-IDF.  Dengan  tujuan  untuk mengetahui kinerja algoritma K-Means tanpa seleksi fitur dan  menggunakan  seleksi  fitur  information  gain.  Hasil penelitian  menunjukkan  bahwa  akurasi  K-Means  dengan dataset digunakan 300 positif dan 300 negatif  akurasinya 57.83%,  700 dokumen positif dan 700  negatif akurasinya 56.71%%,  1000  dokumen  positif  dan  1000    negatif akurasinya  50.40%%.  Dari  hasil  pengujian  disimpulkan bahwa  semakin  besar  dataset  yang  digunakan  semakin rendah akurasi K-Means.

## II. M ETODE P ENELITIAN
Sentimen  adalah  pendapat  atau  pandangan  yang didasarkan  pada  perasaan  yang  berlebih-lebihan  terhadap sesuatu  (bertentangan  dengan  pertimbangan  pikiran)  [7].
Sentimen  terdapat  pada  pernyataan  atau  kalimat  yang memiliki pendapat. Sentimen digunakan untuk mengetahui  perasaan  yang  diberikan  terhadap  topik  atau objek.
Data  pre-processing adalah  teknik data  mining yang melibatkan transformasi data mentah menjadi format yang mudah dimengerti. Langkah data pre-precossing diperlukan  untuk  menyelesaikan  beberapa  jenis  masalah termasuk noisy  data ,  data  redundansi,  nilai  data  yang hilang, dll [8].
Adapun  langkah-langkah data  pre-proccesing adalah tokenisasi, case folding, stemming, filtering, dan labelling .
1. Tokenisasi Tokenisasi merupakan proses pemisahan suatu rangkaian  karakter  berdasarkan  karakter  spasi,  dan mungkin  pada  waktu  yang  bersamaan  dilakukan  juga proses  penghapusan  karakter  tertentu,  seperti  tanda  baca [9].
2. Case Folding Case folding merupakan proses mengubah semua huruf dalam  suatu  dokumen  atau  kalimat  menjadi  huruf  kecil [10].  Case  folding  digunakan  untuk  mempermudah pencarian. Tidak semua data konsisten dalam penggunaan huruf kapital.
3. Stemming
Kata-kata yang sudah diubah menjadi huruf kecil perlu dilakukan  pengecekan. Stemming digunakan  untuk menyeragamkan  kata  sehingga  mengurangi  daftar  kata yang ada pada data latih [11].
4. Filtering
Filtering /  eliminasi stopwords memiliki  banyak keuntungan, yaitu akan mengurangi space pada tabel term index hingga  40%  atau  lebih  [12].  Proses stopword removal merupakan  proses  penghapusan term yang  tidak memiliki arti atau tidak relevan [9].
5. Labelling
Labelling berasal dari kata label. Label berarti karakter atau himpunan karakter yang digunakan untuk mengidentifikasi suatu variabel atau bagian dari data atau berkas [7]. Labelling / proses pemberian label ada 2 (dua), yaitu  pemberian  label  kepada token dengan  kata  penguat ( exaggeration ) dan kata negasi ( negation ).
Pembobotan kata adalah proses pemberian bobot untuk setiap  kata  yang  terdapat  dalam  sebuah  dokumen.  Dalam pencarian informasi peringkat berdasarkan frekuensi kata, salah satu metode yang paling populer adalah metode TF- IDF ( Term Frequency - Inversed Document Frequency ). Dalam metode TF-IDF, Term Frequency lebih berfokus pada  istilah  yang  sering  muncul  dalam  suatu  dokumen sedangkan Inverse  Document  Frequency lebih  berfokus pada  pemberian  bobot  rendah  untuk  istilah  yang  muncul dalam banyak dokumen [13].
Klasifikasi  Naive  Bayes  merupakan  klasifikasi  yang bersifat supervised  learning karena  memiliki supervisor (manusia  melakukan  klasifikasi  secara  manual  pada  data yang  digunakan  dalam  pelatihan)  selaku  pengajar  dalam proses  belajar  atau  learning  [11].  Selain  itu,  performansi Naive  Bayes  memiliki  waktu  klasifikasi  yang  singkat
sehingga  mempercepat  proses  sistem  analisis  sentimen. Pada  penelitian  ini  pengujian  digunakan  dengan menggunakan  5  kelas  (sangat  negatif,  negatif,  netral, positif dan sangat positif ) dan 3 kelas (negatif, netral, dan positif).
Diagram  alir  penelitian  dilakukan  dengan  tahap-tahap studi  literatur,  pengumpulan  data,  perancangan  sistem, pembuatan  dan  implementasi  sistem,  pengujian  sistem, analisis hasil pengujian, dan penarikan kesimpulan seperti pada gambar 1.
Studi literatur dilakukan dengan mencari referensi ilmu pengetahuan  yang berhubungan dengan  sistem  yang akan dibuat seperti referensi tentang kritik dan saran, Data Pre- Processing maupun melalui penelitian-penelitian sebelumnya.
Pengumpulan  data  dilakukan  untuk  memperoleh  data- data  yang  berhubungan  dengan  sistem  yang  akan  dibuat seperti  data  opini  dan  review  yang  berasal  dari  Female Daily  (www.femaledaily.com).  Opini  dan review yang diambil  sebanyak  300  data  latih  per  kelas  dengan  total 1500 data latih.
Perancangan  sistem  dilakukan  dengan  menggunakan UML  ( Unified  Modelling  Language )  dengan  tahapan antara  lain,  perancangan use  case  diagram ,  perancangan sequence  diagram ,  perancangan class  diagram dan perancangan activity  diagram .  Kemudian  dilanjutkan dengan  perancangan  struktur  antarmuka  sistem  dan perancangan layout serta antarmuka sistem.
Pembuatan  dan  Implementasi  sistem  dilakukan berdasar  kepada  desain  dan  perancangan  aplikasi  yang telah  dilakukan  pada  tahapan  sebelumnya.  Pada  tahapan ini, sistem akan dibuat berbasis website HTML dan PHP.
Pengujian  sistem  dilakukan  untuk  mengetahui  apakah sistem  yang  telah  dibuat  dapat  menganalisis  sentimen yang diambil oleh crawler  yang  kemudian dilakukan pre- processing  dan  pembobotan  kata  menggunakan  metode TF-IDF    dan  mengkategorikannya  kedalam  kelas-kelas menggunakan  metode  Naive  Bayes.  Dalam  hal  ini dilakukan  pengujian  dengan  metode blackbox , confusion matrix , perhitungan akurasi, precision dan recall . Analisis  Hasil  Pengujian  dilakukan  analisis  terhadap sistem  secara  keseluruhan  untuk  memudahkan  dalam melakukan penarikan kesimpulan. Kesimpulan dirumuskan  berdasarkan  analisis  hasil  pengujian  sistem yang telah dilakukan.

## III. P ERANCANGAN A PLIKASI
A. Gambaran Umum Sistem
Sistem  yang  dibangun  adalah  sistem  yang  dapat digunakan  untuk  menganalisis  sentimen  pada  ulasan produk  dan  berjenis  coarsed-grained  sentiment  analysis, dikarenakan  sebuah  review  /  ulasan  dapat  dinilai  apabila dibaca  secara  kesuluruhan.  Sistem  bekerja  dengan melakukan  crawling review pada website e-commerce yang  nantinya  akan  diproses  pada  sistem.  Adapun pengguna  dari  sistem  ini  dibagi  menjadi admin dan pengunjung website.seperti pada gambar 2.

## Gambar. 2 Arsitektur sistem
Workflow sistem  analisis  sentimen  dibagi  menjadi  2 bagian  yaitu  koleksi  data  latih  dan  koleksi  data  uji, sebelum  dapat  dilakukan  klasifikasi  sentiment  dapat dilihat pada gambar 3.
Gambar. 3 Workflow sistem analisis sentimen

## B. Perancangan UML
1. Use Case Diagram Use  Case  Diagram menggambarkan  fungsionalitas yang diharapkan dari sebuah sistem [14]. Sebuah use case mereprensentasikan  interaksi  antara  aktor  dengan  sistem. Berikut merupakan use case diagram yang telah dirancang pada  gambar  berikut. Use  Case  diagram digambarkan seperti pada gambar 4.
Gambar. 4 Use case diagram

## 2. Class Diagram
Diagram  kelas  atau  class  diagram  menggambarkan struktur  sistem  dari  segi  pendefinisian  kelas-kelas  yang akan dibuat untuk membangun sistem [14]. Class diagram digambarkan seperti pada gambar 5.
Gambar. 5 Class diagram
3. Sequence Diagram
Sequence  diagram menggambarkan  kelakuan  objek pada use case dengan mendeskripsikan waktu hidup objek dan  message  yang  dikirimkan  dan  diterima  antar  objek [14]. Sequence diagram digambarkan seperti pada gambar 6.

## Gambar. 6 Sequence diagram
4. Activity Diagram
Diagram
aktivitas atau activity diagram menggambarkan workflow (aliran kerja) atau aktivitas dari sebuah  sistem  atau  proses  bisnis  [14]. Activity  diagram digambarkan seperti pada gambar 7.
Gambar. 7 Activity diagram
C. Peracangan Antarmuka
Perancangan  antarmuka  sistem  analisis  sentimen  ini memiliki  beberapa  layout  yang  disesuaikan  dengan  use case  diagram  yang  telah  dirancang.  Struktur  antar  muka sistem  yang  dibangun  dapat  dilihat  pada  gambar  8  untuk user dan gambar 9 untuk admin berikut :
Gambar. 8 Rancangan antarmuka user
Gambar. 9 Rancangan antarmuka admin

## IV. H ASIL P ERANCANGAN DAN ANALISIS

## A. I MPLEMENTASI
1. Antarmuka Halaman Utama / Beranda
Antarmuka  halaman  utama  /  beranda  memiliki form yang memerlukan input pengguna yaitu link halaman awal produk pada website FemaleDaily seperti pada gambar 10.
Gambar. 10 Antarmuka halaman utama/beranda
2. Antarmuka Halaman Hasil Analisis
Antarmuka halaman hasil analisis memberikan informasi dari analisis yang telah dilakukan sistem seperti pada gambar 11.
Gambar. 11 Antarmuka halaman hasil analisis

## 3. Antarmuka Admin Panel
Antarmuka admin panel memberikan admin hak akses untuk mengatur atau memanajemen korpus data latih dan koleksi kamus seperti pada gambar 12.
Gambar. 12 Antarmuka halaman a dmin panel

## B. Pengujian Confusion Matrix
Confusion matrix adalah suatu metode yang umumnya digunakan  untuk  melakukan  perhitungan  tingkat  akurasi pada  data  mining.  Confusion  matrix  memuat  informasi tentang  klasifikasi  yang  diprediksi  dengan  benar  oleh sebuah  sistem  klasifikasi  [15]. Terdapat  tiga  parameter yang  akan  dihitung,  yaitu  akurasi, recall ,  dan precision yang dapat dilihat pada tabel I.
TABEL I
H ASIL P ENGUJIAN
Jumlah Kelas Total Data Data Latih Data Uji Akurasi Recall  Precision 3 900 90% 10% 77.78% 93.33%  77.78% 3 900 80% 20% 73.89% 95.00%  74.44% 5 1500 90% 10% 59.33% 58.33%  59.33% 5 1500 80% 20% 52.66% 50.83%  52.67%
C. Analisis Hasil Pengujian Dari  pengujian  yang  dilakukan  dengan  menghitung akurasi, recall dan precision pada sistem analisis sentimen review  produk  online  maka  analisis  yang  dapat disimpulkan adalah sebagai berikut.
1. Hasil  prediksi  kelas  data  uji  yang  relevan dibandingkan  antara  kelas  sentimen  yang ditandai supervisor dan  kelas  sentimen  yang dihasilkan oleh sistem analisis sentimen.
2. Prediksi  kelas  sentimen  pada  review  dapat dilakukan  dengan pre-processing ,  pembobotan kata,  pembentukan  model  dilanjutkan  dengan perhitungan probabilitas kelas.
3. Prediksi  sistem  analisis  sentimen  menggunakan metode  Naive  Bayes  belum  sepenuhnya  relevan. Hal ini dapat dilihat pada nilai akurasi pengujian terutama  pada  pengujian  5  kelas  menggunakan dataset 80% latih - 20% data uji memiliki akurasi terendah  sebear  52.66%,  pengujian  5  kelas menggunakan  dataset  90%  latih  -  10%  sebesar 59.33  %,  pengujian      3  kelas  menggunakan dataset 90% data latih dan 10% data uji memiliki 73.89%  sedangkan  pada  pengujian  3  kelas menggunakan  dataset  90%  data  latih  dan  10% data  uji  memiliki  akurasi  tertinggi  sebesar 77.78%.
4. Nilai  akurasi  terendah  pada  sistem  analisis sentimen  pada  setiap  pengujian  yang  dilakukan terdapat pada kelas netral yang dapat dilihat pada tabel II. Hal ini disebabkan sifat kelas netral yang memiliki vocabulary yang  luas  sehingga  sistem mengklasifikasikan  kalimat  pada  kelas  netral menjadi kelas lain.
5. Dari    pengujian  5  kelas  dan  3  kelas  yang dilakukan  data  latih  90%  dan  data  uji  10% memiliki akurasi  yang lebih tinggi dibandingkan dengan data latih 80% dan data uji  20%. Hal ini disebabkan  semakin  banyak  data  latih  yang digunakan maka vocabulary sistem akan menjadi lebih  banyak  dan  pengklasifikasian  pun  akan menjadi semakin akurat.
V. K ESIMPULAN DAN S ARAN
A. Kesimpulan Berdasarkan  hasil  analisis  dan  pengujian  terhadap sistem  analisis  sentimen  pada  ulasan  produk online menggunakan  metode  Naive  Bayes,  maka  dapat  ditarik kesimpulan sebagai berikut.
1. Metode  Naive  Bayes  dapat  memprediksi  kelas sentimen pada ulasan produk online sesuai dengan sistem yang disiapkan.
2. Sistem  analisis  yang  dibentuk  belum  sepenuhnya relevan  dalam  memprediksi  kelas  sentimen  yang sesuai terhadap pemberian kelas dari supervisor . 3. Sistem analisis sentimen pada ulasan produk online menggunakan  metode  Naive  Bayes  menghasilkan nilai  akurasi  terendah  pada  pengujian  5  kelas menggunakan  dataset  80%  latih  dan  20%  data  uji sebesar 52.66%, sedangkan pada pengujian 3 kelas menggunakan dataset 90% data latih dan 10% data uji memiliki akurasi tertinggi sebesar 77.78%.
4. Jumlah  data  latih  dalam  sistem  analisis  sentimen memiliki pengaruh terhadap prediksi sistem. Selain jumlah,  kualitas  data  latih  juga  berperan  karena semakin  tinggi  kualitas  data  maka  sistem  akan mendapatkan vocabulary yang  semakin  besar sehingga akan lebih tepat dalam memprediksi kelas sentimen.
5. Review  yang  diluar  batasan  cenderung  akan memiliki  kelas  sentimen  yang  salah  dikarenakan sistem  tidak  dilatih  diluar  batasan  yang  telah ditentukan.  Seperti review dalam  bahasa  Inggris atau kata-kata gaul baru yang tidak terdapat dalam kamus .
B. Saran
Adapun  beberapa  hal  yang  perlu  ditambahkan  dalam pengembangan  sistem  analisis  sentimen  pada  ulasan produk  online  menggunakan  metode  Naive  Bayes  ini adalah sebagai berikut :
1. Sistem analisis sentimen pada ulasan produk online menggunakan  metode  Naive  Bayes  ini  dapat menggunakan metode lain untuk memperoleh hasil prediksi  yang  lebih  baik.  Contoh  metode  yang dapat  digunakan  Support  Vector  Machine  (SVM) [4] atau K-Means [6].
2. Sistem  ini  dapat  dikembangkan  lagi  dengan menambahkan  website  ulasan  produk online yang dapat  dicrawl  sehingga  tidak  terbatas  pada  satu website.
3. Sistem analisis sentimen dapat ditambahkan proses semantik  sehingga  kata-kata  yang  harusnya memiliki  makna  dapat  ditandai.  Dan  dapat membantu  sistem  dalam  menilai  kelas  sentimen pada review .

## R EFERENSI
[1] Keller,  Kevin  L.,  dan  Donald  R.  Lehmann.  2006.  Brands  and Branding:  Research  Findings  and  Future  Priorities.  Marketing Science. Vol. 25, No 6. Maryland: INFORMS.
[2] Buntoro, Ghulam Asrofi, Teguh Bharata Adji, dan Adhistya Erna Purnamasari. 2016. Sentiment Analysis Candidates of  Indonesian Presiden  2014  with  Five  Class Attribute.  International Journal of Computer Applications. Vol.
136
No. 2. Ronowijayan :Universitas Muhammadiyah Ponorogo.
[3] Natalius,  Samuel.  2010.  Metode  Naive  Bayes  Classifier  dan Penggunaannya pada Klasifikasi Dokumen. Bandung: Institut Teknologi Bandung.
[4] Kristiyanti, Dinar Ajeng. 2015. Analisis Sentimen Review Produk Kosmetik  Menggunakan  Algoritma  Support  Vector  Machine  dan Particle  Swarm  Optimization  Sebagai  Seleksi  Fitur.  Seminar Nasional  Inovasi  dan  Tren  (SNIT)  2015.  Jakarta:  STMIK  Nusa Mandiri.
[5] Sipayung,  Evasaria  M.,  Herastia  Maharani,  dan  Ivan  Zefanya. 2016.  Perancangan  Sistem  Analisis  Sentimen  Komentar Pelanggan  Menggunakan  Metode  Naive  Bayes  Classifier.  Jurnal Sistem  Informasi  (JSI),  VOL.  8,  NO.  2.  Bandung:    Institut Teknologi Harapan Bangsa.
[6] Budi, Setyo. 2017. Text Mining Untuk Analisis Sentimen Review Film  Menggunakan Algoritma K-Means. Techno.COM, Vol. 16,
No. 1. Semarang : Universitas Dian Nuswantoro Semarang [7] Anonim. 2018. Kamus Besar Bahasa Indonesia. https://kbbi.kemdikbud.go.id/,  24 Maret 2018
[8] Kotsiantis, S. B., D. Kanellopoulos dan P. E. Pintelas. 2006. Data Preprocessing  for  Supervised  Learning.  International  Journal  of Computer  Science  Volume  1  Number  2.  Patras:  University  of Patras.
[9] Amin,  Fatkhul.  2012.  Sistem  Temu  Kembali  Informasi  dengan Metode  Vector  Space  Model.  Jurnal  Sistem  Informasi  Bisnis  02. Semarang: Universitas Stikubank.
[10] Valatehan,  Lucky,  Muhammad  Fachrurrozi,  dan  Osvari  Arsalan. 2016. Identifikasi Kalimat Pemborosan Menggunakan Rule Based Reasoning .  Annual  Research  Seminar  Vol  2  No.  1.  Palembang: Universitas Sriwijaya.
[11] Manning,  Christopher  D,  Prabhakar  Raghavan,  dan  Hinrich Schütze.  Introduction  to  Information  Retrieval.  Cambridge: Cambridge University Press, 2008.
[12] Baeza  R.Y.,  dan  Neto  R.,  1999.  Modern  Information  Retrieval. Boston: USA.
[13] Wilson,  Garnett,  Rodolphe  Devillers,    and  Orland  Hoeber.  2011. Fuzzy Logic Ranking For Personalized Geographical Information Retrieval.  Proceedings  of  the  Third  International  Conference  on Intelligent  Human  Computer  Interaction  (IHCI  2011).  Czech Republic: Springer Berlin Heidelberg.
[14] A.S.,  Rosa  dan M. Shalahudin. 2016.  Rekayasa  Perangkat Lunak Terstruktur  dan  Berorientasi  Objek.  Bandung:  Informatika Bandung. [15] Hamilton, Howard. 2017. Confusion Matrix.
http://www2.cs.uregina.ca/~hamilton/courses/831/notes/confusion _matrix/confusion_matrix.html, 24 Maret 2018.