## JEPIN
(Jurnal Edukasi dan Penelitian Informatika)
ISSN(e): 2548-9364 / ISSN(p) : 2460-0741
No. 3 Desember 2021

## Sentiment Analysis Objek Wisata Kalimantan Barat Pada Google Maps Menggunakan Metode Naive Bayes
Ahmad Rifa’i #1 , Herry Sujaini *2 , Dian Prawira #3
# Program Studi Sistem Informasi, Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas Tanjungpura Jl. Prof. Dr. H. Hadari Nawawi, Pontianak
1 ahmad.rifai@student.untan.ac.id
3 dianprawira@sisfo.untan.ac.id
* Program Studi Informatika, Fakultas Teknik, Universitas Tanjungpura Jl. Prof. Dr. H. Hadari Nawawi, Pontianak
2 hs@untan.ac.id
Abstrak — Kalimantan Barat merupakan salah satu provinsi di Indonesia yang pariwisatanya berpotensi untuk dikembangkan.  Oleh  karena  itu,  feedback  dari  wisatawan dibutuhkan untuk mengambil tindakan terkait pengembangan kualitas objek wisata Kalimantan Barat agar lebih  optimal.  Penelitian  ini  bertujuan  untuk  membangun sistem  yang  dapat  melakukan  sentiment  analysis  terhadap objek  wisata  di  Kalimantan  Barat  berdasarkan  data  ulasan yang ada di Google Maps. Metodologi yang digunakan dalam penelitian  ini  adalah  kerangka  kerja  IS  Research  Alan Hevner.  Dalam  melakukan  riset  sentiment  analysis  objek wisata  Kalimantan  Barat,  metode  yang  digunakan  untuk klasifikasi  adalah  Naïve  Bayes.  Sebelum  melakukan klasifikasi, dilakukan tahap pre-processing yang terdiri dari casefolding,  tokenizing,  filtering,  stemming,  dan  tahap pembobotan  kata  menggunakan  TF-IDF.  Berdasarkan penelitian yang  dilakukan, disimpulkan bahwa sistem dapat mengklasifikasikan kelas sentimen ulasan objek wisata yang terdapat  pada  Google  Maps  menggunakan  metode  Naive Bayes dengan nilai akurasi yang bervariasi dari setiap tempat wisata.  Nilai  akurasi  tertinggi  adalah  0,76  sedangkan terendah adalah 0,38. Hasil sentimen analisis yang dilakukan pada objek wisata Kalimantan Barat masuk dalam kategori yang  positif.  Hal  ini  berdasarkan  performa  metode  Naive Bayes yang menunjukan bahwa nilai rata-rata f1-score kelas positif adalah 0,73 lebih tinggi dibanding kelas netral 0,53 dan negatif 0.14
Kata kunci — Sentiment Analysis, Naive Bayes, Pre- Processing, TF-IDF

## I. P ENDAHULUAN
Kalimantan  Barat  memiliki  sektor  pariwisata  yang berpotensi  untuk  dikembangkan.  Namun  kurangnya promosi serta keterbukaan informasi terkait kualitas objek wisata  di  Kalimantan  Barat  menjadikan  perkembangan objek wisata di Kalimantan Barat belum maksimal.
Saat  ini  keterbukaan  informasi  publik  dapat  terwujud berkat  perkembangan  ilmu  pengetahuan  dan  teknologi. Salah  satu  contohnya  adalah  jasa  peta  daring  yang mempunyai  fitur  untuk  merencanakan  sebuah  rute  serta mencari  sebuah  alamat  atau  yang  dikenal  dengan  Google Maps.  Di  pertengahan  tahun  2016  Google  menambahkan fitur yang memungkinkan penggunanya untuk memberikan rating  serta  menambahkan  ulasan  pada  tempat  yang dikunjunginya [1].
Dari  hasil  pengamatan  yang  telah  dilakukan,  banyak pengunjung  objek  wisata  Kalimantan  Barat  sudah memberikan  ulasannya  di  Google  Maps.  Hal  ini  menjadi informasi  yang  berharga  untuk  meningkatkan  kualitas pariwisata Kalimantan Barat. Dengan ulasan tersebut  kita bisa  melakukan  analisa  untuk  menemukan  sentimen  apa yang diberikan oleh pengunjung.
Sentiment  Analysis juga  akrab  dikenal  sebagai  opinion mining,  merupakan  sebuah  area  penelitian  yang menganalisis  opini  publik,  emosi, . penilaian, .. sikap, .. dan sentimen tentang . suatu , objek . seperti , organisasi, .. produk, . layanan, .. individu, . peristiwa, masalah, .. dan .. topik [2]. Untuk melakukan sentiment analysis diperlukan sebuah metode,  salah  satuya  Naïve  Bayes.  Dalam  metode  ini klasifikasi  dilakukan  dengan  menghitung  probabilitas. Naive  Bayes .. memiliki , keunggulan .. dalam , efisiensi .. dan kesederhanaan  pada  pengklasifikasian  teks,  terutama dalam  penerapan  pada  aplikasi  praktis  secara  langsung seperti membagi kategori berita atau menyaring spam [3].
Dengan Sentiment  Analysis ,  kita  akan  mendapatkan feedback yang cepat dari wisatawan dengan memanfaatkan ulasan  yang  telah  mereka  berikan  sehingga  stakeholder yang terlibat dapat mengambil tindakan langkah apa yang harus  dilakukan  kedepannya  agar  kualitas  pariwisata  di Kalimantan Barat dapat lebih berkembang secara optimal.
Terdapat  beberapa  kajian  penelitian  terdahulu  yang dianggap  relevan  dengan  tema .. penelitian ... ini.  Adapun
beberapa diantaranya penelitian [4] meningkatkan akurasi pada  sistem  klasifikasi  pesan  pengaduan  RSUD Majalengka  dari  75%  berdasarkan  kelas  bidang  menjadi 90% dan 75% berdasarkan kelas sentimen menjadi 100%. Kemudian  penelitian  [5]  menggunakan  metode .. naive bayes ., classifier . dengan . pengujian 10-fold cross validation menunjukkan akurasi sebesar 96,5% untuk Lazada, 93,9 % untuk  Bukalapak  dan  90,3%  untuk  Bibli.com  Lalu penelitian [6] dengan menggunakan metode Multinominal Naive Bayes dengan k-fold cross validation menghasilkan akurasi  sebesar  71.60%,  70.72%  dan  70,68%.  Kemudian penelitian  [7]  penggunaan  dataset  20%  data  uji  dan  80% data  latih  pada  pengujian  5  kelas  menghasilkan  nilai akurasi  terendah  52,66%.  Sedangkan  penggunaan  dataset 10%  data  uji  dan  90%  data  latih  pada  pengujian  3  kelas menghasilkan akurasi tertinggi sebesar 77.78%. Selanjutnya  penelitian  [8]  melakukan  analisis  sentimen terkait tempat wisata .. di .. Tegal .. dan .. sekitarnya. Penelitian tersebut menunjukkan perbandingan akurasi Decision Tree lebih  rendah  dari  Naïve  Bayes  dengan  nilai  60,83% berbanding 77,50%.

## II. M ETODE
Penelitian  ini  memiliki  perencanaan  sistematis  dan ilmiah yang mengadopsi model kerangka kerja IS Research Alan  Hevner.  Metode  penelitian  tersebut  diilustrasikan pada Gambar 1 yang menunjukkan proses penelitian secara umum.

## Gambar 1. Kerangka kerja penelitian
Penjelasan mengenai metode penelitian pada Gambar 1 yang mencakup isi dari ruang lingkup penelitian dijabarkan sebagai berikut:

## A. Lingkungan
Target  orang  yang  dianggap  relevan  dengan  tujuan penelitian  ini  diantaranya  adalah  wisatawan,  pengelola
tempat  wisata,  dan  pemerintah.  Lalu  dalam  proses organisasi  yang  menjadi  target  tujuan  adalah  pelayanan, aksesibilitas, infrastruktur, serta akomodasi. Dan teknologi yang menjadi target tujuan adalah Google Maps.

## B. Riset Sistem Informasi
Untuk  melakukan  sentimen  analisis  dimulai  dengan crawling  data  dari  Google  Maps  menggunakan  Google Maps  API.  Untuk  menggunakan  Google  Maps  API diperlukan  sebuah  kode  unik  yang  sudah  diberikan  oleh Google.  Kode  tersebut  secara  umum  dikenal  dengan  API Key.  API  key  digunakan  agar  sebuah  website  dapat dikenali oleh server Google Maps. [9].
Kemudian dilakukan text pre–processing  meliputi case folding,  tokenizing,  filtering,  dan  stemming.  Text  pre- processing  dilakukan  agar  suatu  teks  menjadi  terstruktur dari sebelumnya [5].
Setelah itu dilakukan pembobotan kata dengan TF-IDF. TF-IDF  merupakan . sebuah . metode . yang . digunakan . untuk pembobotan  kata  (term  weighting)  dengan  menghitung jumlah kemunculan setiap kata dalam suatu dokumen(TF), dan  menghitung  jumlah  kemunculan  kata  dalam  seluruh dokumen (IDF) [10].
𝑖𝑑𝑓 𝑡 =  𝑙𝑛 ( 𝑁 𝑑𝑓 𝑡 ) + 1                           (1)
Keterangan : 𝑖𝑑𝑓 𝑡 = Nilai Invers document frequency 𝑁 = Jumlah keseluruhan dokumen 𝑑𝑓 𝑡
= Jumlah dokumen yang kata t
𝑡𝑓𝑖𝑑𝑓 𝑡 =   𝑡𝑓 𝑡 𝑋 𝑖𝑑𝑓 𝑡 (2) Keterangan : 𝑡𝑓𝑖𝑑𝑓 𝑡 = Nilai TF-IDF 𝑡𝑓 𝑡 = ∑ keseluruhan kata dalam dokumen
𝑖𝑑𝑓 𝑡 = Nilai Invers document frequency
Setelah  itu  diklasifikasikan  menggunakan  metode Naïve Bayes.
𝑉 𝑁𝐵 =  𝑎𝑣𝑔𝑚𝑎𝑥 𝑃(𝑣 𝑗 )   ∈ 𝑉  ∏   𝑃( 𝑎 𝑖 | 𝑣 𝑗 )𝑃(𝑣 𝑗 ) 𝑖 (3)
Keterangan :
𝑣 𝑗 : Kategori opini dari j = 1, 2, ..., n. 𝑃( 𝑎 𝑖 | 𝑣 𝑗 ) : Probabilitas .. 𝑎 𝑖 . pada . kategori . 𝑣 𝑗 𝑃(𝑣 𝑗 ) : Probabilitas . dari 𝑣 𝑗
Hasil akhir dari riset sistem informasi ini adalah sebuah sistem  yang  mampu  melakukan  sentimen  analisis  dan mengklasifikasikan  sentimennya.  Web  menjadi  basis  dari sistem  sentiment  analisis,  bahasa . pemrograman  python digunakan  untuk  melakukan  pengolahan  data  dan  bahasa pemrograman PHP  digunakan  untuk membangun website dengan  menggunakan  Laravel  sebagai  framework,  serta MySQL sebagai database nya. Pada tahap akhir penelitian akan  dilakukan  pengujian  performa  naive  bayes menggunakan  confusion  matrix.  Confusion  matrix  juga dikenal  dengan  error  matrix  yaitu  sebuah  metode  yang memungkinkan memvisualisasikan suatu kinerja algoritma,
salah  satunya  adalah  supervised  learning  [11].  Setiap kolom dari matriks merepresentasikan prediksi dari setiap kelas  atau  predicted  class,  sementara  setiap  baris merepresentasikan kelas sebenarnya actual class [12] (lihat Tabel 1).
TABEL I C ONFUSION M ATRIX Prediction Class Positve Negative Actual Class Positive TP FN Negative FP TN Setelah mendapatkan . nilai . untuk . masing-masing  kelas, selanjutnya . menghitung . nilai  akurasi,    presisi ,  recall, dan f1-score .    Adapun  persamaannya  dapat  dilihat  pada persamaan berikut ini :
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = 𝑇𝑃 + 𝑇𝑁 𝑇𝑃 + 𝐹𝑃 + 𝑇𝑁 + 𝐹𝑁 (4) 𝑃𝑟𝑒𝑠𝑖𝑠𝑖 = 𝑇𝑃 𝑇𝑃 + 𝐹𝑃 (5) 𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃 𝑇𝑃 + 𝐹𝑁 (6) 𝑓1 − 𝑠𝑐𝑜𝑟𝑒 = 2 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 𝑋 𝑅𝑒𝑐𝑎𝑙𝑙 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑅𝑒𝑐𝑎𝑙𝑙 (7)
Adapun  teknik  yang  dipakai  untuk  pengujian fungsionalitas  sistem  dilakukan  dengan  menggunakan teknik blackbox.

## C. Basis Pengetahuan
Secara  garis  besar,  basis  pengetahuan  yang .. digunakan dalam .. penelitian .. ini .. adalah  teori–teori ... mengenai  text mining,  sentiment  analisis,  machine  learning,  metode Naïve bayes serta teori pendukung lainnya.
Text  Mining  dijabarkan  secara  umum  sebagai  proses penggalian  pengetahuan  mendalam  antara  kumpulan dokumen  secara  berkala  dari .. waktu .. ke .. waktu .. dengan penguna memakai  seperangkat .. alat .. analisis. Text mining sebagian  besar  mengarah .. pada .. bidang .. penelitian .. data mining.  Oleh  sebab  itu,  text .. mining .. dan .. data .. mining akan berada .. pada .. tingkat .. arsitektur .. yang .. sama [10]. Naïve  Bayes  Classifier  adalah  sebuah  metode  untuk pengklasifikasian dengan peluang sederhana ... yang mengaplikasikan  Teorema .... Bayes  dengan  hipotesis ketidakterikatan yang .. tinggi [13]. Machine  Learning  adalah  kecakapan  komputer  untuk melakukan  pelatihan  tanpa  harus  menjabarkan  secara spesifik  kepada  komputer  [14].  Algoritma  machine learning  dapat  dikategorikan  berdasarkan .. masukan .. dan keluaran .. yang .. diharapkan .. dari .. algoritma.

## III. H ASIL DAN P EMBAHASAN
A. Perancangan . Sistem
Perancangan sistem  dilakukan untuk memberikan gambaran sistem yang akan . dibangun.
1)  Use Case Diagram: Interaksi fungsi-fungsi di dalam sistem dengan aktor digambarkan dalam use case diagram [15]. Use  case  diagram dari  SAWi  dapat  dilihat  pada Gambar 2.

## Gambar 2. Use Case diagram umum sistem
Use  Case  diagram  terdiri  dari  melihat  dashboard, mengelola  tempat,  mengolah  data  latih,  TF-IDF,  dan melihat landing page yang dapat diakses oleh 2 aktor yaitu admin  sebagai  pengelola  dan  guest  sebagai  pengguna umum yang hanya dapat landing page.
2)  Activity  Diagram: Diagram  ini  menunjukkan aliran..kerja..dari  suatu  sistem..atau.proses  bisnis  [15]. Gambaran  umum  mengenai  activity  diagram  Gambar  3 terjadi antara aktor guest , sistem, dan aktor admin.
Gambar 3. Activity . Diagram
Aktor guest dapat  mengakses sistem sebagai  pengguna umum  untuk  mendapatkan  informasi  sentimen  tempat wisata hanya dari halaman landing page yang ditampilkan
oleh  sistem.  Sedangkan  aktor  admin  dapat  mengakses sistem  secara  penuh  sebagai  pengelola  sistem  untuk mengolah informasi sentimen tempat wisata, deng halaman menu yang ditampilkan oleh sistem.
3) Squence  Diagram: Sequence  Diagram  adalah  suatu diagram  yang  menjelaskan  perilaku  objek  pada  use  case dan menunjukkan komunikasi antara objek-objek tersebut [15].  Sequence.diagram  mengimpor  data  tempat  pada
gambar  4  merupakan  salah  satu  contoh  dari  sequence diagram  yang  terdapat  pada  Sistem  Informasi  Sentimen Analisis Objek Wisata Kal-Bar.
4)  Class  Diagram: Dalam  sebuah  sistem  hubungan antar kelas digambarkan dengan class diagram [15]. Pada gambar 5 sistem ini terdapat 6 controller, yaitu dashboard, data latih, user, tempat, ulasan, dan tfidf.
Gambar 4. Sequence . Diagram impor tempat
Gambar 5. Class . Diagram
5)  Entity Relationship Diagram: Rancangan basis data dan  hubungan  antar  entitas  dalam  sistem  yang  akan dibangun  digambarkan  dalam  diagram  ini  [16].  Pada gambar  6  menunjukkan  bahwa  sistem  ini  terdapat  tujuh entitas  antara  lain,  pengguna,  tempat,  data  latih,  ulasan, preprocess  ,  sentimen  analisis,  dan  tfidf.  Di  dalam  setiap entitas memiliki atribut, tipe data, serta memiliki relasi satu sama lain .
Gambar 6. Entity Relationship Diagram

## B. Perancangan Antarmuka
Perancangan  antarmuka  berhubungan  dengan  tampilan dan  interaksi  yang  akan  mempermudah  pengguna  dalam penggunaan sistem. Adapun perancangan antarmuka yang akan dibangun pada sistem ini adalah sebagai berikut:
Gambar 6. Perancangan antarmuka landing page
Gambar 7. Perancangan antarmuka d ashboard
Gambar 8. Perancangan antarmuka kelola tempat
C. Implementasi . Antarmuka
Hasil  rancangan  antarmuka  yang  telah  dibuat diterapkan ke dalam sistem.  Berikut ini adalah penerapan implementasi antarmuka pada sistem :
Gambar 9. Implementasi antarmuka landing page
Gambar 10. Implementasi  antarmuka dashboard

## D. Pengujian Confusion Matrix
Sistem  melakukan  analisis  sentimen  pada  data  uji terhadap  10  tempat  wisata  di  wilayah  Kalimantan  Barat dengan  50  ulasan  setiap  tempat.  Berdasarkan  hasil pengujian klasifikasi Naive Bayes dengan confusion matrix, dapat  dilihat  bahwa  akurasi,  presisi,  recall,  dan  f1-score
dari  masing  masing  tempat  objek  wisata  berbeda  –  beda. Tabel 2 merupakan hasil pengujian klasifikasi Naive Bayes dengan confusion matrix terhadap 10 tempat objek wisata Kalimantan Barat.
TABEL II H ASIL PENGUJIAN DENGAN CONFUSION MATRIX No. Nama Tempat Akurasi Presisi Recall f-1 Score Positif Negatif Netral Positif Negatif Netral Positif Negatif Netral 1. Wisata Air Terjun Pancur Aji 0,76 0,91 0 0,69 0,74 0 0,86 0,82 0 0,77 2. Taman Nasional Danau Sentarum 0,70 0,88 0,25 0,55 0,66 1,0 0,79 0,75 0,40 0,65 3. Air Terjun Riam Dait 0,70 0,82 0 0,74 0,64 0 0,85 0,72 0 0,79 4. Pantai Pasir Panjang 0,66 0,80 0,29 0,54 0,86 0,29 0,47 0,83 0,29 0,50 5. Mempawah Mangrove Park 0,66 0,85 0,20 0,27 0,76 0,50 0,30 0,81 0,28 0,28 6. Pantai Temajuk Sambas 0,64 0,93 0 0,47 0,63 0 0,70 0,75 0 0,56 7. Bukit Kelam Sintang 0,64 0,95 0 0,57 0,61 0 0,71 0,74 0 0,63 8. Air Terjun Riam Pangar 0,62 0,85 0,33 0,35 0,64 0,50 0,58 0,73 0,40 0,44 9. Pantai Pulau Datok 0,56 0,95 0 0,32 0,53 0 0,70 0,68 0 0,44 10. Tugu Khatulistiwa Pontianak 0,38 0,65 0,05 0,54 0,50 0,33 0,28 0,56 0,087 0,37

## E. Pengujian Fungsionalitas
Tabel 3 merupakan hasil pengujian fungsionalits sistem menggunakan teknik blackbox
TABEL III H ASIL PENGUJIAN FUNGSIONALITAS SISTEM No. Kelas Uji Pengujian Keluaran Yang Diharapkan Kesimpulan 1. Pengujian halaman landing page Pengguna mengakses SAWi melalui url : https://sawi.zethlabs.id Pengguna dapat mengakses halaman landing page Berhasil 2. Pengujian fungsi login Pengguna menginputkan email atau username beserta password nya Sistem menampilkan halaman dashboard dan pengguna berhasil mengakses sistem Berhasil 3. Pengujian halaman dashboard Pengguna mengakses halaman dashboard dengan memilih menu dashboard pada side bar Sistem menampilkan halaman dashboard Berhasil 4. Pengujian halaman data tempat Pengguna mengakses halaman tempat dengan memilih menu tempat pada side bar Sistem menampilkan halaman data tempat Berhasil 5. Pengujian fungsi tambah tempat Pengguna memilih aksi tambah data tempat, menginputkan data tempat pada form modal tambah tempat Pengguna berhasil menambahkan data tempat dan sistem menampilkan pesan berhasil Berhasil 6. Pengujian fungsi impor tempat Pengguna memilih aksi impor data tempat, memilih berkas yang akan diimpor Pengguna berhasil mengimpor data tempat dan sistem menampilkan pesan berhasil Berhasil 7. Pengujian halaman lihat ulasan Pengguna memilih aksi lihat ulasan tempat, pilih tempat objek wisata yang akan dilihat ulasannya Sistem menampilkan halaman lihat ulasan tempat objek wisata Berhasil
No. Kelas Uji Pengujian Keluaran Yang Diharapkan Kesimpulan 8. Pengujian fungsi hapus tempat Pengguna memilih aksi hapus data tempat, pilih tombol konfirmasi hapus data tempat Pengguna berhasil menghapus data tempat dan sistem menampilkan pesan berhasil Berhasil 9. Pengujian halaman data latih Pengguna mengakses halaman data latih, memilih menu data latih pada side bar Sistem menampilkan halaman data latih Berhasil 10. Pengujian fungsi tambah data latih Pengguna memilih aksi tambah data latih, menginputkan data latih pada form modal tambah data latih Pengguna berhasil menambahkan data latih dan sistem menampilkan pesan berhasil Berhasil 11. Pengujian fungsi impor data latih Pengguna memilih aksi impor data latih, pilih berkas yang akan diimpor Pengguna berhasil mengimpor data latih dan sistem menampilkan pesan berhasil Berhasil 12. Pengujian fungsi edit data latih Pengguna memilih aksi edit data latih, menginput kan data terbaru pada data latih yang akan diubah pada form modal edit data latih Pengguna berhasil melakukan edit data latih dan sistem menampilkan pesan berhasil Berhasil 13. Pengujian fungsi hapus data latih Pengguna memilih aksi hapus data latih, pilih tombol konfirmasi hapus data latih Pengguna berhasil menghapus data latih dan sistem menampilkan pesan berhasil Berhasil

## F. Pengujian Antarmuka
Berdasarkan hasil pengujian antarmuka sistem terhadap 40  responden  yang  dianalisis  menggunakan  perhitungan skala likert sistem yang dibangun mendapatkan nilai 84,85 % dan  masuk kedalam rentang kategori baik sekali

## IV. K ESIMPULAN
Dari  hasil  penelitian  dengan  judul Sentiment  Analysis Objek  Wisata  Kalimantan  Barat  Pada  Google  Maps Menggunakan Metode Naive Bayes yang sudah dilakukan dapat ditarik kesimpulan sebagai berikut : 1. Sistem Sentiment  Analysis Objek  Wisata  Kalimantan Barat  dapat  mengklasifikasikan  kelas  sentimen  ulasan objek  wisata  yang  terdapat  pada  Google  Maps menggunakan metode Naive Bayes. Hasil ulasan yang telah  diklasifikasikan  oleh  sistem  ditampilkan  dalam bentuk  web  sehingga  bisa  memudahkan  wisatawan untuk mengakses informasi.
2. Secara keseluruhan, masih terdapat limitasi pada sistem yaitu  sistem  masih  belum  mampu  memberikan  hasil klasifikasi  ulasan  dengan  tingkat  akurasi  yang  tinggi. Terdapat  perbedaan  nilai  akurasi  dari  setiap  objek wisata. Hal ini disebabkan oleh pengaruh karakteristik data  ulasan  yang  diuji  dan  jumlah  data  latih  yang digunakan.
3. Berdasarkan  hasil  sentimen  analisis  yang  dilakukan pada  beberapa  objek  wisata  Kalimantan  Barat,  objek wisata  Kalimantan  Barat  termasuk  ke  dalam  kategori yang positif. Performa metode Naive Bayes menunjukan  bahwa  nilai f1-score kelas  positif  pada setiap objek wisata lebih tinggi  dibanding kelas netral dan  negatif.  Hal  ini  disebabkan  karena  banyaknya ulasan positif yang diberikan wisatawan terhadap objek wisata Kalimantan Barat.
4. Berdasarkan hasil pengujian fungsionalitas sistem yang dilakukan  pada  Dinas  Kepemudaan,  Olahraga  dan Pariwisata  Provinsi  Kalimantan  Barat  sistem  mampu menjalankan  fungsi-fungsinya  sesuai  rancangan  yang telah dibuat.
5. Setelah dilakukan pengujian  antarmuka sistem kepada 40  responden,  antarmuka  sistem  Sentiment  Analisis Objek  Wisata  Kalimantan  Barat  memperoleh  nilai 84,85 % masuk kedalam kategori baik sekali.

## R EFERENSI
[1] Wilianto, L., Pudjiantoro, T. H., & Umbara, F. R. 2017. Analisis Sentimen  Terhadap  Tempat  Wisata  Dari  Komentar  Pengunjung Dengan Menggunakan Metode Naive Bayes Classifier Studi Kasus Jawa Barat. Jurnal Prosiding Snatif Vol. 4.
[2] Liu,  B.  2012.  Sentiment  analysis  and  opinion  mining. Synthesis lectures  on  human  language  technologies.  California:  Morgan  & Claypool Publishers.
[3] Kim, S. B., Han, K. S., Rim, H. C., & Myaeng, S. H. 2006. “Some effective  techniques  for  naive  bayes  text  classification.”  IEEE transactions  on  knowledge  and  data  engineering,  18(11),  1457- 1466.
[4] Gumelar.  2016.  Implementasi  Metode  Naive  Bayes  Classifier Untuk Klasifikasi dan Analisis Sentimen pada Sistem Pengaduan RSUD Majalengka. Bandung: Universitas Komputer.
[5] Wardani,  F.,  K.  2019.  Analisis  Sentimen  untuk  Pemeringkatan Popularitas  Situs  Belanja  Online  di  Indonesia  Menggunakan Metode  Naive  Bayes  (Studi  Kasus  Data  Sekunder).  Surabaya: Institut Bisnis dan Informatika STIKOM.
[6] Harijiatno,  S.,  D.  (2019).  Analisis  Sentimen  pada  Twitter Menggunakan Multinominal Naive. Bayes. Yogyakarta: Universitas Sanata Dharma.
[7] Gunawan,  B.,  Pratiwi,  H.  S.,  &  Pratama,  E.  E.  2018.  Sistem Analisis  Sentimen  pada  Ulasan  Produk  Menggunakan  Metode Naive Bayes. Jurnal Edukasi & Penelitian Informatika Vol. 4 No.2 [8] Somantri,  O  &  Dairoh,  D.  2019.   Analisis  Sentimen  Penilaian Tempat  Tujuan  Wisata  Kota  Tegal  Berbasis  Text  Mining.  Jurnal Edukasi & Penelitian Informatika Vol 5 No 2.
[9] Siswanto.  2012.  Sistem  Informasi  Geografis  Objek  Wisata Menggunakan  Google  MAPS  API  Studi  Kasus  Kabupaten Mojokerto. Surabaya: Institut Teknologi Sepuluh Nopember.
[10] Feldman, R., & Sanger, J. 2007. Text Mining Handbook: Advanced Approaches  in  Analyzing  Unstructured  Data.  New  York: Cambridge University Press.
[11] Stehman,  S.,  V.  (1997).  Selecting  and  interpreting  measures  of thematic classification accuracy. Remote Sensing of Environment 62(1):77-89
[12] Powers, D. M. W. (2007). Evalution: From Precision, Recall and F-Factor  to  ROC,  Informedness,  Markedness  &  Correlation. Journal Of Machine Learning Technologies 2(1): 37-63
[13] Kamal, A. F., & Widjajanto, B. 2017. Text Mining Untuk Analisa Sentiment  Ekspedisi  Jasa  Pengiriman  Barang  Menggunakan
Metode  Naive  Bayes  Pada  Aplikasi  J&T  Express.  Semarang: Universitas Dian Nuswantoro
[14] Samuel,  A.  L.  (1959).  Some  Studies  in  Machine  Learning  Using the Game of Checkers. IBM Journal 3(3): 535-554
[15] Hendini, A. 2016. Pemodelan UML Sistem Informasi Monitoring Penjualan dan Stok Barang Studi Kasus: Distro Zhezha Pontianak. Jurnal Khatulistiwa Informatika Vol. IV No. 2
[16] Fridayanthie, E. W. & Mahdiati, T. 2016. Rancang Bangun Sistem Informasi  permintaan  ATK  Berbasis  Intranet  (Studi  Kasus: Kejaksaan Negeri Bangkasbitung). Jurnal Khatulistiwa
Informatika, Vol. IV, No. 2.