## Analisis Sentimen Dengan Klasifikasi Naïve Bayes pada Review Hotel Tripadvisor
Suparyati Suparyati a , Agus Fathurahman b
a Universitas Amikom Yogyakarta, Jalan Ringroad Utara, Condong Catur, Depok, Sleman, D.I. Yogyakarta 55281, Indonesia
b Universitas Amikom Yogyakarta, Jalan Ringroad Utara, Condong Catur, Depok, Sleman, D.I. Yogyakarta 55281, Indonesia

## I NFORMASI A RTIKEL

## A B S T R A C T
Sejarah Artikel: Diterima Redaksi: 29 Oktober 2021
Revisi Akhir: 07 Januari 2022
Diterbitkan Online : 01 Maret 2022
In  this  era of  rapidly  growing data digitization,  people  are  facilitated by  the existing  reviews  to  decide  something.  Reviews  about  something  positive,  of course, will also have a positive impact on those being reviewed. In this study, the  tripadvisor  hotel  reviews  dataset  is  taken  from  the  Kaggle  dataset.  The classification  method  used  is  nave  Bayes.  The  first  thing  to  do  after  dataset retrieval  is  data  preprocessing  such  as  cleaning  data  by  changing  text  to lowercase,  eliminating  numbers,  eliminating  double  spaces,  tokenization, eliminating stopwords and lemmatization. The results of the classification with naive Bayes were obtained with an accuracy of 95.6 percent, indicating that the predictions  were  quite  accurate.  For  future  research,  other  classification methods will be used to compare and find the best accuracy results.
K ATA K UNCI
Sentimen Analisis

## Naïve Bayes
Machine learning Text Mining

## K ORESPONDENSI
E-mail: suparyati@students.amikom.ac.id

## 1. PENDAHULUAN
Digitalisasi  data  yang  ada  sekarang  berkembang  pesat  disemua lini,  tidak  terkecuali  dalam  dunia  pariwisata.  Masyarakat sekarang ini dimudahkan dalam memberikan suatu ulasan tentang sesuatu  hal  sehingga  orang  lain  akan  sangat  terbantu  yaitu  para pelancong  untuk  menemukan  tempat  yang  mereka  inginkan hanya  dengan  koneksi  internet  saja.  Para  pelancong  sangat dimudahkan  untuk  mendapatkan  gambaran  suatu  tempat penginapan hanya dengan membaca ulasan yang banyak beredar baik di jejaring sosial maupun di website . Pemberian hak akses kepada pelanggan yang mudah dan nyaman dalam menyampaikan opini, kritik dan saran yang nantinya digunakan terhadap  suatu  layanan  dalam  pengukuran  tingkat  kepuasan pelanggan[1]. Adanya ulasan positif terhadap sesuatu menunjukan  kepuasan  pelanggan  terhadap  pelayanan  yang  ada. Ulasan positif berbanding lurus dengan jumlah bintang diberikan [2].  Di  dalam  ulasan  Tripadvisor,  pengguna  dapat  memberikan ulasan  dengan  panjang  200  karakter  dan  dapat  memberikan bintang  antara  1  (buruk)  sampai  dengan  5  (sangat  baik  sekali). Informasi  mengenai  sentimen  yang  terkandung  didalam  sebuah
teks  didapatkan  melalui  analisis  sentimen[3]  serta  digunakan untuk  mengetahui  pendapat  teks  yang  berhubungan  dengan masalah  atau  objek  apakah  mempunyai  kecenderungan pandangan positif atau negatif [4]. Sentimen analisis digunakan untuk  melihat  tanggapan  masyarakat  terhadap  suatu  fenomena, peristiwa maupun tempat tertentu [5] dengan cara mengklasifikasikan  apakah  suatu  kalimat,  dokumen  ataupun pendapat  terdapat  polarisasi  suatu  teks  [6]  sehingga  di  masa mendatang  dapat  dilakukan  langkah-langkah  strategis  terkait polarisasi  tersebut  [7].  Klasifikasi  analisis  sentimen  dilakukan dalam tingkatan dokumen, kalimat dan aspek [8] [9]. Penelitian ini  menggunakan  metode  Naïve  Bayes  yang  di  lakukan  pada tingkat  kalimat  berdasarkan  review  hotel  dari  pengguna  pada Tripadvisor untuk menentukan kualitas pelayanan. Naïve Bayes sendiri  menjadi  salah  satu  mesin  metode  pembelajaran  yang berbasis probabilitas sederhana untuk analisis sentimen [6][10]. Penelitian  ini  bertujuan  untuk  mengetahui  persepsi  pengguna melalui  pengukuran kualitas  pelayanan  sehingga  hasilnya dapat menjadi  evaluasi  bagi  pengelola  hotel  yang  ada  di  Tripadvisor dalam meningkatkan pelayanan.

## 2. TINJAUAN PUSTAKA

## 2.1 Penulisan Referensi
Telah  banyak  penelitian  yang  mengulas  mengenai  analisis sentiment  menggunakan  ulasan  yang  didapat  dari website ataupun app . Salah satu e-tourism yang mempunyai wadah bagi pengguna untuk meyampaikan opini mereka adalah Tripadvisor. Tripadvisor  sendiri  memiliki  rating  pencarian  yang  tinggi  di Google  [11].  Penelitian  saat  ini  bertujuan  untuk  menganalisis ulasan  online  dalam  pengembangan  metodologi  menggunakan teknik  pembelajaran  mesin  dengan  cara  yang  dapat  dilakukan oleh  praktisi  sektor  pariwisata.dan  manajemen  destinasi  dapat memahami dan menerapkan teknik tersebut untuk meningkatkan atraksi mereka [12]. Pemberian ulasan buruk biasanya dilakukan oleh  pelancong  bisnis  sedangkan  pemberian  ulasan  yang  baik biasanya  dilakukan  oleh  pelancong  yang  berpasagan[13]. Pemilihan  Tripadvisor  dalam  penentuan  dataset  dikarenakan profil  hotel  pada tripadvisor menyampaikan deskripsi kepribadian  merk  yang  tulus  sehingga  ulasan  yang  diberikan pengguna tentunya lebih terpercaya kebenaranya [14].
Penelitian  mengenai  analisis  sentiment  yang  menggunakan klasifikasi  Naïve  Bayes  cukup banyak.  Penelitian  tersebut  rata- rata mempunyai akurasi yang baik. Keakuratan respon pelanggan melalui  ulasan  menggunakan  Naïve  bayes  memiliki  hasil  lebih baik  dibandingkan  menggunakan  TextBlob  dengan  perbedaan akurasi  sebesar  2,9%  [15].  Hasil  penelitian  mengenai  ulasan maskapai Garuda Indonesia pada situs Tripadvisor memperoleh hasil  bahwa  klasifikasi  sentimen  menunjukkan  lebih  dari  80% ulasan  adalah  ulasan  positif  dengan  akurasi  82,02%  [1]. Sedangkan  menggabungkan  klasifikasi  emosi  Naive  Bayes dengan  metode  pelabelan  multi-aspek  dapat  mencapai  akurasi 98,67% dengan mengubah simbol emosi menjadi teks penilaian ulasan kuliner  Tripadvisor [16].

## 3. METODOLOGI

## 3.1. Proses dari Sentimen Analisis
Proses  dalam  analisis  sentimen  akan  di  mulai  dengan pengumpulan data. Data diperoleh dari ulasan Tripadvisor yang berupa dataset dari  Kaggle  yang  terdiri  dari  20491  baris  dan  2 kolom (review dan rating). Data yang akan kemudian dilanjutkan dengan pre-processing data karena ulasan yang ada pada dataset tersebut  kemungkinan  mempunyai  kata-kata  slang  dan  tanda baca.  Sebelum  melakukan cleaning  data maka dataset akan dibagai terlebih dahulu menjadi feature yang terdiri dari review saja  dan  set  label  yang  berisi rating yang  akan diprediksi. Pre- processing  data dilakukan  untuk  menghapus  semua  karakter tunggal,  mengganti  semua  spasi  ganda  menjadi  spasi  tunggal serta  mengubah  teks  menjadi  huruf  kecil  semua.  Kemudian dilakukan  juga  pembatasan  max-df  bahwa  dalam  penelitian hanya menggunakan kata-kata yang muncul di maksimum 80% dari dokumen. Kata-kata yang muncul di semua dokumen terlalu umum dan tidak terlalu berguna untuk klasifikasi.
Demikian  pula,  min-df  diatur  ke  5  yang  menunjukkan  bahwa memasukkan  kata-kata  yang  muncul  di  setidaknya  5  dokumen.
Selanjutnya adalah ekstraksi fitur untuk memfasilitasi terjadinya proses  pembelajaran  mesin  dengan  metode Naive  Bayes Classifier [3].  Pada  tahap  terakhir  dilakukan  proses  klasifikasi berdasarkan sentimen dalam dokumen. Semua tahapan ini akan nanti  menghasilkan  model  yang  akan  digunakan  untuk menunjukkan  akurasi  dari  hasil  klasifikasi  [17].  Model  ini kemudian  akan  diuji  untuk  mengukur  nilai  kinerja  klasifikasi yang telah selesai. Hasil dari model ini kemudian menghasilkan informasi sentimen.

## 3.2. Klasifikasi Naïve Bayes
Naïve  Bayes  Classifier adalah  teknik  klasifikasi  berdasarkan teorema Bayes ditemukan oleh ilmuwan Inggris Thomas Bayes. Teorema  ini  bekerja  berdasarkan  independen  asumsi  prediktor sehingga  peluang  masa  depan  dapat  diidentifikasi  berdasarkan pengalaman  sebelumnya.  Algoritma  naive  bayes  membutuhkan beberapa pointer, yang disebut  atribut, untuk  menentukan kelas sampel yang tepat untuk dianalisis[18], di mana kehadirann fitur tertentu dalam kelas tidak ada hubungannya dengan fitur lain.
Ada beberapa langkah yang harus diambil dalam algoritma Naïve Bayes,  yaitu  pembentukan  fitur,  perhitungan  probabilitas  untuk setiap kelas sentimen, dan perhitungan nilai maksimum Vmap. Di dalam Naïve Bayes, Vmap adalah perhitungan untuk menentukan probabilitas  pengujian  data  dari  setiap  kelas  berdasarkan pembelajaran proses [19]. Dalam menentukan nilai Naïve Bayes persamaan, rumus (1) dapat digunakan sebagai berikut:
𝑝 (𝑐|𝐹1, … , 𝐹n) = 𝑝(𝑐)𝑝(𝐹1,…,𝐹n|𝑐) 𝑝(𝐹1,…,𝐹n) (1)
Setelah  fitur  terbentuk,  proses  dilanjutkan  dengan  menghitung probabilitas setiap kelas yang dieksekusi dalam persamaan (2):
𝑝 (𝑐𝑖) = 𝑓d(𝑐𝑖) |D| (2)
Deskripsi persamaan (2):
fd (ci) : jumlah dokumen dalam kelas ci |D| : jumlah data pelatihan
Ketika  probabilitas  setiap  kelas  telah  diperoleh,  maka perhitungan  probabilitas  masing-masing  fitur  dalam  sentiment kelas dilakukan dengan persamaan (3) di bawah ini:
𝑝 (𝑤𝑘|𝑐𝑖) = 𝑓(𝑤𝑘𝑖,𝑐𝑖)+𝑖 𝑓(𝑐𝑖)+|𝑊| (3)
Deskripsi persamaan (3): f (wk, ci) : nilai kemunculan kata wk di kelas ci f(ci) : jumlah kata yang muncul di kelas ci
|W|
: jumlah total minggu

## 4. HASIL DAN PEMBAHASAN
4.1. Input Data dan Pre-Processing Data
Penelitian ini menggunakan data dari review hotel di Tripadvisor dengan pembaharuan tanggal 30 September 2020 [20]. Sebelum melakukan  proses  klasifikasi  data  dengan  Naïve  Bayes,  maka data  akan  terlebih  dahulu  diproses  melalui pre-processing  data seperti cleaning, tokenizing, stemming, dan filtering agar dalam proses  klasifikasi  nanti  akan  didapatkan  data  yang  optimal. Gambar di bawah ini adalah contoh data dalam tripadvisor hotel reviews yang belum dilakukan proses pra premrosesan data.
Gambar 1. Data Tripadvisor_Hotel_Reviews Sebelum Data

## Preprocessing
Data  tersebut  kemudian  dilakukan  proses  pra  pemrosesan  data yang berupa  pembersihan data  dengan  mengubah  teks ke  huruf kecil semua, menghilangkan angka, menghilangkan spasi ganda, tokenisasi,  menghilangkan  stopword  dan  lemmatisasi  sehingga data tersebut siap untuk diproses lebih lanjut dalam permodelan klasifikasi naïve bayes yang akan dilakukan.

## Gambar 2. Data Tripadvisor_Hotel_Reviews Setelah Data Preprocessing
Dari  data  dataset  tripadvisor_hotel_reviews  bisa  dilihat  bahwa rating  5  dan  4  mendominasi  keseluruhan  total  rating  dengan prediksi  memiliki  ulasan  dengan  sentiment  positif  yang mendominasi.  Grafik  rating  pada  review  data  tersebut  seperti terlihat grafik di bawah ini.
Gambar 3. Grafik Rating Pada Tripadvisor Reviews
Langkah  selanjutnya  adalah  membagi  dataset  ke  dalam  data pelatihan  dan  data  tes  sehingga  dapat  memvalidasi  hasil  dan
mengaplikasikan  validasi  seperti cross-validation .  Dengan bantuan  Google  Colabs    menggunakan count  vectorizer maka didapatkan hasil pembagian dari dataset yang ada ke dalam data pelatihan dan data tes. Dalam Penelitian ini data train-nya adalah 16.392 dan data test-nya 4.099. Kemudian dilakukan tokenisasi untuk menghasilkan token unik dari corpus yang kemudian akan dikonversi  menjadi  matriks  jumlah  token  atau  kata  yang didapatkan  dari  menghitung  berapa  kali  kata  tersebut  muncul dalam dokumen.
Gambar 4. Hasil Penghitungan Kata Dalam Teks
Dari penghitungan jumlah kata tersebut, akan dilihat sebaran kata terhadap rating yang ada. Pada dataset Tripadvisor hotel reviews ini kata paling banyak  muncul ada pada rating 2 dan kata yang paling  sedikit  muncul  ada  di  rating  5.  Untuk  lebih  memahami melihat pada gambar di bawah ini.
Gambar 5. Grafik Sebaran Penghitungan Kata Terhadap Rating
Visualisasi  kata  berupa wordcloud positif  dan  negative didapatkan  dari  hasil  pra  premrosesasn  data  yang  berupa frekuensi  kemunculan  kata  yang  paling  banyak  yang  telah dikelompokkan.
Gambar 6. Wordcloud Dari Frekuensi Kemunculan Kata
Pada  gambar wordcloud di  atas  dapat  dilihat  bahwa  kata staff, nice,  location,  service,  clean,  time,  beach,  food,  night,  day dan breakfast mempunyai frekuensi kata yang lebih banyak daripada kata-kata lainnya.
4.2 Implementasi Klasifikasi Naïve Bayes
Setelah berhasil mentransformasikan  kata ke dalam angka yang dapat  dimengerti  oleh  algoritma machine  learning ,  selanjutnya melakukan klasifikasi Naive Bayes menggunakan model binary . Untuk  dapat  diaplikasikan  dalam  Naïve  bayes  model  binary, maka akan ditetapkan terlebih dahulu jika skor rating kurang dari 3 maka akan diberi nilai 0, dan sebaliknya jika skor rating sama dengan atau lebih dari 3, maka akan bernilai 1.

## Gambar 7.  Hasil Pelabelan Baru Model Binary
Langkah selanjutnya membagi data menjadi set training dan tes agar  supaya  algoritma  pembelajaran  mesin  dapat  digunakan untuk  belajar  dari  data training .  Dalam  penelitian  ini menggunakan  80%  dataset  untuk  pelatihan  dan  20%  dataset untuk  pengujian.  Setelah  model dilatih,  langkah  terakhir  adalah membuat  prediksi  pada  model  dengan  cara  memanggil  metode prediksi  pada  objek  kelas  naïve  bayes  yang  digunakan  untuk pelatihan.
Gambar 8. Hasil Penghitungan Precision, Recall dan f1-score
Dari  gambar  diatas  dapat  dijelaskan  bahwa  ulasan  negatif sebanyak  0.85  atau  85%  dari  prediksi  negatif  aktual  yang  di klasifikasikan  dengan  benar  oleh  pengklasifikasi  sedangkan ulasan positif sebanyak 0.96 atau 96% dari prediksi positif aktual yang di klasifikasikan dengan benar oleh pengklasifikasi. Untuk nilai recall pada  ulasan  negative  sebesar  51%  sehingga  bisa dikatakan bahwa dari semua ulasan negatif, hanya 51% saja yang diklasifikasikan memiliki ulasan negatif. Sedangkan recall pada ulasan positif sebesar 99% yang artinya dari semua ulasan positif sebanyak 99% diklasifikasikan memiliki ulasan positif. Nilai f1- score untuk  ulasan  negatif  sebesar  63%  memiliki  nilai  presisi yang  agak  tinggi,  sedangkan  nilai f1-score untuk  ulasan  positif sebesar  98  %  yang  berarti  memiliki  nilai  presisi  yang  sangat tinggi.  Kemudian  dilakukan  penghitungan  akurasi  dari  variabel data  train menggunakan  Naive  Bayes  Classifier  dengan  hasil 0,956 atau 95,6 % yang artinya hasil dari prediksinya sangat baik.

## 5. KESIMPULAN DAN SARAN
Penelitian ini menunjukan bahwa ulasan atau review hotel pada tripadvisor  didominasi  oleh  ulasan  positif  sebesar  86,74%  dan ulasan  negatifnya  hanya  13,26%.  Persepsi  positif  menunjukan tingkat kepuasan  pengguna  layanan  tripadvisor  khusunya  untuk hotel.  Ulasan  dengan  kata staff,  nice,  location,  service,  clean, time,  beach,  food,  night,  day dan breakfast memiliki  frekuensi yang tinggi. Akurasi yang dihasilkan dari pengklasifikasian naïve bayes  menunjukan  hasil  akurasi  sebesar  95,6%  yang  berarti bahwa  hasil  dari  prediksinya  sangat  baik.  Untuk  kedepannya diharapkan untuk dapat melakukan pengklasifikasian menggunakan  metode  klasifikasi  lainnya  yaitu Support  Vector Machine,  RandomForest,  XGBoost dan  lain-lainnya  untuk memperoleh hasil prediksi yang terbaik.

## DAFTAR PUSTAKA
[1] Mulajati, M., & Hakim, R. F. (2017). Sentiment Analysis on online  reviews  using  Naïve  Bayes  Classifier  Method  and Text  Association  (Case  Study:  Garuda  Indonesia  Airlines Passengers Reviews on TripAdvisor Site). Indian Journal of Scientific Research, 274-281.
[2] Yoon, Y., Kim, A. J., Kim, J., & Choi, J. (2019). The effects of  eWOM  characteristics  on  consumer  ratings:  evidence from TripAdvisor. com. International Journal of Advertising, 38(5), 684-703.
[3] M.  O.  Pratama  et  al.,  The  sentiment  analysis  of  Indonesia commuter line using machine learning based on twitter data, J. Phys. Conf. Ser., vol. 1193, no. 1, 2019.
[4] Razia  Sulthana,  A.  K.  Jaithunbi,  and  L.  Sai  Ramesh, Sentiment  analysis  in  twitter  data  using  data  analytic techniques for predictive modelling, J. Phys. Conf. Ser., vol. 1000, no. 1, 2018.
[5] Y.  Nurdiansyah,  S.  Bukhori,  and  R.  Hidayat,  Sentiment analysis system for movie review in Bahasa Indonesia using naive bayes classifier method, J. Phys. Conf. Ser., vol. 1008, no. 1, 2018.
[6] S.  Wahyu  Handani,  D.  Intan  Surya  Saputra,  Hasirun,R. Mega  Arino,  and  G.  Fiza  Asyrofi  Ramadhan,  -Sentiment analysis for gojek on google play store, J. Phys. Conf. Ser., vol. 1196, no. 1, 2019.
[7] J.  Ling,  T.  B.  Oka,  and  I.  P.  E.  N.  Kencana,  -Analisis Sentimen  Menggunakan  Metode  Naïve  Bayes  Classifier Dengan Seleksi Fitur Chi Square, E-Jurnal Mat., vol. 3, no. 3, pp. 92–99, 2014.
[8] S.  Aji  et  al.,  -Review  Sentiment  Analysis  of  World  Class Hotel  Using  Naive  Bayes  Classifier  And  Particle  Swarm Optimization Method, 2019.
[9] S.  K  and  F.  F,  Survey  on  aspect-level  sentiment  analysis, IEEE Trans. Knowl. Data Eng., vol. 28, no. 3, pp. 813–830, 2016.
[10] T.  INUI  and  M.  OKUMURA,  A  Survey  of  Sentiment Analysis, J. Nat. Lang. Process., vol. 13, no. 3, pp. 201–241, 2006.
[11] Valdivia, A., Luzón, M. V., & Herrera, F. (2017). Sentiment analysis in tripadvisor. IEEE Intelligent Systems, 32(4), 72- 77.
[12] Laksono, R. A., Sungkono, K. R., Sarno, R., & Wahyuni, C. S.  (2019,  July).  Sentiment  analysis  of  restaurant  customer reviews  on  tripadvisor  using  naïve  bayes.  In 2019  12th International Conference on Information & Communication Technology and System (ICTS) (pp. 49-54). IEEE.
[13] Chang, Y. C., Ku, C. H., & Chen, C. H. (2019). Social media analytics: Extracting and visualizing Hilton hotel ratings and reviews  from  TripAdvisor.  International  Journal  of Information Management, 48, 263-279.
[14] Borges-Tiago,  M.  T.,  Arruda,  C.,  Tiago,  F.,  &  Rita,  P.
(2021). Differences between TripAdvisor and Booking. com in branding co-creation. Journal of Business Research, 123,
380-388.
[15] F. C. Permana, Y. Rosmansyah, and A. S. Abdullah, Naive Bayes  as  opinion  classifier  to  evaluate  tudentsatisfaction based on student sentiment in Twitter Social Media, J. Phys.
Conf. Ser., vol. 893, no. 2017.
[16] Azzahra,  S.  A.,  &  Wibowo,  A.  (2020).  Analisis  Sentimen Multi-Aspek  Berbasis  Konversi  Ikon  Emosi  dengan Algoritme Naïve Bayes untuk Ulasan Wisata Kuliner Pada Web  Tripadvisor.  Jurnal  Teknologi  Informasi  dan  Ilmu
Komputer, 7(4), 737-744.
[17] E.  U.  Artha  et  al.,  Klasifikasi  Model  Percakapan  Twitter Mengenai  Ujian  Nasional,  vol.  03,  no.  01,  pp.  121–125, 2018.
[18] Simanjuntak, P., Pangaribuan, H., & Syastra, M. T. (2021). Data  Mining  Rekomendasi  Pemakaian  Skincare .  MEANS (Media Informasi Analisa dan Sistem), 80-83.
[19] R. Zhen, Y. Jin, Q. Hu, Z. Shao, and N. Nikitakos, Maritime Anomaly Detection within Coastal Waters Based on Vessel Trajectory Clustering and Naïve Bayes Classifier, J. Navig., vol. 70, no. 3, pp. 648– 670, 2017.
[20] Alam,  M.  H.,  Ryu,  W.-J.,  Lee,  S.,  2016.  Joint  multi-grain topic  senti-  ment:  modeling  semantic  aspects  for  online reviews. Information Sci- ences 339, 206–223.

## BIODATA PENULIS
Suparyati Merupakan Mahasiswa program Perkuliahan Jarak Jauh Magister Teknik Informatika Universitaas Amikom
Yogyakarta.

## Agus Fathurrahman
Merupakan  salah  satu  Dosen  Sistem Informasi  pada  Universitas  Amikom Yogyakarta  dan  juga  tutor  pada  mata kuliah Natural  Language  Processing pada program Magister Teknik
informatika.