Ringkasan Jumlah Aspek Ulasan Hotel untuk Pembentukan Dataset Sentimen Analisis Berbasis Aspek

## Maulana
STMIK Nusa Mandiri mul_spider@yahoo.com
Abstrak—  Penellitian  ini  dilakukan  untuk  menganalisa ulasan  hotel  dan  menerapkan  pemrosesan  NLP  dalam berbagai  cara  untuk  mengungkapkan  beberapa  informasi bermanfaat  yang  tidak  terlihat  oleh  pembaca.  Untuk  aspek dalam  penelitian  ini  sudah  di  definisikan  sebelumnya, kemudian menggunakan  teknik modelling machine learning untuk  mengungkapkan  topik  dari  data  ulasan  serta performasi  dalam  pembentukannya.  Tools  yang  cukup penting  dalam  mengungkap  topik  ini  adalah  sentiment analisis.  Dalam  pengembangan  lanjutan  terkait  dalam memahami opini-opini ini adalah apa saja topic yang sedang di diskusikan pada ulasan tersebut, apakah itu negative atau positif,  salah  satu  yang  baru  dikembangan  pada  sentiment analisis  adalah  Aspect  Based  Sentiment  Analysis.  Dari  hasil evaluasi  dengan  cross  validation,  dataset  tersebut  memiliki akurasi  masing-masing  nya  untuk  setiap  aspek  adalah sebagai  berikut,  untuk  aspek  kamar  memiliki  akurasi 79,39%,  untuk  aspek  fasilitas  memiliki  akurasi  60,14%, untuk  aspek  lokasi  memiliki  akurasi  89,53%  serta  untuk aspek  Pelayanan/Umum  memiliki  akurasi  sebesar  78,38%. Dari  hasil  pengujian  yang  diperoleh  nilai  akurasi  nya normal,  tetapi  hanya  aspek  fasilitas  yang  memiliki  akurasi yang  paling  rendah  yaitu  60,14%.  Nilai  akurasi  ini  masih belum  maksimal  dikarenakan  adanya  perbedaan  jumlah data  pada  data  training  dari  setiap  label  pada  masing- masing aspek nya, sehingga menurunkan kualitas akurasinya.
Kata kunci — Aspect-Based Sentiment Analysis , Rekomendasai Hotel, Dataset, ABSA, Sentimen Analisis

## I. P ENDAHULUAN
Pada  saat  ini  di  internet  memungkinkan  semua  orang utnuk  dapat  mengekspresikan  diri,  baik  itu  melalui  foto maupun  tulisan.  Dalam  hal  tulisan,  banyak  pengguna internet  menggunakan  untuk  memberikan  opininya  pada suatu topik ataupun suatu objek seperti berbagai peralatan elektronik,  destinasi  wisata  ataupun  hotel.  Opini  ini biasanya  dalam  bentuk  ulasan  maupun  komentar,  dan dalam bentuk informal. Ulasan pada situs-situs atau forum menjadi  salah  satu  yang  cukup  mempengaruhi  dari  sisi pengguna maupun organisasi dalam pengambilan keputusan,  sehingga  banyak  penjelajah  dunia  nyata
menjelajahi  dunia  maya  atau  internet  guna  mencari informasi tempat atau lokasi tujuan yang akan mereka tuju.
Untuk  industri  hotel  sendiri,  saat  ini  sangat berpengaruh  pada  iklan-iklan  di  internet  serta  ulasan- ulasan dari pengguna layanan di dunia maya. Berdasarkan laporan Daily Social tentang survey Agensi Online Travel pada  tahun  2018,  menunjukan  71,44  persen  responden menjawab  pernah  menggunakan  travel  agen  online, berdasarkan  hal  itu  pengguna  hotel  cenderung  memesan melalui  situs online seperti  traveloka.com,  trivago.co.id, agoda.com  dan  situs  penyedia lainya,  hal  ini  dikarenakan lebih cepat dan lebih mudah [6].
Serangkaian  teknik  dalam  menggali  informasi  dan ringkasan  ulasan  pengguna  berdasarkan  data  mining  dan natural  language  processing  (NLP),  bertujuan  untuk memberikan  ringkasan  fitur-fitur  dari  sejumlah  ulasan yang tersebar secara online[7].
Pada  penelitian  sebelumnya,  penentuan  kategori  aspek tersebut  berdasarkan  pada  frekuensi  kemunculan  suatu kata serta keumuman dari ulasan-ulasan bertema hotel [4]. Dalam  penelitian  ini  akan  melakukan  anlisa  ringkasan jumlah  kemunculan  aspek  dari  ulasan  hotel  dan menerapkan  pemrosesan  NLP  dari  pembentukan  dataset yang berdasrkan dari ringkasan yang dibentuk sebelumnya. Beberapa aspek sudah ditentukan sebelumnya berdasarkan pada  banyaknya  kemunculan  dari  data  ulasan,  kemudian digunakan  teknik  pemodelan  untuk  mengungkapkan performansi  dari  pembentukan  dataset tersebut.  Beberapa percobaan menghasilkan kesimpulan yang dapat digunakan pada penelitian lanjutan.

## II. T INJAUAN P USTAKA

## A. Opinion Mining
Opinion  Mining  adalah  suatu  proses  untuk  melakukan ekstraksi atribut dan komponen objek menentukan apakah komentar  atau  ulasan  itu  positif,  negative  atau  netral  [1]. Opinion  mining  merupakan  salah  satu  cabang  pelenitian text  mining,  yang  merupakan  riset  komputasional  dari opini,  sentiment  dan  emosi  yang  diekspresikan  secara
tekstual  baik  melalui  dokumen,  ulasan  ataupun  komentar [1].

## B. Text Mining
Text  mining  adalah  salah  satu  cara  untuk  melakukan ekstraksi informasi yang berguna dari sumber data melalui identifikasi  dan  eksplorasi  pola  yang  menarik.  Text mining  cenderung  mengarah  pada  bidang  penelitian  data mining. Oleh karena itu text mining berada pada arsitektur yang sama dengan data mining [2].

## C. Aspect-Based Sentiment Analysist
Salah  satu  pengembangan  dalam  melakukan  ekstraksi dan analisis sentiment dalam suatu teks ataupun dokumen, adalah  dengan  melakukan  identifikasi  dalam  suatu  teks atau  dokumen  tersebut  memiliki  aspek-aspek  apa  saja serta nilai ekspresi sentiment dari aspek-aspek tersebut [3]

## D. Penelitian Terkait
Sentimen  analisis  berbasis  aspek  digunakan  untuk mendeteksi  lebih  detail  terkait  sehingga  terkelompokan berdasarkan  aspek-aspek  tertentu  pada  suatu  dokumen. Untuk  menggali  aspek  dalam  suatu  dokumen  tersebut perlu  didefinisikan  keyword  guna  mendeteksi terkandung aspek apa saja pada dokumen tersebut.
Penentuan  kategori  aspek  tersebut  berdasarkan  pada frekuensi  kemunculan  suatu  kata  serta  keumuman  dari ulasan-ulasan bertema hotel [4].
Dalam  penelitian  lain  yang  berkaitan  dengan  berbasis aspek,  yaitu  penggunaan  pelabelan  kalimat  multi-asek dengan metode classifier berbasis aturan, yang menentukan aspek berdasarkan kondisi atau klausa if-then. Dimana  dalam  ada  kondisi  yang  harus  dipenuhi  untuk menghasilkan  kesimpulan  dari  keputusan  kondisi  saat ini[5]

## E. Sistem Yang Dibangun
Scrapping (tripadvisor.com) Pelabelan Aspek Kamar Lokasi Fasilitas Pelayanan/Umum Pemrosesan Text Case folding
Penghilangan Tanda Baca Penghilangan Stopword Word Stemming Tokenize Proses Machine Learning Naïve Bayes (ABSA) Training Dataset Testing Dataset Evaluasi Confusion Matrix Ringkasan Frekuensi Kemunculan Aspek
Gambar. 1  Flowchart System Yang Dibangun
Pada gambar 1 menjelaskan alur proses yang dibangun, dengan langkah awal pengumpulan data ulasan yang akan digunakan  pada  penelitian  ini,  yaitu  dengan  melakukan scrapping ulasan pada  situs TripAdvisor.com, selanjutnya melakukan  pre-processing  dari  data  ulasan  hotel,  lalu melakukan proses anotasi dokumen dengan menggunakan tools  LightTag.  Setelah  data  tersebut  diberi  anotasi berdasarkan  aspek,  selanjutnya  mendefinisikan  kategori aspek  berserta  keyword  terkait  pada  aspek  tersebut,  lalu proses dokumen atau ulasan untuk mendeteksi mengandung  aspek  apa  saja  yang  terkandung  berdasrkan keyword  yang  sudah  didefinisikan.  Selesai  penentuan aspek  dilanjutkan  dengan  proses  evaluasi  dan  melakukan ringkasan  atau  summary  berdasarkan  data  ulasan  terkait hotel.

## III. P ROSES P ENGOLAHAN D ATA

## A. Pengumpulan Data
Proses  pengumpulan  data  ini  dilakukan  dengan  proses scrapping  pada  situs  TripAdvisor.com,  teknik  sangat umum  digunakan  untuk  mengambil  isi  dari  sebuah halaman  web  secara  spesifik  seperti  komentar  dan  lain sebagainya.  Pada  penelitian  ini  ulasan  diambil  dengan filter hotel area Bandung, dengan jumlah total ulasan yang diperoleh  sebanyak  26,710.  Selanjutnya  dilakukan pembersihan  data  yang  memiliki  attribute  bernilai  Null, baik  itu  attribute  ulasan  maupun  poster  atau  judul, sehingga didapatkan data sejumlah 2,116 baris data.
B. Pre-processing Text
Data  yang  diperoleh  selanjutnya  dilakukan  pre- processing  text  dengan  menggunakan  library  NLTK  dan Sastrawi.  Proses  ini  melakukan  beberapa  langkah  dalam normalisasi teks, yang dijelaskan masing-masing langkahnya sebagai berikut:

## 1. Case Folding
Proses  ini  akan  melakukan  konversi  teks  menjadi huruf kecil semua, sehingga memiliki format case yang seragam.
saya member gym di Amaroosaa sangat puas dengan Amaroossa. pelayanan yang sangat memuaskan, staff yang Fiendly memudahkan saya selama di hotel, makanannya enak apalagi Roasted Chicken bumbunya sangat terasa. terimakasih kepada Teh Sintia yang banyak membantu saya saya member gym di amaroosaa sangat puas dengan amaroossa. pelayanan yang sangat memuaskan, staff yang friendly memudahkan saya selama di hotel, makanannya enak apalagi roasted chicken bumbunya sangat terasa. terimakasih kepada teh sintia yang banyak membantu saya
Gambar. 2  proses Case Folding

## 2. Punctuation Removal
Proses  ini  adalah  melakukan  penghilangan  semua tanda  baca  yang  ada  didalam  teks  ulasan,  proses  ini dilakukan  dikarenakan  tanda  baca  tersebut  agar  tidak diperhitungkan dalam proses pemodelan.
branding-nya sih memang hotel bisnis, tapi crowne plaza bandung ini ga cuma menyediakan fasilitas bisnis aja, ada fasilitas rekreasi keluarga nya juga loh, seperti play ground dan kolam renang keluarga, jadi buat kalian yang sedang berbisnis di bandung dan ingin membawa
brandingnya sih memang hotel bisnis  tapi crowne plaza bandung ini ga cuma menyediakan fasilitas bisnis aja  ada fasilitas rekreasi keluarga nya juga loh  seperti play ground dan kolam renang keluarga  jadi buat kalian yang sedang berbisnis di bandung dan ingin membawa

## Gambar. 3  Pre-processing Punctuation Removal

## 3. Indonesian Stop Word Removal
Pada  proses  ini  kata-kata  yang  tidak  relevan  akan dihapuskan, seperti kata tetapi, untuk, dengan, yang tidak mempunyai makna tersendiri jika dipisahkan dengan kata yang  lain  dan  tidak  terkait  dengan  kata  sifat  yang berhubungan  dengan  sentiment  atau  terpisah  dari  dengan kata-kata  yang  berhubungan  dengan  aspek  yang  sudah didefinisikan.
member gym amaroosa sangat puas amaroossa  pelayanan sangat memuaskan  staf friendly memudahkan selama hotel makanannya enak roasted chicken bumbunya sangat terasa terimakasih teh sintia banyak membantu saya member gym di amaroosaa sangat puas dengan amaroossa. pelayanan yang sangat memuaskan, staff yang friendly memudahkan saya selama di hotel, makanannya enak apalagi roasted chicken bumbunya sangat terasa. terimakasih kepada teh sintia yang banyak membantu saya Gambar. 4  Pre-processing Indonesian Stop Word
4. Tokenizing
Dalam  proses  tokenizing,  kata  teks  pada  ulasan  akan dipecah menjadi setiap kata, sehingga hasil ini menjadikan teks tersebut menjadi kumpulan atau array dari kata
saya member gym di amaroosaa sangat puas dengan amaroossa. pelayanan yang sangat memuaskan, staff yang friendly memudahkan saya selama di hotel, makanannya enak apalagi roasted chicken bumbunya sangat terasa. terimakasih kepada teh sintia yang banyak membantu saya saya member gym di amaroosaa sangat puas dengan amaroossa. pelayanan yang sangat memuaskan, staff yang friendly memudahkan saya selama di hotel, makanannya enak apalagi roasted chicken bumbunya sangat terasa. terimakasih kepada teh sintia yang banyak membantu saya
Gambar. 5  Pre-processing Tokenizing

## 5. Indonesian Stemming
Stemming  merupakan  salah  satu  proses  yang paling  penting  dalam  preprocessing  teks.  Karena  pada proses  ini  kata-kata  yang  memiliki  imbuhan  akan dikonversikan kedalam kata-kata dasar dengan menghilangkan  imbuhan  nya.  Baik  yang  diawal  kata maupun yang dibelakang kata.
member gym amaroosa sangat puas amaroossa  pelayanan sangat memuaskan  staf friendly memudahkan selama hotel makanannya enak roasted chicken bumbunya sangat terasa terimakasih teh sintia banyak membantu
member gym amaroosa sangat puas amaroossa layan sangat muas staf friendly mudah lama hotel makan enak roasted chicken bumbu sangat asa terimakasih teh sintia banyak bantu
Gambar. 6  Pre-processing Indonesian Stemming

## C. Annotation Document
Dari  data  hasil  pre-processing,  selanjutnya  dilakukan proses  anotasi  dengan  melakukan  anotasi  manual menggunakan suatu tools yang dibantu oleh 3 orang untuk memberikan  label  pada  teks  ulasan  sebagaimana  aspek yang sudah ditentukan.

## D. Pemodelan Naïve-Bayes
Data  yang  telah  selesai  dilakukan text-processing dan labelling,  selanjutnya  akan  dilakukan  pengujian  dengan menggunakan pemodelan Naïve-Bayes . Dalam
menentukan aspek pada penelitian ini, adalah dengan cara mempelajari  perilaku  dari  data  ulasan  dimana  kata-kata apa saja yang sering muncul dan difokuskan hanya pada 4 aspek yang didefinisikan sebelumnya.

## IV. E VALUASI DAN R INGKASAN

## A. Ringkasan Anotasi Aspek
Distribusi  dari  aspek  dihasilkan  berdasarkan  bag  or word  dimana  banyak  nya  kemunculan  kata  dari  seluruh ulasan  yang  di  scraping  dari  situs  tripadvisor.com, distribusi  pada  dataset  ini  digambarkan  pada  chart/grafik berikut:

## Gambar. 7. Distribusi Kata Pada Aspek
Dimana  pelabelan  aspek  pelayanan  memiliki  aspek tertinggi  adalah  label  Pelayanan  dan  memiliki  selisih  2 (dua) kali lebih banyak dari aspek Fasilitas, dimana aspek Pelayanan  memiliki  persentasi 36%, maka aspek  ruangan meiliki  24%  kemudian  aspek  lokasi,  kemudian  aspek terakhir  yang  memiliki  persentasi  kemunculan  sebesar 18% adalah aspek Lokasi.
B. Evaluasi Dataset Evaluasi  ini  dilakukan  untuk  mengukur  pembentukan serta  akurasi  model.  Untuk  evaluasi  ini  metode Confussion Matrix serta untuk pemodelan nya menggunakan Naïve  Bayes .  Tingkat  akurasi  yang  sudah diukur dengan mengikuti kaidah persamaan berikut:
(1) Table.1 Confusion Matrix Kamar Aspect True Netral True Positif True Negatif Precission Prediction Netral 178 6 8 92.71% Prediction Positif 26 37 10 50.68% Prediction Negatif 6 5 20 64.52% Recall 84.76% 77.08% 52.63% Table.2 Confusion Matrix Fasilitas Aspect True Netral True Positif True Negatif Precission Prediction Netral 122 7 11 87.14% Prediction Positif 52 45 9 42.45% Prediction Negatif 32 7 11 22.00% Recall 59.48% 76.27% 35.48%

## Table.3 Confusion Matrix Lokasi Aspect
True Netral True Positif True Negatif Precission Prediction Netral 237 2 2 98.34% Prediction Positif 2 19 3 79.17% Prediction Negatif 13 9 9 29.03% Recall 94.05% 63.33% 64.29% Tabel.4 Confusion Matrix Pelayanan Aspect True Netral True Positif True Negatif Precission Prediction Netral 182 5 7 93.81% Prediction Positif 21 41 11 56.16% Prediction Negatif 18 2 9 31.03% Recall 82.35% 85.42% 33.33%
Dari  table  1  confusion  matrix,  serta  jika  berdasarkan formula  (1)  diatas.  Hasil  dari  akurasi  nya  adalah  sebesar 79,39%  untuk  aspek  kamar.  Berikut  adalah  akurasi  yang berdasrkan rumus (1):
(2) (3) (4)

## (5)
Dari  296  dataset  yang  diuji  dengan  pemodelan  Naïve Bayes,  mereka  memiliki  berbagai  macam  akurasi  untuk setiap  aspek,  adapun  nilai  akurasi  dari  masing-masing setiap aspek  adalah  sebagai  berikut:  Untuk asepek  kamar meiliki  tingkat  akurasi  sebesar  79,39%,aspek  fasilitas memiliki  akurasi  60,14%,  lokasi  aspek  memiliki  akurasi 89,53% dan aspek layanan memiliki akurasi 78,38%.

## V. K ESIMPULAN
Ringkasan  dari  distribusi  kemunculan  aspek  pada pelabelan dataset yang dibentuk memiliki distribusi aspek dengan  komposisi  aspek  layanan  sebanyak  36%,  aspek kamar  24%,  aspek  lokasi  sebanyak  22%  dan  aspek fasilitas 18%.
Distribusi  pelabelan  sentimen  dari  setiap  aspek  sangat tidak  merata,  terutama  untuk  sentimen  netral,  hal  ini disebabkan  oleh  pelabelan  pengujian  dengan  algoritma
Naïve  Bayes  untuk  setiap  aspek,  ulasan  yang  tidak memiliki  aspek-aspek  ini  akan  dimasukkan  dalam sentimen  Netral,  sehingga  perbedaannya  dalam  jumlah data  untuk  sentimen  netral  cukup  tinggi  dibandingkan dengan  label  sentimen  lainnya.  Sehingga  akurasi diperoleh  besaran  sebagai  berikut,  untuk  aspek  ruangan memiliki  akurasi  79,39%,  untuk  aspek  Fasilitas  60,14%, untuk  aspek  lokasi  89,53%  dan  untuk  aspek  layanan 78,38%.
Untuk  pengembangan  penelitian  lebih  lanjut,  dapat dilakukan  dengan  mengekstraksi  aspek  menggunakan algoritma  Machine  Learning  dan  memproses  data sentimen, menggunakan metode algoritmik  lainnya  untuk mendapatkan kinerja yang lebih baik.
Dataset  dalam  penelitian  ini  terbuka  untuk  digunakan kembali  dan  dapat  diakses  melalui  github  dengan  url berikut:  https://github.com/mulspider/aspect-based-hotel- review
R EFERENSI
[1] Bing  Liu.  (2010).  Opinion  Mining.  Departemen  of  Computer Science, University of Illinois at Chicago.
[2] Ronen  Feldman.  (2008).  Applied  Text  Mining.  Information Systems Department School Of Business Administration Hebrew University, Jerusalem.
[3] Maria  Potinki,  Dimitrios  Galanis,  John  Pavlopoulos,  Haris Papageorgiou, Ion Androutsopoulos, Suresh Manandhar, SemEval-2014  Task  4:  Aspect  Based  Sentiment  Analysis, Proceedings  of  the  8th  International  Workshop  on  Semantic Evaluation (SemEval 2014), pages 27–35.
[4] Nadeem  Akhtar,    Nashez  Zubair,    Abhishek  Kumar,  Tameem Ahmad.  Aspect  based  Sentiment  Oriented  Summarization  of Hotel Reviews.  Procedia Computer Science 115 (2017) 563–571 [5] Martania  Triana  Dewi,  Anisa  Herdiani,  S.T.,M.T,  Dana  Sulistyo Kusumo,  S.T.,M.T.,PHD, Multi-Aspect  Sentiment  Analysis Komentar  Wisata TripAdvisor dengan Rule-Based  Classifier (Studi  Kasus  :  Bandung  Raya),  e-Proceeding  of  Engineering  : Vol.5, No.1 Maret 2018 | Page 1589, Universitas Telekom.
[6] Ferdinand  Zebua (22  Februari  2018).  Laporan  Dailysocial: Survey Online Travel Agencies (OTA) 2018. 26-05-2019 [7] Minqing  Hu,  Bing  Liu.  Mining  and  Summarizing  Customer Reviews. Departemen of Computer Science, University of Illinois at Chicago (2004).
[8] Isidoros Perikos, Konstantinos Kovas, Foteini Grivokostopoulou, &  Ioannis  Hatzilygeroudis.  (2017).  A  System  For  Aspect-Based Opinion  Mining  Of  Hotel  Reviews.  Webist.  13th  International Conference  on  Web  Information  Systems  and  Technologies (WEBIST 2017), pages 388-394
[9] Thang  Tran,  Hung  Ba,  &  Van-Nam  Huynh..  Measuring  Hotel Review  Sentiment:  An  Aspect-Based    Sentiment    Analysis Approach. Research Gate (2019)
[10] Mariana  Apidianiki,  Xavier  Tannier,  &  Cecile  Richart.  Datasets For  Aspect-Based  Sentiment  Analysis  In  French.  Limsi,  Cnrs, Universit´E Paris-Saclay (2018) .