## Building of Informatics, Technology and Science (BITS)
Analisis Sentimen Konsumen terhadap Food, Services, and Value di Restoran dan Rumah Makan Populer Kota Makassar Berdasarkan
Rekomendasi Tripadvisor Menggunakan Metode CRISP-DM dan

## SERVQUAL
Yerik Afrianto Singgalen *
Faculty of Business Administration and Communication, Tourism Department, Atma Jaya Catholic University of Indonesia, Jakarta, Indonesia
Email: yerik.afrianto@atmajaya.ac.id Email Penulis Korespondensi: yerik.afrianto@atmajaya.ac.id Submitted: 13/03/2023 ; Accepted: 27/03/2023 ; Published : 31/03/2023
Abstrak− Kuliner  merupakan  salah  satu  aktivitas  ekonomi  yang  mendukung  pertumbuhan  ekonomi  nasional  serta merepresentasikan gastronomi nusantara. Aktivitas wisata kuliner menjadi populer bagi wisatawan  nusantara dan mancanegara untuk merasakan cita rasa makanan berdasarkan kebudayaan masing-masing daerah. Makassar menjadi salah satu wilayah yang memiliki  keanekaragaman  jenis  makanan  dan  minuman,  serta  memiliki  hubungan  dengan  nilai-nilai  sosial-budaya  lokal. Mempertimbangkan hal tersebut maka penelitian ini bertujuan menganalisis sentimen konsumen terhadap makanan dan layanan di sepuluh restaurant wilayah makassar berdasarkan rekomendasi website Tripadvisor menggunakan metode Cross-Industry Standard Process for Data Mining (CRISPD-DM) serta Service Quality (SERVQUAL). Tahapan CRISP-DM ialah sebagai berikut : tahap memahami  proses  bisnis  (business  understanding);  tahap  memahami  data  (data  understanding);  tahap  menyiapkan  data  (data preparation);  tahap  pemodelan  (modeling);  tahap  evaluasi  (evaluation);  dan  tahap implementasi  (deployment).  Algoritma  yang digunakan sebagai model ialah k-Nearest Neighbor (kNN), Naïve Bayes Classifier (NBC), Decision Tree (DT) dan Support Vector Machine  (SVM).  Hasil  penelitian  ini  menunjukkan  bahwa  algoritma  DT  ketika  menggunakan  operator  SMOTE  dimana  nilai akurasi  yang  dihasilkan  sebesar  93.25%,  presisi  sebesar  88.74%,  recall  sebesar  99.10%,  dan  f-measure  sebesar  93.62%. Selanjutnya, algoritma k-NN tanpa menggunakan operator SMOTE menunjukkan nilai akurasi sebesar 98.72%, presisi sebesar 98.72%, recall sebesar 100 % dan f-measure sebesar 99.36%. Meskipun demikian, nilai AUC yang dihasilkan ialah 0.905 (90.5%). Adapun, algoritma SVM ketika menggunakan operator SMOTE menghasilkan nilai akurasi sebesar 99.42%, presisi sebesar 100%, recall sebesar 98.84%, dan f-measure sebesar 99.42%. Adapun, nilai AUC yang dihasilkan ialah 1.000 (100%). Berdasarkan nilai ROC, terdapat tiga algoritma yang dapat digunakan sebagai model dalam kerangka kerja CRISPP-DM dan SERVQUAL yaitu algoritma k-NN tanpa SMOTE serta algoritma DT dan SVM menggunakan operator SMOTE.
Kata Kunci: SERVQUAL; CRISP-DM; DT; k-NN; NBC; SVM
Abstract −Culinary is one of the economic activities that support national economic growth and represents the gastronomy of the archipelago in Indonesia. Culinary tourism activities have become famous for domestic and foreign tourists to experience the taste of a food based on the culture of each region. Makassar is one of the regions with diverse types of food and beverages and has a relationship with local socio-cultural values. Considering this, this study aims to analyze consumer sentiment  toward food and services in ten restaurants in Makassar based on the recommendations of the Tripadvisor website using the Cross-Industry Standard Process for Data Mining (CRISPD-DM) and Service Quality (SERVQUAL) methods. The stages of CRISP-DM are as follows: the stage of understanding business processes;  the stage of understanding data;  the stage of preparing data; the modeling stage; the  evaluation  stage;  and  the  deployment  stage.  The  algorithms  used  as  models  are  k-Nearest  Neighbor  (kNN),  Naïve  Bayes Classifier (NBC), Decision Tree (DT), and Support Vector Machine (SVM).  The results of this study show that the DT algorithm when  using  the  SMOTE  operator  where  the  resulting accuracy value  is 93.25%,  precision is  88.74%,  recall is  99.10%,  and  f- measure is 93.62%. In addition, the k-NN algorithm without using the SMOTE operator showed an accuracy value of 98.72%, a precision  of  98.72%,  a  recall  of  100%,  and  an  f-measure  of  99.36%.  However,  the  resulting  AUC  value  is  0.905  (90.5%). Meanwhile, when using the SMOTE operator, the SVM algorithm produces an accuracy value of 99.42%, a precision of 100%, a recall of 98.84%, and an f-measure of 99.42%. Meanwhile, the resulting AUC value is 1,000 (100%). Based on the ROC value, three algorithms can be used as models in the CRISPP-DM and SERVQUAL frameworks: the k-NN algorithm without SMOTE and the DT and SVM algorithms using the SMOTE operator.
Keywords : SERVQUAL; CRISP-DM; DT; k-NN; NBC; SVM

## 1. PENDAHULUAN
Indonesia  terkenal  dengan  kekayaan  kuliner  yang  beragam  dan  unik.  Aidah  berpendapat  bahwa  salah  satu  kuliner yang terkenal, unik dan populer di Indonesia ialah Nasi Goreng [1]. Lebih jauh, Aidah menjelaskan bahwa hidangan Nasi  Goreng  terdiri  dari  campuran  bahan  nasi  dengan  rempah-rempah  khas  Indonesia  yang  diberi  topping  telur, daging, atau makanan laut. Meskipun demikian, Aidah menekankan kasus yang lebih spesifik yakni kualitas produk dan layanan serta keputusan pembelian produk kuliner Nasi Goreng BBM Pak Gatot di Padang, Indonesia.   Selain Nasi  Goreng,  hidangan makanan Sate juga sangat  terkenal  di Indonesia, dengan ciri  khas  daging yang dipanggang dengan kecap kemudian disajikan dengan bumbu kacang dan lontong [2]. Lebih lanjut, Sani et al. berpendapat bahwa kuliner Sate Padang merupakan gastronomi unggulan Indonesia yang menarik wisatawan. Selanjutnya, Raharjo et al. berpendapat bahwa Gado-gado juga merupakan makanan khas Indonesia yang disukai banyak orang [3]. Karakteristik masakan Gado-gado terdiri dari sayuran yang dicampur bumbu kacang dan kerupuk sebagai pengganti nasi. Hal ini menunjukkan bahwa kuliner khas Indonesia memiliki keistimewaan pada bumbu yang khas serta penggunaan bahan-

## Building of Informatics, Technology and Science (BITS)
bahan  yang  segar.  Meskipun  demikian,  perkembangan  dan  keberlanjutan  wisata  kuliner  di  Indonesia  perlu dioptimalkan melalui manajemen pelayanan terhadap wisatawan secara optimal.
Kuliner Indonesia tidak terbatas pada karakteristik hidangan berupa makanan dan minuman sebagai  produk unggulan, melainkan juga pelayanan yang diberikan kepada pelanggan. Mastan dan Toni menegaskan bahwa produk dan  layanan  wisata  kuliner  berperan  penting  dalam  meningkatkan  kepuasan  ( satisfaction )  dan  kesetiaan  ( loyalty ) pelanggan  [4].  Selain  itu,  Azzahra  dan  Wibowo  menunjukkan  bahwa  kepuasan  pelanggan  terhadap  produk  dan layanan  wisata  kuliner  dapat  diidentifikasi  dan  dianalisis  berdasarkan  data  teks  yang  tertera  di  sejumlah  platform digital  seperti Tripadvisor menggunakan  teknik data  mining maupun text  processing [5]. Selanjutnya,  Fauzi  et  al. menunjukkan bahwa era Big Data memungkinkan pengembang bisnis untuk memanfaatkan data digital sebagai aset dalam mengidentifikasi dan menganalisis preferensi pelanggan terkait dengan produk dan layanan wisata kuliner [6]. Adapun, Sari menunjukkan bahwa algoritma yang digunakan dalam proses analisis sentimen akan menentukan nilai akurasi,  presisi  dan  sensivitas  sebagai  rujukan  performa  dari  algoritma  yang  digunakan  [7].  Hal  ini  menunjukkan bahwa analisis sentimen konsuemn terhadap produk dan layanan wisata kuliner dapat dilakukan menggunakan metode text  processing atau data  mining. Dengan  demikian,  penelitian  ini  menggunakan  metode Cross-Industry  Standard Process for Data Mining (CRISP-DM) dalam proses analisis sentimen.
Dalam konteks Indonesia, kajian tentang wisata kuliner bersifat kontekstual sesuai produk unggulan masing- masing daerah. Mempertimbangkan hal tersebut maka penelitian ini bertujuan mengkaji kualitas produk dan layanan wisata kuliner di Kota Makassar berdasarkan perspektif pelanggan terhadap aspek produk (makanan dan minuman), layanan (penyajian), dan nilai (harga yang layak). Adapun, metode Cross-Industry Standard Process for Data Mining (CRISP-DM)  digunakan  untuk  memahami  proses  bisnis  wisata  kuliner  ( business  understanding ),  memahami  data yang  akan  diproses  ( data  understanding ),  menyiapkan  data  ( data  preparation ),  membuat  pemodelan  ( modeling ), mengevaluasi hasil pemodelan ( evaluation ), dan menerapkan hasil pemodelan ( deployment ). Singgalen, menunjukkan bahwa analisis sentimen wisatawan terhadap produk dan layanan di destinasi, hotel, maupun restaurant sangat penting dilakukan untuk menghasilkan sejumlah rekomendasi bagi pihak pengelola agar dapat meningkatkan kualitas produk dan layanan sehingga mampu memenuhi ekspektasi wisatawan [8]–[12]. Dalam konteks wisata kuliner di Makassar, pendekatan  CRISP-DM  dapat  dielaborasi  dengan  metode  SERVQUAL  di  tahap  evaluasi  untuk  meninjau  persepsi konsumen terhadap kinerja penyedia jasa makanan dan minuman. Dengan demikian, dapat direkomendasikan strategi peningkatan manajemen pelayanan restaurant secara komprehensif dan kontekstual.
Metode SERVQUAL dapat  digunakan untuk menganalisis kualitas layanan di  berbagai  perusahaan maupun organisasi  melalui  kajian  yang  spesifik  pada  dimensi  bukti  fisik  ( tangible ),  dimensi  kehandalan  ( reliability ),  daya tanggap  ( responsiveness), jaminan  ( assurance ),  dan  empati  ( empathy ).  Conde  et  al.  menjelaskan  bahwa  metode SERVQUAL  dapat  disesuaikan  dengan  konteks  badan  usaha  untuk  mengevaluasi  kualitas  layanan  berdasarkan masing-masing dimensi yang berhubungan dengan ekspektasi maupun pengalaman pelanggan ketika mengonsumsi produk dan layanan [13]. Selain itu, Juliana et al. menekankan bahwa setiap komponen dalam dimensi SERVQUAL memiliki  pengaruh  terhadap  loyalitas  konsumen,  sebagaimana  konteks  industri  restaurant  di  Indonesia.  Hal  ini menunjukkan bahwa metode SERVQUAL perlu dielaborasi dengan metode CRISP-DM untuk mempertajam analisis terkait dengan kepuasan wisatawan terhadap food, service, dan value yang diperoleh dari penyedia produk dan layanan kuliner  di  Kota  Makassar,  Indonesia.  Dengan  demikian,  kajian  ini  memiliki  peluang  untuk  berkontribusi  melalui gagasan  konstruktif  untuk  mengoptimalkan  manajemen  pelayanan  di  industri  restaurant  yang  mendukung keberlanjutan wisata kuliner melalui partisipasi aktif masyarakat lokal di sektor pariwisata.
Partisipasi  masyarakat  lokal  dalam  aktivitas  wisata  kuliner  dapat  meningkatkan  pendapatan  per-kapita, mendorong pertumbuhan ekonomi keluarga, meningkatkan kesejahteraan sosial, serta memudahkan akses terhadap berbagai  sumberdaya  hingga  kepentingan  yang  berhubungan  dengan  keberlanjutan  penghidupan.  Putra  et  al. menjelaskan bahwa bentuk partisipasi masyarakat lokal dalam pengembangan wisata kuliner dapat diidentifikasi dari berbagai  kegiatan,  mulai  dari  proses  pengumpulan  bahan  baku,  proses  pengolahan  bahan  baku,  alat-alat  yang digunakan  dalam  proses  pengolahan,  proses  ketika  produk  telah  matang  dan  siap  dikonsumsi [14].  Samtono  et  al. menekankan  bahwa  keterlibatan  masyarakat  lokal  sebagai  pelaku  usaha  menunjukkan  adanya  inisiatif  untuk mengembangkan  ekonomi  kreatif  melalui  pengolahan  produk  pangan  menjadi  daya  tarik  wisata  [15].  Hal  ini menunjukkan  bahwa  wisata  kuliner  dapat  dilihat  dari  perspektif  penyedia  produk  dan  layanan,  serta  perspektif wisatawan  sebagai  konsumen.  Dalam  konteks  penelitian  ini,  penyedia  produk  dan  layanan  untuk  kuliner  di  Kota Makassar  fokus  pada  rumah  makan  atau  restaurant  yang  direkomendasikan  website Tripadvisor  sebagai  10 rumah makan atau restaurant terbaik di Makassar sebagai berikut : The Eatery Restaurant , Golden Asian , Gravity Sky Lounge , Pallu Basa Serigala , La Piccola Italy , Rumah Makan Nelayan , Coto Nusantara , Rumah Makan Seafood Apong , Sop Konro Karebossi dan Lae Lae . Dengan demikian, batasan sekaligus fokus utama dalam penelitian ini ialah data teks dalam bentuk ulasan terhadap makanan ( food ) , layanan ( services ) , dan nilai ( value ) .
Perkembangan wisata kuliner juga berhubungan dengan identitas kebudayaan masyarakat di suatu daerah yang berhubungan dengan gastronomi, dimana warisan budaya dalam bentuk bahan baku makanan serta rempah-rempah yang dapat dikonsumsi oleh khalayak. Utami menegaskan bahwa kuliner merupakan identitas budaya, oleh sebab itu kuliner melambangkan identitas sosial masyarakat sekaligus sebagai bentuk komunikasi yang efektif dari budaya yang khas  dengan  karakter  nasional  yang  kuat  serta  fitur  yang  beragam  [16].  Disisi  lain,  Rusmaniah  et  al.  berpendapat bahwa  seiring  dengan  perkembangan  zaman,  keberadaan  kuliner  lokal  di  Indonesia  mulai  kurang  dikenali  oleh generasi  sekarang  seiring  dengan  masuknya  berbagai  produk  makanan  import  [17].  Berdasarkan  studi  kasus  pada

## Building of Informatics, Technology and Science (BITS)
penyedia produk dan jasa kuliner di Makassar sesuai rekomendasi website Tripadvisor , dapat diketahui adanya bauran antara penyedia produk dan jasa kuliner khas lokal dengan produk dan jasa kuliner  dari daerah bahkan negara lain. Hal ini menunjukkan bahwa analisis sentimen wisatawan terhadap kualitas produk dan jasa kuliner terhadap produk makanan dan minuman lokal maupun dari negara lain dapat dianalisis dan dilakukan perbandingan, untuk memberikan rekomendasi  yang relevan. Dengan demikian  luaran  penelitian ini  dapat  berkontribusi  secara konnseptual terhadap perkembangan wisata kuliner di Makassar, Indonesia.
Penelitian ini mengadopsi algoritma k-Nearest Neighbor (k-NN), Decision Tree (DT), Naïve Bayes Classifier (NBC), dan Support Vector Machine (SVM) untuk menguji performa serta menganalisis relevansi penggunaan model sesuai konteks dan data teks. Anissa menunjukkan bahwa masing-masing algoritma yang digunakan perlu dievaluasi untuk  mengidentifikasi  akurasi, recall ,  dan presisi sehingga  dapat  diperoleh  informasi  tentang  algoritma  dengan performa  terbaik  [18].  Adapun,  Dewi  juga  menunjukkan  bahwa  masing-masing  perusahaan  maupun  organisasi memiliki kompleksitas data yang perlu dikelola menggunakan metode klasifikasi melalui berbagai algoritma untuk pengambilan keputusan yang menentukan keberlangsungan operasional bisnis, manajemen layanan, sistem produksi dan  distribusi,  maupun  berbagai  kepentingan  lainnya  [19].  Selain  itu,  Barro  et  al.  menekankan  bahwa  data  yang dikelola  memiliki  tipe,  label,  atribut  dan  kuantitas  yang  berbeda-beda,  sehingga  diperlukan  operator Synthetic Minority  Oversampling  Technique (SMOTE)  untuk  menyeimbangkan  data  sebelum  diuji  menggunakan  algoritma [20]. Selanjutnya, Haranto dan Sari menegaskan bahwa nilai confusion matrix akan menunjukkan performa algoritma terbaik yang relevan dengan konteks dan data set [21]. Hal ini menunjukkan bahwa kerangka kerja CRISP-DM pada tahap  pemodelan  perlu  mempertimbangkan  konteks  analisis  data  dan  dataset  yang  dikelola,  selanjutnya  dapat dievaluasi  berdasarkan  metode  SERVQUAL  untuk  memberikan  rekomendasi  yang  sesuai.  Adapun,  konteks pembahasan penelitian ini terkait dengan wisata kuliner di kota Makassar, Indonesia.
Analisis sentimen konsumen terhadap makanan, layanan, dan nilai yang diberikan di restoran dan rumah makan sangat penting untuk meningkatkan pengalaman pelanggan dan kepuasan mereka. Melalui analisis sentimen, pemilik bisnis  dapat  memahami  apa  yang  diinginkan  pelanggan,  apa  yang  mereka  sukai,  dan  apa  yang  perlu  diperbaiki. Analisis  sentimen  juga  dapat  membantu  meningkatkan  kualitas  produk  dan  layanan  yang  ditawarkan,  serta meningkatkan reputasi bisnis. Selain itu, analisis sentimen juga berkontribusi pada penelitian tentang analisis sentimen secara  keseluruhan,  dengan  memberikan  contoh  kasus  nyata  yang  dapat  digunakan  sebagai  bahan  penelitian  lebih lanjut. Dengan demikian, analisis sentimen konsumen di restoran dan rumah makan bukan hanya penting bagi bisnis itu sendiri, tetapi juga memiliki nilai penting dalam pengembangan penelitian tentang analisis sentimen. Penelitian ini lebih fokus pada aspek emosional dan pengalaman pelanggan dalam mengkonsumsi makanan dan layanan di tempat makan. Selain itu, penelitian ini juga mencakup analisis terhadap nilai yang diberikan oleh bisnis dalam hal harga dan kualitas  produk  yang  ditawarkan.  Selain  itu,  faktor  lingkungan  juga  menjadi  salah  satu  faktor  penting  yang memengaruhi  sentimen  pelanggan  dalam  konteks  penelitian  ini.  Oleh  karena  itu,  penelitian  analisis  sentimen konsumen terhadap makanan, layanan, dan nilai di restoran dan rumah makan memiliki fokus dan pendekatan yang unik dibandingkan dengan penelitian analisis sentimen lainnya.

## 2. METODOLOGI PENELITIAN
2.1 Cross-Industry Standard Process for Data Mining (CRISP-DM) and Service Quality (SERVQUAL)
Metode  yang  digunakan  dalam  analisis  sentimen  wisatawan  terhadap  kualitas  layanan  hotel  dan resort  di  Lombok ialah Cross  Industry  Standard  Process  for  Data  Mining (CRISP-DM)  yang  dihubungkan  dengan metode Service Quality (SERVQUAL).  Metode  CRISP-DM  meliputi  beberapa  tahapan  sebagai  berikut  :  tahap  memahami  proses bisnis  ( business  understanding ),  tahap  memahami  data  ( data  understanding ),  tahap  menyiapkan  data  ( data preparation ),  tahap  pemodelan  ( modeling ),  tahap  evaluasi  ( evaluation )  dan  tahap  implementasi  ( deployment ). Sementara  itu,  metode  SERVQUAL  menekankan  pada  dimensi  bukti  fisik  ( tangible ),  dimensi  daya  tanggap ( responsiveness ),  dimensi  kehandalan  ( reliability ),  dimensi  jaminan  ( assurance ),  dimensi  empati  ( empathy ). Latarbelakang penggunaan metode CRISP-DM ialah untuk mengidentifikasi sentimen, mengklasifikasi data sentimen, dan  menganalisis  data  sentimen  wisatawan  terhadap  kualitas  produk  dan  layanan  di  hotel.  Sementara  itu,  metode SERQUAL digunakan untuk mengklasifikasi data sentimen serta menganalisis kepuasan pelanggan.
Gambaran tentang implementasi metode CRISP-DM dan SERVQUAL ialah sebagai berikut : tahap business understanding, dilakukan  studi  literatur  tentang  manajemen  pelayanan restaurant ,  psikologi  pelayanan,  perilaku wisatawan, dan analisis sentimen tamu restaurant untuk memahami prefrensi pasar wisata kuliner berdasarkan konteks wilayah Makassar, Indonesia; tahap data understanding , dilakukan seleksi dan validasi data teks dalam bentuk ulasan member website Tripadvisor berdasarkan kategori nama akun, penilaian, judul, ulasan, tipe kunjungan ( solo, couple, with friends, with family ), serta tanggal berkunjung ke restaurant tersebut; tahap data preparation , dilakukan proses seleksi  data yang akan dibersihkan  ( tokenize, transform cases,  filter  stopwords,  filter tokens by length );  tahap data processing ,  dilakukan  pembagian  data  latih  (20%)  dan  data  uji  (80%),  kemudian  dilakukan  pengujian  algoritma menggunakan operator SMOTE Upsampling  serta dilakukan perbandingan dengan hasil  pengujian algoritma  tanpa menggunakan SMOTE Upsampling untuk menganalisis nilai Area Under Curve (AUC); tahap modeling , dilakukan klasifikasi  dataset  menggunakan  operator cross  validation pada  algoritma  algoritma k-Nearest  Neighbor (k-NN), Decision Tree (DT), Naïve Bayes Classifier (NBC), dan Support Vector Machine (SVM) untuk mengetahui algoritma

## Building of Informatics, Technology and Science (BITS)
dengan performa terbaik; tahap evaluation , dilakukan analisis nilai confusion matrix , Area Under Curve (AUC), dan Receiver Operating Characteristic (ROC), f-measures, and T-Test.  Adapun, hasil klasifikasi data berdasarkan ekstrak sentimen  yang  divisualisasi  menggunakan  wordcloud/bar-column  akan  dihubungkan  dengan  setiap  dimensi  dalam metode  SERVQUAL  yakni  dimensi  bukti  fisik  ( tangible ),  dimensi  daya  tanggap  ( responsiveness ),  dimensi kehandalan  ( reliability ),  dimensi  jaminan  ( assurance ),  dimensi  empati  ( empathy );  tahap  deployment,  diberikan rekomendasi  model  dan  luaran  hasil  analisis  sentimen  berdasarkan  CRISP-DM  dan  SERVQUAL  untuk mengoptimalkan produk dan layanan restaurant maupun rumah makan. Adapun, alur dari keseluruhan tahapan dapat dilihat pada gambar 1 berikut ini.
Bagan 1. Tahapan Penelitian sesuai CRISP-DM dan SERVQUAL
Bagan  1  merupakan  perpaduan  antara  metode  CRISP-DM  dan  metode  SERVQUAL  dalam  menganalisis analisis sentimen konsumen terhadap food , service , and value di sepuluh restaurant atau rumah makan populer versi Tripadvisor,  menggunakan  algoritma  k-NN,  NBC,  DT,  dan  SVM.    Berdasarkan  hasil  pengumpulan  data,  terdapat sepuluh restaurant serta rumah makan di Kota Makassar versi Tripadvisor, sebagai berikut : The Eatery Restaurant ; Golden Asian ; Gravity Sky Lounge ; Pallu Basa Serigala ; La Piccola Italy ; Rumah Makan Nelayan ; Coto Nusantara ; Rumah Makan Seafood  Apong ; Sop Konro Karebossi; dan Lae Lae . Adapun, informasi  terkait sumber dan jumlah data sebelum maupun setelah dilakukan penyaringan, dapat dilihat pada tabel berikut.
Tabel 1. Data Restaurant serta Rumah Makan Populer Versi Tripadvisor
Dataset Jumlah Data (Sebelum Filter) Jumlah Data (Setelah Filter) Link Tripadvisor The Eatery Restaurant 294 284 https://www.tripadvisor.com/Restaurant_Review-g297720-d12362862-Reviews- The_Eatery_Restaurant-Makassar_South_Sulawesi_Sulawesi.html Golden Asian 161 155 https://www.tripadvisor.com/Restaurant_Review-g297720-d12362889-Reviews- Golden_Asian-Makassar_South_Sulawesi_Sulawesi.html Gravity Sky Lounge 172 169 https://www.tripadvisor.com/Restaurant_Review-g297720-d13396542-Reviews- Gravity_Sky_Lounge-Makassar_South_Sulawesi_Sulawesi.html Pallu Basa Serigala 473 430 https://www.tripadvisor.com/Restaurant_Review-g297720-d7347714-Reviews- Pallu_Basa_Serigala-Makassar_South_Sulawesi_Sulawesi.html La Piccola Italy 163 149 https://www.tripadvisor.com/Restaurant_Review-g297720-d12948284-Reviews- La_Piccola_Italy-Makassar_South_Sulawesi_Sulawesi.html R.M. Nelayan 265 238 https://www.tripadvisor.com/Restaurant_Review-g297720-d3512865-Reviews- R_M_Nelayan-Makassar_South_Sulawesi_Sulawesi.html Coto Nusantara 421 389 https://www.tripadvisor.com/Restaurant_Review-g297720-d6415175-Reviews- Coto_Nusantara-Makassar_South_Sulawesi_Sulawesi.html R.M. Seafood Apong 308 285 https://www.tripadvisor.com/Restaurant_Review-g297720-d6598861-Reviews- Rumah_Makan_Seafood_Apong-Makassar_South_Sulawesi_Sulawesi.html Sop Konro Karebossi 483 437 https://www.tripadvisor.com/Restaurant_Review-g297720-d6168215-Reviews- Sop_Konro_Karebossi-Makassar_South_Sulawesi_Sulawesi.html
Lae Lae 310 215 https://www.tripadvisor.com/Restaurant_Review-g297720-d1190015-Reviews- Lae_Lae-Makassar_South_Sulawesi_Sulawesi.html
Tabel  1  merupakan  dataset  yang  digunakan  dalam  proses  klasifikasi  untuk  analisis  sentimen  konsumen terhadap food, service, dan value dari masing-masing  restaurant atau rumah makan di Kota Makassar, berdasarkan versi website Tripadvsor. Terdapat sepuluh data dari masing-masing restaurant atau rumah makan yang dikumpulkan dan disaring dari website Tripadvisor sebagai berikut : The Eatery Restaurant, jumlah data setelah difilter ialah 284

## Building of Informatics, Technology and Science (BITS)
dari 294; Golden Asian , jumlah data setelah difilter ialah 155 dari 161; Gravity Sky Lounge , jumlah data setelah difilter ialah 169 dari 172; Pallu Basa Serigala, jumlah data setelah difilter ialah 430 dari 473; La Piccola Italy , jumlah data setelah  difilter  ialah  149  dari  163; Rumah  Makan  Nelayan, jumlah  data  setelah  difilter  ialah  238  dari  265; Coto Nusantara , jumlah data setelah difilter ialah 389 dari 421; Rumah Makan Seafood Apong , jumlah data setelah difilter ialah 285 dari 308; Sop Konro Karebossi, jumlah data setelah difilter ialah 437 dari 489 ; Lae Lae , jumlah data setelah difilter ialah 215 dari 310. Dalam konteks analisis sentimen konsumen terhadap food, service, dan value, seluruh data dijumlahkan untuk diproses sesuai dengan kerangka kerja CRISP-DM dan SERVQUAL.

## 2.2 Term Frequency-Inverse Document Frequency (TF-IDF)
Term  Frequency-Inverse  Document  Frequency (TF-IDF)  adalah  salah  satu  teknik  pemrosesan  bahasa  alami  yang umum digunakan dalam analisis teks, termasuk analisis sentimen. Lebih jauh, Vitandi et al. menjelaskan bahwa TF- IDF  digunakan  untuk  mengukur  seberapa  penting  suatu  kata  dalam  dokumen  atau  korpus  melalui  tahapan  dalam proses sebagai berikut : tokenisasi; pre-processing; menghitung Term Frequency (TF); menghitung Inverse Document Frequency  (IDF);  mengalikan  TF  dan  IDF.  Pada  tahap  tokenisasi,  dokumen  atau  teks  yang  akan  dianalisis  dibagi menjadi  token,  yakni  unit  terkecil  yang  bisa  diolah  oleh  program.  Pada  tahap  ini,  tanda  baca,  angka,  dan  kata penghubung  biasanya  dihilangkan.  Selanjutnya,  pada  tahap  preprocessing,  token-token  yang  telah dihasilkan  pada tahap sebelumnya diproses lebih lanjut, seperti menghilangkan kata-kata yang tidak penting (stop words), mengubah kata menjadi bentuk dasar (stemming), dan melakukan normalisasi seperti mengubah kata yang ditulis dengan huruf besar menjadi huruf kecil. Selanjutnya,  pada tahap menghitung term frequency (TF), frekuensi kemunculan setiap token  dalam  dokumen  dihitung.  Hal  ini  dilakukan  untuk  mengetahui  seberapa  sering  sebuah  kata  muncul  dalam dokumen.  Kemudian  pada  tahap  menghitung  inverse  document  frequency  (IDF),  bobot  diberikan  pada  setiap  kata berdasarkan  seberapa  umum  kata  tersebut  dalam  korpus  teks.  Kata-kata  yang  jarang  muncul  pada  korpus  akan memiliki bobot yang lebih tinggi daripada kata-kata yang sering muncul. Adapun, tahap akhirnya ialah mengalikan TF dengan IDF,  nilai TF dan IDF  dikalikan untuk menghasilkan skor TF-IDF  yang akan digunakan sebagai  dasar untuk menganalisis sentimen [22].
Pada kerangka kerja CRISP-DM proses TF-IDF dilakukan untuk memahami data dan menyipakan data (tahap data understanding dan data preparation ), proses seleksi diperlukan untuk membersihkan dan merapikan data ulasan yang telah dikumpulkan. Selanjutnya, pembobotan kata diperlukan untuk memperoleh informasi tentang jumlah kata yang paling sering muncul dalam data ulasan. Pembobotan kata merupakan proses pemberian nilai pada setiap kata yang telah melewati tahap Pre-Processing . Penelitian ini menggunakan metode Term Frequency-Inverse Document Frequency (TF-IDF) dengan persamaan (1) dan (2) berikut :
𝐼𝐷𝐹(𝑤) = log( 𝑁 𝐷𝐹(𝑤) ) (1)
𝑊 𝑖𝑗 =   𝑇𝐹 𝑖𝑗 𝑥  log(𝐷 𝐷𝐹 𝑗 ⁄ ) (2)
Kosasih dan Alberto menunjukkan bahwa roses pembobotan kata dapat dilakukan dengan beberapa tahapan sebagai  berikut  :  pertama,  menghitung  jumlah  Term  Frequency (FT)  tiap  kata,  dimana  kalimat  yang  telah  dipisah menjadi kata akan diberi nilai dan setiap kata yang muncul akan diberi nilai 1; kedua, menghitung jumlah Document Frequency (DF)  tiap  kata  dengan  cara  menjumlahkan  nilai  TF  pada  tiap  kata;  ketiga,  menghitung  jumlah Inverse Document  Frequency (IDF) yang ditunjukkan pada persamaan (1);  keempat, menghitung bobot ( Weight ) pada tiap kata  yang  diperoleh  dari  hasil  perkalian  nilai  TF  dengan  IDF  sebagaimana  persamaan  (2)  [23].  Ardiansyah  et  al. menjelaskan bahwa TF-IDF merupakan metode yang berguna untuk mengekstrak fitur-fitur penting dari teks dalam analisis sentimen [24]. Dalam analisis sentimen, TF-IDF dapat membantu mengidentifikasi kata-kata atau frasa-frasa yang paling sering  muncul pada teks dengan sentimen positif atau negatif, dan dapat digunakan sebagai  fitur pada model klasifikasi [25]. Dengan menggunakan metode ini, kita dapat memperoleh informasi yang lebih relevan dan bermanfaat dari data teks, sehingga dapat meningkatkan kinerja model klasifikasi dalam memprediksi sentimen dari teks baru.

## 2.3 Synthetic Minority Oversampling Technique (SMOTE)
Synthetic Minority Oversampling Technique (SMOTE) adalah teknik resampling data yang umum digunakan dalam machine learning, khususnya untuk menangani masalah ketidakseimbangan kelas [26]. SMOTE menghasilkan sampel baru yang mirip dengan data minoritas dengan cara membuat sampel sintetis baru dari data yang sudah ada. Lebih jauh, Sofyan dan Prasetya menjelaskan beberapa tahapan dalam implementasi SMOTE sebagai berikut : menentukan kelas  minoritas;  memilih  sampel  minoritas;  menghitung  jarak  antara  sampel;  memilih  tetangga-tetangga  terdekat; membuat  sampel  sintesis  baru;  menguji  performa  model.  Secara  spesifik,  pada  tahap  menentukan kelas  minoritas, kelas minoritas dalam kasus analisis sentimen adalah kelas sentimen negatif. Selanjutnya, pada tahap memilih sampel minoritas, sampel-sampel yang termasuk dalam kelas minoritas dipilih untuk melakukan proses oversampling. Pada tahap menghitung jarak antara sampel, jarak antara setiap sampel dalam kelas minoritas dihitung untuk menentukan sampel-sampel  mana  yang  akan  digunakan  untuk  membuat  sampel  sintetis  baru.  Pada  tahap  memilih  tetangga- tetangga  terdekat,  setelah  jarak  antara  setiap  sampel  dihitung,  tetangga-tetangga  terdekat  dipilih  untuk  digunakan dalam  proses  pembuatan  sampel  sintetis.  Kemudian,  pada  tahap  membuat  sintesis  baru,  setelah  tetangga-tetangga

## Building of Informatics, Technology and Science (BITS)
terdekat dipilih, sampel sintetis baru dibuat dengan cara mengambil perbedaan antara sampel minoritas dan tetangga- tetangganya, dan mengalikan dengan bilangan acak antara 0 dan 1. Sampel sintetis baru ini kemudian ditambahkan ke data latih  sebagai  data baru. Adapun, pada tahap menguji  performa model,  setelah proses oversampling  selesai dilakukan, model yang telah dilatih menggunakan data baru tersebut dievaluasi untuk melihat apakah performanya meningkat [27].
Penelitian ini menggunakan operator SMOTE Upsampling di aplikasi Rapidminer untuk mengatasi masalah ketidakseimbangan data, terutama pada dataset Gunung Rinjani. Barro et al. berpendapat bahwa ketidakseimbangan data akan terjadi apabila jumlah objek di suatu kelas data memiliki kuantitas yang lebih tinggi dibandingkan dengan kelas lain, dimana kelas data yang objeknya lebih banyak disebut  kelas mayor sedangkan yang lain disebut  minor [28].  Disisi  lain,  Kurniawati  menekankan  bahwa  pengolahan  algoritma  yang  tidak  mempertimbangkan ketidakseimbangan data cenderung menitikberatkan kelas mayor dan bukan kelas minor, oleh sebab itu diperlukan teknik  SMOTE  yang  menggunakan  metode  oversampling  untuk  memperbanyak  pengamatan  secara  acak  dengan menambah  jumlah  data  kelas  minor (data  buatan)  agar  setara  dengan  kelas  mayor  [29].  Adapun,  data  buatan  atau sintesis tersebut dibuat berdasarkan k- tetangga terdekat ( k-Nearest Neighbor ). Pembangkit data buatan yang berskala numerik diukur jarak kedekatannya dengan jarak euclidean sedangkan data kategorik berdasarkan kelas minor yang peubahnya berskala kategorik, dilakukan dengan rumus Value Difference Metric (VDM) yaitu :
∆(𝑥, 𝑦) = 𝑤 𝑥 𝑤 𝑦 ∑ 𝛿(𝑥 𝑖 𝑦 𝑖 ) 𝑟 𝑁 𝑖=1 (3)
Persamaan (3) merupakan proses untuk membangkitkan data numerik. Dimana ∆(𝑥, 𝑦) adalah jarak antara amatan x dengan y, sementara 𝑤 𝑥 𝑤 𝑦 merupakan bobot amatan (dapat diabaikan), N merupakan banyaknya pebuah penjelas, r bernilai 1 (jarak manhattan) atau 2 (jarak euclidean), serta 𝛿(𝑥 𝑖 𝑦 𝑖 ) 𝑟 jarak antar kategori. Adapun, proses pembangkit data buatan (sintesis) untuk data numerik dilakukan dengan menghitung perbedaan antar vektor utama dengan k-tetangga terdekatnya, kalikan perbedaan dengan angka yang diacak diantara 0 dan 1, kemudian tambahkan perbedaan  tersebut  ke  dalam  nilai  utama  pada  vektor  utama  asal  sehingga  diperoleh  vektor  utama  yang  baru. Selanjutnya, pembangkit data kategorik dapat dilakukan melalui persamaan (4) sebagai berikut.
𝛿(𝑉 1 𝑉 2 ) = ∑ | 𝐶 1𝑖 𝐶 1 − 𝐶 2𝑖 𝐶 2 | 𝐾 𝑛 𝑖=1 (4)
Dimana, 𝛿(𝑉 1 𝑉 2 ) merupakan  jarak  antara  nilai 𝑉 1 dan 𝑉 2 sedangkan 𝐶 1𝑖 merupakan  banyaknya 𝑉 1 yang termasuk kelas I, dan 𝐶 2𝑖 merupakan banyaknya 𝑉 2 yang termasuk kelas I. Sementara itu, i merupakan banyaknya kelas, 𝐶 1 banyaknya nilai 1 terjadi, 𝐶 2 banyaknya nilai 2 terjadi, n merupakan banyaknya kategori, dan k merupakan konstansa. Proses pembangkitan data buatan (sintesis) untuk data kategori dilakukan dengan memilih mayoritas antara vektor utama yang dipertimbangkan dengan k-tetangga terdekatnya untuk nilai nominal, jika nilai sama maka akan dipilih secara acak. Selanjutnya, nilai tersebut  dijadikan data contoh  kelas buatan yang baru.  Disisi  lain, Heranova menjelaskan  bahwa  SMOTE  merupakan  teknik  oversampling  yang  berguna  dalam  mengatasi  masalah ketidakseimbangan kelas pada data teks dalam analisis sentimen [30]. Dalam analisis sentimen, kelas minoritas seperti sentimen negatif sering kali memiliki jumlah sampel yang lebih sedikit dibandingkan kelas mayoritas seperti sentimen positif.  Dengan  menggunakan  SMOTE,  kita  dapat  menghasilkan  sampel  sintetis  baru  yang  mirip  dengan  data minoritas, sehingga dapat meningkatkan kualitas dan akurasi model klasifikasi [31]. Dengan demikian, SMOTE dapat membantu meningkatkan kinerja model klasifikasi dalam memprediksi sentimen dari teks baru dengan kelas minoritas yang lebih seimbang.

## 2.4 Algoritma Naïve Bayes Classifier
Naive  Bayes  Classifier (NBC)  memiliki  keunggulan  tersendiri  dalam  mengklasifikasikan  data  dengan  probabilitas sederhana  melalui  teorema  Bayes  dengan  asumsi  independensi  yang  tinggi  [32].  Studi  ini  didasarkan  pada  jumlah dataset yang digunakan dalam metode dengan kemampuan klasifikasi yang cepat dan akurat. Pengklasifikasi Naive Bayesian hanya membutuhkan data pelatihan dalam jumlah yang relatif kecil untuk menentukan estimasi parameter yang diperlukan untuk proses klasifikasi. Pada tahap klasifikasi, nilai kelas ditentukan dari data yang didasarkan pada suku yang terjadi, dengan menggunakan persamaan berikut.
𝑃(𝑋 𝑘 |𝑌) = 𝑃(𝑌|𝑋 𝑘 ) ∑ 𝑖𝑃(𝑌|𝑋 𝑖 ) (5)
Dimana, keadaan posterior (Probabilitas 𝑋 𝑘 di dalam Y) dapat dihitung dari keadaan prior (Probabilitas Y di dalam 𝑋 𝑘 ) dibagi dengan jumlah dari semua probabilitas Y di dalam semua 𝑋 𝑖 . Dalam konteks penelitian ini, data teks yang diperoleh dari website Tripadvisor diklasifikasi menggunakan persamaan berikut
P (v1|C=c) = 𝐶𝑜𝑢𝑛𝑡𝑇𝑒𝑟𝑚𝑠(𝑣1,𝑑𝑜𝑐𝑠𝑣(𝑐))
𝐴𝑙𝑙𝑇𝑒𝑟𝑚𝑠(𝑑𝑜𝑐𝑠(𝑐)) (6)
Dimana v1 merupakan salah satu suku kata yang muncul dalam ulasan pengguna website Tripadvisor terhadap kualitas produk dan layanan di Destinasi Wisata Candi Borobudur. Sedangkan, 𝐶𝑜𝑢𝑛𝑡𝑇𝑒𝑟𝑚𝑠(𝑣1, 𝑑𝑜𝑐𝑠𝑣(𝑐)) merujuk pada jumlah kemunculan suatu kata berlabel c (“positif” atau “negatif”). Adapun, 𝐴𝑙𝑙𝑇𝑒𝑟𝑚𝑠(𝑑𝑜𝑐𝑠(𝑐)) merujuk pada jumlah  semua  kata  berlabel  c  yang  ada  pada  dataset.  Untuk  menghindari  adanya  nilai  nol  pada  probabilitas  maka

## Building of Informatics, Technology and Science (BITS)
diimplementasikan  laplace  smoothing,  untuk  mengurangi  probabilitas  dari  hasil  yang  terobservasi,  dan  jua meningkatkan probabilitas hasil yang belum terobservasi. Dengan demikian, persamaan yang digunakan ialah sebagai berikut :
P (v1|C=c) = 𝐶𝑜𝑢𝑛𝑡𝑇𝑒𝑟𝑚𝑠(𝑣1,𝑑𝑜𝑐𝑠𝑣(𝑐))+1
𝐴𝑙𝑙𝑇𝑒𝑟𝑚𝑠(𝑑𝑜𝑐𝑠(𝑐))+|V|
(7)
Dimana |V| merujuk pada jumlah semua kata dalam data ulasan yang ada di dataset. Dengan demikian, proses klasifikasi data ulasan akan menunjukkan kata dengan nilai tertinggi sebagai representasi perhatian pengulas terhadap produk dan jasa layanan yang diterima.

## 2.5 Algoritma Support Vector Machine
Support  Vector  Machine (SVM)  merupakan  salah  satu  algoritma  yang  dapat  digunakan  untuk  klasifikasi  data menggunakan hyperplane [33]. Karim menjelaskan bahwa konsep SVM menitikberatkan pada risk minimization, yaitu estimasi  fungsi  dengan  cara  meminimalisir  batas  dari generalization  error, sehingga  SVM  mampu  mengatasi overfitting [34] . Adapun, fungsi regresi dari metode SVM adalah sebagai berikut.
𝑓(𝑥) = 𝑤 𝑇 𝜑(𝑥) + 𝑏 (8)
Dimana w merupakan vector pembobot, 𝜑(𝑥) merupakan sebuah fungsi yang memetakan x ke dalam suatu dimensi, dan  b  merupakan  faktor  bias.  Selanjutnya,  Nida  et  al.,  menunjukkan  bahwa  SVM  mememiliki  kelebihan  dalam generalisasi data yang tinggi serta mampu menghasilkan model klasifikasi yang baik meskipun dilatih dengan data yang relatif sedikit. Meskipun demikian, sangat sulit diaplikasikan untuk himpunan data dengan sampel dan dimensi yang besar [35].

## 2.6 Evaluasi Klasifikasi (Confusion Matrix)
Pada tahap evaluasi, setiap algoritma akan dievaluasi berdasarkan nilai akurasi, presisi, recall , dan nilai f-measure . Evaluasi klasifikasi didasarkan pada pengujian pada objek yang benar dan objek yang salah. Validasi digunakan untuk menentukan jenis model yang terbaik melalui confusion  matrix sebagai  informasi mengenai  hasil klasifikasi  actual yang dapat diprediksi oleh suatu sistem melalui nilai akurasi, presisi, dan recall, melalui persamaan berikut.
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = 𝑇𝑃+𝑇𝑁 𝑇𝑃+𝐹𝑃+𝑇𝑁+𝐹𝑁 (9) 𝑃𝑟𝑒𝑠𝑖𝑠𝑖/𝑆𝑝𝑒𝑐𝑖𝑓𝑖𝑐𝑖𝑡𝑦 = 𝑇𝑃
𝑇𝑃+𝐹𝑃 (10) 𝑅𝑒𝑐𝑎𝑙𝑙/𝑆𝑒𝑛𝑠𝑖𝑡𝑖𝑣𝑖𝑡𝑦 = 𝑇𝑃
𝑇𝑃+𝐹𝑁 (11) 𝑓 − 𝑚𝑒𝑎𝑠𝑢𝑟𝑒 = 2𝑥(𝑃𝑟𝑒𝑠𝑖𝑠𝑖 𝑥 𝑟𝑒𝑐𝑎𝑙𝑙)
𝑝𝑟𝑒𝑠𝑖𝑠𝑖+𝑟𝑒𝑐𝑎𝑙𝑙 (12)
Ginantra et al., berpendapat bahwa confusion matrix merupakan gambaran akan akurasi, presisi, recall dari proses klasifikasi data. Akurasi adalah ketepatan sistem dalam melakukan proses klasifikasi dengan benar; presisi atau sensitivity adalah  rasio  jumlah  dokumen  yang  relevan  dengan  total  jumlah  dokumen  yang  ditemukan  pada  sistem klasifiaksi; recall atau spesificity adalah rasio jumlah dokumen yang ditemukan kembali oleh sistem klasifikasi dengan total  jumlah  dokumen  yang  relevan; f-measure adalah  metrik  evaluasi  yang  populer  untuk  menangani  masalah imbalance class dengan mengombinasi recall /sensivitas dan presisi sehingga menghasilkan metrik yang efektif untuk mencari kembali informasi dalam himpunan yang tidak seimbang [36]. Dengan demikian, evaluasi performa algoritma terbaik  dapat  direkomendasikan  sebagai  model  yang  relevan  dengan  dataset  untuk  memperoleh  luaran  analisis sentimen yang tergolong fit atau sesuai.

## 3. HASIL DAN PEMBAHASAN
Kuliner Indonesia mengalami perkembangan seiring dengan meningkatnya aktivitas wisata di berbagai daerah. Suteja dan Wahyuningsih menegaskan bahwa invensi budaya kuliner di Indonesia melalui komodifikasi kegiatan penunjang pariwisata  sangat  efektif  dalam  mendukung  pertumbuhan  pariwisata  daerah  hingga  nasional  [37].  Hal  ini menunjukkan bahwa aktivitas perjalanan wisata  secara tidak langsung mendorong pertumbuhan kuliner Indonesia. Sinaga  et  al.  menegaskan  bahwa  ketahanan  aktivitas  wisata  kuliner  juga  didukung  oleh  pemasaran  wisata  kuliner menggunakan  teknologi  informasi  [38].  Khair  et  al.  menegaskan  bahwa  pelatihan  penggunaan  teknologi  terhadap pelaku bisnis kuliner menjadi salah satu faktor pendukung optimalisasi teknologi informasi dalam pemasaran usaha kuliner [39]. Hal ini menunjukkan bahwa teknologi menjadi media komunikasi yang efektif digunakan oleh konsumen bisnis  kuliner  untuk  mengatur  perjalanan  wisata kuliner  di  suatu  daerah,  hingga  keputusan  untuk  membeli  produk makanan dan minuman di suatu unit usaha atau bisnis kuliner sesuai preferensi terhadap makanan ( food ), pelayanan ( service ),  dan  nilai  ( value ).  Dengan  demikian,  penelitian  ini  akan  membahas  hasil  analisis  sentimen  konsumen terhadap makanan ( food ), pelayanan ( service ), dan nilai ( value ) berdasarkan konteks wisata kuliner di Kota Makassar, Indonesia.

## Building of Informatics, Technology and Science (BITS)
Sentimen  konsumen  terhadap  produk  dan  layanan  di  rumah  makan  maupun  restaurant  dipengaruhi  oleh berbagai  faktor seperti makanan ( food ), layanan ( service ), dan nilai (value). Mastan dan Toni menunjukkan bahwa persepsi  konsumen  terhadap  produk  dan  makanan  di  rumah  makan  maupun restaurant perlu  dianalisis  secara komprehensif  agar  dapat  memberikan  rekomendasi  yang  tepat  dan  relevan  bagi  para  pengusaha  bisnis  kuliner  di Indonesia [40]. Disisi lain, Asmara et al. menegaskan bahwa opini konsumen yang dipublikasikan melalui berbagai media terkait produk dan layanan di rumah makan maupun restaurant mencerminkan citra wisata kuliner Indonesia [41]. Adapun, Fauzi et al. menekankan bahwa pendekatan big data melalui kajian analisis sentimen konsumen produk dan  layanan  Usaha  Mikro  Kecil  dan  Menengah  (UMKM)  diperlukan  untuk  mengidentifikasi  faktor-faktor  yang menghambat perkembangan UMKM khususnya di  sektor bisnis kuliner  [42]. Hal  ini menunjukkan bahwa analisis sentimen  di  bidang  pariwisata  perlu  dikaji  secara  komprehensif  berdasarkan  konteks  baik  destinasi,  hotel,  rumah makan maupun restaurant , sehingga dapat  diketahui persepsi  konsumen terhadap kualitas produk dan layanan [8], [9],  faktor-faktor  yang  memengaruhi  kepuasan  wisatawan  [10],  [43],  serta  faktor-faktor  yang  menghambat pertumbuhan bisnis di bidang pariwisata [11], [12] sehingga dapat diberikan rekomendasi yang sesuai.
Penilaian  konsumen  terhadap  makanan  ( food ),  pelayanan  ( service ),  dan  nilai  ( value )    dapat  dikaji  dari perspektif SERVQUAL. Sari dan Siregar menunjukkan bahwa SERVQUAL terdiri dari beberapa dimensi, sebagai berikut  :  dimensi  bukti  fisik  ( tangibles );  dimensi  daya  tanggap  (responsiveness);  dimensi  kehandalan  ( reliability ); dimensi  jaminan (assurance);  dimensi  empati  ( empathy )  [44].  Lebih  jauh,  Trianata  menunjukkan  bahwa  tantangan dalam  pengembangan  bisnis  kuliner  ialah  kualitas  pelayanan  terhadap  konsumen,  dimana  kendala  yang  sering dihadapi pelaku bisnis kuliner terkait kualitas layanan pramusaji ialah rendahnya disiplin dalam mengikuti pelatihan Standard  Operational  Procedure (SOP),  waktu  penyajian  makanan  yang  lamban,  tidak  berpenampilan  rapi  dan memperhatikan  SOP  tentang  kebersihan  (hygene)  dan  sanitasi,  minim  pengetahuan  tentang  menu  serta  tidak fasih dalam menjelaskan menu secara detail menggunakan bahasa asing, tidak tanggap terhadap permintaan dan keluhan konsumen [45]. Hal ini menunjukkan bahwa SERVQUAL dapat digunakan dalam mengklasifikasi sentimen negatif dan positif konsumen dalam data ulasan (data teks) yang diproses melalui kerangka kerja CRISP-DM. Adapun, hasil klasifikasi data teks berdasarkan alat ukur SERVQUAL dapat dilihat pada table 2 berikut.
Tabel 2. Klasifikasi Data Teks Berdasarkan  SERVQUAL SERVQUAL Kata Jumlah Kata dalam Klasifikasi Negatif Jumlah Kata dalam Klasifikasi Positif Tangible Food 0 1298 Tempat 26 1262 Nyaman 6 386 Restaurant 12 758 Ruangan 2 86 Responsiveness Pelayanan 6 384 Cepat 2 256 Menyajikan 0 70 Disediakan 4 52 Dilayani 0 60 Reliability Memuaskan 0 290 Friendly 0 144 Membantu 0 116 Menyenangkan 0 68 Senang 0 58 Assurance Dijamin 0 44 Authentic 2 62 Reasonable 0 52 Istimewa 6 42 Kenyang 0 46 Empathy Ramah 10 596 Sopan 0 40 Disambut 0 36 Baik 4 606 Terbaik 2 198
Tabel  2  merupakan  tahapan dalam proses TF-IDF  di aplikasi  Rapidminer dapat dijelaskan sebagai berikut : memilih dokumen yang ingin diolah; menyiapkan dan membersihkan data, dokumen diproses dengan menghilangkan karakter-karakter tidak penting seperti tanda baca, angka, dan stopword (kata-kata yang tidak memiliki arti) kemudian diubah ke dalam bentuk lowercase;  tahap tokenisasi, dimana kalimat  dibagi menjadi token atau kata-kata terpisah; menghitung  frekuensi  masing-masing  kata;  kemudian  menghitung  seberapa  umum  kata  tersebut  dalam  semua

## Building of Informatics, Technology and Science (BITS)
dokumen. Setelah menghitung frekuensi kata dan inversi dokumen, bobot TF-IDF untuk setiap kata dihitung dengan mengalikan frekuensi kata dengan inversi dokumen. Selanjutnya, hasil TF-IDF dilanjutkan ke tahap klasifikasi sesuai metode  SERVQUAL  berdasarkan  masing-masing  dimensi  didominasi  oleh  sentimen  positif.  Dimensi  bukti  fisik ( tangible )  menunjukkan  beberapa  kata  yang  merupakan  representasi  atas  ekspektasi  dan  pengalaman  konsumen seperti food, tempat, nyaman, restaurant, ruangan. Hal ini berarti bahwa konsumen merasa senang dengan tempat atau ruangan  yang  digunakan  untuk  makan  dan  minum  di  restoran  tersebut.  Sementara  itu,  dimensi  daya  tanggap ( responsiveness ) menunjukkan persepsi konsumen terkait dengan sikap tanggap karyawan yang diekspresikan melalui beberapa kata seperti cepat, menyajikan, disediakan, dilayani, memuaskan. Hal ini berarti bahwa konsumen merasa puas dengan kecepatan penyajian serta pelayanan di restoran. Disisi lain, dimensi keandalan ( reliability ) menunjukkan pandangan  konsumen  terkait  dengan  konsistensi,  ketepatan  waktu  yang  ditunjukkan  melalui  beberapa  kata  seperti membantu, menyenangkan, senang, dijamin, authentic. hal ini menunjukkan bahwa konsumen merasa senang dengan pelayanan sesuai yang dijanjikan. Adapun, dimensi jaminan ( assurance ) merupakan jaminan kepuasan, kenyamanan dan keamanan konsumen yang terejawantahkan dalam beberapa kata seperti reasonable, istimewa, kenyang, ramah, dan  sopan. Hal  ini menunjukkan bahwa konsumen merasakan pelayanan yang ramah dan sopan serta memperoleh makanan atau minuman yang istimewa, memuaskan, serta harga yang sesuai atua masuk akal. Sedangkan, dimensi empati  ( empathy )  menunjukkan bahwa konsumen merasa disambut dengan baik, sebagaimana penilaian konsumen dalam  kata  disambut,  baik,  dan  terbaik.  Hal  ini  menunjukkan  bahwa  pelayanan  menggunakan  empati  dapat mengekspresikan  sikap  kesungguhan  atau  tulus  dalam  memberikan  pelayanan.  Dengan  demikian,  dapat  diketahui bahwa  ekspektasi  konsumen  terhadap  makanan  ( food ),  pelayanan  ( service ),  dan  nilai  ( value )  tergolong  positif. Selanjutnya, data ulasan konsumen diekstrak untuk mengidentifikasi klasifikasi kelas negatif dan positif sebagaimana table 3 berikut.

## Tabel 3. Proses Ekstrak Sentimen dari Ulasan Wisatawan

## Review
The taste is so good (the soup), but the meat are so chewy not tender which is sad compare to the taste of the soup.. Place is so crowded (never ending customers) and so hot, i’m sweating all the time..lol. I also hate their floor, so dirty, liquid everywhere (spilled tea, water, etc) it’s kinda dangerous tho
String Scoring good (0.49)  sad (-0.54)  lol (0.46)  hate (-0.69)  dirty (-0.49)  dangerous (-0.54) Sentiment Score Negativity Positivity Uncovered Tokens Tokens Negatif -1,3 2,3 0,9 67 73

## Review
I was in Makassar last week and our joint venture partner took us to Apong. Makassar is well known for its fresh seafood but the choice in Apong was really something else. There were seven of us and we feasted on crabs, prawns and different types of fish. It was either steamed, fried or grilled... and absolutely wonderful. If you get to Makassar, make the effort to go and dine at Apong's. You will not regret the choice. Happy eating....
String Scoring well (0.28)  fresh (0.33)  wonderful (0.69)  regret (-0.46)  happy (0.69) Sentiment Score Negativity Positivity Uncovered Tokens Tokens Positif 1,5 0,5 2 88 93
Tabel 3 merupakan proses ekstrak sentimen dari data ulasan setelah diklasifikasikan masing-masing dimensi dalam  kerangka  kerja  SERVQUAL.  Proses  ekstrak  sentimen  dilakukan  menggunakan  aplikasi  Rapidminer  setelah proses TF-IDF. Operator Extract sentiment di RapidMiner  mengidentifikasi sentimen atau perasaan dari teks, apakah itu positif maupun negatif dengan mencocokkan setiap kata dengan kamus sentimen untuk menentukan apakah kata tersebut memiliki sentimen positif atau negatif. Jumlah kata positif dan negatif dihitung dan dijadikan acuan untuk menentukan sentimen keseluruhan dokumen. Hal tersebut dapat dilihat dari score, string score, uncovered tokens, dan tokens .  Selanjutnya,  pada  tahap  pemodelan  dilakukan  evaluasi  berdasarkan  kinerja  algoritma  Decision  Tree sebagaimana tabel 4 berikut
Tabel 4. Performance Vector of DT Algorithm (with and Without SMOTE)
DT Tanpa SMOTE DT dengan SMOTE PerformanceVector: accuracy: 98.58% +/- 0.37% (micro average: 98.58%) ConfusionMatrix: True: Negatif Positif Negatif: 0 6 Positif: 56 4312 AUC (optimistic): 0.999 +/- 0.003 (micro average: 0.999) (positive class: Positif) PerformanceVector: accuracy: 93.25% +/- 0.95% (micro average: 93.25%) ConfusionMatrix: True: Negatif Positif Negatif: 3774 39 Positif: 544 4279 AUC (optimistic): 0.998 +/- 0.001 (micro average:
0.998) (positive class: Positif)

## Building of Informatics, Technology and Science (BITS)
AUC: 0.499 +/- 0.002 (micro average: 0.499) (positive class: Positif) AUC (pessimistic): 0.000 +/- 0.000 (micro average: 0.000) (positive class: Positif) precision: 98.72% +/- 0.12% (micro average: 98.72%) (positive class: Positif)
ConfusionMatrix: True: Negatif Positif Negatif: 0 6 Positif: 56 4312 recall: 99.86% +/- 0.31% (micro average: 99.86%) (positive class: Positif) ConfusionMatrix: True: Negatif Positif Negatif: 0 6 Positif: 56 4312 f_measure: 99.29% +/- 0.19% (micro average: 99.29%) (positive class: Positif) ConfusionMatrix: True: Negatif Positif Negatif: 0 6 Positif: 56 4312
AUC: 0.935 +/- 0.009 (micro average: 0.935) (positive class: Positif) AUC (pessimistic): 0.873 +/- 0.019 (micro average:
0.873) (positive class: Positif)
precision: 88.74% +/- 1.45% (micro average: 88.72%)
(positive class: Positif) ConfusionMatrix: True: Negatif Positif Negatif: 3774 39 Positif: 544 4279 recall: 99.10% +/- 0.49% (micro average: 99.10%) (positive class: Positif) ConfusionMatrix: True: Negatif Positif Negatif: 3774 39 Positif: 544 4279 f_measure: 93.63% +/- 0.85% (micro average: 93.62%) (positive class: Positif) ConfusionMatrix: True: Negatif Positif Negatif: 3774 39 Positif: 544 4279
Tabel 3 menunjukkan bahwa performa algoritma DT tanpa menggunakan operator SMOTE menunjukkan nilai akurasi  sebesar  98.58%,  presisi  sebesar  98.72%,  recall  sebesar  99.86%  dan  f-measure  sebesar  99.29%.  Meskipun demikian,  nilai  AUC  yang  dihasilkan  ialah  0.499  (49.9%).  Berbeda  halnya  dengan  performa  algoritma  DT  ketika menggunakan operator SMOTE dimana nilai akurasi yang dihasilkan sebesar 93.25%, presisi sebesar 88.74%, recall sebesar  99.10%,  dan  f-measure  sebesar  93.62%. Adapun,  nilai  AUC  yang  dihasilkan  ialah  0.873 (87.3%).  Hal  ini berarti  algoritma  DT  menggunakan  SMOTE  menunjukkan  performa  yang  lebih  baik  dibandingkan  dengan  tanpa menggunakan  SMOTE.  Salah  satu  kelemahan  algoritma  DT  dalam  analisis  sentimen  adalah  kecenderungan  untuk overfitting pada data training yang digunakan. Hal ini terjadi ketika algoritma membuat struktur pohon yang sangat kompleks untuk memaksimalkan akurasi pada data training, namun hasilnya tidak dapat diterapkan pada data yang belum  pernah  dilihat  sebelumnya.  Selain  itu,  kelemahan  lainnya  adalah  sensitifitas  terhadap  perubahan  pada  data training,  dimana  penambahan  atau  penghapusan data  training  dapat  mengubah  struktur  pohon  dan  hasil  akhir  dari analisis  sentimen  yang  dilakukan.    Selain  itu,  salah  satu  kelebihan  algoritma  DT  yang  menggunakan  SMOTE (Synthetic Minority Over-sampling Technique) ialah meningkatkan akurasi pada klasifikasi data yang tidak seimbang atau tidak proporsional. Dengan menggunakan SMOTE, algoritma dapat menghasilkan sampel sintetis yang mewakili kelas minoritas dalam  jumlah yang sama dengan kelas mayoritas, sehingga meningkatkan akurasi dan mengurangi bias pada hasil analisis sentimen. Selain itu, penggunaan SMOTE juga dapat mengurangi overfitting pada data training dan  meningkatkan  kemampuan  generalisasi  pada  data  yang  belum  pernah  dilihat  sebelumnya.  Berikut  ini  adalah performa algoritma k-NN dapat dilihat pada tabel 5 berikut.
Tabel 5. Performance Vector of k-NN Algorithm (with and Without SMOTE)
k-NN Tanpa SMOTE k-NN dengan SMOTE
PerformanceVector:
accuracy: 98.72% +/- 0.12% (micro average: 98.72%) ConfusionMatrix: True: Negatif Positif Negatif: 0 0 Positif: 56 4318
AUC (optimistic): 0.959 +/- 0.059 (micro average:
0.959) (positive class: Positif)
AUC: 0.905 +/- 0.097 (micro average: 0.905) (positive class: Positif) AUC (pessimistic): 0.851 +/- 0.148 (micro average: 0.851) (positive class: Positif) precision: 98.72% +/- 0.12% (micro average: 98.72%) (positive class: Positif)
ConfusionMatrix: True: Negatif Positif Negatif: 0 0 Positif: 56 4318
PerformanceVector:
accuracy: 51.57% +/- 0.25% (micro average: 51.57%) ConfusionMatrix: True: Negatif Positif Negatif: 4318 4182 Positif: 0 136
AUC (optimistic): 1.000 +/- 0.000 (micro average:
1.000) (positive class: Positif)
AUC: 0.870 +/- 0.011 (micro average: 0.870) (positive class: Positif)
AUC (pessimistic): 0.740 +/- 0.022 (micro average: 0.740) (positive class: Positif)
precision: 100.00% +/- 0.00% (micro average: 100.00%) (positive class: Positif) ConfusionMatrix: True: Negatif Positif Negatif: 4318 4182 Positif: 0 136

## Building of Informatics, Technology and Science (BITS)
Volume 4, No 4, Maret 2023 Page: 1899−1914 ISSN 2684-8910 (media cetak) ISSN 2685-3310 (media online) DOI 10.47065/bits.v4i4.3231
recall: 100.00% +/- 0.00% (micro average: 100.00%)
(positive class: Positif) ConfusionMatrix: True: Negatif Positif Negatif: 0 0 Positif: 56 4318 f_measure: 99.36% +/- 0.06% (micro average: 99.36%) (positive class: Positif) ConfusionMatrix: True: Negatif Positif Negatif: 0 0 Positif: 56 4318 recall: 3.15% +/- 0.49% (micro average: 3.15%) (positive class: Positif) ConfusionMatrix: True: Negatif Positif Negatif: 4318 4182 Positif: 0 136 f_measure: 6.10% +/- 0.92% (micro average: 6.11%) (positive class: Positif) ConfusionMatrix: True: Negatif Positif Negatif: 4318 4182 Positif: 0 136
Tabel 5 menunjukkan bahwa performa algoritma k-NN tanpa menggunakan operator SMOTE menunjukkan nilai akurasi sebesar 98.72%, presisi sebesar 98.72%, recall sebesar 100 % dan f-measure sebesar 99.36%. Meskipun demikian, nilai AUC yang dihasilkan ialah 0.905 (90.5%). Berbeda halnya dengan performa algoritma k-NN ketika menggunakan operator SMOTE dimana nilai akurasi yang  dihasilkan sebesar 51.57%, presisi sebesar 100%, recall sebesar 3.15%, dan f-measure sebesar 6.10%. Adapun, nilai AUC yang dihasilkan ialah 1.00 (100%). Hal ini berarti algoritma  k-NN  tanpa  SMOTE  menunjukkan  performa  yang  lebih  baik  dibandingkan  menggunakan  SMOTE. Algoritma k-NN dapat digunakan tanpa memerlukan banyak pemrosesan data awal dan tanpa perlu mengubah atau menambahkan sampel sintetis pada data training. Selain itu, algoritma k-NN juga dapat mengatasi masalah noise atau pencilan pada data, karena tidak dipengaruhi oleh distribusi data dan hanya menghitung jarak antara sampel-sampel data. Meskipun tidak menggunakan teknik SMOTE, algoritma k-NN dapat menghasilkan hasil analisis sentimen yang cukup akurat  pada data yang seimbang. Berikutnya ialah  performa algoritma NBC yang  dapat  dilihat  pada tabel  5 berikut.
Tabel 6. Performance Vector of NBC Algorithm (with and Without SMOTE) NBC Tanpa SMOTE NBC dengan SMOTE PerformanceVector: accuracy: 99.31% +/- 0.44% (micro average: 99.31%) ConfusionMatrix: True: Negatif Positif Negatif: 32 6 Positif: 24 4312
AUC (optimistic): 0.999 +/- 0.001 (micro average:
0.999) (positive class: Positif)
AUC: 0.500 +/- 0.000 (micro average: 0.500) (positive class: Positif) AUC (pessimistic): 0.573 +/- 0.281 (micro average: 0.573) (positive class: Positif) precision: 99.45% +/- 0.35% (micro average: 99.45%) (positive class: Positif)
ConfusionMatrix: True: Negatif Positif Negatif: 32 6 Positif: 24 4312 recall: 99.86% +/- 0.16% (micro average: 99.86%) (positive class: Positif) ConfusionMatrix: True: Negatif Positif Negatif: 32 6 Positif: 24 4312 f_measure: 99.65% +/- 0.22% (micro average: 99.65%) (positive class: Positif) ConfusionMatrix: True: Negatif Positif Negatif: 32 6 Positif: 24 4312
PerformanceVector:
accuracy: 99.93% +/- 0.08% (micro average: 99.93%) ConfusionMatrix: True: Negatif Positif Negatif: 4318 6 Positif: 0 4312
AUC (optimistic): 1.000 +/- 0.000 (micro average:
1.000) (positive class: Positif)
AUC: 0.500 +/- 0.000 (micro average: 0.500) (positive class: Positif) AUC (pessimistic): 0.999 +/- 0.002 (micro average: 0.999) (positive class: Positif)
precision: 100.00% +/- 0.00% (micro average: 100.00%) (positive class: Positif) ConfusionMatrix: True: Negatif Positif Negatif: 4318 6 Positif: 0 4312 recall: 99.86% +/- 0.16% (micro average: 99.86%) (positive class: Positif) ConfusionMatrix: True: Negatif Positif Negatif: 4318 6 Positif: 0 4312 f_measure: 99.93% +/- 0.08% (micro average: 99.93%) (positive class: Positif) ConfusionMatrix: True: Negatif Positif Negatif: 4318 6 Positif: 0 4312
Tabel  6  menunjukkan bahwa performa algoritma NBC tanpa menggunakan operator SMOTE menunjukkan nilai akurasi sebesar 99.31%, presisi sebesar 99.45%, recall sebesar 99.86% dan f-measure sebesar 99.65%. Meskipun demikian,  nilai  AUC  yang  dihasilkan  ialah  0.500  (50%).  Berbeda  halnya  dengan  performa  algoritma  NBC  ketika

## Building of Informatics, Technology and Science (BITS)
menggunakan operator SMOTE dimana nilai akurasi yang dihasilkan sebesar  99.93%, presisi sebesar 100%, recall sebesar  99.86%, dan f-measure sebesar  99.93%. Adapun, nilai AUC yang dihasilkan ialah  0.500  (50%).  Penyebab rendahnya nilai AUC algoritma NBC setelah menggunakan SMOTE dalam analisis sentimen adalah karena adanya penambahan  sampel  sintetis  yang  mungkin  tidak  mewakili  keadaan  sebenarnya.  Hal  ini  dapat  menyebabkan overfitting pada data training dan menghasilkan model yang kurang generalisasi pada data yang belum pernah dilihat sebelumnya.  Sementara  itu,  penyebab  rendahnya  nilai  AUC  algoritma  NBC  tanpa  menggunakan  SMOTE  adalah karena ketidakseimbangan atau tidak proporsionalnya data training yang dapat  menyebabkan kurangnya data pada kelas minoritas. Hal ini menyebabkan algoritma NBC sulit untuk mengklasifikasikan data pada kelas minoritas dengan akurat  dan  menghasilkan  nilai  AUC  yang  rendah.  Hal  ini  berarti  algoritma  NBC  tidak  direkomendasikan  untuk digunakan  sebagai  model  karena  memiliki  nilai  AUC  yang  rendah,  tanpa  menggunakan  SMOTE  maupun  setelah menggunakan SMOTE. Selanjutnya, performa algoritma SVM dapat dilihat pada tabel 7 berikut
Tabel 7. Performance Vector of SVM Algorithm (with and Without SMOTE)
SVM Tanpa SMOTE SVM dengan SMOTE
PerformanceVector:
accuracy: 99.18% +/- 0.39% (micro average: 99.18%) ConfusionMatrix: True: Negatif Positif Negatif: 21 1 Positif: 35 4317
AUC (optimistic): 0.951 +/- 0.039 (micro average:
0.951) (positive class: Positif)
AUC: 0.951 +/- 0.039 (micro average: 0.951) (positive class: Positif) AUC (pessimistic): 0.951 +/- 0.039 (micro average: 0.951) (positive class: Positif) precision: 99.20% +/- 0.38% (micro average: 99.20%) (positive class: Positif)
ConfusionMatrix: True: Negatif Positif Negatif: 21 1 Positif: 35 4317 recall: 99.98% +/- 0.07% (micro average: 99.98%) (positive class: Positif) ConfusionMatrix: True: Negatif Positif Negatif: 21 1 Positif: 35 4317 f_measure: 99.58% +/- 0.20% (micro average: 99.58%) (positive class: Positif) ConfusionMatrix: True: Negatif Positif Negatif: 21 1 Positif: 35 4317
PerformanceVector:
accuracy: 99.42% +/- 0.38% (micro average: 99.42%) ConfusionMatrix: True: Negatif Positif Negatif: 4318 50 Positif: 0 4268
AUC (optimistic): 1.000 +/- 0.000 (micro average:
1.000) (positive class: Positif)
AUC: 1.000 +/- 0.000 (micro average: 1.000) (positive class: Positif)
AUC (pessimistic): 1.000 +/- 0.000 (micro average: 1.000) (positive class: Positif) precision: 100.00% +/- 0.00% (micro average:
100.00%) (positive class: Positif) ConfusionMatrix: True: Negatif Positif Negatif: 4318 50 Positif: 0 4268 recall: 98.84% +/- 0.76% (micro average: 98.84%) (positive class: Positif) ConfusionMatrix: True: Negatif Positif Negatif: 4318 50 Positif: 0 4268 f_measure: 99.42% +/- 0.38% (micro average: 99.42%) (positive class: Positif) ConfusionMatrix: True: Negatif Positif Negatif: 4318 50 Positif: 0 4268
Tabel 6 menunjukkan bahwa performa algoritma SVM tanpa menggunakan operator SMOTE menunjukkan nilai akurasi sebesar 99.18%, presisi sebesar 99.20%, recall sebesar 99.98% dan f-measure sebesar 99.58%. Adapun, nilai AUC bernilai 0.951 (95,1%). Berbeda halnya dengan performa algoritma SVM ketika menggunakan operator SMOTE dimana nilai akurasi yang dihasilkan sebesar 99.42%, presisi sebesar 100%, recall sebesar 98.84%, dan f- measure sebesar 99.42%. Adapun, nilai  AUC yang dihasilkan ialah  1.000 (100%). Penyebab nilai  AUC algoritma SVM  mencapai  100%  setelah  menggunakan  SMOTE  dalam  analisis  sentimen  adalah  karena  adanya  penambahan sampel  sintetis  yang  memperluas  ruang  fitur  pada  data  training.  Hal  ini  memungkinkan  algoritma  SVM  untuk menemukan  hiperplane  yang  optimal  dan  memaksimalkan  margin  antara  kelas-kelas  data,  sehingga  meningkatkan akurasi klasifikasi dan menghasilkan nilai AUC yang tinggi. Selain itu, teknik SMOTE juga dapat mengatasi masalah ketidakseimbangan pada data training dan memungkinkan algoritma SVM untuk mempelajari kelas minoritas dengan lebih  baik.  Namun,  perlu  diingat  bahwa  nilai  AUC  yang  mencapai  100%  tidak  selalu  menjamin  keakuratan  dan kehandalan dari  model, karena dapat terjadi overfitting pada data training dan model tidak dapat digeneralisasikan dengan baik pada data yang belum pernah dilihat sebelumnya.
Salah satu teknik yang dapat digunakan untuk membantu membandingkan nilai rata-rata antara dua atau lebih kelompok  data  yang  berbeda  ialah  t-test.  T-test  dapat  membantu  dalam  membandingkan  nilai  rata-rata  antara  dua kelompok data yang berbeda dan menentukan apakah perbedaan antara kedua kelompok tersebut  signifikan secara statistik. Dalam analisis sentimen, t-test dapat digunakan untuk membandingkan nilai sentimen antara dua kelompok

## Building of Informatics, Technology and Science (BITS)
data.  Hasil  dari  t-test  ini  dapat  memberikan  informasi  yang  berharga  untuk  menentukan  model  yang  lebih  baik sebagaimana hasil t-test algoritma k-NN, NBC, DT, dan SVM pada tabel 7 berikut.
Tabel 7. Pairwise t-Test (with and Without SMOTE)
Pairwise t-Test Tanpa SMOTE Pairwise t-Test Menggunakan SMOTE Probabilities for random values with the same result: ----- 0.492 0.040 0.000 ----- ----- 0.588 0.017 ----- ----- ----- 0.008 ----- ----- ----- -----
Values smaller than alpha=0.050 indicate a probably significant difference between the mean values! List of performance values: 0: 0.990 +/- 0.002 1: 0.991 +/- 0.004
2: 0.991 +/- 0.002 3: 0.995 +/- 0.003 Probabilities for random values with the same result: ----- 0.000 0.000 0.000 ----- ----- 0.000 0.539 ----- ----- ----- 0.000 ----- ----- ----- ----- Values smaller than alpha=0.050 indicate a probably significant difference between the mean values! List of performance values:
0: 0.498 +/- 0.002 1: 0.998 +/- 0.002
2: 0.970 +/- 0.004 3: 0.998 +/- 0.001
Tabel 7 merupakan hasil t-test pada algoritma tanpa menggunakan SMOTE dan setelah menggunakan SMOTE. Hasil  perbandingan  algoritma  tanpa  menggunakan  SMOTE  menunjukkan  bahwa  algoritma  SVM  lebih  dominan dibandingkan dengan algoritma k-NN, NBC, DT. Sama halnya dengan hasil t-test pada algoritma yang menggunakan SMOTE, dimana algoritma SVM lebih dominan dibandignkan dengan algoritma k-NN, NBC, DT. Hasil uji t yang menunjukkan  bahwa  algoritma  SVM  lebih  dominan  dibandingkan  algoritma  k-NN,  NBC,  dan  DT  setelah menggunakan SMOTE dapat disebabkan oleh beberapa faktor. Pertama, teknik SMOTE dapat meningkatkan kinerja algoritma  dengan  mengatasi  masalah  ketidakseimbangan  pada  data  training  dan  meningkatkan  kemampuan generalisasi pada data yang belum pernah dilihat sebelumnya. Kedua, SVM memiliki kemampuan untuk menemukan hiperplane  yang  optimal  dan  memaksimalkan  margin  antara  kelas-kelas  data,  sehingga  meningkatkan  akurasi klasifikasi pada data yang kompleks. Ketiga, SVM juga memiliki kemampuan untuk mengatasi masalah overfitting pada  data  training  dan  dapat  mempelajari  hubungan  nonlinear  antara  variabel  input  dan  output.  Sedangkan  k-NN, NBC dan DT cenderung memiliki kelemahan dalam mengatasi masalah ketidakseimbangan dan overfitting pada data training serta cenderung kurang optimal pada data yang kompleks. Oleh karena itu, hasil uji t tersebut menunjukkan bahwa SVM lebih dominan dibandingkan k-NN, NBC dan DT setelah menggunakan SMOTE pada analisis sentimen. Selain itu, nilai ROC bisa dilihat pada gambar 5 berikut.
Gambar 1. Nilai ROC algoritma DT, k-NN, NBC, dan SVM
Gambar  1  merupakan  nilai  ROC  ( Receiver  Operating  Characteristic )  yang  diproses  menggunakan  aplikasi RapidMiner untuk mengevaluasi performa dari algoritma DT, k-NN, NBC, dan SVM. Fungsi utama nilai ROC adalah untuk menunjukkan seberapa baik model mampu membedakan antara sentimen positif dan negatif dari data yang telah diberikan. Nilai ROC diperoleh dengan memplotting sensitivity ( True Positive Rate ) pada sumbu y dan 1-Specificity ( False  Positive  Rate )  pada  sumbu  x.  Semakin  besar  nilai  ROC,  semakin  baik  kinerja  model  dalam  membedakan sentimen  positif  dan  negatif  dari  data  yang  ada.  Nilai  ROC  yang  sempurna  adalah  1,  sedangkan  nilai  ROC  0.5

## Building of Informatics, Technology and Science (BITS)
Volume 4, No 4, Maret 2023 Page: 1899−1914 ISSN 2684-8910 (media cetak) ISSN 2685-3310 (media online) DOI 10.47065/bits.v4i4.3231
menunjukkan  bahwa  model  tidak  memiliki  kemampuan  untuk  membedakan  antara  sentimen  positif  dan  negatif. Dalam analisis sentimen, ROC dapat  membantu memperbaiki model dan meningkatkan akurasi serta efisiensi  dari model tersebut. Nilai ROC yang tinggi menandakan model memiliki sensitivitas yang baik dan mampu membedakan sentimen  positif  dan  negatif  secara  akurat,  sehingga  dapat  membantu  pengambilan  keputusan  yang  lebih  baik berdasarkan data sentimen yang dianalisis. Dengan demikian dapat diketahui bahwa algoritma DT, k-NN dan SVM dapat  digunakan  sebagai  model  dalam  analisis  sentimen  konsumen  terhadap food,  services,  and  value pada  bisnis kuliner di Kota Makassar sebagaimana rekomendasi website Tripadvisor.
Berdasarkan hasil analisis sentimen konsumen terkait dengan food, services, and value dalam konteks wisata kuliner  di  kota  Makassar,  terdapat  beberapa  rekomendasi  untuk  meningkatkan  kualitas  layanan  dan  pengalaman pengunjung. Pertama, perlu meningkatkan variasi menu yang ditawarkan dengan mempertimbangkan preferensi lokal dan budaya, serta  perlu dipertimbangkan harga yang bersaing  dan memberikan nilai yang sepadan dengan kualitas makanan dan layanan yang diberikan. Hal ini merujuk pada hasil TF-IDF berdasarkan klasifikasi dimensi tangible . Kedua, peningkatan kualitas pelayanan dapat dilakukan dengan memperhatikan keramahan, kecepatan pelayanan, dan kebersihan  tempat  makan.  Hal  ini  merujuk  pada  hasil  TF-IDF  berdasarkan  klasifikasi  dimensi responsiveness, reliability,  assurance,  and  empathy. Dengan  implementasi  rekomendasi  ini,  diharapkan  dapat  meningkatkan pengalaman wisata kuliner di kota Makassar dan meningkatkan daya tarik wisata kuliner di kota tersebut.

## 4. KESIMPULAN
Hasil  penelitian  ini  menunjukkan  bahwa  rekomendasi  untuk  meningkatkan  kualitas  layanan  dan  pengalaman pengunjung. Pertama, perlu meningkatkan variasi menu yang ditawarkan dengan mempertimbangkan preferensi lokal dan budaya, serta  perlu dipertimbangkan harga yang bersaing  dan memberikan nilai yang sepadan dengan kualitas makanan  dan  layanan  yang  diberikan.  Rekomendasi  tersebut  merujuk  pada  hasil  TF-IDF  berdasarkan  klasifikasi dimensi tangible ,  seperti food, tempat, nyaman, restaurant, ruangan  Kedua, peningkatan kualitas pelayanan dapat dilakukan  dengan  memperhatikan  keramahan,  kecepatan  pelayanan,  dan  kebersihan  tempat  makan.  Rekomendasi tersebut  merujuk  pada  hasil  TF-IDF  berdasarkan  klasifikasi  dimensi responsiveness,  reliability,  assurance,  and empathy, sebagai berikut : cepat, menyajikan, disediakan, dilayani, memuaskan, membantu, menyenangkan, senang, dijamin, authentic, reasonable, istimewa, kenyang, ramah, dan sopan, istimewa, memuaskan, serta harga yang sesuai atua masuk akal, disambut, baik, dan terbaik. Sementara itu, hasil evaluasi performa algoritma menunjukkan bahwa algoritma  DT,  k-NN  dan  SVM  dapat  digunakan  sebagai  model  dalam  kerangka  kerja  CRISP-DM.  Algoritma  DT ketika menggunakan operator SMOTE dimana nilai akurasi yang dihasilkan sebesar 93.25%, presisi sebesar 88.74%, recall  sebesar  99.10%,  dan  f-measure  sebesar  93.62%.  Selanjutnya,  algoritma  k-NN  tanpa  menggunakan  operator SMOTE  menunjukkan  nilai  akurasi  sebesar  98.72%,  presisi  sebesar  98.72%,  recall  sebesar  100  %  dan  f-measure sebesar 99.36%. Meskipun demikian, nilai AUC yang dihasilkan ialah 0.905 (90.5%). Adapun, algoritma SVM ketika menggunakan  operator  SMOTE  menghasilkan  nilai  akurasi  sebesar  99.42%,  presisi  sebesar  100%,  recall  sebesar 98.84%, dan f-measure sebesar 99.42%. Adapun, nilai AUC yang dihasilkan ialah 1.000 (100%).

## REFERENCES
[1] A. N. S. Aidah, “Pengaruh Persepsi Harga dan Kualitas Produk Terhadap Keputusan Pembelian Konsumen,” PERFORMA J. Manaj. dan Start-Up Bisnis , vol. 5, no. 1, pp. 35–43, 2020, doi: 10.35134/ekobistek.v10i2.114.
[2] M. R. Sani, M. N. Alia, and D. Riyadi, “Sate Padang Sumatera Barat Sebagai Gastronomi Unggulan di Indonesia,” J. Gastron. Tour. , vol. 3, no. 2, pp. 103–111, 2016, [Online]. Available: http://journal.um- surabaya.ac.id/index.php/JKM/article/view/2203
[3] A. M. Raharjo, C. Djoko, and E. Melini, “Identifikasi Permasalahan Desain Identitas Visual Restoran Gado-Gado Boplo,” in Koma DKV 2021 , 2022, vol. 2, no. 2021, pp. 37–44.
[4] I. A. Mastan and Y. Toni, “Analisis Sentimen terhadap Tempat Kuliner Ayam Gedebuk dari Komentar Pengunjung dengan Menggunakan Naive Bayes Classifier,” J. Bus. Audit Inf. Syst. , vol. 3, no. 1, pp. 42–50, 2020.
[5] S. A. Azzahra and A. Wibowo, “Analisis Sentimen Multi-Aspek Berbasis Konversi Ikon Emosi dengan Algoritme Naïve Bayes untuk Ulasan Wisata Kuliner Pada Web Tripadvisor,” J. Teknol. Inf. dan Ilmu Komput. , vol. 7, no. 4, pp. 737–743, 2020, doi: 10.25126/jtiik.2020731907.
[6] M. R. Fauzi, R. A. Pratama, P. Laksono, and P. Eosina, “Analisis Big Data Sentimen Konsumen UMKM Sektor  Kuliner Menggunakan  Multi-Label  k-Nearest  Neighbor,” Krea-TIF    J.  Tek.  Inform. ,  vol.  9,  no.  1,  pp.  9–20,  2021,  doi: 10.32832/kreatif.v9i1.3587.
[7] R. Sari, “Analisis Sentimen Review Restoran menggunakan Algoritma Naive Bayes berbasis Particle Swarm Optimization,” J. Inform. , vol. 6, no. 1, pp. 23–28, 2019, doi: 10.31311/ji.v6i1.4695.
[8] Y.  A.  Singgalen,  “Analisis  Sentimen  Wisatawan  terhadap  Taman  Nasional  Bunaken  dan  Top  10  Hotel  Rekomendasi Tripadvisor Menggunakan Algoritma SVM dan DT berbasis CRISP-DM,” J. Comput. Syst. Informatics , vol. 4, no. 2, pp. 367–379, 2023, doi: 10.47065/josyc.v4i2.3092.
[9] Y. A. Singgalen, “Analisis Perilaku Wisatawan Berdasarkan Data Ulasan di Website Tripadvisor Menggunakan CRISP-DM : Wisata Minat Khusus Pendakian Gunung Rinjani dan Gunung Bromo,” J. Comput. Syst. Informatics , vol. 4, no. 2, pp. 326– 338, 2023, doi: 10.47065/josyc.v4i2.3042.
[10]  Y. A. Singgalen, “Analisis Sentimen Pengunjung Pulau Komodo dan Pulau Rinca di Website Tripadvisor Berbasis CRISP- DM,” J. Inf. Syst. Res. , vol. 4, no. 2, pp. 614–625, 2023, doi: 10.47065/josh.v4i2.2999.

## Building of Informatics, Technology and Science (BITS)
[11]  Y.  A.  Singgalen,  “Analisis  Sentimen  Wisatawan  Melalui  Data  Ulasan  Candi  Borobudur  di  Tripadvisor  Menggunakan Algoritma  Naïve  Bayes  Classifier,” Build.  Informatics,  Technol.  Sci. ,  vol.  4,  no.  3,  p.  1343−1352,  2022,  doi: 10.47065/bits.v4i3.2486.
[12]  Y.  A.  Singgalen,  “Analisis  Performa  Algoritma  NBC  ,  DT  ,  SVM  dalam  Klasifikasi  Data  Ulasan  Pengunjung  Candi Borobudur  Berbasis  CRISP-DM,” Build.  Informatics,  Technol.  Sci. ,  vol.  4,  no.  3,  pp.  1634–1646,  2022,  doi: 10.47065/bits.v4i3.2766.
[13]  S. K. S. Conde, C. T. Hernandez, E. M. Huerta, G. I. Tellez, and A. T. Lopez, “Analysis of Service Quality in the Restaurant Sector in the State of Tlaxcala Using The Servqual Model,” J. Econ. Financ. Manag. Stud. , vol. 5, no. 3, pp. 871–880, 2022, doi: 10.47191/jefms/v5-i3-37.
[14]  A. M. Putra, I. N. J. Ariana, A. S. Sulistyawati, I. N. T. Sutaguna, and N. Narottama, “Pengolahan dan Pengemasan Kuliner Lokal di Desa Wisata Tista Kecamatan Kerambitan Kabupaten Tabanan,” Bul. Udayana Mengabdi , vol. 21, no. 4, pp. 326– 331, 2022.
[15]  Samtono,  E.  Rahayu,  and  Y.  D.  Risyanti,  “Upaya  Pengembangan  Ekonomi  Kreatif  Sektor  Wisata  Kuliner  Kampung Singkong,” Reson.  J. Ilm. Pengabdi. Masy. , vol. 6, no. 2, pp. 153–161, 2022.
[16]  S. Utami, “Kuliner Sebagai Identitas Budaya: Perspektif Komunikasi Lintas Budaya,” Cover. J. Strateg. Commun. , vol. 8, no. 2, pp. 36–44, 2018, doi: 10.35814/coverage.v8i2.588.
[17]  Rusmaniah, Herman, P. D. Indriyani, R. M. Sari, and D. A. Nugroho, “Pelestarian Kuliner Lokal Jengkol Tahilala Sebagai Warisan  Dan  Perwujudan  Nilai  Budaya  Banjar  Di  Desa  Pingaran,” Anterior  J. ,  vol.  21,  no.  3,  pp.  57–61,  2022,  doi: 10.33084/anterior.v21i3.3502.
[18]  R.  Annisa,  “Analisis  Komparasi Algoritma Klasifikasi Data  Mining  Untuk  Prediksi  Penderita  Penyakit Jantung,” J.  Tek. Inform. Kaputama , vol. 3, no. 1, pp. 22–28, 2019, [Online]. Available:
https://jurnal.kaputama.ac.id/index.php/JTIK/article/view/141/156
[19]  S. Dewi, “Komparasi Metode Algoritma Data Mining pada Prediksi Uji Kelayakan Credit Approval pada Calon Nasabah Kredit Perbankan,” J. Khatulistiwa Inform. , vol. 7, no. 1, pp. 59–65, 2019, doi: 10.31294/jki.v7i1.5744.
[20]  R. Azmatul Barro, I. D. Sulvianti, and M. Afendi, “Penerapan Synthetic Minority Oversampling Technique (Smote) Terhadap Data Tidak Seimbang Pada Pembuatan Model Komposisi Jamu,” Xplore J. Stat. , vol. 1, no. 1, pp. 1–6, 2013.
[21]  F. F. Haranto and B. W. Sari, “Implementasi Support Vector Machine Untuk Analisis Sentimen Pengguna Twitter Terhadap Pelayanan Telkom Dan Biznet,” J. Pilar Nusa Mandiri , vol. 15, no. 2, pp. 171–176, 2019, doi: 10.33480/pilar.v15i2.699.
[22]  S.  W.  U.  Vitandy,  A.  A.  Supianto,  and  F.  A.  Bachtiar,  “Analisis  Sentimen  Evaluasi  Kinerja  Dosen  menggunakan  Term Frequency- Inverse Document Frequency dan Naïve Bayes Classifier,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. , vol. 3, no. 6, pp. 6080–6088, 2019, [Online]. Available: https://j-ptiik.ub.ac.id/index.php/j-ptiik/article/view/5645
[23]  R. Kosasih and A. Alberto, “Analisis Sentimen Produk Permainan Menggunakan Metode TF-IDF Dan Algoritma K-Nearest Neighbor,” InfoTekJar  J. Nas. Inform. dan Teknol. Jar. , vol. 6, no. 1, pp. 134–139, 2021.
[24]  M. Y. Ardiansyah, M. A. Fauzi, and S. Adinugroho, “Penerapan Term Frequency-Modified Inverse Document Frequency pada Analisis Sentimen Ulasan Barang menggunakan Metode Learning Vector Quantization,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. , vol. 3, no. 6, pp. 5592–5598, 2019, [Online]. Available: http://j-ptiik.ub.ac.id
[25]  M.  I.  Alfarizi,  L.  Syafaah,  and  M.  Lestandy,  “Emotional  Text  Classification  Using  TF-IDF  (Term  Frequency-Inverse Document  Frequency)  And  LSTM  (Long  Short-Term  Memory),” JUITA    J.  Inform. ,  vol.  10,  no.  2,  p.  225,  2022,  doi: 10.30595/juita.v10i2.13262.
[26]  E. B. S. Rayhan Rahmanda, “JURNAL RESTI Word2Vec on Sentiment Analysis with Synthetic Minority Oversampling,” J. RESTI , vol. 5, no. 2, pp. 599–605, 2022.
[27]  S.  Sofyan  and  A.  Prasetyo,  “Penerapan  Synthetic  Minority  Oversampling  Technique  (SMOTE)  Terhadap  Data  Tidak Seimbang Pada Tingkat Pendapatan Pekerja Informal Di Provinsi D.I. Yogyakarta Tahun 2019,” in Seminar Nasional Official Statistics , 2021, pp. 868–877. doi: 10.34123/semnasoffstat.v2021i1.1081.
[28]  R. A. Barro, I. D. Sulvianti, and M. Afendi, “Penerapan Synthetic Minority Oversampling Technique (Smote) Terhadap Data Tidak Seimbang Pada Pembuatan Model Komposisi Jamu,” Xplore J. Stat. , vol. 1, no. 1, pp. 1–6, 2013.
[29]  Y.  E.  Kurniawati,  “Class  Imbalanced  Learning  Menggunakan Algoritma  Synthetic  Minority Over-sampling Technique  – Nominal  (SMOTE-N)  pada  Dataset  Tuberculosis  Anak,” J.  Buana  Inform. ,  vol.  10,  no.  2,  pp.  134–143,  2019,  doi: 10.24002/jbi.v10i2.2441.
[30]  O. Heranova, “Synthetic Minority Oversampling Technique pada Averaged One Dependence Estimators untuk Klasifikasi Credit  Scoring,” J.  RESTI  (Rekayasa  Sist.  dan  Teknol.  Informasi) ,  vol.  3,  no.  3,  pp.  443–450,  2019,  doi: 10.29207/resti.v3i3.1275.
[31]  K.  U.  Syaliman,  “Enhance  the  Accuracy  of  K-Nearest  Neighbor  (  K-Nn  )  for  Unbalanced  Class  Data  Using  Synthetic Minority Oversampling Technique ( Smote ) and Gain Ratio ( Gr ),” J. Infokum , vol. 10, no. 1, pp. 188–195, 2021.
[32]  M.  W.  Pertiwi,  M.  F.  Adiwisastra,  and  D.  Supriadi,  “Analisa  Komparasi  Menggunakan  5  Metode  Data  Mining  dalam Klasifikasi Persentase Wanita Sudah menikah di Usia 15-49 yang Memakai Alat KB (Keluarga Berencana),” J. Khatulistiwa Inform. , vol. 7, no. 1, pp. 37–42, 2019, doi: 10.31294/jki.v7i1.5741.
[33]  D. N. Fitriana and Y. Sibaroni, “Sentiment Analysis on KAI Twitter Post Using Multiclass Support Vector Machine (SVM),” J. RESTI (Rekayasa Sist. dan Teknol. Informasi) , vol. 4, no. 5, pp. 846–853, 2020, doi: 10.29207/resti.v4i5.2231.
[34]  A. Karim, “Perbandingan Prediksi Kemiskinan di Indonesia Menggunakan Support Vector Machine (SVM) dengan Regresi Linear,” J. Sains Mat. dan Stat. , vol. 6, no. 1, pp. 107–112, 2020, doi: 10.24014/jsms.v6i1.9259.
[35]  E.  A.  Nida,  “Analisis  Kinerja  Algoritma  Support  Vector  Machine  (SVM)  Guna  Pengambilan  Keputusan  Beli/Jual  Pada Saham PT Elnusa Tbk. (ELSA),” J. Transform. , vol. 17, no. 2, pp. 160–170, 2020, doi: 10.26623/transformatika.v17i2.1649.
[36]  N. L. W. S. R. Ginantra, C. P. Yanti, G. D. Prasetya, I. B. G. Sarasvandana, and I. K. A. G. Wiguna, “Analisis Sentimen Ulasan Villa di Ubud Menggunakan Metode Naive Bayes, Decision Tree, dan k-NN,” Janapati , vol. 11, no. 3, pp. 205–216, 2022.
[37]  W. Suteja and S. Wahyuningsih, “Invensi Budaya Kuliner Melalui Komodifikasi Sebagai Penunjang Kegiatan Pariwisata Di Kawasan  Wisata  Mataram,” Media  Bina  Ilm. ,  vol.  13,  no.  7,  pp.  1397–1404,  2018,  [Online].  Available: http://ejurnal.binawakya.or.id/index.php/

## Building of Informatics, Technology and Science (BITS)
Volume 4, No 4, Maret 2023 Page: 1899−1914 ISSN 2684-8910 (media cetak) ISSN 2685-3310 (media online) DOI 10.47065/bits.v4i4.3231
[38]  K. Sinaga, M. A. Nasiution, A. Yasir, and A. Hasoloan, “Pemanfaatan Teknologi Informasi untuk Meningkatkan Pemasaran Wisata Kuliner Halal pada Era New Normal,” Reswara  J. Pengabdi. Kpd. Masy. , vol. 2, no. 2, pp. 205–211, 2021.
[39]  U.  Khair,  Suriati,  and  Dharmawati,  “Pengenalan  Teknologi  Internet  Berbasis  Smartphone  Untuk  Wisata  Kuliner  Khas Melayu Bagi Ibu-Ibu Pengusaha Makanan Di Kecamatan Medan Labuhan,” J. Tunas , vol. 1, no. 1, pp. 45–49, 2019, doi: 10.30645/jtunas.v1i1.12.
[40]  I. A. Mastan and Y. Toni, “Menggunakan Metode Naive  Bayes Classifier Sentiment Analysis Of Chicken Culinary Place From Visitor Comments Uing Naive Bayes Classifier Method,” J. Bus. Audit Inf. Syst. , vol. 3, no. 1, pp. 42–50, 2020.
[41]  R. Asmara, A. Basuki, and M. U. H. Al Rasyid, “Analisis Sentimen Temporal Tentang Kuliner Di Kota Surabaya Berbasis Gender Menggunakan Bahasa Indonesia,” Technomedia J. , vol. 5, no. 1, pp. 67–81, 2020, doi: 10.33050/tmj.v5i1.1260.
[42]  M.  R.  Fauzi,  R.  A.  Pratama,  P.  Laksono,  and  P.  Eosina,  “Penerapan  Big  Data  Menggunakan  Algoritma  Multi-Label  K- Nearest Neighbor dalam Analisis Sentimen Konsumen UMKM Sektor Kuliner,” Krea-TIF  J. Tek. Inform. , vol. 9, no. 1, pp. 9–20, 2021, doi: 10.32832/kreatif.v9i1.3587.
[43]  H.  J.  Christanto  and  Y.  A.  Singgalen,  “Sentiment  Analysis  on  Customer  Perception  towards  Products  and  Services  of Restaurant in Labuan Bajo,” J. Inf. Syst. Informatics , vol. 4, no. 3, pp. 511–523, 2022, doi: 10.51519/journalisi.v4i3.276.
[44]  N. Sari and A. P. Siregar, “Pengaruh Food Quality, Price, Service Quality dan Perceived Value terhadap Customer Loyality pada Restoran Aneka Rasa Jambi dengan Customer Satisfaction sebagai Variabel Intervening,” J-MAS  J. Manaj. dan Sains , vol. 4, no. 2, pp. 368–374, 2019, doi: 10.33087/jmas.v4i2.121.
[45]  I. P. Trianata, “Upaya Supervisor dalam Meningkatkan Kualitas Pelayanan Pramusaji di Husk Restoran The Royal Beach Seminyak Bali,” J. Mhs. Pariwisata dan Bisnis , vol. 1, no. 8, pp. 2011–2033, 2022.