Analisis Sentimen Ulasan Aplikasi Tripadvisor Dengan Metode Support Vector Machine, K-Nearest Neighbor, Dan Naive Bayes
Antonius Mbay Ndapamuri 1 , Danny Manongga 2 , Ade Iriani 3 1,2,3 Universitas Kristen Satya Wacana, Jl. Diponegoro No.52-60, Salatiga, Indonesia Email: 972019007@student.uksw.edu 1 , danny.manongga@uksw.edu 2 , ade.iriani@uksw.edu 3
Abstrack – This study aims to classify reviews on the Tripadvisor application found on the Google Play store based on Word Cloud and Visual Network Explorer with the Support Vector Machine (SVM), K- Nearest Neighbor (K-NN), and Naïve Bayes algorithms. The research stage begins with data collection of  1,000  data  obtained  using  the  Web  Scraping  technique,  then  the  data  preprocessing  stage  and continues with the classification model using SVM, K-NN, and Naïve Bayes. Next, the evaluation of the model with the results of the SVM obtained the best accuracy of 89,8%. The final stage of visual analysis uses Visual Word Cloud and Visual Network Explorer to obtain user decision information in giving  positive  and  negative  reviews.  Complaints  often  appear  such  as  bad  applications,  not  bad applications, delete applications, and application errors, please fix the application, the application makes the  cellphone  slow  because  it  updates  frequently.  To  overcome  this  problem,  it  is  hoped  that  the Tripadvisor  application  will  further  improve  application  performance  by  updating  in  terms  of application usage to overcome the problems experienced by users.
Keywords  - Word  Cloud,  Network  Explorer,  Support  Vector  Machine,  K-Nearest  Neighbor,  Naive Bayes.
I ntisari –  Penelitian  ini  bertujuan  untuk  mengklasifikasikan  review  pada  aplikasi Tripadvisor yang terdapat pada Google Playstore berbasis Word Cloud dan Visual Network Explorer dengan algoritma Support Vector Machine (SVM), K-Nearest Neighbor (K-NN), dan Naïve Bayes. Tahapan penelitian dimulai dengan pengumpulan data sebanyak 1.000 data yang diperoleh dengan menggunakan teknik Web  Scraping,  kemudian  tahap  Preprocessing  data  dan  dilanjutkan  dengan  model  klasifikasi menggunakan  SVM,  K-NN,  dan  Naïve  Bayes.  Berikutnya  evaluasi  model  dengan  hasil  SVM memperoleh akurasi tebaik 89,8%. Tahap terakhir analisis visual menggunakan Visual Word Cloud dan Visual Network Explorer untuk mendapatkan informasi keputusan pengguna dalam memberikan Review positif dan negatif. Keluhan yang sering muncul seperti aplikasi jelek, aplikasi lumayan, hapus aplikasi, aplikasi error, aplikasinya tolong diperbaiki, aplikasi membuat hp jadi lemot karna sering update. Untuk mengatasi  masalah  tersebut  diharapkan  pihak  aplikasi  Tripadvisor  agar  lebih  meningkatkan  kinerja aplikasi dengan melakukan update dari segi penggunaan aplikasi agar mengatasi masalah yang dialami para pengguna.
Kata  Kunci - Word  Cloud,  Network  Explorer,  Support  Vector  Machine,  K-Nearest  Neighbor,  Naive Bayes.

## I. P ENDAHULUAN
Di era digital Indonesia, teknologi informasi sangat penting bagi pertumbuhan perusahaan. Teknologi  informasi  akan  sangat  penting  untuk  operasi  transaksi  normal,  berkala,  dan insidental, termasuk pertukaran barang dan layanan komputer, serta untuk memberikan banyak informasi dengan cepat dan akurat [1]. Pendidikan, bisnis, pemerintahan, dan komunikasi sosial hanyalah  beberapa  bidang  kehidupan  manusia  yang  telah  berubah  akibat  pertumbuhan
teknologi internet [2]. Perkembangan dunia teknologi saat ini telah mengalami perubahan yang sangat signifikan dari berbagai bidang, baik dari segi ekonomi, budaya, social, dan Pendidikan. Dengan  adanya  media online sangat  memudahkan  masyarakat  dalam  mengakses  informasi. Salah  satu  informasi  yang  dicari  oleh  para  pengguna  internet  adalah  informasi  mengenai destinasi  objek  wisata.  Seiring  perkembangan  zaman  kebutuhan  manusia  pun  semakin meningkat khususnya dalam memanfaatkan media online untuk mengakses lokasi objek wisata yang akan dikunnjungi.
Wisatawan merupakan salah satu variabel yang memberikan dampak signifikan terhadap pertumbuhan  ekonomi  suatu  daerah  untuk  meningkatkan  devisa  negara,  meningkatkan pendapatan di suatu daerah, meningkatkan kesempatan kerja, dan menghindari penyalahgunaan sumber  daya  alam  [3].  Sebelum  mengunjungi  suatu  destinasi  wisata,  pengunjung  perlu mengetahui  keadaan  di  sana.  Hal  ini  dibuktikan  melalui  evaluasi  atau  testimoni  yang ditinggalkan oleh pengunjung suatu lokasi[4]. Agar dapat dipahami bahwa wisatawan adalah orang yang melakukan perjalanan ke suatu lokasi atau karena alasan tertentu [5]. Didasari oleh tingginya  minat  terhadap  pariwisata  yang  merupakan  salah  satu  industri  penyumbang pertumbuhan perekonomian nasional. Hal ini dapat meningkatkan permintaan akan informasi dan memotivasi penyedia layanan untuk menciptakan teknologi baru guna menganalisis data dan menawarkan informasi dengan cepat dan efisien. Sebagian besar wisatawan dapat mencari informasi tentang destinasi objek wisata yang ingin mereka kunjungi menggunakan aplikasi tripadvisor. Aplikasi tripadvisor merupakan salah satu aplikasi terpercaya dan terkenal di dunia yang menawarkan review detail mulai dari tempat wisata sampai dengan hotel yang tepat untuk disewa.  Adanya  berbagai review pada  aplikasi tripadvisor ini  sangat  bermanfaat  bagi wisatawan karena dapat menjadi tambahan informasi mengenai tempat tujuan, transportasi, dan juga akomodasi.
Tujuan dari penelitian ini adalah untuk mengklasifikasi review sentimen positif dan negatif pada aplikasi tripadvisor berbasis word cloud dan network explorer dengan algoritma Support Vector Machine (SVM), K-Nearest Neighbor (K-NN), Naïve Bayes. Hasil dari penelitian ini akan  menjadi  gambaran  sentimen  terhadap  aplikasi tripadvisor apakah  opini  para  pengguna lebih  cenderung  berkomentar  positif  atau  negatif  dan  peneliti  melakukan  perbandingan  dari ketiga algoritma yang digunakan untuk menunjukan hasil akurasi, presisi, recall, dan f1-score serta menampilkan visual data yang mempengaruhi tingkat kepuasan para pengguna.

## II. S IGNIFIKANSI S TUDI

## A. Penelitian Terdahulu
Beberpa penelitian terdahulu yang menjadi acuan dalam melakukan penelitian ini seperti yang ditunjukan pada tabel.

## T ABEL I
P ENELITIAN TERDAHULU
Nomor Penulis Penelitian Terdahulu 1 Acep Saepulrohman[6] Analisis Sentimen Kepuasan Pengguna Aplikasi WhatsApp Menggunakan Algoritma Naïve Bayes Dan Support Vector Machine. Hasil klasifikasi menunjukan bahwa tingkat akurasi untuk kepuasan pengguna aplikasi Whatsapp berdasarkan algoritma Naïve Bayes adalah sebesar 70,40%, dan Support Vector Machine adalah sebesar 77,00%. 2 Nuraine Herlinawati[7] Analisis Sentimen Zoom Cloud Meetings Di Play Store Menggunakan Naïve Bayes Dan Support Vector Machine. Hasil dari pengujian menggunakan Naïve Bayes memperoleh nilai akurasi 74,37% dan Support Vector Machine memperoleh nilai akurasi 81,22%.

## B. Tinjauan Pustaka
Sentimen Analisys atau opinion mining merupakan proses memahami, mengekstrak  dan mengolah  data  tekstual  secara  otomatis  untuk  mendapatkan  informasi  sentimen  yang terkandung  dalam  suatu  kalimat  opini.  Analisis  sentimen  dilakukan  untuk  melihat  pendapat atau kecendrungan opini terhadap sebuah masalah atau objek oleh seseorang, apakah cenderung berpandangan  atau  beropini  negatif  atau  positif  [10].  Analisis  sentimen  adalah  kegiatan menganalisis  pendapat,  opini,  sikap,  atau  perasaan  tentang  suatu  produk,  subjek,  atau  isu tertentu  untuk  mengidentifikasi  apakah  mengandung  sentimen  positif  atau  negatif.  Analisis sentimen adalah prosedur yang digunakan untuk menentukan isi suatu dataset berupa opini atau pandangan (sentimen) berupa teks tentang suatu isu atau peristiwa yang bersifat positif, negatif, atau  netral.  Analisis  sentimen  adalah  salah  satu  domain  dari  Natural  Language  Processing (NLP) [11]. Analisis sentimen, juga dikenal sebagai ekstraksi data otomatis, pemrosesan, dan pemahaman data tekstual, adalah prosesnya. Menganalisis opini publik atau data opini untuk menyimpulkan  data  yang  diperiksa  sesudahnya[12]Analisis  sentimen  adalah  kegiatan menganalisis  pendapat,  opini,  sikap,  atau  perasaan  tentang  suatu  produk,  subjek,  atau  isu tertentu untuk mengidentifikasi apakah mengandung sentimen positif atau negatif.
Support Vector Machine (SVM) merupakan metode yang efektif untuk mengklasifikasikan dan  meregresikan  berbagai  masalah  linier  dan  non-linier  adalah  mesin  vektor.  Penggunaan aplikasi  ini  memiliki  keuntungan  karena  memiliki  dimensi  pemanfaatan  fungsi  kernel  yang cukup  tinggi[9].  K-Nearest  Neigbor  (K-NN)  merupakan  algoritma  klasifikai  untuk mengelompokaan data baru berdasarkan jarak suatu data baru ke beberapa data atau tetangga terdekatnya. Algoritma K-NN bekerja dengan cara mencari jumlah kpola (diantara semua pola latih  yang  ada  pada  semua  kelas)  yang  paling  dekat  dengan  pola  masukan,  kemudian menentukan  kelas  dengan  keputusan  berdasarkan  jumlah  pola  yang  paling  banyak  diantara kpola  tersebut  [14].  Klasifikasi  Nave  Bayes  (NB),  yang  sering  digunakan,  adalah  teknik pembelajaran berdasarkan teori Bayesian dan membuat asumsi kuat bahwa dampak nilai atribut pada kelas tertentu tidak bergantung pada kelas tersebut atau dipengaruhi oleh atribut lainnya. Teori Bayes adalah teori klasifikasi statistik yang menggunakan data historis untuk meramalkan karakteristik kelas dari anggota probabilitas[15].

## C. Metode Penelitian
Penelitian ini melakakukan analisis review pengguna dari aplikasi tripadvisor pada google play  store dengan  menggunakan  metode  Support  Vector  Machine,  K-Nearest  Neighbor  dan Naïve Bayes dengan tahapan alur penelitian yang ditunjukan pada gambar 1.
3 Ari Putra Wibowo [8] Komparasi Metode Naïve Bayes Dan K-Nearest Neighbor Terhadap Analisis Sentimen Pengguna Aplikasi Peduli Lindungi. Hasil dari penelitian menggunakan algoritma Naïve Bayes di peroleh hasil akurasi 70,46% dan untuk algoritma K-Nearest Neighbor di peroleh akurasi 73,33%. 4 Susanti Fransiska[9] Sentiment Analysis Provider by.U on Google Play Store Reviews with TF-IDF and Support Vector Machine (SVM) Method. Hasil klasifikasi sentimen menggunakan Support Vector Machine (SVM) dan TF-IDF sebagai ekstraksi fitur. TF-IDF+SVM dengan 5-Fold Validation menghasilkan akurasi yang cukup baik dengan akurasi rata-rata 84,7%, presisi 84,9%, recall 84,7%, dan f sebesar 84,8%.

## Gambar 1. Tahapan Alur Penelitian

## 1. Pengumpulan Data
Proses  pengumpulan  data  dilakukan  dengan  web  scraping  dan  menggunakan  Bahasa pemrograman  phyton  yang  telah  tersedia  pada google  colab . Review pengguna  aplikasi tripadvisor pada google playstore merupakan data yang diambil sebagai data yang diperlukan untuk proses analisis sentimen. Proses scraping data hanya focus dalam kategori newest (data terbaru),  dari review data  yang  telah  terkumpul  dilakukan  pelabelan  klasifikasi  yaitu  kelas positif dan kelas negatif. Dataset yang dikumpulkan adalah data ulasan yang ada pada aplikasi tripadvisor sebanyak  1000  dataset  dan  dibagi  menjadi  dua  bagian  yaitu  dasatet  positif berjumlah 600 data, dataset negatif berjumlah 400 data.

## 2. Preprocessing Data
Pada  proses  ini  dilakukan  preprocessing  data  terlebih  dahulu  agar  sesuai  bentuk  ejaan sehingga  dapat  di  proses  dengan  mudah  oleh text  minning . Text  mining merupakan  proses menganalisis pencarian teks yang menjadi sebuah informasi penting dalam mencari hasil yang spesifik. Tahapan preprocessing data  ditunjukan pada gambar 2.
Gambar 2. Tahap Preprocessing Data

## 3. Model Klasifikasi
Langkah  selanjutnya  dilakukan  pemodelan  klasifikasi  yang  diimplementasikan menggunakan tools orange dan tiga algoritma machine learning yaitu SVM, K-NN dan Naive Bayes. Untuk mendapatkan hasil accuracy, precision, recall, dan f1- score terbesar antara tiga proses  pemodelan  klasifikasi  yang  digunakan,  tahap  pemodelan  klasifikasi  ini  diselesaikan secara  terpisah.  Penelitian  ini  menggunakan  kumpulan  data  training  untuk  pemodelan klasifikasi, data training yang digunakan sebanyak 80% dari total dataset.

## 4. Evaluasi Model Klasifikasi
Tujuan  dari  fase  terakhir  penelitian  ini  adalah  untuk  menilai  seberapa  baik  model klasifikasi machine learning yang digunakan pada fase sebelumnya. Pengukuran penilaian ini digunakan  untuk  membandingkan  efisiensi  dan  kinerja  dari  tiga  model  klasifikasi  machine learning yang digunakan. Confusion matrix adalah salah satu metode yang digunakan untuk menilai keefektifan model klasifikasi machine learning. Confusion matrix adalah matriks 2 x 2 untuk  merangkum  seluruh  hasil  klasifikasi  benar  dan  salah  yang  ditampilkan  pada  Tabel  1. Empat variabel pengukuran dibuat dari kombinasi data true positive (TP), false positive (FP), false  negative  (FN),  dan  true  negative  (TN),  berdasarkan  hasil  dari  confusion  matrix,  dapat menghasilkan nilai accuracy, nilai precision, nilai recall, dan f1-score .

## T ABEL II
C ONFUSION M ATRIX Kl as if ik as i Ac tu al
Klasifikasi Predicted Negatif Positif Negatif True positive (TP) False positive (FP) Positif False negative (FN) True negative (TN)
a. Accuracy
Tingkat  akurasi  klasifikasi  model  ditunjukkan  dengan  akurasi.  Untuk  mengukur  kinerja model, data uji harus secara akurat disiapkan atau dipahami sebagai sejauh mana nilai yang diproyeksikan  cocok  dengan  nilai  sebenarnya.  Rumus  perhitungan  accuracy  sebagai berikut:
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = !"#!$ !"#%"#%$#!$ ∗ 100% (1)
b. Precision
Precision adalah sejauh mana hasil dan data prediksi model akurat atau tingkat di mana sistem bereaksi terhadap permintaan informasi pengguna dan menghasilkan hasil. Rumus perhitungan precision sebagai berikut:
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = !" !"#%" ∗ 100% (2)
c. Recall
Recall menguraikan keberhasilan model dalam inovasi informasi. Ini juga dapat disebut sebagai hitungan dokumen teks penting. Rumus perhitungan recall sebagai berikut:
𝑅𝑒𝑐𝑎𝑙𝑙 = !"
!"#%$ ∗ 100% (3)
d. F1-Score
F1-Score  adalah  perbandingan  rata-rata  dari  precision  dan  recall.  F1-Score  diperoleh dengan gambaran kinerja performa algoritma untuk berbagai ukuran dataset yang berbeda dan  menghasilkan  analisis  yang  jauh  lebih  baik.  Rumus  perhitungan  f1-score  sebagai berikut:
𝐹1 − 𝑠𝑐𝑜𝑟𝑒 = &∗"()*+,+-.∗/)*011
"()*+,+-.#/)*011 ∗ 100% (4)

## D. Analisis Visual Data
Selanjutnya dilakukan proses visual data dengan menggunakan network explorer dan word cloud . Network Explorer merupakan jaringan dari kata yang paling banyak berhubungan dan seberapa dekat hubungan itu terjadi, semakin sering kata terhubung maka semakin tebal garis
frekuensi  dari  kata  tersebut. Word  Cloud adalah  kata  yang  paling  banyak  muncul,  semakin sering satu kata digunakan, maka semakin besar ukuran kata ditampilkan pada word cloud.

## III. H ASIL DAN P EMBAHASAN

## A. Pengumpulan Data
Pada tahap pengumpulan data ini dilakukan proses web scrapingg untuk mengumpulkan dataset  yang  didapat  dari  ulasan  aplikasi tripadvisor pada  situs google  playstore .  Hasil  dari scrapping data ulasan pada tripadvisor ditunjukan pada gambar dibawah ini.
Gambar 3. Tahap Pengumpulan Data
Gambar 4. Persentase Sentimen Pengguna Aplikasi Tripadvisor
Dataset yang dikumpulkan adalah data ulasan aplikasi tripadvisor pada google playstore dengan  jangka  waktu  7  januari  2018  hingga  28  februari  2023  sebanyak  1000  data  yang  di peroleh menggunakan web scraping. Data yang di ambil adalah data dengan rating bintang 1, 2, 3, 4 dan 5 dan kemudian sentimen para pengguna dikelompokan menjadi dua bagian, yaitu sentimen  positif  sebanyak  600  data  ulasan  dan  sentimen  negatif  sebanyak  400  data  ulasan. Selanjutnya dilakukan anotasi secara manual oleh dua anatator dan menghasilkan persentase positif  sebanyak  60%  dan  persentase  negatif  sebanyak  40%.  Gambar  4,  diatas  menunjukan bahwa  hasil  dari  anotasi  sentimen  pengguna  pada  ulasan  aplikasi tripadvisor ,  lebih  banyak bersentimen positif dibandingkan dengan yang bersentimen negatif.
60% 40% Persentase Sentimen Positif Negatif

## B. Preprocessing Data
Data  ulasan  pada  aplikasi tripadvisor yang  telah  dikumpulkan  berjumlah  1000  data, diantaranya data sentimen postif berjumlah 600 data dan sentimen negatif berjumlah 400 data dan  kemudian    dilakukan  preprocessing.  Kata  yang  digunakan  pada  ulasan  pengguna merupakan data teks dalam bentuk belum terstukutur sehingga perlu di olah menjadi informasi yang bermanfaat. Adapun tahapan yang telah dilakukan dalam preprocessing data yaitu proeses normalization, case folding, tokenizing, dan stopword, yang ditunjukan dalam tabel.
1. Normalization merupakan proses untuk memperbaiki ejaan kata yang salah menjadi kata yang  sesuai.  Contohnya  “aplikasi  yg  cukup  membantu  thanks tripadvisor ”  menjadi “aplikasi yang cukup membantu terimakasih tripadvisor ”.
T ABEL III
P ROSES N ORMALIZATION
Sebelum Normalization Sesudah Normalization
Apk yg sangat bermanfaat u/ mencari info traveling terutama ttg hotel. Kalo bisa ditambahkan opsi supaya pihak hotel membaca review pengunjung. Sangat Bagos, Makenye Saya Kasih BINTANG lima. Semoga Aplikasi TripAdvisor Semakin Lebih JAYA And Semakin di MAJU Ke Depannya.
Aplikasi yang sangat bermanfaat untuk mencari informasi traveling terutama tentang hotel. Kalo bisa ditambahkan pilihan supaya pihak hotel membaca ulasan pengunjung. Sangat bagus, makanya saya kasih bintang lima. Semoga aplikasi tripadvisor semakin lebih jaya dan semakin maju ke depannya.
2. Case  Folding  merupakan  proses  perubahan  huruf  besar  menjadi  huruf  kecil,  proses  ini dilakukan  untuk  mengelompokan  istilah  kata-kata  yang  memiliki  arti  yang  sama. Contohnya  “APLIKASI  yang  CUKUP  membantu  Terimakasih tripadvisor ”  menjadi “aplikasi yang cukup membantu thanks tripadvisor ”. T ABEL IV

## P ROSES C ASE F OLDING
Sebelum Case Folding Sesudah Case Folding Apk yg sangat bermanfaat u/ mencari info traveling terutama ttg hotel. Kalo bisa ditambahkan opsi supaya pihak hotel membaca review pengunjung. Sangat Bagos, Makenye Saya Kasih BINTANG lima. Semoga Aplikasi TripAdvisor Semakin Lebih JAYA And Semakin di MAJU Ke Depannya.
aplikasi yang sangat bermanfaat untuk mencari informasi traveling terutama tentang hotel. kalo bisa ditambahkan pilihan supaya pihak hotel membaca ulasan pengunjung. sangat bagus, makanya saya kasih bintang lima. semoga aplikasi tripadvisor semakin lebih jaya dan semakin maju ke depannya.
3. Tokenizing merupakan proses memisahkan kalimat untuk menjadi beberapa bagian kata, tujuan proses ini yaitu mendapatkan bagian-bagian kata yang dijadikan nilai dari sebuah matriks dokumen. Contohnya “Aplikasi yang cukup membantu terimakasih tripadvisor ” menjadi “Aplikasi”, “yang”, “cukup”, “membantu”, “terimakasih”, “ tripadvisor ”.

## T ABEL V P ROSES T OKENIZING
Sebelum Tokenizing Sesudah Tokenizing Aplikasi yang sangat bermanfaat untuk mencari informasi traveling terutama tentang hotel. kalo bisa ditambahkan pilihan supaya pihak hotel membaca ulasan pengunjung.
Sangat bagus, makanya saya kasih bintang lima. semoga aplikasi tripadvisor semakin lebih jaya dan semakin maju ke depannya.
“Aplikasi”, “yang”, “sangat”, “bermanfaat”, “untuk”, “mencari”, “informasi”, “traveling”, “terutama”, “tentang”, “hotel”. “kalo”, “bisa”, “ditambahkan”, “pilihan”, “supaya”, “pihak”, “hotel”, “membaca”, “ulasan”, “pengunjung”. “Sangat”, “bagus”, “makanya”, “saya”, “kasih”, “bintang” “lima”. “semoga”, “aplikasi”,
“ tripadvisor ”, “semakin”, “lebih”, “jaya”, “dan”, “semakin” “maju”, “ke”, “depannya”.
4. Stopword  merupakan  proses  menghilangkan  kata  yang  tidak  berpengaruh  dalam  suatu kalimat  tetapi  tidak  mengurangi  informasi  dari  sebuah  kalimat  itu  jika  dihilangkan. Contohnya “Aplikasi yang cukup membantu terimakasih tripadvisor ” menjadi “Aplikasi”, “membantu”, “terimakasih”, “ tripadvisor ”.
T ABEL VI
P ROSES S TOPWORD
Sebelum Stopword Sesudah Stopword Aplikasi yang sangat bermanfaat untuk mencari informasi traveling terutama tentang hotel. kalo bisa ditambahkan pilihan supaya pihak hotel membaca ulasan pengunjung.
Sangat bagus, makanya saya kasih bintang lima. semoga aplikasi tripadvisor semakin lebih jaya dan semakin maju ke depannya.
“Aplikasi”, “bermanfaat”, “mencari”, “informasi”, “travelling”, “tentang”, “hotel”. “ditambahkan”, “pilihan”, “supaya”, “pihak”, “hotel”, “membaca”, “ulasan”, “pengunjung”. “Bagus”, “makanya”, “kasih”, “bintang”, “lima”. “aplikasi”, “ tripadvisor ”, “semakin”, “jaya”, “semakin”, “maju”.

## C. Pembagian Dataset Untuk Model Klasifikasi
Pada tahap ini dilakukan klasifikasi sentimen positif dan negatif dengan pemodelan data yang  dibagi  menjadi  dua  bagian  yaitu  data  training  dan  data  testing  dan  selanjutnya diklasifikasikan  menggunakan  algoritma  Support  Vector  Machine,  K-Nearest  Neighbor  dan Naïve  Bayes,  pembagian  data  training  dan  data  testing  merupakan  data  yang  yang  sudah memiliki label kelas. Tabel 5 menunjukan hasil dari pembagian data yang menjadi 80% : 20% skenario.
T ABEL VII
D ATA T RAINING D AN D ATA T ESTING Aplikasi Klasifikasi  Data Train 80% Data Test 20% Jumlah Tripadvisor Positif 500 100 600 Negatif 300 100 400 Total 800 200 1000
Setelah  dilakukan  pembagian  pemodelan  klasifikasi  data  training  dan  data  testing selanjutnya    dilakukan  perbandingan  tingkat  aAccuracy,  precision,  recall,  dan  f1-score menggunakan confusion matrix untuk membantu membangun model klasifikasi  terbaik dalam proses pengujian dan dilakukan Predictions untuk menentukan perkiraan data yang benar dan salah dari hasil proses klasifikasi.

## D. Hasil Evaluasi Model Klasifikasi
Model  klasifikasi  SVM,  K-NN,  dan  Naïve  Bayes  yang  sudah  dilakukan  selanjutnya dilakukan evaluasi menggunakan confusion matrix untuk mendapat hasil dengan nilai accuracy, precision, recall, dan f1-score terbaik antara tiga algoritma pemodelan yang digunakan. Gambar 5, adalah confusion matrix model SVM. Actual values adalah data dengan ulasan aktual dan predicated values adalah data dengan ulasan prediksi. Dari ulasan yang digunakan dalam proses pengujian untuk sentimen positif dan negatif, menghasilkan empat kombinasi sebagai berikut.
1. True  positive mendapat  nilai  dengan  persentase  89,9%,  sebanyak  267  data  ulasan  dan mampu memprediksi benar sebagai label positif menggunakan model SVM.
2. False  positive mendapat  nilai  dengan  persentase  10,3%,  sebanyak  52  data  ulasan  dan mampu memprediksi salah sebagai label positif menggunakan model SVM.
3. False  negative mendapat  nilai  dengan  persentase  10,1%,  sebanyak  30  data  ulasan  dan mampu memprediksi salah sebagai label negatif menggunakan model SVM.
4. True  negative mendapat  nilai  dengan  persentase  89,7%,  sebanyak  451  data  ulasan  dan mampu memprediksi dengan benar sebagai label negatif menggunakan model SVM.
Gambar. 6 adalah confusion matrix model K-NN. Actual values adalah data dengan ulasan aktual dan predicated values adalah data dengan ulasan prediksi. Dari ulasan yang digunakan dalam proses pengujian untuk sentiment positif dan negatif, menghasilkan empat kombinasi sebagai berikut.

## Gambar 6. Confusion Matrix Model K-NN
1. True  positive mendapat  nilai  dengan  persentase  84,0%,  sebanyak  268  data  ulasan  dan mampu memprediksi benar sebagai label positif menggunakan model K-NN.
2. False  positive mendapat  nilai  dengan  persentase  16,0%,  sebanyak  51  data  ulasan  dan mampu memprediksi salah sebagai label positif menggunakan model K-NN.
3. False negative mendapat nilai dengan persentase 7,3%, sebanyak 35 data ulasan dan mampu memprediksi salah sebagai label negatif menggunakan model K-NN.
4. True  negative mendapat  nilai  dengan  persentase  92,7%,  sebanyak  446  data  ulasan  dan mampu memprediksi dengan benar sebagai label negatif menggunakan model K-NN.
Gambar. 7 adalah confusion matrix model Naïve Bayes. Actual values adalah data dengan ulasan  aktual  dan  predicated  values  adalah  data  dengan  ulasan  prediksi.  Dari  ulasan  yang digunakan dalam proses pengujian untuk sentiment positif dan negatif, menghasilkan empat kombinasi sebagai berikut.
Gambar 7 . Confusion Matrix Model Naïve Bayes
1. True  positive mendapat  nilai  dengan  persentase  90,0%,  sebanyak  287  data  ulasan  dan mampu memprediksi benar sebagai label positif menggunakan model Naïve Bayes.
2. False  positive mendapat  nilai  dengan  persentase  10,0%,  sebanyak  32  data  ulasan  dan
mampu memprediksi salah sebagai label positif menggunakan model Naïve Bayes.
3. False  negative mendapat  nilai  dengan  persentase  12,7%,  sebanyak  61  data  ulasan  dan mampu memprediksi salah sebagai label negatif menggunakan model Naïve Bayes.
4. True  negative mendapat nilai  dengan persentase  87,3%,  sebanyak  420  data  ulasan  dan mampu  memprediksi  dengan  benar  sebagai  label  negatif  menggunakan  model  Naïve Bayes.
Dari pengukuran evaluasi model menggunakan confusion matrix diperoleh perbandingan nilai accuracy, precision, recall, dan f1-score dari masing-masing model klasifikasi, yang terdiri dari model klasifikasi SVM, K-NN dan Naïve Bayes.
T ABEL VIII P ERBANDINGAN H ASIL A CCURACY , P RECISION , R ECALL , D AN F1-S CORE Model Klasifikasi SVM KNN Naïve Bayes Accuracy 89,8% 89,0% 88,6% Precision 89,7% 84,0% 90,0% Recall 89,9% 53,5% 87,6% F1-Score 89,8% 65,3% 88,8%
Hasil pengukuran dari masing-masing model klasifikasi pada tabel 7, menunjukan bahwa tingkat  akurasi  menggunakan  model  SVM  jauh  lebih  unggul  dengan  nilai  akurasi  tertinggi sebesar 89,8% sedangkan model klasifikasi K-NN memiliki akurasi sebesar 89,02% dan model model  klasifikasi  naïve  bayes  mimiliki  nilai  akurasi  paling  rendah  sebesar  88,65% dibandingkan dengan dua model klasifikasi lainnya. Model klasifikasi naïve bayes jauh lebih unggul  dengan  nilai  precision  tertinggi  sebesar  0,90,  model  klasifikasi  SVM  memiliki  nilai precision  sebesar  0,89,  dan  model  klasifikasi  K-NN  memiliki  nilai  precision  paling  rendah sebesar 0,84 dibandingkan dengan dua model klasifikasi lainnnya. Model klasifikasi SVM jauh lebih unggul dengan nilai recall tertinggi sebesar 0,89 sedangkan model klasifikasi naïve bayes memiliki nilai recall sebesar 0,87 dan model klasifikasi K-NN memiliki nilai precision paling rendah sebesar 0,53 dibandingkan dengan dua model klasifikasi lainnnya. Model klasifikasi SVM jauh lebih unggul dengan nilai recall tertinggi sebesar 0,89 sedangkan model klasifikasi naïve  bayes  memiliki  nilai  recall  sebesar  0,88  dan  model  klasifikasi  K-NN  memiliki  nilai precision  paling  rendah  sebesar  0,63  dibandingkan  dengan  dua  model  klasifikasi  lainnnya. Sehingga  dapat  disimpulkan  bahwa  SVM  merupakan  model  klasifikasi  terbaik  dengan performa tertinggi dalam memprediksi kelas.
T ABEL IX P ERBANDINGAN H ASIL P ENELITIAN S EBELUMNYA D AN M ODEL U SALAN Author Metode Accuracy Precision Recall F1-Score Acep Saepulrohman SVM Naïve Bayes 77,00% 70,40% - - - - - - Nuraine Herlinawati SVM Naïve Bayes 81,22% 74,37% - - - - - - Ari Putra Wibowo K-NN Naïve Bayes 73,33% 70,46% - - - - - - Susanti Fransiska SVM 84,70% 84,9% 84,7% 84,8% Antonius Mbay Ndapamuri SVM K-NN Naïve Bayes 89,80% 89,00% 88,60% 89,7% 84,0% 90,0% 89,9% 53,5% 87,6% 89,8% 65,3% 88,8%
Dari hasil pengukuran pada tabel 7 dan tabel 8 menunjukan perbandingan tingkat performa pada  masing-masing  motede  yang  digunakan  anatara  lain  yaitu  Acep  Saepulrohman  dan Nuraine Herlinawati menggunakan dua metode yaitu SVM menghasilkan nilai akurasi 77,00%, dan 81,22% meningkat menjadi 89,8%, dan Naïve Bayes menghasilkan nilai akurasi 70,40%, dan  74,37%  meningkat  menjadi  88,65%.  Penelitian  yang  dilakukan  oleh  Ari  Putra  Wibowo
menggunakan dua metode yaitu K-NN menghasilkan nilai akurasi 73,33% meningkat menjadi 89,02%,  dan  Naïve  Bayes  Menghasilkan  nilai  akurasi  70,46  mmeningkat  menjadi  88,65%. Selanjutnya  penelitian  yang  dilakukan  oleh  Susanti  Fransiska  menggunakan  metode  SVM menghasilakan  nilai  akurasi  84,7%  meningkat  menjadi  89,9%,  menghasilkan  nilai  precision 84,9% meningkat menjadi 0,89 atau 89%, menghasilkan nilai recall 84,7 meningkat menjadi 0,89 atau 89%, menghasilkan nilai f1-score 84,8 meningkat menjadi 0,89 atau 89%. Jadi dapat disimpulkan bahwa pada penelitian terdahulu metode SVM dengan nilai akuras tertinggi yaitu 84,7%, Naïve Bayes dengan nilai akurasi tertinggi yaitu 74,37%, dan K-NN sebesar 73,33%.

## E. Analisis Hasil Visual Data
Hasil  dari  sentimen  pada  aplikasi tripadvisor menunjukan  bahwa  para  pengguna  lebih banyak berkomentar dengan sentiment positif dibandingkan dengan yang berkomentar negatif, dengan presentase sebesar 60% dan 40%. Proses analisis sentimen positif dan sentiment negatif dengan menggunakan visual word cloud dan visual network explorer . Hasil uji visualisasi data dapat  menjadi  gambaran  untuk  memahami  apa  yang  menjadi  maksud  dari  ulasan  yang  di komentari pengguna aplikasi tripadvisor . Gambar 8 dan 9 menunjukan visual word cloud dan frekuensi visual network explorer kata dari sentimen positif maupun sentiment negatif.
Gambar 8. Hasil Visual Word Cloud

## Gambar 9. Hasil Visual Network Explorer
Hasil  visual  data  pada  gambar.  8  dan  gambar.  9,  menunjukan  banyaknya  kata  dengan sentimen  positif  seperti  “aplikasi”,  “membantu”,  “hotel”,  “bagus”,  “ tripadvisor ”,  “wisata”, “mencari”,  “mudah”,  “terimakasih”,  “informasi”,  “bermanfaat”,  “perjalanan”,  “lengkap”, “berguna”. Komentar yang kata-kata dengan frekuensi saling terhubung pada sentimen positif yaitu,  “aplikasi  sangat  membantu”,  “aplikasi  sangat  bagus”,  “aplikasi  sangat  bermanfaat mencari  informasi  wisata”,  terimakasih tripadvisor ”.  Hal  memperlihatkan  bahwa  para pengguna merasakan manfaat positif ketika sedang menggunakan aplikasi tripadvisor . Hasil visual data pada gambar. 8 dan gambar. 9, juga menunjukan banyaknya kata dengan sentimen negatif seperti, “aplikasi”, “lumayan”, “harga”, “coba”, “kecewa”, “error” “jelek”, “tolong”,  “susah”,  “update”,  “download”.  Komentar  yang  kata-kata  dengan  frekuensi  saling terhubung pada sentimen negatif yaitu, “aplikasi jelek “aplikasi lumayan”, “hapus aplikasi”, “aplikasi error”, “aplikasinya tolong diperbaiki”, “aplikasi membuat hp jadi lemot karna sering update”.  Hal  ini  memperlihatkan  kendala  dan  keluhan  para  pengguna  ketika  sedang menggunakan  aplikasi tripadvisor .  keluhan  yang  sering  muncul  pada  komentar  dengan sentimen negatif menunjukan bahwa performa aplikasi tripadvisor yang kurang baik. Untuk mengatasi masalah yang dirasakan para pengguna diharapkan pihak dari aplikasi tripadvisor agar lebih meningkatkan kinerja aplikasi dengan melakukan update versi terbaru yang lebih baik dari segi penggunaan aplikasi agar mengatasi masalah yang di alami para pengguna.

## IV. K ESIMPULAN
Dataset yang dikumpulkan adalah data review aplikasi tripadvisor pada google playstore periode 7 Januari 2018 sampai dengan 28 februari 2023 sebanyak 1000 data diperoleh dengan menggunakan web scraping. Hasil scrapping data menunjukkan bahwa 600 (60%) pengguna mengomentari data ulasan secara positif, dibandingkan dengan 400 (40%) komentar negatif. Pada  pengujian  evaluasi  model  klasifikasi  sentimen,  diperoleh  hasil  dengan  akurasi menggunakan  model  SVM  sebesar  89,8%,  model  K-NN  sebesar  89,02%,  dan  Naïve  Bayes sebesar 88,65%. Sehingga disimpulkan bahwa nilai dengan akurasi terbaik dalam pemodelan klasifikasi pada review aplikasi tripadvisor yaitu  menggunakan algoritma SVM dengan nilai akurasi sebesar 89,8%. Hasil pengukuran menggunakan visual word cloud dan visual network explorer menghasilkan  faktor  penyebab  yang  mempengaruhi  keputusan  pengguna  dalam memberikan review positif  dan  negatif.  Faktor  penyebab  yang  mempengaruhi  keputusan pengguna  untuk  memberikan review sentimen  positif  seperti,  aplikasi  sangat  membantu, aplikasi sangat bagus, aplikasi sangat berguna dalam mencari informasi wisata, dan terima kasih kepada tripadvisor .  Sebaliknya  faktor  penyebab  yang  mempengaruhi  keputusan  pengguna untuk  memberikan review sentimen  negatif  seperti,  aplikasi  sangat  jelek,  aplikasi  lumayan, menghapus aplikasi yang bikin berat hp, aplikasi error, dan terjadi bug, tolong diperbaiki, dan jangan terlalu sering update.

## R EFERENSI
[1]  S. Sri Utami, “Pengaruh Teknologi Informasi dalam Perkembangan Bisnis (Setyaningsih Sri  Utami)  PENGARUH  TEKNOLOGI  INFORMASI  DALAM  PERKEMBANGAN BISNIS.”
[2]  Y. Hapsari et al. , “Opinion Mining Terhadap Toko Online Di Media Sosial Menggunakan Algoritma Naïve Bayes (Studi Kasus: Akun Facebook Dugal Delivry),” vol. 03, no. 02, 2018.
[3]  M.  T.  Dewi,  A.  Herdiani,  and  D.  S.  Kusumo,  “Multi-Aspect  Sentiment  Analysis Komentar  Wisata  TripAdvisor  dengan  Rule-Based  Classifier  (Studi  Kasus :  Bandung Raya).”
[4]  R. Y. Hayuningtyas and R. Sari, “ANALISIS SENTIMEN OPINI PUBLIK BAHASA INDONESIA TERHADAP WISATA TMII MENGGUNAKAN NAÏVE BAYES DAN PSO,” Jurnal TECHNO Nusa Mandiri , vol. 16, no. 1, p. 37, 2019, [Online]. Available: http://nusamandiri.ac.id/
[5]  R.  Wulan  Sari  and  D.  Hartama, Seminar  Nasional  Sains  &  Teknologi  Informasi (SENSASI) Data Mining: Algoritma K-Means Pada Pengelompokkan Wisata Asing ke Indonesia Menurut Provinsi . 2018. [Online]. Available: http://seminar-id.com/semnas- sensasi2018.htmlPage|322
[6]  A. Saepulrohman, S. Saepudin, and D. Gustian, “Analisis Sentimen Kepuasan Pengguna Aplikasi  Whatsapp  Menggunakan  Algoritma  NaÃ¯ve  Bayes  Dan  Support  Vector Machine,” is  The  Best  Accounting  Information  Systems  and  Information  Technology Business Enterprise this is link for OJS usf@ , vol. 6, no. 2, pp. 91–105, Dec. 2021, doi: 10.34010/aisthebest.v6i2.4919.
[7]  N. Herlinawati et al. , “ANALISIS SENTIMEN ZOOM CLOUD MEETINGS DI PLAY STORE MENGGUNAKAN NAÏVE BAYES DAN SUPPORT VECTOR MACHINE,” 2020.
[8]  A. P. Wibowo, W. Darmawan, A. Stmik, and W. Pratama, “KOMPARASI METODE NAÏVE  BAYES  DAN  K-NEAREST  NEIGHBOR  TERHADAP  ANALISIS
SENTIMEN PENGGUNA APLIKASI PEDULILINDUNGI,” 2022, [Online]. Available: http://ejournal.stmik-wp.ac.id
[9]  S. Fransiska and A. Irham Gufroni, “Sentiment Analysis Provider by.U on Google Play Store  Reviews  with  TF-IDF  and  Support  Vector  Machine  (SVM)  Method,” Scientific Journal  of  Informatics ,  vol.  7,  no.  2,  pp.  2407–7658,  2020,  [Online].  Available: http://journal.unnes.ac.id/nju/index.php/sji
[10]  B. Liu, “Sentiment Analysis and Opinion Mining,” Morgan & Claypool Publishers, 2012.
[11]  S.  Fanissa,  M.  A.  Fauzi,  and  S.  Adinugroho,  “Analisis  Sentimen  Pariwisata  di  Kota Malang  Menggunakan  Metode  Naive  Bayes  dan  Seleksi  Fitur  Query  Expansion Ranking,” 2018. [Online]. Available: http://j-ptiik.ub.ac.id
[12]  A. Erfina and Y. H. Putra, “Irony Sentence Detection Techniques Using Fuzzy Historical Classifier,” in IOP Conference Series: Materials Science and Engineering , Institute of Physics Publishing, Nov. 2019. doi: 10.1088/1757-899X/662/6/062004.
[13]  D. Joko Haryanto, L. Muflikhah, and M. Ali Fauzi, “Analisis Sentimen Review Barang Berbahasa Indonesia Dengan Metode Support Vector Machine Dan Query Expansion,” 2018. [Online]. Available: http://j-ptiik.ub.ac.id
[14]  F. S. Pamungkas and I. Kharisudin, “Analisis Sentimen dengan SVM,” vol. 4, pp. 628– 634, 2021, [Online]. Available: https://journal.unnes.ac.id/sju/index.php/prisma/
[15]  A. Fauzi, A. N. Rais, M. Faittullah Akbar, and W. Gata, “46 Seminar Nasional Teknologi Informasi Universitas Ibn Khaldun,” 2018.
[16]  Ratnawati, F. (2018). Implementasi Algoritma Naive Bayes Terhadap Analisis Sentimen Opini  Film  Pada  Twitter. INOVTEK  Polbeng  -  Seri  Informatika,  3 (1),  50-59. doi: https://doi.org/10.35314/isi.v3i1.335