## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v6i3.4218

## Analisis Sentimen Ulasan Hotel Bahasa Indonesia Menggunakan Support Vector Machine dan TF-IDF
Vincentius Westley Dimitrius Thomas, Fitrah Rumaisa
Fakultas Teknik, Teknik Informatika, Universitas Widyatama, Bandung, Indonesia Email: 1 ’ * vincentius.westley@widyatama.ac.id, 2 fitrah.rumaisa@widyatama.ac.id Email Penulis Korespondensi: vincentius.westley@widyatama.ac.id
Abstrak− Ulasan  mengenai  suatu  layanan  terutama  layanan  hotel  memiliki  peran  penting  terhadap  keputusan  konsumen. Tripadvisor  yang  merupakan  sebuah  platform  mengenai  panduan  dan  referensi  bagi  wisatawan  dalam  mencari  informasi mengenai layanan hotel yang ada diberbagai negara. Terdapat banyak ulasan mengenai hotel pada platform tersebut sehingga pembaca sulit dalam menentukan keputusan maka perlu dilakukan analisis sentimen yang bertujuan untuk menggali informasi dari ulasan yang ada. Tahapan awal yang dilakukan yaitu dengan pelabelan (positif, netral, negatif) terhadap ulasan. Kemudian tahap preprocessing agar  ulasan  dapat  mudah  diolah,  lalu  dari  tahap  tersebut  dilanjutkan  pembobotan  menggunakan Term Frequency - Inverse Document Frequency (TF-IDF) dengan menggunakan parameter terbaik, setelah pembobotan data maka selanjutnya yaitu pembagian data menjadi data latih, validasi dan uji. Data tersebut dimasukan kedalam proses pembelajaran mesin  menggunakan Support  Vector  Machine (SVM) dan  diperoleh  hasil  akurasi  dari  model  tersebut  sebesar  85%.  Untuk skenario  pengujian  apabila  tidak  menggunakan slang  handling memperoleh  F1-Score  sebesar  80%  dan  apabila  tidak menggunakan stopword memperoleh F1-Score sebesar 82%. Pada evaluasi kinerja model menggunakan K-Fold diperoleh hasil terbaik pada Fold-7 dengan nilai precision 87%, recall 86%, F1-score 86%, dan akurasi sebesar 87%.
Kata Kunci: Ulasan; Hotel; Sentiment; SVM; TF-IDF
Abstract− Reviews of a service, especially hotel services, have an important role to play in consumer decisions. Tripadvisor is a guide and reference platform for travelers in finding information about the hotel services in various countries. There are many reviews about hotels on the platform so that readers are difficult to make decisions so it is necessary to conduct a sentiment analysis that aims to dig up information from existing reviews. The initial stage is by labeling (positive, neutral, negative) to the review. Then the preprocessing stage so that the review can be easily processed, then from that stage continued weighting using Term Frequency - Inverse Document Frequency (TF-IDF) using the best parameters, after weighting the data, then the next is the distribution of data into training data, validation and test.  The data are entered into the machine learning process using Support Vector Machine (SVM) and obtained the accuracy of the model by 85%. For testing scenarios if not using slang handling get F1-Score by 80% and if not using stopword get F1-Score by 82%. On the evaluation of the performance of the model using K-Fold obtained the best results on the Fold-7 with a precision value of 87%, recall 86%, F1-score 86%, and accuracy of 87%.
Keywords : Review; Hotel; Sentiment; SVM; TF-IDF

## 1. PENDAHULUAN
Pergeseran perilaku masyarakat yang berawal secara tradisional menjadi modern berbasis online, mempengaruhi berbagai produk yang dapat dipesan salah satunya yaitu dalam proses pemesanan hotel. Pencarian informasi sangat penting untuk pengambilan sebuah keputusan, salah satunya adalah informasi ulasan pelanggan online[1]. Ulasan online  merupakan  kunci  untuk  mempertahankan,  memperbaiki,  dan  mempromosikan  citra  hotel  yang  akan berdampak pada pelanggan dalam memilih menginap di hotel tersebut [2]. Salah satu platform yaitu Tripadvisor yang  menyediakan  panduan  dan  referensi  bagi  wisatawan  dalam  mencari  informasi  mengenai  pelayanan  hotel. Terdapat  banyak ulasan mengenai  hotel yang beraneka ragam  sehingga pembaca menjadi  sulit  untuk membuat kesimpulan tentang informasi yang relevan serta platform tersebut menyediakan peringkat bintang pada ulasannya yang  sebenarnya  tidak  begitu  merepresentasikan  pengalaman  pelanggan.  Oleh  sebab  itu  untuk  memudahkan pelanggan  dalam  menarik  kesimpulan,  perlu  dilakukan  analisis  sentimen  untuk  penggalian  informasi  dari  data ulasan yang ada agar pelanggan dapat mengambil keputusan dengan tepat dalam memilih hotel yang akan dipesan [3][4].  Analisis  sentimen  adalah  bidang  penelitian  yang  menganalisis  pendapat  pada  tulisan  sehingga  dapat mendukung pengambilan keputusan dalam berbagai situasi dan bertujuan untuk menganalisa opini, penilaian, dan emosi terkait suatu topik, produk, dan layanan[5][6].
Terdapat beberapa metode algoritma machine learning yang banyak diusulkan para peneliti dalam analisis sentimen seperti Multinomial Naive Bayes [7], Random Forest [8], Support Vector Machine [5]. Beberapa studi yang dilakukan menyatakan bahwa Support Vector Machine (SVM) banyak digunakan karena memiliki kelebihan yaitu  mahir dalam memberikan performa yang maksimum  dalam akurasi  klasifikasi  dan secara konsisten lebih unggul dibanding dengan metode klasifikasi lain [9]. Karena SVM dapat menghasilkan akurasi tinggi dan biaya komputasi yang rendah sehingga SVM termasuk salah satu metode yang efektif [10].
Namun, SVM memiliki format masukan dalam bentuk vektor, sehingga format dokumen harus dikonversi ke format yang sesuai untuk pembelajaran mesin [11]. Maka dari itu, ekstraksi fitur pada dokumen teks merupakan hal penting karena berperan dalam pemilihan fitur yang akan digunakan dan diabaikan dalam model pembelajaran mesin. Pada umumnya ekstrasi fitur teks yang digunakan adalah N-Gram. Tetapi terdapat masalah yang ada dalam N-gram yaitu menghasilkan angka 'fitur besar', namun tidak semua fitur signifikan untuk proses klasifikasi, ada

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v6i3.4218
alternatif lain untuk ektrasi fitur yaitu menggunakan TF-IDF (term frequency - inverse document frequency) [9]. TF-IDF sejauh ini dikenal menjadi metode ekstraksi fitur terbaik untuk analisis teks [12].
Penelitian serupa terkait analisis sentimen telah banyak dilakukan diantaranya yaitu seperti pada penelitian oleh Nur Fitriyah .et .al [7] menghasilkan model yang dibangun menggunakan algoritma machine learning Support Vector Machine (SVM) memiliki rata-rata akurasi sebesar 79.19% dan menggunakan evaluasi model yaitu dengan 10-Fold cross-validation model dengan kernel linear.
Kemudian penelitian oleh Zaky A .et .al [8] dalam penelitiannya dengan objek ulasan produk kecantikan memperoleh hasil akurasi penelitian sebesar 84.66% untuk SVM dan 79.33% menggunakan Multinomial Naïve Bayes, peneliti memberi saran untuk penelitian selanjutnya yaitu memperbanyak kamus slang berbahasa Indonesia yang kemudian dilanjutkan dengan normalisasi kata pada data.
Penelitian analisis sentimen yang dilakukan oleh Valonia Inge .et .al [13] dengan objek hasil evaluasi dosen menggunakan  SVM  diperoleh  hasil  pengujian  dengan  menerapakan  k-fold  cross  validation  dengan  nilai  k  =  7 dihasilkan akurasi paling besar pada k = 6 sebesar 67.83%.
Penelitian analisis sentimen oleh Paulina W .et .al [5] dengan objek ulasan hotel menunjukan bahwa rata- rata  nilai  akurasi  dengan  menggunakan  SVM  dalam  klasifikasi  memperoleh  nilai  diatas  70%  dengan  data  teks ulasan berbahasa Indonesia.
Penelitian  yang  dilakukan  oleh  I  Putu  Ananda  .et  .al  [14]  menunjukan  hasil  rata-rata  akurasi  untuk klasifikasi dengan menggunakan Hybrid Classifier sebesar 84%, akurasi dengan naive bayes 82.4%, random forest sebesar 82% dan Support Vector Machine sebesar 81% dan peneliti memberikan saran untuk penelitian selanjutnya melakukan penelitian mengenai analisis sentiment dengan TF-IDF dan menggunakan data berbahasa Indonesia.
Berdasarkan latar belakang diatas dan berdasarkan dari  penelitian sebelumnya, maka diperoleh rumusan masalah yaitu bagaimana memperoleh model untuk klasifikasi analisis sentimen dengan menggunakan algoritma machine learning SVM dan TF-IDF terhadap ulasan hotel dengan data ulasan berbahasa Indonesia. Adapun tujuan dari  penelitian ini yaitu untuk mengetahui performa akurasi  dengan melakukan beberapa eksperimen pengujian dari  model  yang  menggunakan  SVM  dan  TF-IDF  terhadap  data  ulasan  hotel  berbahasa  Indonesia  yang  telah dilakukan normalisasi kata dengan memperbanyak kamus kata slang bahasa Indonesia.

## 2. METODOLOGI PENELITIAN

## 2.1 Rancangan Sistem
Penelitian  ini  mengusulkan  suatu  perancangan  sistem  yang  dapat  melakukan  klasifikasi  pada  ulasan  hotel berbahasa  Indonesia  dengan  menggunakan  TF-IDF  dan  SVM.  Tahapan  perancangan  sistem  dapat  dilihat  pada gambar 1.
Di  mana  tahap  awal  adalah  proses  pengambilan data,  kemudian  dilakukan  pre-processing  terhadap  data yang  diperoleh.  Setelah  itu  dilakukan  ektraksi  dan  pembobotan  fitur  menggunakan  metode  TF-IDF.  Lalu  data tersebut digunakan pada model pembelajaran mesin menggunakan Support Vector Machine untuk klasifikasi data

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v6i3.4218
yang termasuk kedalam kelas positif, netral, dan negative. Dari hasil klasifikasi tersebut langkah selanjutnya yaitu melakukan evaluasi.

## 2.2 Dataset
Data yang digunakan yaitu 2330 data ulasan hotel berbahasa Indonesia yang diperoleh dari situs tripadvisor. Data terdiri dari ulasan dan rating yang diberikan pengguna dan data diberi label berdasarkan rating.  Rating  1 dan 2 dilabeli sebagai sentiment negative dengan notasi ‘-1’, rating 3 dilabeli sebagai sentiment netral dengan notasi ‘0’ dan rating 4 dan 5 dilabeli sebagai sentiment positif dengan notasi ‘1’.

## 2.3 Preprocessing
Setelah  dilakukan  proses  pelabelan  pada  dataset,  maka  selanjutnya  adalah  tahap  preprocessing  yang  bertujuan untuk  menghapus  bentuk  data  yang  tidak  diperlukan.  Berikut  adalah  flowchart  dari  preprocessing  yang  dapat dilihat pada gambar 2.
Gambar 2 . Langkah Pra Pemrosesan Data
Dalam  preprocessing  terdapat  beberapa  tahapan  seperti symbol  &  punctuation  removal , case  folding , tokenizing , word  normalization , stopword removal ,  dan stemming .  Tahap-tahap  tersebut  dilakukan  untuk mengoptimalkan  perhitungan  pada machine  learning sehingga  data  yang  digunakan  pada machine  learning merupakan data yang clean.
2.3.1 Symbol, Punctuation Removal and Case Folding
Pada tabel 1 di tahap ini merupakan proses menghapus symbol, tanda baca dan angka. Lalu dilakukan case folding bertujuan untuk mengubah semua huruf menjadi huruf kecil.
Tabel 1 . Menghapus Symbol, Punctuation, and Case Folding

## 2.3.2 Tokenizing
Setelah proses symbol & punctuation removal serta case folding selanjutnya merupakan proses tokenizing yaitu pemecahan  perkata  dari  suatu  kalimat.  Proses  ini  menggunakan  library  NLTK  yaitu  word_tokenize().  Tabel  2 merupakan contoh dari hasil proses tokenizing.
Tabel 2 . Tokenizing
Sebelum Sesudah
Selamat pagi.. saya baru pertama kali mencoba check in d hotel grand tebu..sy menginap d kamar 1003.. kamarnya lumayan cukup nyaman..dan sesuai dgn ekspetasi.. sy suka sekali d beri kamar yg dgn city view.. terimakasih sekali ya.. mudah mudahan menjadi repeat guest lg..
selamat pagi saya baru pertama kali mencoba check in d hotel grand tebu sy menginap d kamar kamarnya lumayan cukup nyaman dan sesuai dgn ekspetasi sy suka sekali d beri kamar yg dgn city view terimakasih sekali ya mudah mudahan menjadi repeat guest lg
Sebelum Sesudah
selamat pagi saya baru pertama kali mencoba check in d hotel grand tebu sy menginap d kamar kamarnya lumayan cukup nyaman dan sesuai dgn ekspetasi sy suka sekali d beri kamar yg dgn city view terimakasih sekali ya mudah mudahan menjadi repeat guest lg 'selamat', 'pagi', 'saya', 'baru', 'pertama', 'kali', 'mencoba', 'check', 'in', 'd', 'hotel', 'grand', 'tebu', 'sy', 'menginap', 'd', 'kamar', 'kamarnya', 'lumayan', 'cukup', 'nyaman', 'dan', 'sesuai', 'dgn', 'ekspetasi', 'sy', 'suka', 'sekali', 'd', 'beri',
'kamar', 'yg', 'dgn', 'city', 'view', 'terimakasih', 'sekali', 'ya', 'mudah', 'mudahan', 'menjadi', 'repeat', 'guest', 'lg'

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v6i3.4218

## 2.3.3 Word Normalization
Hasil dari  kalimat yang telah  dilakukan tokenizing akan dilanjutkan ke proses word normalization yaitu proses mengubah  kata  yang  tidak  baku  menjadi  baku.  Peneliti  membuat  kamus  dengan  jumlah  315  kata.  Tabel  3 merupakan contoh hasil dari proses word normalization.
Tabel 3 . Word Normalization

## 2.3.4 Stopword Removal
Tahap stopword removal bertujuan untuk menghapus kata yang sering muncul namun tidak terlalu penting. Proses ini dilakukan dengan menggunakan library sastrawi yaitu StopwordRemoverFactory(). Tabel 4 merupakan contoh dari hasil proses stopword removal dengan library sastrawi.
Table 4 . Stopword Removal

## 2.3.5 Stemming
Pada tahap ini bertujuan untuk mengubah kata-kata menjadi kata dasarnya dengan cara menghilangkan imbuhan, awalan, dan akhiran. Untuk proses stemming menggunakan library sastrawi. Table 5 merupakan hasil dari proses stemming.

## Tabel 5 . Stemming

## 2.4 TF-IDF
Term Frequency  -  Inverse Document Frequency ( TF-IDF) merupakan metode pemberian bobot pada hubungan antara kata dan dokumen. Metode ini menggabungkan dua konsep penghitungan bobot, yaitu frekuensi kata dalam dokumen  tertentu  dan frekuensi  inverse  dari  dokumen  yang  mengandung  kata  tersebut.  Frekuensi  kemunculan sebuah kata dalam dokumen tertentu menunjukkan pentingnya kata tersebut dalam dokumen  [9]. TF-IDF terdiri dari  TF  (Term  Frequency)  dan  IDF  (Inverse  Document  Frequency).  TF  adalah  frekuensi  di  mana  sebuah  kata muncul dalam dokumen. Sedangkan IDF adalah kebalikan dari frekuensi dokumen [15]. Perhitungan bobot dengan TF-IDF ini dapat menentukan seberapa relevan suatu kata dalam dokumen tertentu [10].  Persamaan dari TF-IDF dapat dilihat pada persamaan (1).
𝑊 𝑡,𝑑 =    𝑇𝐹 𝑡,𝑑 ∗ 𝐼𝐷𝐹 𝑡 (1)
𝑊 𝑡,𝑑 = bobot dari t (term) dalam suatu dokumen, 𝑇𝐹 𝑡,𝑑 = frekuensi kemunculan t (term) dalam dokumen d, dan 𝐼𝐷𝐹 𝑡 = Inverse Document Frequency. Di mana persamaan IDF seperti pada persamaan (2).
𝐼𝐷𝐹 𝑡 =   log ( 𝑁 𝑛 𝑡 ) (2)
𝑁 = jumlah dokumen, dibagi dengan 𝑛 𝑡 = jumlah dokumen yang mengandung term t
Sebelum Sesudah
'selamat', 'pagi', 'saya', 'baru', 'pertama', 'kali',
'mencoba', 'check', 'in', 'd', 'hotel', 'grand', 'tebu', 'sy', 'menginap', 'd', 'kamar', 'kamarnya', 'lumayan', 'cukup', 'nyaman', 'dan', 'sesuai', 'dgn', 'ekspetasi', 'sy', 'suka', 'sekali', 'd', 'beri', 'kamar', 'yg', 'dgn', 'city', 'view', 'terimakasih', 'sekali', 'ya', 'mudah', 'mudahan', 'menjadi', 'repeat', 'guest', 'lg' 'selamat', 'pagi', 'saya', 'baru', 'pertama', 'kali', 'mencoba', 'check', 'in', 'di', 'hotel', 'grand', 'tebu', 'saya', 'menginap', 'di', 'kamar', 'kamarnya', 'lumayan', 'cukup', 'nyaman', 'dan', 'sesuai', 'dengan', 'ekspetasi', 'saya', 'suka', 'sekali', 'di', 'beri', 'kamar', 'yang', 'dengan', 'city', 'view', 'terimakasih', 'sekali', 'ya', 'mudah', 'mudahan', 'menjadi', 'repeat', 'guest', 'lagi' Sebelum Sesudah 'selamat', 'pagi', 'saya', 'baru', 'pertama', 'kali', 'mencoba', 'check', 'in', 'di', 'hotel', 'grand', 'tebu', 'saya', 'menginap', 'di', 'kamar', 'kamarnya', 'lumayan', 'cukup', 'nyaman', 'dan', 'sesuai', 'dengan', 'ekspetasi', 'saya', 'suka', 'sekali', 'di', 'beri', 'kamar', 'yang', 'dengan', 'city', 'view', 'terimakasih', 'sekali', 'ya', 'mudah', 'mudahan', 'menjadi', 'repeat', 'guest',
'lagi'
'selamat','pagi','baru', 'pertama','kali','mencoba', 'check','in', 'hotel', 'grand','tebu', 'menginap', 'kamar','kamarnya','lumayan','cukup', 'nyaman', 'sesuai', 'ekspetasi', 'suka', 'sekali', 'beri', 'kamar', 'dengan', 'city', 'view', 'terimakasih', 'sekali', 'mudah', 'mudahan','menjadi', 'repeat', 'guest' Sebelum Sesudah 'selamat','pagi','baru', 'pertama','kali','mencoba', 'check','in','hotel', 'grand','tebu', 'menginap', 'kamar','kamarnya','lumayan','cukup', 'nyaman', 'sesuai','ekspetasi', 'suka', 'sekali', 'beri', 'kamar', 'dengan', 'city', 'view', 'terimakasih', 'sekali', 'mudah', 'mudahan','menjadi','repeat', 'guest' 'selamat','pagi','baru','pertama','kali','coba','check','in','hotel', 'grand','tebu','inap','kamar','kamar','lumayan','cukup', 'nyaman','sesuai','ekspetasi','suka','sekali','beri','kamar', 'dengan','city','view','terimakasih','sekali','mudah','mudah',
'jadi','repeat','guest'

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v6i3.4218

## 2.5 Support Vector Machine
Algoritma  SVM  bertujuan  untuk  mencari maximum  marginal  hyperplane menggunakan  support  vector  dan margin. Maximum marginal hyperplane adalah hyperplane terbaik dengan jarak margin terbesar, digunakan untuk memisahkan data untuk  setiap kelas dengan  tingkat  dan akurasi terbesar  [16]. Klasifikasi  dengan metode SVM pada penelitian ini menggunakan library sklearn dapat dilihat algoritma dari SVM pada tabel 6.
Tabel 6. Algoritma SVM
Algoritma SVM menggunakan Sklearn Input: X_train, y_train Output: Result of Predict
from sklearn import svm clf = svm.SVC()
clf.fit(X_train, y_train) predict = clf.predict(X_test)
Selain  melakukan  klasifikasi  penelitian  ini  juga  melakukan  pengukuran  terhadap  performa  dari  model klasifikasi yang dibangun dengan menggunakan library KFold pada sklearn.model_selection dengan validasi 10- Fold. K-folds cross-validation yaitu membagi data training dan testing menjadi K bagian set data dengan ukuran yang sama [17].

## 2.6 Evaluation
Pada tahap evaluasi akan melakukan pengukuran seperti perhitungan akurasi, presisi, recall dan F1 Score terhadap model  pembelajaran  mesin  yang  telah  dibangun.  Selain  itu  evaluasi  akan  menggunakan confusion  matrix juga yang bertujuan untuk mengetahui hasil dari prediksi apakah hasil tersebut termasuk ke dalam true positive, true negative, false positive, dan false negative .
𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦  = 𝑇𝑃+𝑇𝑁 𝑇𝑃+𝐹𝑃+𝑇𝑁+𝐹𝑁 (3) 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛  = 𝑇𝑃 𝑇𝑃+𝐹𝑃 (4) 𝑅𝑒𝑐𝑎𝑙𝑙  = 𝑇𝑃 𝑇𝑃+𝐹𝑁 (5)
𝐹1 −  𝑆𝑐𝑜𝑟𝑒 = 2 𝑥 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 𝑥 𝑟𝑒𝑐𝑎𝑙𝑙 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛+𝑟𝑒𝑐𝑎𝑙𝑙 (6)
TP  merupakan  hasil  klasifikasi  yang  dilakukan  mesin  menunjukan  jumlah  data  positif  yang  terdeteksi dengan benar, FP merupakan hasil klasifikasi yang menunjukan jumlah data negatif yang terdeteksi sebagai data positif, TN merupakan hasil klasifikasi yang menunjukan jumlah data negatif yang terdeteksi dengan benar, dan FN merupakan hasil klasifikasi yang menunjukan jumlah data positif yang terdeteksi sebagai data negative.

## 3. HASIL DAN PEMBAHASAN
Pada penelitian ini ada 3 skenario yang dilakukan untuk mengetahui akurasi yang dihasil dari model pembelajaran mesin  menggunakan  SVM  dan  ekstrasi  fitur  dengan  TF-IDF.  Skenario  pengujian  pertama  yaitu  dengan  tuning parameter pada TF-IDF, kemudian pengujian kedua dengan K-Fold cross validation dan terakhir yaitu perhitungan hasil akurasi, precision, F1-Score, dan recall terhadap analisis sentiment ulasan hotel Bahasa Indonesia dengan TF-IDF dan SVM.

## 3.1 Parameter Tuning TF-IDF
Skenario pengujian dengan parameter tuning TF-IDF bertujuan untuk mengetahui parameter terbaik pada ekstrasi fitur menggunakan TF-IDF. Ada beberapa parameter yang digunakan pada pengujian ini diantaranya yaitu min_df, max_df,  dan  max_features.  Min_df  digunakan  untuk  menghapus term yang  jarang  muncul, max_df  digunakan untuk menghapus term yang terlalu sering muncul, max_features untuk mendapat term teratas sesuai dengan term frequency terbesar. Misalkan jika ‘min_df = 0.50’ berarti menghapus term yang jarang muncul sebesar 50% dari dokumen, ‘max_df = 5’ berarti menghapus term yang sering muncul kurang dari 5 dokumen, dan ‘max_features = 2000’ yaitu mendapat 2000 term teratas.
Tabel 7 . Parameter Tuning TF-IDF
min_df max_df  max_features F1- Score 0.01 0.5 3000 0.81 3 0.25 5000 0.83

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v6i3.4218
min_df max_df  max_features F1- Score 1 0.75 3000 0.82 0.1 0.9 5000 0.79
Dari tabel 7 dapat dilihat bahwa parameter TF-IDF terbaik yaitu dengan nilai F1-Score sebesar 83% sehingga pada pengujian terhadap data test akan menggunakan parameter TF-IDF tersebut.

## 3.2 K-Fold Cross Validation
Dari dataset yang sudah dilakukan preprocessing , ekstrasi fitur menggunakan TF-IDF, dan dimasukan ke model pembelajaran mesin SVM maka dilanjutkan dengan evaluasi menggunakan K-Fold Cross Validation yang dapat digunakan sebagai metode untuk mengevaluasi kinerja model pembelajaran mesin. Penelitian ini menggunak “K = 10” yang berarti bahwa data dibagi menjadi 10fold dengan ukuran yang hamper sama. 10- Fold Cross Validation dipilih karena cenderung memberikan estimasi akurasi yang cukup tidak bias.
Tabel 8 . 10-Fold Cross Validation 10 Fold Cross Validation  Precision  Recall  F1-Score  Accuracy (%) 1 0.80 0.80 0.80 0.80 2 0.82 0.81 0.81 0.82 3 0.82 0.82 0.82 0.82 4 0.85 0.85 0.85 0.86 5 0.79 0.80 0.79 0.78 6 0.80 0.80 0.79 0.79 7 0.87 0.86 0.86 0.87 8 0.81 0.81 0.81 0.81 9 0.81 0.82 0.82 0.82 10 0.79 0.81 0.80 0.79 Average 0.81 0.81 0.81 0.81
Hasil dari  evaluasi  dengan 10-Fold cross validation menunjukan bahwa nilai rata-rata F1-Score sebesar 87% dan berdasarkan tabel 8 dapat dilihat bahwa nilai performansi tertinggi terdapat pada fold cross validation ke 7 dengan nilai F1-Score sebesar 86% serta akurasi sebesar 87%.

## 3.3 Hasil Evaluasi
Setelah dilakukan pengujian dengan parameter tuning pada TF-IDF dan menggunakan 10-Fold Cross Validation, selanjutnya yaitu perhitung akurasi, precision , F1-Score, dan recall pada model klasifikasi yang telah dibangun. Pada  penelitian  ini  juga  mencoba  dua  eksperimen  pada  tahap preprocessing yaitu  dengan  tidak  menggunakan kamus slang kemudian dengan tidak menggunakan stopword untuk menguji performasi model pembelajaran mesin yang dibangun.
Tabel 9 . Perbandingan Perfoma Model Precision  Recall  F1-Score  Accuracy Tanpa Penanganan Slang 0.80 0.80 0.80 0.81 Tanpa Stopword 0.82 0.82 0.82 0.82
Hasil  pengujian  mengguna  skenario  pengujian  tanpa slang  handling dan  dibandingkan  tanpa stopword terhadap  model  pembelajaran mesin  yang  dibangun  menunjukan  nilai F1-score yang  diperoleh  pada  pengujian tanpa  slang  handling  sebesar  80%  dengan  akurasi  sebesar  81%  sedangkan  pada  pengujian  tanpa stopword  F1- score yang  diperoleh  sebesar  82%  dan  akurasi  sebesar  82%.  Berdasarkan  hasil  pengujian  bahwa  terdapat perbedaan yang tidak begitu signifikan dari pengujian yang dilakukan. Namun ketika slang handling dan stopword digunakan pada model yang dibangun maka dapat meningkatkan performa model, dapat dilihat pada tabel 9. Hal itu tersebut dapat terjadi karena slang handling dan stopword dapat mengurangi error rate pada model.
Tabel 10 . Hasil Evaluasi
Class  Precision  Recall  F1-Score 1 93% 82% 87% 0 74% 84% 79% -1 90% 90% 90% Accuracy (%) 85%
Berdasarkan hasil evaluasi pada model klasifikasi menggunakan SVM dan TF-IDF yang dapat dilihat pada tabel 10 diperoleh nilai akurasi sebesar 85% dan dengan nilai F1-Score pada kelas positif dengan notasi ‘1’ sebesar

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v6i3.4218
87%, kelas netral  dengan notasi  ‘0’ sebesar 79%, dan kelas negatif  dengan notasi ‘-1’ sebesar 90%.  Kemudian setelah  melakukan  perhitungan  akurasi  terhadap model  klasifikasi  maka  melakukan  evaluasi  dengan confusion matrix dari  hasil  proses  yang  sebelumnya  telah  dilakukan. Confusion  matrix digunakan  untuk  pengukuran performa dari kinerja model klasifikasi berisikan informasi mengenai hasil klasifikasi yang dihasilkan oleh sistem dibandingkan  dengan  hasil  seharusnya.  Pada  kasus  penelitian  ini confusion  matrix terdapat  beberapa  istilah diantaranya yaitu True Positive (TP), False Positive (FP), True Negative (TN), False Negative (FN), True Netral (TNR), dan False Netral (FNR).
Tabel 11 . Confusion Matrix Prediksi Actual Positive Neutral Negative Positive (TP) 36 (FNR) 4 (FN) 0 Neutral (FP) 4 (TNR) 37 (FN) 3 Negative (FP) 0 (FNR) 9 (TN) 42
Dapat dilihat pada tabel 11, confusion matrix dari hasil klasifikasi menggunakan TF-IDF dan SVM dengan data uji sebesar 135 data menunjukan bahwa mesin dapat memprediksi kelas positif dengan benar yaitu sebanyak 36 data, kelas negatif sebanyak 42 data, dan kelas netral sebanyak 37 data. Berdasarkan hasil tersebut model yang dibangun dapat mengklasifikasi kelas positif, netral, dan negatif. Namun ada beberapa data yang salah diprediksi yang seharusnya kelas positif diprediksi sebagai kelas netral dan negatif, lalu data kelas netral diprediksi sebagai kelas positif dan negatif, dan terakhir data kelas negatif yang diprediksi kedalam kelas positif dan netral. Hal ini disebabkan pada proses preprocessing tidak menggunakan terjemahan untuk menangani kata dalam bahasa inggris pada  kalimat  ulasan  hotel  bahasa  Indonesia  tersebut  dan  pada  data  ulasan  hotel  terdapat  ulasan  yang  memiliki makna yang ambigu sehingga mengakibatkan adanya kesalahan prediksi pada model.

## 4. KESIMPULAN
Berdasarkan  penelitian  yang  telah  dilakukan  pada  analisis  sentimen  ulasan  hotel  berbahasa  Indonesia menggunakan Support Vector Machine (SVM)  dan TF-IDF dapat disimpulkan bahwa pembobotan menggunakan TF-IDF  dengan  melakukan tuning terhadap  parameter  dan  memilih  parameter  terbaik  yaitu  parameter  dengan min_df sebesar 3, max_df sebesar 0.25, dan max_features sebesar 5000 serta dari implementasi slang handling menggunakan kamus slang bahasa Indonesia dengan memperbanyak kosa kata slang didalam kamus tersebut dan implementasi stopword, cukup  dapat  mempengaruhi  hasil  dari  prediksi  pada  metode  SVM  yaitu menghasilkan nilai akurasi sebesar 85%.  Pada eksperimen yang dilakukan penelitian ini berdasarkan parameter tuning diperoleh hasil F1-Score terbaik  sebesar 83% dan pada eksperimen  apabila  tanpa implementasi slang  handling diperoleh nilai F1-Score sebesar 80% sedangkan eksperimen apabila tanpa stopword diperoleh hasil F1-Score sebesar 82%. Kemudian  pada evaluasi  kinerja model dengan K-fold, nilai  akurasi  tertinggi  berada pada Fold-7 sebesar 87%. Namun pada penelitian ini masih terdapat kekurangan yaitu belum adanya penanganan terhadap kata-kata asing pada data ulasan hotel dan terdapat kalimat ulasan yang memiliki makna ambigu sehingga meningkatnya error rate pada model. Maka disarankan untuk penelitian selanjutnya dapat melakukan penanganan terhadap kata-kata asing yang terdapat pada data ulasan berbahasa Indonesia serta dapat melakukan ekstrasi aspek dari data ulasan tersebut agar hasil prediksi yang didapat akan lebih akurat.

## REFERENCES
[1] R. Sarudin, dan Achmad Ismail, “Analisis Online Review Tripadvisor.Com Terhadap Minat Pembelian Produk Jasa Akomodasi Di Hotel Manhattan Tripadvisor.Com Review Online Analysis On The Interest Of Buying Accommodation Services In Hotel Manhattan,” vol. 7, no. 4, pp. 33–43, 2021, doi: 10.30813/.v7i1.2634.
[2] R. R. Chowdhury and A. Deshpande, “An analysis of the impact of reviews on the hotel industry,” Annals of Tropical Medicine and Public Health , vol. 23, no. 17, Nov. 2020, doi: 10.36295/ASRO.2020.231742.
[3] S. A. Amira and M. I. Irawan, “Opinion Analysis of Traveler Based on Tourism Site Review Using Sentiment Analysis,” IPTEK The Journal for Technology and Science , vol. 31, no. 2, p. 223, May 2020, doi: 10.12962/j20882033.v31i2.6338.
[4] V.  Elango  and  G.  Narayanan,  “Sentiment  Analysis  for  Hotel  Reviews.”  [Online].  Available: http://cs229.stanford.edu/proj2014/
[5] W.  Paulina,  F.  Abdurrachman  Bachtiar,  and  A.  N.  Rusydi,  “Analisis  Sentimen  Berbasis  Aspek  Ulasan  Pelanggan Terhadap  Kertanegara  Premium  Guest  House  Menggunakan  Support  Vector  Machine,”  2020.  [Online].  Available: https://j-ptiik.ub.ac.id/index.php/j-ptiik/article/view/7155
[6] H. Chyntia Morama, D. E. Ratnawati, and I. Arwani, “Analisis Sentimen berbasis Aspek terhadap Ulasan Hotel Tentrem Yogyakarta  menggunakan  Algoritma  Random  Forest  Classifier,”  2022.  [Online].  Available:  https://j- ptiik.ub.ac.id/index.php/j-ptiik/article/view/10908
[7] N.  Fitriyah,  B.  Warsito,  D.  Asih,  and  I.  Maruddani,  “Analisis  Sentimen  Gojek  Pada  Media  Sosial  Twitter Dengan Klasifikasi  Support  Vector  Machine  (SVM),” JURNAL  GAUSSIAN ,  vol.  9,  no.  3,  pp.  376–390,  2020,  doi: 10.14710/j.gauss.v9i3.28932

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v6i3.4218
[8] A. Zaky and S. al Faraby, “Analisis Sentimen Review Produk Kecantikan Berbahasa Indonesia pada Female Daily Menggunakan Support Vector Machine (SVM),” 2021. [Online]. Available: https://repository.telkomuniversity.ac.id/pustaka/166597/analisis-sentimen-review-produk-kecantikan-berbahasa- indonesia-pada-female-daily-menggunakan-support-vector-machine-svm-.html
[9] T. K. Shivaprasad and J. Shetty, "Sentiment analysis of product reviews: A review," 2017 International Conference on Inventive Communication and Computational Technologies (ICICCT), 2017, pp. 298-301, doi: 10.1109/ICICCT.2017.7975207.
[10]  D. Srivastava, L. Bhambhu, and D. K. Srivastava, “Data classification using support vector machine,” 2010. [Online]. Available: https://www.researchgate.net/publication/285663733_Data_classification_using_support_vector_machine
[11]  H.  Nguyen et  al. ,  “Comparative  Study  of  Sentiment  Analysis  with  Product  Reviews  Using  Machine  Learning  and Lexicon-Based Approaches.” [Online]. Available: https://scholar.smu.edu/datasciencereview/vol1/iss4/7
[12]  M.  N.  Saadah,  R.  W.  Atmagi,  D.  S.  Rahayu,  and  A.  Z.  Arifin,  “Sistem  Temu  Kembali  Dokumen  Teks  dengan Pembobotan  Tf-Idf  Dan  LCS,”  Scientific  Journal  of  Information  Technology  Departement  of  Informatics  Institut Teknologi Sepuluh November, doi: http://dx.doi.org/10.12962/j24068535.v11i1.a16
[13]  V. I. Santoso 1 , G. Virginia 2 , and Y. Lukito 3 , “Penerapan Sentiment Analysis Pada Hasil Evaluasi Dosen Dengan Metode
Support Vector Machine,” JURNAL TRANSFORMATIKA , vol. 14, no. 2, 2017, doi: http://dx.doi.org/10.26623/transformatika.v14i2.439
[14]  I. P. A. M. Utama, S. S. Prasetyowati, and Y. Sibaroni, “Multi-Aspect Sentiment Analysis Hotel Review Using RF, SVM, and Naïve Bayes based Hybrid Classifier,” JURNAL MEDIA INFORMATIKA BUDIDARMA , vol. 5, no. 2, p. 630, Apr. 2021, doi: 10.30865/mib.v5i2.2959.
[15]  Fatihah  Rahmadayana  and  Yuliant  Sibaroni,  “Sentiment  Analysis  of  Work  from  Home  Activity  using  SVM  with Randomized Search Optimization,” Jurnal RESTI (Rekayasa Sistem dan Teknologi Informasi) , vol. 5, no. 5, pp. 936– 942, Oct. 2021, doi: 10.29207/resti.v5i5.3457.
[16]  P. A. Octaviani, Y. Wilandari, and D. Ispriyanti, “Penerapan Metode Klasifikasi Support Vector Machine (Svm) Pada Data  Akreditasi  Sekolah  Dasar  (Sd)  Di  Kabupaten  Magelang,”  vol.  3,  no.  4,  pp.  811–820,  2014,  doi: https://doi.org/10.14710/j.gauss.v3i4.8092
[17]  F. Tempola, M. Muhammad, and A. Khairan, “Perbandingan Klasifikasi Antara Knn Dan Naive Bayes Pada Penentuan Status Gunung Berapi Dengan K-Fold Cross Validation Comparison Of Classification Between Knn And Naive Bayes At The Determination Of The Volcanic Status With K-Fold Cross Validation,” vol. 5, no. 5, pp. 577–584, 2018, doi: 10.25126/jtiik20185983.