JURNAL GAUSSIAN, Volume 12, Nomor 4, Tahun 2023, Halaman 616 - 624 Online di: https://ejournal3.undip.ac.id/index.php/gaussian/

## ANALISIS SENTIMEN PENGGUNA ONLINE TRAVEL AGENT (OTA) PADA PERUSAHAAN PEGIPEGI.COM MENGGUNAKAN RANDOM FOREST
Ayu Rahma Lestari 1* , Rukun Santoso 2 , Suparti 3
1,2,3 Departemen Statistika, Fakultas Sains dan Matematika, Universitas Diponegoro *e-mail : ayurahmalstr@gmail.com
DOI: 10.14710/J.GAUSS.12.4.616-624
Article Info: Received: 2023-05-08 Accepted: 2024-07-20 Available Online: 2024-07-29

## Keywords:
Application; Pegipegi; Sentiment Analysis, Random Forest
Abstract: The  presence  of  the  internet  makes  online  applications increasingly attractive to the public in supporting their daily activities. Online  applications  have  developed  rapidly,  including  online  travel agent  (OTA)  companies  such  as  Pegipegi.  Pegipegi  is  a  platform designed  to  meet  the  community's  tertiary  needs,  such  as  providing accommodations for vacations. Pegipegi has an application that can be downloaded through the Google Playstore. Google Playstore provides a review feature as a medium for communication between application owners  and  consumers  to  express  opinions  that  felt  when  using  the application.  The  reviews  submitted  can  be  used  as  data  to  carry out sentiment analysis. Data collection was carried out on 11 December 2021  –  11  December  2022.  A  total  of  2926  reviews  obtained. Sentiment  analysis  was  able  to  proceed  by  a  classification  method. This research used Random Forest to classify opinions on positive and negative sentiments. Random Forest is a classification model based on the  majority  vote  of  all  decision  trees.  Classification  using  Random Forest  produces  an  accuracy  of  92.27%  and  AUC-ROC  of  82.35%. Based  on  this  accuracy  and  AUC-ROC  value,  the  Random  Forest algorithm has a good model performance in classifying the opinions of Pegipegi application users because it has a good accuracy and AUC- ROC value.

## 1. PENDAHULUAN
Perkembangan  teknologi  di  era  digital  yang  terus-menerus  berkembang  pesat  telah membawa  berbagai  perubahan  di  masyarakat.  Kemajuan  teknologi  dapat  dilihat  pada teknologi informasi dan komunikasi seperti Internet. Kehadiran internet menjadikan aplikasi online semakin diminati masyarakat dalam menunjang aktivitas sehari-hari. Aplikasi online mengalami perkembangan yang cukup pesat termasuk pada perusahaan online travel agent (OTA)  seperti  Pegipegi.  Pegipegi  merupakan  suatu platform yang  dirancang  untuk memenuhi  kebutuhan  tersier  masyarakat  yaitu  menyediakan  akomodasi  untuk  berlibur. Pegipegi terus melakukan perubahan demi perubahan untuk menjadi OTA terbaik. Hal ini dapat ditemukan melalui aplikasi Pegipegi yang dapat diunduh melalui Google Playstore . Google  Playstore adalah  toko online besar  yang  menyediakan  jutaan  aplikasi,  buku,  dan permainan  untuk  Android  (Olabenjo,  2016).  Fitur review yang  disediakan  di Google Playstore memungkinkan pengguna untuk memberikan testimoninya tentang aplikasi yang mereka gunakan, baik positif maupun negatif. Review tersebut dapat menjadi masukan untuk pengembang  aplikasi  agar  dapat  terus  memperbaiki  aplikasi  mereka.  Analisis  sentimen diperlukan  untuk  memproses review-review tersebut  agar  dapat  menghasilkan  informasi yang berguna bagi pengembang aplikasi. Analisis sentimen dapat dilakukan dengan metode klasifikasi  seperti random  forest .  Prinsip  kerja  dari random  forest dalam  sentimen  yaitu menggunakan kombinasi pohon keputusan.
Dalam  penelitian  ini,  analisis  sentimen  dilakukan  pada  perusahaan  OTA  Pegipegi menggunakan  algoritma random  forest .  Sistematika  pencarian  data  dalam  penelitian  ini
dilaksanakan menggunakan web scrapping dari Google Playstore . Penelitian ini memiliki tujuan  yaitu  untuk  mengetahui  performa  kinerja  algoritma random  forest dalam mengklasifikasikan review aplikasi Pegipegi berdasarkan nilai akurasi dan nilai AUC-ROC untuk mengetahui pandangan masyarakat terhadap aplikasi Pegipegi.

## 2. TINJAUAN PUSTAKA
Pegipegi merupakan salah satu platform yang memberikan layanan pembelian tiket dan penginapan secara online . Pegipegi didirikan pada 07 Mei 2012 dan diresmikan langsung oleh  Mentri  Pariwisata  dan  Ekonomi  Kreatif  pada  Agustus  2013.  Saat  ini,  Pegipegi  telah terkoneksi pada rute penerbangan sebanyak lebih dari 25.000, dan juga pilhan hotel yang lebih dari 25.000,  serta untuk  rute  kereta api  sebanyak  lebih dari  2.800 yang  dapat dibeli langsung lewat website ataupun platform ponsel (Pegipegi, 2022).
Google Play adalah toko online yang berisi aplikasi, game , film, acara TV, buku, dan konten lainnya. Pada 22 Oktober 2008 toko ini pertama kali dilaunching bermula dinamai Android Market . Google Play menyediakan fitur tambahan pada setiap aplikasi di dalamnya seperti  fitur  penilaian,  ukuran  file,  dan  fitur  komentar  yang  dapat  digunakan  oleh  para penggunanya.
Analisis sentimen merupakan sebuah teknologi pengolahan data yang digunakan untuk mengekstrak, menganalisis, dan memproses teks dalam suatu entitas seperti produk, layanan, fenomena, atau topik tertentu untuk mendeteksi opini, pandangan, perasaan, subjektivitas, dan aspek lainnya yang terkait dengan entitas tersebut (Liu, 2015).
Text  mining ialah  proses  dari  kegiatan  menganalisa  teks  yang  dilaksanakan  untuk mendapatkan informasi dari sebuah susunan kata yang diresume kedalam suatu arsip. Text mining tidak hanya dilakukan untuk sekadar mendapatkan informasi saja, tetapi sering juga digunakan untuk menyelesaikan permasalahan seperti klasifikasi dan clustering . Text mining akan memproses data teks berubah menjadi data angka yang ditujukan untuk dilaksanakanya pemrosesan lanjutan yaitu preprocessing data (Feldman dan Sanger, 2007).
Pre-processing data  adalah  proses  untuk  mempersiapkan  data  yang  masih  mentah dan  tidak  berstruktur  menjadi  lebih  terstruktur. Pre-processing data  bertujuan  untuk merubah data ke dalam suatu format agar lebih mudah dipahami. Pre-processing memuat beberapa tahapan lanjutan, yaitu:
1. Case Folding Case  folding adalah  langka  pengubahan  semua  huruf  kapital  jadi  huruf  kecil  dengan maksud agar seluruh kata pada dokumen teks seragam.
2. Remove Punctuation Remove  punctuation merupakan  tahapan  penghapusan  seluruh  karakter  yang  tidak termasuk alphabet seperti  tanda  baca  atau  simbol.  Tanda  baca  perlu  dihapus  karena tidak diperlukan dalam proses analisis sentimen.
3. Remove Number Remove number merupakan tahapan penghapusan angka yang terdapat pada dokumen. Penggunaan angka tidak dapat memberikan penilaian atau menunjukkan suatu perasaan sehingga perlu dihapus.
4. Remove Emoticon Remove emoticon merupakan tahapan penghapusan simbol/emoji yang terdapat pada ulasan. Simbol atau emoji tidak dapat memberikan penilaian sehingga perlu dihapus dalam proses analisis sentimen.
5. Normalisasi Kata
Normalisasi  kata  merupakan  tahapan  pengubahan  kata  yang  tidak  baku  menjadi  kata baku sehingga dapat mempermudah pemahaman terhadap teks. Kata tidak baku yang
dimaksud yaitu kata yang mengandung bahasa daerah maupun singkatan. Pengubahan kata  tidak  baku  menjadi  baku  dilakukan  dengan  cara  menyocokkan  dengan  kamus KBBI.
Proses  pelabelan  kelas  sentimen  menggunakan  kamus  leksikon  untuk mengelompokkan  data  teks  menjadi  positif  atau  negatif.  Nilai  sentimen  dihitung  dengan mengurangi  jumlah  nilai  teks  positif  dengan  jumlah  nilai  teks  negatif  dalam  seluruh  kata ulasan.  Kata  dengan  nilai  ≥  0  dikategorikan  sebagai  positif,  sedangkan  nilai  <  0 dikategorikan sebagai negatif. (Santoso dan Nugroho, 2019).
Feature  Selection ialah  metode pre-processing yang  berguna  dalam  mengecilkan sejumlah layanan data dan memilih variabel terbaik yang relevan dengan kelas target. Hal ini bertujuan untuk memperoleh nilai kelas target yang akurat dengan memilih variabel yang relevan  dan  menghindari  data  yang  menyebabkan  kesalahan  dalam  klasifikasi  (Ningtyas, 2016). Feature Selection memuat beberapa tahapan, yaitu:
1. Tokenizing Tokenizing merupakan tahapan pemangkasan string inputan didasarkan teks-teks yang membentuknya atau disebut juga pemisahan susunan teks menjadi kata.
2. Stopwords Removal Stopwords removal adalah proses untuk menghilangkan konjungsi, preposisi dan kata ganti.
3. Stemming Stemming yakni sistematika pengubahan bentuk sebuah teks jadi teks intinya. tiap teks berimbuhan (awalan dan akhiran) akan dibuang dan dibentuk teks inti.
Term Weighting atau pemberian skor teks ialah proses pengubahn data kualitatif jadi data  kuantitatif  dengan  menetapkan  skor  atau  nilai  pada  setiap  kata  dengan  tujuan  untuk mempermudah  proses  klasifikasi  (Nurjanah  dkk.,  2017).  Pemberian  skor  yang  umum dipakai ialah teknik Term Frequency-Inverse Document Frequency (TF-IDF) sebagaimana dinyatakan pada Persamaan (1):
𝑊 𝑖,𝑗 = 𝑛 𝑖,𝑗 Σ 𝑘 𝑛 𝑘,𝑗 . log 𝑒 𝑁 𝑑𝑓 (𝑖) + 1 (1)
dengan 𝑊 𝑖 , 𝑗 pemberian  skor  TF-IDF  pada  term  ke- i dan  arsip  ke- j , 𝑛 𝑖 , 𝑗 besarnya  angka munculnya  term  ke- i pada  arsip  ke- j , Σ 𝑘 𝑛 𝑘,𝑗 banyaknya  muncul  sejumlah  term  ke- i pada arsip  ke- j ,  N  jumlah  arsip  keseluruhan  dan 𝑑𝑓 ( 𝑖 )  banyaknya  dokumen  yang  mengandung term i . Random  forest merupakan  bagian  dari  pengembangan  metode Classification  and Regression  Tree (CART)  (Breiman,  2001). Classification  and  Regression  Tree (CART) merupakan  metode  klasifikasi  data  dengan  melakukan  eksplorasi  terhadap  data  yang didasarkan pada teknik pohon keputusan. Algoritma CART menggunakan gini index sebagai kriteria dalam pemilahan simpul untuk membentuk pohon keputusan (Sa’adah dkk., 2021).
Random  Forest adalah  metode  klasifikasi  yang  menggabungkan  banyak  pohon klasifikasi untuk meningkatkan akurasi. Pohon-pohon ini dibangun dengan memilih variabel yang dipakai guna split dengan random , serta setiap pohon akan menghasilkan output yang berbeda-beda.  Proses  klasifikasi  dilakukan  setelah  semua  pohon  terbentuk.  Metode  ini menggunakan proses majority vote untuk mendapatkan prediksi pada klasifikasi akhir. Prosedur  untuk  membangun random  forest disebut bootsrap ,  yang  terdiri  dari mengambil  sampel  acak  dengan  pengembalian,  membangun  pohon  tanpa  pemangkasan dengan random feature selection , dan mengulangi proses ini untuk membentuk forest yang terdiri atas banyak pohon (Breiman dan Cutler, 2003).
Nilai mtry dapat mempengaruhi kebaikan model yang dihasilkan dan dapat diubah untuk mengatur banyaknya variabel independen yang dipakai menjadi calon pembagi ketika
membentuk  pohon.  Pemakaian mtry yang  tepat  kemudian  memperoleh random  forest sebagai  hubungan  antara  pohon  yang  terbilang  minim  akan  tetapi  kapabilitas  tiap  pohon dinilai kuat.
Penentuan proses akhir klasifikasi dengan metode random forest dapat menggunakan nilai Gini index untuk menentukan variabel split yang akan dijadikan root (akar) atau node (pemilah). Perhitungan gini index dan gini split terhadap klasifikasi dilakukan menggunakan Persamaan (2) dan (3):
Gini Index (Si) = 1 -  ∑ 𝜋 𝑖 2 𝑐 𝑖=1 (2)
Dengan 𝜋 𝑖 adalah probabilitas dari gini index milik bagian i serta c sejumlah skor fasilitas yang terhimpun ke pada sebuah bagian didasarkan pada fasilitas data.
𝐺𝑖𝑛𝑖 𝑆𝑝𝑙𝑖𝑡 =  ∑ ( 𝑛 𝑖 𝑛 ) 𝑐 𝑖=1 × 𝐺𝑖𝑛𝑖 𝐼𝑛𝑑𝑒𝑥 (Si)          (3)
Dengan 𝑛 𝑖 jumlah  sampel  setelah  di split , n jumlah  sampel  pada node yang  diberikan, c sejumlah skor fasilitas yang tergolong ke pada sebuah bagian didasarkan pada fasilitas data.
Random Forest mengindikasikan respon sebuah pengamatan dengan mengkolaborasikan output perkiraan ntree pohon dan memilih kategori bagian dinilai lebih dominan terdeteksi selaku output perkiraan.
Sistem  pengelompokan  dapat  mengalami  kesalahan  dalam  sistematika pengelompokan  hingga  dibutuhkan  dilaksanakanya  perhitungan  kapabilitas  dengan menggunakan  data  uji.  Salah  satu  alat  yang  penting  dalam  menganalisis  berhasil  atau tidaknya suatu classifier adalah confusion matrix .
Tabel 1. Confusion Matrix Kelas Prediksi Positif Negatif Kelas Positif (TP) (FN) Aktual Negatif (FP) (TN)
Salah satu metrik yang umum dipakai guna mengukur tingkat akurasi dalam proses klasifikasi  adalah  nilai  akurasi  keseluruhan.  Akurasi  merupakan  tingkat  ketepatan  antara nilai prediksi dengan nilai sebenarnya. Makin tinggi angka kepastianya, dinilai kinerjanya terkelompok makin baik. Angka kepastianya bisa diperhitungkan dengan Persamaan (4):
𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 𝑝𝑟𝑒𝑑𝑒𝑡𝑒𝑘𝑠𝑖 𝑑𝑎𝑡𝑎 𝑏𝑒𝑛𝑎𝑟 𝑡𝑜𝑡𝑎𝑙 𝑑𝑎𝑡𝑎
= 𝑇𝑃+𝑇𝑁 (𝑇𝑃+𝐹𝑃+𝑇𝑁+𝐹𝑁) (4)
Selain  itu,  untuk  memperkuat  evaluasi  kinerja  algoritma,  dilakukan  pengujian menggunakan Area Under the Curve (AUC). AUC adalah ukuran yang menggambarkan luas area di bawah kurva Receiver Operating Characteristic (ROC). Nilai AUC berkisar antara 0 hingga  1  dan  memberikan  gambaran  tentang  tingkat  kecocokan  model  dengan  data  yang digunakan. Semakin besar nilai AUC, semakin baik kemampuan variabel yang diuji dalam memprediksi  kejadian  tertentu  (Maskoen  dan  Purnama,  2018).  Nilai  AUC-ROC  sering digunakan  sebagai  metrik  evaluasi  pada  kelas  data  yang  tidak  seimbang  dan  cenderung memberikan  hasil  yang  konsisten  (Wardhani  dkk.,  2019).  Dalam  konteks  klasifikasi  data mining, nilai AUC dapat dibagi ke dalam beberapa kategori, seperti klasifikasi sangat baik dengan rentang 0,90 hingga 1, klasifikasi baik dengan rentang 0,80 hingga 0,90, klasifikasi cukup dengan rentang 0,70 hingga 0,80, klasifikasi buruk dengan rentang 0,60 hingga 0,70, dan klasifikasi yang salah dengan rentang 0,50 hingga 0,60 (Sari dkk., 2020). Nilai AUC- ROC dapat dilihat pada Tabel 2.
Tabel 2. Nilai AUC-ROC
Ukuran Rumus TPR (True Positive Rate) 𝑇𝑃𝑅 = 𝑇𝑃 (𝑇𝑃 + 𝐹𝑁) FPR (False Positive Rate) 𝐹𝑃𝑅 = 𝐹𝑃 (𝐹𝑃 + 𝑇𝑁)
Word cloud adalah metode visualisasi data teks yang menampilkan kumpulan kata dalam Term  Document  Matrix dengan  ukuran  kata  yang  semakin  besar  menunjukkan frekuensi yang semakin tinggi (Pradana, 2020).

## 3. METODE PENELITIAN
Data  yang  dipakai  dalam  penelitian  ini  ialah  data  kualitatif,  yakni  data  hasil web scrapping dari google  playstore .  Data  yang  digunakan  sebanyak  2926 review aplikasi Pegipegi dengan rentang waktu pengambilan data dari 11 Desember 2021 – 11 Desember 2022.
Langkah-langkah analisis yang dilakukan pada penelitian ini adalah sebagai berikut:
1. Web Scrapping data
2. Pre-processing data
3. Pelabelan Kelas Sentimen
4. Feature Selection
5. Pembobotan TF-IDF
6. Tahap Klasifikasi
a. Mengklasifikasikan data jadi data training dan data testing 70%:30%
b. Menentukan parameter yang digunakan pada klasifikasi random forest yaitu nilai mtry dan nilai ntree.
c. Membangun  model  klasifikasi random  forest dengan  menggunakan  perhitungan gini Index dan gini split .
7. Evaluasi model klasifikasi dengan confusion matrix
8. Wordcloud

## 4. HASIL DAN PEMBAHASAN
Data  yang  dipakai  ialah review pengguna  aplikasi  Pegipegi  pada  kolom  komentar  di Google Playstore dengan cara web scrapping menggunakan bahasa pemrograman Python dengan Google Collaboratory . Jumlah data yang diperoleh dari proses web scrapping adalah sebanyak  2926  dengan  pengambilan  dibatasi  dari  rentang  waktu  11  Desember  2021  –  11 Desember  2022.  Setelah  dilakukan pre-processing ,  data  yang  digunakan  sebanyak  2747 review .
Data review aplikasi pegipegi yang terdapat pada Google Playstore merupakan data teks  yang  tidak  terstruktur  dan  memiliki  berbagai  macam  tipe.  Data  tersebut  terdiri  atas simbol, angka, singkatan, dan emoji yang beragam pada setiap kalimatnya sehingga perlu diolah  menggunakan text  mining dengan  bahasa  pemrograman Python pada Google Collaboratory . Proses ini merupakan tahap transformasi data tidak tersusun jadi informasi yang tersusun sehingga memudahkan untuk melakukan langkah penelitian kelanjutanya.
Pelabelan  data  dilaksanakan  secara  otomatis  dengan  menggunakan  kamus lexicon . Proses  pelabelan  kelas  sentimen  menghasilkan  sebanyak  2462  dokumen  dengan  label sentimen positif dan 285 dokumen dengan label negatif.
Pembobotan kata TF-IDF digunakan untuk mengubah kata-kata menjadi angka yang bisa  diperhitungkan  serta  dikelola.  Penetapan  skor  teks  TF-IDF  bertujuan  untuk  analisis sentimen pada data jenis kualitatif. Perolehan dari penetapan skor kata bisa diamati di Tabel 3.
Tabel 3. Hasil Pembobotan TF-IDF Sampel Ke- admin bantu kasih pergi ⋯ yogyakarta 1 0 0 0 1,9673 ⋯ 0 2 0 1,7466 0 0 ⋯ 0 3 0 1,1644 1,3327 0 ⋯ 0 ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ 2747 0 0 0 0 ⋯ 0
Proses  klasifikasi  di  penelitian  ini  memakai  data training dan  data testing dalam pembuatan model machine learning . Proporsi terbaik pembagian data training 70% dan data testing 30%.
Metode random forest menggunakan perhitungan gini untuk menetapkan pemisahan node . Algoritma ini terus melaksanakan splitting hingga penghitungan gini mencapai angka = 0. Pembuatan tiap pohon dilakukan secara acak dan tidak dapat diketahui baris data yang digunakan. Contoh dataset sederhana bisa diamati di Tabel 4.
Tabel 4. Dataset yang disederhanakan Review ke- Bantu Label Sentimen 1 1,1644 Positif 2 1,7466 Positif 3 0 Negatif 4 0 Positif 5 0 Negatif
Tabel  4  menunjukkan  hasil  pembobotan  TF-IDF term “bantu”  pada  5 review dan label  sentimen  yang  akan  dilakukan  perhitungan gini dari  masing-masing review . Perhitungan gini  index dan gini  split  term “bantu”  pada review pertama  adalah  sebagai berikut:
Gini index (bantu ≤ 1,1644) = 1 − [( 2 4 ) 2 + ( 2 4 ) 2 ] = 1 −  0,50 = 0,50
Gini index (bantu > 1,1644) = 1 − [( 0 1 ) 2 + ( 1 1 ) 2 ] = 1 −  1 = 0
Gini Split (bantu) = ( 4 5 ) (0,50) +   ( 1 5 ) (0) = 0,40
Perhitungan dari gini index dan gini split term “bantu” pada seluruh review dihitung dengan cara yang sama dan bisa diamati di Tabel 5.
Tabel 5. Perhitungan Gini Index dan Gini Split pada term “bantu” pada seluruh review Bobot TF-IDF Term Bantu Label Total Gini Index Gini Split Neg  Pos ≤ 0 2 1 3 0,444444444  0,266666667 > 0 0 2 2 0 ≤ 1,1644 2 2 4 0,5 0,4 > 1,1644 0 1 1 0 ≤ 1,7466 2 3 5 0,48 0,48
> 1,7466 0 0 0 1 Nilai gini split dari term sejumlah mtry dihitung dan term dengan gini split terkecil menjadi node teratas pada satu pohon. Perhitungan gini split kembali dilakukan untuk menentukan splitting node . Perhitungan gini dilakukan terus menerus hingga mencapai leaf node yaitu ketika gini split = 0. Suatu pohon dapat terbentuk setelah melakukan perhitungan gini . Pengklasifikasian review aplikasi Pegipegi pada penelitian ini menggunakan algoritma random forest dengan tree sebanyak 200 pohon keputusan. Ntree yang sudah dibangun akan dilakukan majority  vote dan  diperoleh  hasil  performa  kinerja random  forest dalam pengklasifikasian review aplikasi pegipegi yang bisa diamati di Tabel 6.
Tabel 6. Performa Kinerja Random Forest dalam Pengklasifikasian Review Aplikasi Pegipegi Data Accuracy AUC-ROC Training 98,23% 96,71% Testing 92,73% 82,35%
Pada algoritma random forest data testing model mencapai tingkat akurasi sebesar 92,73%. Hal Ini menunjukkan bahwa model secara keseluruhan mampu melakukan prediksi dengan  benar.  Data Testing juga  menghasilkan  nilai  AUC-ROC  sebesar  82,35%.  Hal  ini menunjukkan model memiliki kinerja yang baik dalam membedakan antara kelas positif dan negatif.
Gambar 1. Kurva AUC-ROC Data Testing
Berdasarkan  hasil  tingkat  akurasi  dan  nilai  AUC-ROC  dapat  disimpulkan bahwasannya  pada  penelitian  ini  tidak  terjadi overfitting karena  tingkat  akurasi  dan  nilai AUC-ROC data train dengan tingkat akurasi dan nilai AUC-ROC data test yang dihasilkan model random forest tidak memiliki selisih yang cukup signifikan sehingga model random forest yang sudah dibentuk merupakan model yang baik.
Data review aplikasi Pegipegi pada Google Playstore divisualisasikan melalui ekstraksi topik yang sering dibicarakan oleh pengguna, kemudian dipresentasikan dalam bentuk word cloud untuk menampilkan review positif dan negatif.
Gambar 2. Word Cloud Review Aplikasi Pegipegi
Visualisasi  data  menggunakan Word  Cloud yang  ditunjukkan  pada  Gambar  2 menunjukkan kedua kelas sentimen memiliki kesamaan pada kata ‘aplikasi’. Aplikasi dalam bahasa  sehari-hari  merupakan  program  yang  menyediakan  produk  atau  jasa,  hal  tersebut menunjukkan  bahwa  masyarakat  cenderung  memberikan review mereka  terkait  dengan fungsi, fitur, maupun produk dan jasa yang ditawarkan oleh aplikasi tersebut.

## 5. KESIMPULAN
Analisis  dan  Pembahasan  mengenai  analisis  sentimen  pengguna online  travel  agent (OTA)  pada  perusahaan  Pegipegi.com  menggunakan random  forest memperoleh  hasil klasifikasi  dengan  nilai  akurasi  sebesar  92,73%  dan  nilai  AUC-ROC  sebesar  82,35%. Visualisasi word  cloud memperlihatkan  bahwa  kata  ‘aplikasi’  adalah  topik  yang  paling sering dibicarakan oleh pengguna aplikasi Pegipegi pada kelas sentimen positif dan negatif, hal  ini  menunjukkan  bahwa  sebagian  besar  pengguna  aplikasi  Pegipegi  cenderung membicarakan  sistem  dari  program  aplikasi  tersebut  seperti  fitur,  fungsi,  maupun  produk dan  jasa  yang  ditawarkan  sebagai  perusahaan online  travel  agent .  Penelitian  ini  dapat digunakan  sebagai  masukan  untuk  owner  aplikasi  agar  dapat  selalu  mengembangkan aplikasi yang dibuat. Selain itu, penelitian ini juga dapat digunakan sebagai pertimbangan masyarakat dalam menggunakan aplikasi OTA untuk memenuhi akomodasi dalam berlibur.

## DAFTAR PUSTAKA
Breiman, L., dan Cutler A. 2003. Manual on Setting Up, Using, and Understanding Random Forest  V4.0 .  Tersedia: https://www.stat.berkeley.edu/~breiman/Using_random_ forests_v4.0.pdf (diakses pada tanggal 30 November 2023)
Breiman,  L.  2001.  Random  Forest. Machine  Learning .  Jurnal: University  of  California, Berkeley
Feldman,  R.,  dan  Sanger,  J.  2007. The  Text  Mining  Handbook:  Advanced  approaches  in Analyzing Unstructured Data . New York: Cambridge University Press. Liu, B. 2015. Sentimen Analysis: Mining Opinions, Sentiments, and Emoticons. Cambridge: Cambridge University Press.
Maskoen,  T.  T.,  dan  Purnama,  D.  (2018).  Area  Under  the  Curve  dan  Akurasi  Cystatin  C untuk Diagnosis Acute Kidney Injury pada Pasien Politrauma. Majalah Kedokteran Bandung, 50(4), 259–264. https://doi.org/10.15395/mkb.v50n4.1342
Ningtyas,  A.  M.  2016.  Pengaruh  Penanganan  Negasi  Dalam  Bahasa  Indonesia  Untuk Pelabelan Otomatis Pada Analisis Sentimen Twitter. Disertasi . Universitas Gadjah Mada Yogyakarta
Nurjanah,  W.  E.,  Perdana,  R.  S.,  dan  Fauzi,  M.  A.  2017.  Analisis  Sentimen  Terhadap Tayangan  Televisi  Berdasarkan  Opini  Masyarakat  Pada  Media  Sosial  Twitter menggunakan  K-Nearest  Neighbour  dan  Pembobotan  Jumlah  Retweet.  Jurnal
Pengembangan Teknologi Informasi dan Ilmi Komputer, Vol.1, No.12, Hal: 1750- 1757.
Olabenjo,  B.  2016.  Applying  Naive  Bayes  Classification  to  Google  Play  Apps categorization. Jurnal: University of Saskatchewan Pegipegi. 2022. About Pegipegi. Tersedia: https://www.pegipegi.com/team/ (diakses pada tanggal 26 November 2022).
Pradana, M. G. 2020. Penggunaan Fitur Wordcloud dan Document  Term  Matrix dalam Text Mining . Jurnal Ilmiah Informatika, Vol. 8, No.1, Hal: 38-43.
Sa’adah  U.,  Rochayani,  M.  Y.,  Lestari,  D.  W.,  dan  Lusia,  D.  A.  2021.  Kupas  Tuntas Algoritma Data Mining dan Implementasinya Menggunakan R. Malang: UBPress.
Santoso, E. B., dan Nugroho, A. 2019. Analisis Sentimen Calon Presiden Indonesia 2019 Berdasarkan  Komentar  Publik  Di  Facebook.  Jurnal  Eksplora  Informatika,  Vol.  9, No.1, Hal: 60-69.
Sari, V. R., Firdausi, F., dan Azhar, Y. 2020. Perbandingan Prediksi Kualitas Kopi Arabika dengan  Menggunakan  Algoritma  SGD,  Random  Forest  dan  Naive  Bayes. EDUMATIC: Jurnal Pendidikan Informatika, Vol. 4 No.2, Hal: 1-9.
Wardhani, N. W. S., Rochayani, M. Y, Iriany, A., Sulistyono, A. D., dan Lestantyo, P. 2019. Cross-validation Metrics for Evaluating Classification Performance on Imbalanced Data . Hal: 14-18.