## Analisis Sentimen Perbandingan Layanan Jasa Pengiriman Kurir Pada Ulasan Play Store Menggunakan Metode Random Forest dan Descision Tree
Dellavianti Nishfi Ilmiah Huda 1 , Cahyo Prianto 2 , Rolly Maulana Awangga 3
123 Universitas Logistik dan Bisnis Internasional, Jalan Sariasih No.54 Kota Bandung, 40151, Indonesia

## I NFORMASI A RTIKEL

## A B S T R A C T
Sejarah Artikel: Diterima Redaksi: 30 Juli 2023
Revisi Akhir: 09 Agustus 2023
Diterbitkan Online : 05 September 2023 Courier delivery is a crucial aspect of the e-commerce industry, and customer satisfaction  with  delivery  services  can  significantly  impact  a  company’s reputation,  whether  positive  or  negative.  Therefore,  sentiment  analysis  of customer reviews on the Play Store platform can provide valuable insights into the performance and acceptance of various courier delivery services available. This Study aims to conduct sentiment analysis on reviews of courier delivery services using two classification methods: Random Forest and Decision Tree. The  first  step  in  this  research  is  data  pre-processing,  which  includes  text cleaning,  tokenization,  and  the  removal  of  irrelevant  words.  Subsequently, relevant  features  are  extracted  from  the  review  texts  using  suitable  feature extraction  methods.  Both  Random  Forest  and  Decision  Tree  methods  are implemented to classify reviews from three companies: Pt X, Pt Y, and Pt Z, into two sentiment categories: positive and negative.The performance of both methods  is  evaluated  using  standard  evaluation  metrics.  Furthermore,  it  is expected  that  this  research  will  provide  valuable  information  to  the  three  e- commerce companies and courier service providers in improving the quality of their  services  based  on  customer  feedback.  Additionally,  it  can  serve  as  a reference for consumers in choosing a courier delivery company that suits their needs.
K ATA K UNCI
Jasa Kurir Analisis Sentimen Play Store Performa Decision Tree Random Forest

## K ORESPONDENSI
E-mail: dellaviant456@gmail.com

## 1. PENDAHULUAN
Dengan  perkembangan  terus-menerus  dalam  era  digital, penggunaan  aplikasi  seluler  semakin  meningkat  dan  popular. Pengguna smartphone sering kali menggunakan PlayStore untuk mengunduh dan mengulas aplikasi yang mereka gunakan. Dalam konteks ini, aplikasi layanan pengiriman kurir  adalah salah satu kategori aplikasi yang popular dan banyak digunakan oleh para pengguna  untuk  memenuhi  kebutuhan  pengiriman  barang. Dengan  perkembangan  teknologi  informasi  yang  menggunakan playstore  masyarakat  dengan  mudah  mendapat  akses  termasuk dalam  hal  tersebut  adalah  informasi  mengenai  aspek-aspek spesifik  dalam  kehidupan  sehari-hari      mereka,  termasuk perbandingan mengenai layanan pengiriman barang dari berbagai jasa  pengiriman  yang  saat  ini  tersedia.  Perbandingan  layaanan jasa pengiriman logistic dapat dilakukan dengan berbagai metode
dan teknik yang terkait dengan sentiment analisis dan visualisasi data.  Analisis  sentiment  adalah  suatu  metode  dalam  perosesan Bahasa alami (NLP) yang bertujuan untuk menentukan sentiment atau pendapat dari teks yang diberikan [1] .
Ulasan  pengguna  pada  platform  play  store  telah menjadi sumber informasi yang popular dalam mengevaluasi dan membandingkan  kualitas  layanan  perusahaan  jasa  pengiriman kurir [2]. Ulasan ini seringkali berisi pendapat, pengalaman dan sentiment  penggunaan  terhadap  layanan  yang  diberikan  oleh perusahaan kurir. Salah satu teknik yang dapat digunakan dalam perbandingan  layanan  jasa  pengiriman  logistic  adalah  analisis data. Dalam hal ini, dapat dianalisis dari berbagai sumber, seperti ulasan pengguna di platform digital yaitu goole play store, data tracking,  pengiriman  paket,  data  score,  at  data  transaksi pembayaran.  Analisis  data  dapat  memberikan  wawasan  tentang kecepatan  pengiriman,  akurasi  pengiriman,  tingkat  keamanan, biaya, dan layanan pelanggan dari layanan jasa pengiriman kurir.
Pengolahan informasi juga penting dalam perbandingan layanan jasa pengiriman kurir.
Metode  Random  Forest  dan  Decision  Tree  adalah  dua  metode yang  popular  dalam  analisis  sentiment.  Random  forest  adalah sebuah metode yang menggabungkan beberapa pohon keputusan yang terbentuk dan kemudian decision tree untuk menghasilkan prediksi  yang  lebih  akurat.  Decision  tree,  disisi  lain  adalah metode yang membangun model prediktif dalam bentuk struktur pohon berdasarkan serangkaian aturan dalam keputusan. Namun, untuk mengelolah data yang baik maka dibutuhkan suatu proses yaitu  text-preprocessing  agar  data  yang  diperoleh  ini  bersih. Sentiment  analisi  ini  sendiri  adalah  satu  dari  model  yang digunakan untuk  klasifikasi data dengan pendekatan  supervised learning  dalam  machine  learning.  Supervised  learning  ini merupakan  tipe  algoritma  yang  digunakan  untuk  melakukan pembelajaran  dengan  cara  memasukkan  data  yang  sudah  diberi label [3].
Tujuan  dari  penelitian  ini  ini  dilakukan  untuk  mempermudah dalam  menentukan  suatu  kalimat  apakah  bermakna  positif  atau negative  untuk  mengembangkan  sebuah  system  yang  mampu melakukan  analisis  sentiment  perbandingan  pada  ulasan pengguna  Play  Store  terkait  layanan  jasa  pengiriman  kurir  dari bebrapa perusahaan yang berbeda. Dengan menggunakan metode Random Forest dan Decision Tree, diharapkan system ini dapat memberikan  pemahaman  yang  lebaik  tentang  kualitas  layanan jasa pengiriman kurir dari perspektif pengguna.
Dengan  adanya  penelitian  ini,  diharapkan  pengguna  dapat memperoleh  informasi  yang  lebih  akurat  dan  terperinci  tentang perbandingan  kualitas  layanan  jasa  pengiriman  kurir  dari berbagai  perusahaan.  Ini  akan  membantu  pengguna  dalam pengambilan  keputusan  lebih  informasional  dan  memilih perusahaan jasa pengiriman kurir yang sesua dengan kebutuhan dan  preferensi  mereka.  Disamping  itu,  hasil  dari  penelitian  ini juga  dapat  memberikan  pandangan  atau  wawasan  baru  kepada perusahaan  jasa  pengiriman  kurir  untuk  meningkatkan  kualitas layanan  yang  mereka  tawarkan  berdasarkan  umpan  balik pengguna. Tujuan dari penelitian ini adalah untuk mengidentifikasi  tingkat  akurasi  dari  algoritma  Random  Forest dan  Decision  Tree  dengan  menggunakan  pengukuran  berupa confusion matrix. Kemudian pada  penelitian ini juga dibangsun sebuah  sistem  yang  mampu  melakukan  prediksi  dataset  secara keseluruhan dengan mengguanakn format file csv.

## 2. TINJAUAN PUSTAKA

## 2.1 Analisis Sentimen
Menurut  [4]  Analisis  sentimen,  atau  yang  juga  dikenal  sebagai opinion  mining,  merupakan  sebuah  bidang  penelitian  yang bertujuan  untuk  mengelola,  memahami,  dan  mengekstrak  data yang  berisi  opini,  pendapat,  atau  penilaian  terhadap  berbagai entitas  seperti  barang  atau  produk,  perusahaan,  institusi,  atau Yayasan,  serta  berbagai  lingkup  tertentu.  Dalam  penelitian  [5] disebutkan bahwa analisis sentimen merupakan suatu sistem atau model yang bekerja dengan cara mengambil masukan atau opini berupa dokumen, kemudian menganalisisnya untuk menghasilkan  ringkasan  dokumen  secara  menyeluruh.  Analisis sentimen juga berperan penting dalam mengungkapkan pendapat
baik  secara  kelompok  maupun  individu.  [6]  analisis  sentiment dianggap sebagai cabang  data mining tertentu yang mengklasifikasikan  data  tekstual  menjadi  sentiment  positif, negatif dan netral.

## 2.2 Google Play
Google play merupakan layanan untuk dijadikan sebagai media dalam mengkases informasi secara mudah dan cepat [7]. Google Play,  yang  dapat  diakses  melalui  aplikasi  Android  (PlayStore), website,  dan  Google  TV,  sebelumnya  dikenal  sebagai  Android Market.  Platform  ini  pertama  kali  dirilis pada 22  Oktober 2008 dan  kemudian  berganti  nama  menjadi  Google  Play  pada  Maret 2012  untuk  menggantikan  Android Market dan  Layanan Musik Google.  Berdasarkan  data  dari  Teknologi.id  pada  tahun  2018, terungkap  bahwa  jumlah  aplikasi  yang  tersedia  di  Google  Play telah  mencapai  lebih  dari  3,6  juta.  Dalam  beberapa  bulan berikutnya,  dilaporkan  ada  lebih  dari  sepuluh  ribu  komentar tekstual  dari  aplikasi-aplikasi  baru  yang  diluncurkan  di  Google Play.  Salah  satu  fitur  unggulan  dari  Google  Play  adalah kemampuan  bagi  pengguna  untuk  memberikan  ulasan  (review) tentang  aplikasi  dan  hal  lainnya.  Maka  dari  itu,  Google  Play menjadi  sumber  informasi  penting  dalam  melakukan  analisis sentimen berdasarkan komentar-komentar pengguna.

## 2.3 Text Mining
Text  mining  adalah  bagian  dari  penerapan  data  mining  yang berfokus  pada  pencarian pola  dalam  teks.  Berbeda  dengan  data mining  yang  menggunakan  data  konvensional,  text  mining menggunakan data dalam bentuk dokumen atau teks [8].
Text  mining  memiliki  kesamaan  dengan  data  mining  dalam tujuannya,  yaitu  untuk  memperoleh  informasi  dan  pengetahuan berharga dari sejumlah besar data. Namun, ada perbedaan antara keduanya  terutama  terkait  jenis  data  yang  digunakan.  Data mining  memanfaatkan  data  yang  sudah  terstruktur,  sedangkan text mining umumnya menggunakan data yang tidak terstruktur atau  setidaknya  semi  terstruktur.  Oleh  karena  itu,  text  mining menghadapi  tantangan  tambahan  karena  kompleksitas  dan ketidaklengkapan struktur teks, makna yang tidak jelas dan tidak standar,  beragam  bahasa,  serta  terjemahan  yang  mungkin  tidak akurat  [9].
Tahapan pra-pemrosesan teks terdiri dari:
1. Case  folding :  Merubah  huruf  besar  menjadi  huruf kecil.
2. Cleaning : Mengubah angka, tanda baca, symbol, spasi, dan elemen lainnya.
3. Tokenize : Membagi teks menjadi kata-kata berdasarkan pemisah.
4. Normalize :  Memperbaiki kata-kata  yang  tidak  sesuai dengan aturan EYD (Ejaan yang Disempurnakan).
5. Filtering :  Menyaring  kata-kata  yang  relevan    atau penting untuk analisis.
6. Stemming :  Mengubah  kata-kata  berimbuhan  menjadi bentuk dasarnnya.

## 2.4 Web Scraping
Web Scraping adalah metode yang mengacu pada operasi teknis ekstraksi  informasi  secara  otomatis  dari  sumber  online.  Teknik ini digunakan untuk mengumpulkan data terkait penelitian sosial
digital  dalam  bentuk  yang  terstruktur.  [10].  Secara  umum,  web scraping  digunakan  dalam  berbagai  pekerjaan  yang  terkait dengan data, seperti melakukan penelitian untuk konten website, memenuhi kebutuhan bisnis dalam membandingkan harga, atau melakukan riset pada data publik.. Tahapan umum web scraping yaitu [11] :
1) Meminta HTTP dalam memperoleh sumberdaya yang di targetkan
2) Permintaan  akan  diproses  oleh  server  diminta  akan diambil  dan  dikirim  kembali  dengan  format  yang beragam.
3) Setelah  diterima,  sumber  daya  yang  diminta  akan diambil  dan  dikirim  kembali  dengan  format    yang beragam.
Pada  penelitian  ini  menggunakan API  Google-Play-Scraper dalam pengambilan data.
2.5 Decision Tree
Pohon  keputusan  adalah  metode  yang  kuat  dan  populer  untuk klasifikasi  dan  prediksi.  Metode  ini  mengubah  data  yang  besar menjadi  pohon  keputusan  yang  mencerminkan  aturan.  Aturan- aturan ini dapat dengan mudah dimengerti menggunakan bahasa alami  dan  juga  dapat  diekspresikan  dalam  bentuk  bahasa  basis data  seperti  Structured  Query  Language  (SQL)  untuk  mencari catatan  dalam  kategori  tertentu.  [12].  Pemanfaatan  pohon keputusan  juga  dapat  digunakan  untuk  eksplorasi  data  dengan tujuan  untuk  menemukan  korelasi  yang  tersembunyi  antara beberapa variabel input dengan variabel target.
Pohon  keputusan  adalah  suatu  struktur  yang  digunakan  untuk mempartisi  set  data  besar  menjadi  himpunan-himpunan  record yang  lebih  kecil  melalui  serangkaian  aturan keputusan.  Dengan setiap  tahapan  pembagian,  anggota  himpunan  hasil  menjadi semakin mirip satu sama lain.
2.6 Random Forest
Algoritma  ini  merupakan  hasil  pengembangan  dari  klasifikasi dasar  Decision  Tree.  Menggunakan  sejumlah  pohon  keputusan, algoritma  Random  Forest  dapat  beroperasi  secara  acak  dengan memilih  subset  sampel  dan  subset  fitur,  untuk  memastikan independensi  pada  setiap  pohon  keputusan  dan  meningkatkan generalisasi  [13].  Random  Forest  (RF)  adalah  pengembangan lebih  lanjut  dari  metode  bagging.  RF  merupakan  turunan  dari kelompok algoritma Tree dan menggabungkan metode boostrap aggregating  (bagging)  dengan  seleksi  fitur  secara  acak.  Hal  ini menyebabkan  RF  memiliki  banyak  pohon  yang  tumbuh, membentuk  sebuah  hutan  (forest)  yang  akan  dianalisis  dalam proses klasifikasi. Semakin banyak pohon yang digunakan dalam RF,  maka  akurasi  klasifikasi  akan  semakin  baik.  Untuk melakukan  prediksi  pada  sampel  baru,  sampel  tersebut dimasukkan  ke  dalam  setiap  pohon  keputusan  yang  sudah terbentuk, dan kelasnya ditentukan oleh hasil voting dari semua pohon keputusan tersebut. Proses ini diulang untuk seluruh pohon keputusan  dalam  RF.  Hasil  dari  voting  tersebut  akan  menjadi klasifikasi akhir dari sampel baru dalam proses klasifikasi.
Pohon  keputusan  yang  memiliki  mayoritas  vote  menjadi pemenang dalam penentuan kelas klasifikasi [14]. Algoritma ini merupakan  gabungan  dari  beberapa  prediktor  pohon  atau  biasa disebut decision trees, di mana setiap pohon tergantung pada nilai random  vector  yang  diambil  sebagai  sampel  secara  bebas  dan
merata untuk semua pohon dalam hutan tersebut. Hasil prediksi dari  Random  Forest  didapatkan  dengan  cara  mengambil  hasil mayoritas  dari  setiap  pohon keputusan individual  (voting  untuk klasifikasi dan rata-rata untuk regresi).

## 2.7 Confusion matrix
Confusion matrix adalah sebuah alat untuk mengevaluasi kinerja model berdasarkan hasil prediksi dan data aktual, yang terdiri dari kategori true positif (TP), true negative (TN), false positive (FP), dan  false  negative  (FN ) [15].  True  positif  dan  true  negative menggambarkan  data  kelas  yang  cocok  antara  data  aktual  dan prediksi.  Di  sisi  lain,  false  positif  dan  false  negative mencerminkan data kelas yang tidak sesuai antara data aktual dan prediksi, sehingga dianggap sebagai kesalahan. [16].
Tabel 1. Confusion Matrix
Correct Classification Classified as Predict + Predict - Actual + True Positive False Negative Actual - False Positif True  Negative
Keterangan pada tabel 1. [17].
a. True  Positive (TP)  adalah  jumlah  data  positif  yang diklasifikasikan dengan benar sebagai nilai positif.
b. False Negative (FN) adalah jumlah data negative yang salah diklasifikasikan sebagai nilai positif.
c. False  Positive (FP)  adalah  jumlah  data  positif  yang salah diklasifikasikan sebagai nilai negative.
d. True Negative (TN) adalah jumlah data negative yang diklasifikasikan  dengan benar sebagai nilai negative.
2.8 Visualisasi data
Visualisasi  data  adalah  cara  menyajikan  informasi  secara  lebih singkat,  jelas,  dan  menarik.  Bar  chart  merupakan  salah  satu bentuk visualisasi yang sesuai untuk memperlihatkan perbedaan jumlah  atau  persentase  data  antar  kategori.  [18].  Dalam text mining , salah satu metode umum untuk memvisualisasikan data adalah dengan menggunakan wordcloud. Wordcloud menampilkan kata-kata yang sering muncul dalam suatu teks ke dalam sebuah frame , di mana ukuran kata tersebut semakin besar jika frekuensi kemunculannya lebih tinggi, dan sebaliknya. [19].

## 2.9 Penelitian Terkait
Penelitian  yang  dilakukan  oleh  Fanka  Angelina  Larasati  dan rekan-rekannya menemukan bahwa analisis sentimen menggunakan  algoritma  Random  Forest  pada  topik  "Ulasan aplikasi Dana". Pengujian dilakukan berdasarkan variasi jumlah pohon dan kedalaman pohon, yang menghasilkan nilai precision sebesar  84%,  recall  sebesar  84%,  F1-Score  sebesar  84%,  dan akurasi  sebesar  84%  dengan  menggunakan  kedalaman  pohon sebesar  65  dan  jumlah  pohon  sebesar  400  [20].  Penelitian berikutnya  yang  dilakukan  oleh  Mohammad  Aufar  dan  timnya juga  melakukan  implementasi  algoritma  decision  tree  dan random forest pada kasus analisis sentimen di media YouTube. Penelitian  ini  bertujuan  untuk  mengidentifikasi  algoritma  mana yang  paling  baik  dalam  mengklasifikasikan  data  yang  berisi komentar  positif  dan  negatif,  dengan  menggunakan  keputusan yang  serupa  untuk  menentukan  hasil  klasifikasinya  [21]. Penelitian oleh Muhammad Ridwan bertujuan untuk mengklasifikasi  rating  Appstore  menggunakan  algoritma
decision  tree  dan  random  forest.  Tujuannya  adalah  untuk membandingkan  hasil  rating  Appstore  dengan  kedua  algoritma tersebut, yaitu decision tree dan random forest  [22].

## 3. METODOLOGI

## Diagram Alur Metodologi Penelitian
Gambar 1. Alur Metodologi Penelitian

## 3.1 Pengumpulan Data
Pada  bagian  akhir  penelitian  ini,  dilakukan  pengumpulan  data berupa  komentar-komentar  untuk  penelitian  dilakukan  melalui ulasan aplikasi di google play store dengan menggunakan teknik scraping. Data yang diambil berasal dari ulasan masyarakat yang menggunakan  aplikasi  JNE,  J&T,  dan  Pt  Pos,  yang  relevan dengan permasalahan yang ingin diteliti. Selanjutnya, kata kunci yang telah ditentukan untuk permasalahan, yaitu
'com.indivara.jneone', 'com.msd.JTClient',
dan
'com.posindonesia.com', digunakan dalam teknik scraping untuk mengambil data dari alamat yang bersangkutan.
3.2 Pengolahan Data
Langkah  penting  dalam  metodologi  penelitian  adalah  tahap preprocessing  atau  pengolahan  data,  yang  bertujuan  untuk mempersiapkan  data  sebelum  dilakukan  analisis  lebih  lanjut. Dalam  tahap  preprocessing,  cleaning  data  menjadi  salah  satu aspek  krusial,  di  mana  data  dipastikan  akurat,  konsisten,  dan relevan dalam sebuah dataset.

## 3.3 Pembagian Data
Data review ulasan yang telah diolah, dibagi menjadi dua bagian yaitu data pelatihan dan data pengujian. Data pelatihan digunakan untuk melatih model, sementara data pengujian digunakan untuk menguji kinerja model.

## 3.4 Pemodelan Data
Model  Random  Forest  dan  Decision  Tree  dilatih  pada  data pelatihan dengan label sentiment yang sesuai. Label sentiment ini digunakaan sebagai target variable dalam proses pelatihan.

## 3.5 Evaluasi
Model  dievaluasi  dengan  menggunakan  data  pengujian  untuk mengukur  akurasi  dan  performa  model.  Evaluasi  dilakukan dengan menghitung metric seperti akurasi, presisi, recall, dan f1- score.

## 4. HASIL DAN PEMBAHASAN

## 4.1 Preprocessing
Data  yang  diambil  untuk  penelitian  analisis  sentiment menggunakan 1000 ulasan  masing masing dari perusahaan Pt X (JNE), Pt Y (J&T), dan Pt Z (Pt pos) contoh hasil pengambilan data berikut,
Gambar 2. Scraping data Pt X
Gambar 3. Scraping data Pt Y
Gambar 4. Scraping data Pt Z
Datasetnya  disimpan  dalam  format  CSV.  Dataset  berisi username,  score,  at,  content. Selanjutnya  adalah  tahap preprocessing adalah proses persiapan data sebelum diiaplikasikan  pada  model  atau  algoritma machine  learning. Tujuannya  adalah  untuk  membersihkan,  mengubah  format,  dan mempersipakan  data  mentah  agar  lebih  cocok  untuk  analisis pemodelan.  Tahap  preprocessing  melibatkan  langkah-langkah seperti  pembersihan  data,  tranformasi  data,  penghapusan duplikat,  normalisasi,  encoding,  kategori,  reduksi  dimensi,  dan penghapusan fitur irrelevant.
Tabel 2. Preprocessing
No Sebelum preprocessing Sesudah preprocessing Score Ekpedisi 1. Di mohon untuk pihak jne, informasi kurirnya lebih lengkap jangan cuma nama, No hpnya juga di taro supaya barang yang di antarkan tidak salah pengiriman atau salah penerima. sering banget barang hilang gara2 pihak jne kurang tegas pada kurir di  mohon  untuk pihak jne, informasi kurirnya lebih lengkap  jangan cuma  nama,  no hpnya juga ditaruh  supaya barang yang diantarkan tidak salah pengiriman atau salah  penerima. sering banget barang hilang
gara-gara  pihak jne kurang tegas pada kurir
1 JNE
2. Pengirimanya super2  lambat… Kurirnyapun  ga ada yg bisa dihubungi pengirimannya super lampat kurirnya pun gak  ada  yang bisa dihubungi 1 J&T 3. Segala urusan
lebih dipermudah dengan  ;ayanan yang  cepat  dan mudah, gak ribet.
Terimakasih #posaja segala urusan lebih dipermudah dengan  layanan yang  cepat  dan mudah gak ribet terima kasih pos aja 5 Pos

## 4.2 Pelabelan
Hasil  dari  tahap preprocessing kemudian  diberikan  label menggunakan  metode  pelabelan.  Decision  Tree  dan  Random Forest menggunakan library vader sentiment.
Skor  dalam  metode  berbasis  lexicon  dihitung  dengan  cara menjumlahkan  nilai  untuk  setiap  skor  1,  2,  3,  4,  dan  5  yang mengandung sentiment, kemudian dibagi menjadi dua kelas yaitu positif dan negative.
1. Apabila  skornya  lebih  besar  dari  3  >,  maka  labelnya dianggap positif.
2. Sebaliknya,  jika  skornya  kurang  dari  3  <,  maka labelnya dianggep negative.
4.3 Pengujian Menggunakan Confusion Matrix
Decision Tree
Gambar 5. Confusion Matrix Pt X
Terdiri dari  2  kelas  :  “negative” dan  “positif”.  Diagonal  utama dari  table  tersebut  menujukkan  jumlah  data  yang  sebenarnya memiliki  kelas  sentiment  “negative”  yaitu  165,  kemudian  baris yang  menggambarkan  data  yang  sebenarnya  memiliki  kelas sentiment  “positif.    Jumlah  data  yang  memiliki  kelas  “positif” atau data yang sebenarnya yaitu 26.

## Random Forest
Gambar 6. Confusion Matrix Pt X
Dari  gambar  diatas  terlihat  dari  kelas  “negative”  dari  data sebenarnya  167  data,  yaitu  jumlah  data  yang  sebenarnnya berkelas  “negative”  itu  artinya, dari  167 data  kelas  “negative”, model  decision    tree  salah  memprediksi  2  data  sebagai  kelas “posisitf”,  tetapi  berhasil  memprediksi  dengan  benar  165  data sebagai  kelas “negative”.  Dengan demikian, perbedaan hasil  di atas menunjukkan bahwa dalam kasus ini, model Random Forest memiliki kinerja yang lebih baik dalam mengklasifikasikan data kelas "negatif" dibandingkan dengan model Decision Tree.
Decision Tree
Gambar 7. Confusion Matrix Pt Y
Pada matriks konfusi Decision Tree, jumlah data yang sebenarnya adalah  181.  Artinya,  ada  181  data  dengan  kelas  "negatif"  yang benar-benar diklasifikasikan dengan benar sebagai "negatif" oleh
model Decision Tree. Sisanya, 7 data dengan kelas "negatif" salah diklasifikasikan sebagai "positif" oleh model (False Positive).

## Random Forest
Gambar 8. Confusion Matrix Pt Y
Pada  matriks  konfusi  Random  Forest,  jumlah  data  yang sebenarnya  adalah  188.  Artinya,  ada  188  data  dengan  kelas "negatif" yang benar-benar diklasifikasikan dengan benar sebagai "negatif"  oleh  model  Random  Forest.  Terjadi  kesalahan klasfifikasi  oleh  model  di  mana  data  dengan  kelas  “negative” salah dikategorikan sebagai “positif” (False Positive = 0). Dengan demikian,  untuk  kelas  "negatif",  jumlah  data  yang  sebenarnya adalah 188 pada model Random Forest dan bukan 181.

## Decision Tree
Dari gambar matriks konfusi Prediksi Negatif (Prediksi Negatif): Jumlah data yang diprediksi oleh model memiliki kelas "negatif"
adalah 180 (180 data kelas negatif yang diprediksi benar. Prediksi Positif (Prediksi Positif): Jumlah data yang diprediksi oleh model memiliki kelas "positif" adalah 7.
Random Forest
Gambar 10. Confusion Matrix Pt Z
Prediksi  Negatif:  Jumlah  data  yang  diprediksi  oleh  model memiliki  kelas  "negatif"  adalah  189  (189  jumlah  data  dengan kelas negative yang diprediksi dengan benar adalah ditambahkan dengan 0 data kelas positif, yang salah diprediksi sebagai negatif ). Prediksi  Positif:  Jumlah  data  yang  diprediksi  oleh  model memiliki  kelas  "positif"  adalah  0  (0  data  jumlah  dengan  kelas negative  yang  salah  diprediksi  sebagai  positif  adalah ditambahkan dengan 0 data kelas positif yang diprediksi benar).

## 4.4 Topic Modelling
Di  samping  melakukan  analisis  sentiment,  penelitian  ini  juga mencakup  analisis  mengenai topic  modelling .  Dalam  rangka melihat topik-topik yang dibahas dalam pencarian,  menggunakan wordcloud ataupun diagram batang [23]. Topic modeling adalah teknik yang digunakan untuk mengidentifikasi topik-topik utama atau  tema-tema  yang  ada  dalam  sebuah  koleksi  besar  dokumen teks,  seperti  dalam  analisis  sentimen  terhadap  ulasan  atau komentar  pelanggan.  Dalam  konteks  analisis  sentimen  dengan topic  modeling,  diagram  batang  dapat  digunakan  untuk memvisualisasikan  frekuensi  atau  bobot  dari  topik-topik  yang diidentifikasi.  Setiap  batang  pada  diagram  akan  mewakili  satu topik, dan tinggi batang akan menunjukkan tingkat frekuensi atau bobot topik tersebut dalam koleksi dokumen.
Gambar 11. Diagram batang positif  Pt X
Pada gambar diatas menjelaskan bahwa tujuh kata yang memiliki frekuensi  kemunculan  tertinggi  pada  diagram  batang  sentiment positif  adalah  kata:  ‘pengiriman’,  ‘barang’,  ‘aplikasi’, ‘pelayanan’, ‘bagus’, ‘baik’, ‘jnt’. Berikut adalah gambaran atau tampilan diagram batang sentiment negative pt x
Gambar 12. Diagram batang negatif  Pt X
Tujuh  kata  dengan  frekuensi  kemunculan  terbanyak  pada diagram batang sentiment negatiif addalah kata ‘lama’, ‘kecewa’, ‘parah’, ‘kurang’, ‘hilang’, ‘payah’, ‘rusak’.
Gambar 13. Diagram batang positif pt Y
Lima  kata  diatas  menjelaskan  bawah  kata  dengan  frekuensi kemunculan  terbanyak  pada  diagram  batang  sentiment  positif yang  paling  banyak  memunculkan  kata  ‘barang’,  ‘aplikasi’, ‘pengiriman’, ‘jnt’, ‘pelayanan’.
Gambar 14. Diagram batang negatif pt Y
Tujuh  kata  diatas  yang  paling  banyak  pada  sentiment  negative pada  pt  y  kata  yang  sering  muncul  adalah  ‘lama’,  ‘kecewa’, ‘kurang’, ‘parah’, ‘hilang’, ‘rusak’, ‘payah’. Dan kemudian pada pt z memunculkan kata yang paling banyak berikut tampilannya
Gambar 15. Diagram batang positif pt Z
Pada gambar diatas frekuensi enam kata diatas yang paling sering muncul  pada  sentiment  positif  Pt  Z  yaitu  kata  ‘aplikasi’, ‘pengiriman’, ‘barang’, ‘bagus’, ‘pelayanan’, ‘baik’.
Gambar 16. Diagram batang negatif pt Z
Kemudian  pada gambar diatas tujuh kata dari frekuensi sentiment negative yang paling sering muncul yaitu kata ‘lama’, ‘kecewa’, ‘kurang’, ‘parah’, ‘payah’, ‘hilang’, ‘rusak’.

## 5. KESIMPULAN
Berdasarkan  analisis  sentiment  yang  telah  dilakukan,  kami menyimpulkan hal berikut:
1. Sistem hasil dari analisis sentiment bias mengkategorikan  perbandingan  sentiment review customer terhadap  pelayanan  ekpedisi  dengan  tepat sesuai dengan sentiment.
2. Berdasarkan  hasil  evaluasi  pada  ekpedisi  Pt  X menggunakan  algoritma  decision  tree  sentiment negative sebesar 163%. menggunakan model Decision Tree,  dapat  disimpulkan  bahwa  model  memiliki performa  yang  baik  dalam  mengenali  data  dengan sentimen  "negatif".  Hal  ini  ditunjukkan  oleh  nilai Precision yang tinggi (94%), Recall yang tinggi (98%), dan  F1-Score  yang  tinggi  (96%),  serta  akurasi  total model  sebesar  93%.  Kemudian  jika  menggunakan Random  Forest dapat  disimpulkan  bahwa  model memiliki performa yang sangat baik dalam mengenali data dengan sentimen "negatif" (Precision, Recall, dan F1-Score  untuk  kelas  "negatif"  mendekati  1.00). Namun,  model  memiliki  recall  yang  rendah  (0.48) untuk data dengan sentimen "positif", yang menandakan  bahwa  model  menghadapi  kesulitan dalamm\ mengenali data dengan  sentiment “positif”.
3. Hasil  evaluasi  pada  ekpedisi  Pt  Y  menggunakan algoritma decision tree adalah 94% data dengan benar begitupun algoritma random forest berhasil mengklasifikasikan  94%  data  dengan  benar  kedua model  memiliki  tingkat  akurasi  yang  setara  dalam mengklasifikasikan sentimen pada pt Y.
4. Hasil evaluasi pada ekpedisi Pt Z yang paling banyak memberikan score bintang  5. Kemudian pada konfusi matrix  kedua  metode  memiliki accuracy yang  sama yaitu 94%. kedua model memiliki tingkat akurasi yang setara dalam mengklasifikasikan.
5. Dari hasil perbandingann ketiga jasa ekpedisi tersebut terbukti bahwa algoritma Random Forest yang mampu menghasilkaan  performa  yang  tinggi  dan  pohon keputusan  yang  tepat.  Namun  Berdasarkan  hasil evaluasi  yang  telah  dilakukan,  terlihat  bahwa  baik model Decision Tree maupun Random Forest memiliki performa  yang  baik  dalam  mengklasifikasikan memiliki performa yang rendah dalam mengklasifikasikan  sentimen  "positif"  dengan  tingkat keakuratan precision, recall, dan F1-score yang sangat rendah.

## DAFTAR PUSTAKA
[1] F.  Ratnawati,  “Implementasi  Algoritma  Naive  Bayes Terhadap Analisis Sentimen Opini Film Pada Twitter,” INOVTEK  Polbeng  - Seri  Inform. ,  vol.  3,  no.  1,  p. 50, 2018, doi: 10.35314/isi.v3i1.335.
[2] N. Ika, P. Kalingara, O. N. Pratiwi, and H. D. Anggana, “ANALISIS  SENTIMEN  REVIEW  CUSTOMER
TERHADAP LAYANAN EKSPEDISI JNE DAN J&T EXPRESS  MENGGUNAKAN  METODE  NAÏVE BAYES SENTIMENT ANALYSIS REVIEW CUSTOMER  OF  JNE  AND  J&T  EXPRESS EXPEDITION  SERVICES  USING  NAÏVE  BAYES
METHOD,” vol. 8, no. 5, 2021.
[3] L. M. Cendani and A. Wibowo, “Perbandingan Metode Ensemble Learning pada Klasifikasi Penyakit Diabetes,” J.  Masy.  Inform. ,  vol.  13,  no.  1, pp. 33–44,  2022,  doi: 10.14710/jmasif.13.1.42912.
[4] F. N. Zuhri, A. Alamsyah, and S. Si, “Analisis Sentimen Masyarakat  Terhadap  Brand  Smartfren  Menggunakan Naive  Bayes  Classifier  Di  Forum  Kaskus  Public Sentiment  Analysis  of  Smartfren  Brand  Using  Naive Bayes  Classifier  on  Kaskus  Forum,” e-Proceeding Manag. , vol. 4, no. 1, pp. 242–251, 2017.
[5] A.  Andreyestha  and  A.  Subekti,  “Analisa  Sentiment Pada  Ulasan  Film  Dengan  Optimasi  Ensemble Learning,” J. Inform. , vol. 7, no. 1, pp. 15–23, 2020, doi: 10.31311/ji.v7i1.6171.
[6] A. E. Khedr, S. E. Salama, and N. Yaseen, “Predicting stock market behavior using data mining technique and news sentiment analysis,” Int. J. Intell. Syst. Appl. , vol. 9, no. 7, pp. 22–30, 2017, doi: 10.5815/ijisa.2017.07.03.
[7] R.  Ridjalaludin,  I.  A.  Ratnamulyani,  and  A.  A. Kusumadinata,  “Pengaruh  Penggunaan  Layanan Aplikasi  Digital  Google  Play  Dalam  Smartphone Terhadap Pemenuhan Kebutuhan Informasi Mahasiwa,” J.  Komun. ,  vol.  2,  no.  2,  pp.  135–146,  2017,  doi: 10.30997/jk.v2i2.229.
[8] Y.  Sunoto  and  B.  Wasito,  “Analisis  Testimonial Wisatawan Menggunakan Text Mining Dengan Metode Naive  Bayes  Dan  Decision  Tree  ,  Studi  Kasus  Pada Hotel – Hotel Di Jakarta,” J. Inform. dan Bisnis Anal. , vol. 3, no. 2, pp. 39–49, 2014.
[9] G. H. Wastito, “Bab II Landasan Teori,” J.  Chem.  Inf. Model. , vol. 53, no. 9, pp. 1689–1699, 2018.
[10] S.  Juniarsih,  E.  F.  Ripanti,  and  E.  E.  Pratama, “Implementasi  Naive  Bayes  Classifier  pada  Opinion Mining Berdasarkan Tweets Masyarakat Terkait Kinerja Presiden  dalam  Aspek  Ekonomi,” J.  Sist.  dan  Teknol. Inf. , vol. 8, no. 3, p. 239, 2020, doi: 10.26418/justin.v8i3.39118.
[11] V. A. Flores, P. A. Permatasari, and L. Jasa, “Penerapan Web Scraping Sebagai Media Pencarian dan Menyimpan Artikel Ilmiah Secara Otomatis Berdasarkan Keyword,” Maj. Ilm. Teknol. Elektro , vol. 19, no. 2, p. 157, 2020, doi:
10.24843/mite.2020.v19i02.p06.
[12] “ANALISIS  SENTIMEN  ULASAN  EKSPEDISI  J&T EXPRESS MENGGUNAKAN  ALGORITMA  NAÏVE BAYES.htm”.
[13] A. Wicaksana and T. Rachman, “ 済無 No Title No Title No Title,” Angew. Chemie Int. Ed. 6(11), 951–952. , vol. 3,  no.  1,  pp.  10–27,  2018,  [Online].  Available: https://medium.com/@arifwicaksanaa/pengertian-use- case-a7e576e1b6bf
[14] P.  B.  N.  Setio,  D.  R.  S.  Saputro,  and  Bowo  Winarno, “Klasifikasi  Dengan  Pohon  Keputusan  Berbasis Algoritme C4.5,” Prism. Pros. Semin. Nas. Mat. , vol. 3, pp. 64–71, 2020.
[15] Hasugian and Shidiq, “Language Record Structure,” J. Chem. Inf. Model. , vol. 53, no. 9, pp. 1689–1699, 2019.
[16] D.  Safryda  Putri  and  T.  Ridwan,  “Analisis  Sentimen Ulasan  Aplikasi  Pospay  Dengan  Algoritma  Support Vector Machine,” J. Ilm. Inform. , vol. 11, no. 01, pp. 32– 40, 2023, doi: 10.33884/jif.v11i01.6611.
[17] M. F. Rahman, D. Alamsah, M. I. Darmawidjadja, and I.  Nurma,  “Klasifikasi  Untuk  Diagnosa  Diabetes Menggunakan Metode  Bayesian Regularization  Neural Network  (RBNN),” J.  Inform. ,  vol.  11,  no.  1,  p.  36, 2017, doi: 10.26555/jifo.v11i1.a5452.
[18] Z.  Dong,  “Bab  2  Tinjauan  Pustaka  Pengetahuan,” Экономика  Региона ,  no.  Kolisch  1996,  pp.  49–56, 2012.
[19]
Musthofa Galih Pradana, “Penggunaan Fitur Wordcloud dan Document Term Matrix dalam Text Mining,” J. Ilm. Inform. , vol. 8, no. 1, pp. 38–43, 2020.
[20] F.  A.  Larasati,  D.  E.  Ratnawati,  and  B.  T.  Hanggara,
“Analisis  Sentimen  Ulasan  Aplikasi  Dana  dengan Metode Random Forest,” … Teknol. Inf. dan … , vol. 6, no. 9, pp. 4305–4313, 2022, [Online]. Available: http://j- ptiik.ub.ac.id
[21] M. Aufar, R. Andreswari, and D. Pramesti, “Sentiment Analysis on Youtube Social Media Using Decision Tree and Random Forest Algorithm: A Case Study,” 2020 Int.
Conf.  Data  Sci.  Its  Appl.  ICoDSA  2020 ,  2020,  doi:
10.1109/ICoDSA50139.2020.9213078.
[22] M. RIDWAN, N. R. Dewi, and Y. Resti, “Perbandingan Algoritma  Decision  Tree  C4.  5  Dan  Random  Forest Pada  Prediksi  Rating  Aplikasi  Appstore,”  2023, [Online].
Available:
https://repository.unsri.ac.id/94588/%0Ahttps://reposito ry.unsri.ac.id/94588/19/RAMA_44201_080112817220 53_0013117004_0019077302_01_front_ref.pdf
[23] I. K. Susanto, “Analisis Sentimen dan Topic Modelling Pada  Pembelajaran  Online  di  Indonesia  Melalui Twitter,” JOINTECS  (Journal  Inf.  Technol.  Comput. Sci. , vol. 6, no. 2, p. 85, 2021, doi: 10.31328/jointecs.v6i2.2350.

## BIODATA PENULIS

## Dellavianti Nishfi Ilmiah Huda
Mahasiswi  Pendidikan  D4  Teknik  Informatika Universitas  Logistik  dan  Bisnis  Internasional Bandung.
Cahyo Prianto, S.Pd., M.T ., CDSP, SFPC . Kasubag. Akademik dan Akreditasi Program Studi Sarjana  Terapan  Teknik  Informatika  Sekaligus
Dosen Universitas
Logistik dan Bisnis
Internasional Bandung.
Rolly  Maulana  Awangga,  S.  T.,  MT.,  CAIP,

## SFPC.
Dosen  Program  Studi  Sarjana  Terapan  Teknik Informatika,  Universitas  Logistik  dan  Bisnis Internasional Bandung.