## JURNAL MEDIA INFORMATIKA BUDIDARMA
Volume 7, Nomor 3, Juli 2023, Page 1134-1143 ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online ) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i3.6336

## Analisis Sentimen Pengguna Transportasi Online Maxim Pada Instagram Menggunakan Naïve Bayes Classifier dan K-Nearest Neighbor
Dzul Asfi Warraihan * , Inggih Permana, Mustakim, Rice Novita, M.Afdal, Arif Marsal
Sains dan Teknologi, Sistem Informasi, Universitas Islam Negeri Sultan Syarif Kasim Riau, Pekanbaru, Indonesia Email: 1,* 11950324661@students.uin-suska.ac.id, 2 inggihpermana@uin-suska.ac.id, 3 mustakim@uin-suska.ac.id
4 Rice.Novita@uin-suska.ac.id, 5 m.afdal@uin-suska.ac.id, 6 arif.marsal@uin-suska.ac.id Email Penulis Korespondensi: 11950324661@students.uin-suska.ac.id
Abstrak− Transportasi online adalah bentuk transportasi berbasis internet yang mencakup semua aspek proses transaksi, termasuk pemesanan, pelacakan rute, pembayaran, dan penilaian layanan terhadap transportasi online tersebut. Maxim merupakan salah satu penyedia transportasi online yang populer di Indonesia sehingga akan terus meningkatkan pelayanannya guna melayani kebutuhan seluruh  masyarakat.  Dalam  melakukan  perkembangan, Maxim  membutuhkan  pendapat/opini  pengguna  terkait  aplikasi  atau pelayanannya. Penelitian ini melakukan analisis sentimen terhadap pendapat/opini pengguna Maxim di Instagram menggunakan algoritma Naive Bayes Classifier (NBC) dan K-Nearest Neighbor (KNN). Opini dibagi menjadi 3 kelas yaitu negatif, netral, dan positif. Penelitian ini juga menggunakan metode Random Over Sampling serta pembagian data dengan 10-Fold Cross Validation. Hasil accuracy pada data sentimen terkait aplikasi menggunakan algoritma NBC yaitu 81,03% dan pada algoritma KNN dengan nilai k=3 yaitu sebesar 80,72%. Sedangkan pada data sentimen terkait layanan menghasilkan nilai  accuracy pada algoritma NBC yaitu 94% dan algoritma KNN dengan k=3 yaitu 84%. Dapat disimpulkan bahwa model NBC lebih baik dibandingkan dengan model KNN pada pengujian data sentimen terkait aplikasi dan data sentimen terkait layanan setelah dilakukannya metode Random Over Sampling.
Kata Kunci: Analisis Sentimen; Instagram; K-Nearest Neighbor; Maxim; Naive Bayes Classifier
Abstract− Online transportation is a form of internet-based transportation that covers all aspects of the transaction process, including booking,  route  tracking,  payment,  and  service  assessment  of  the  online  transportation.  Maxim  is  one  of  the  popular  online transportation providers in Indonesia so it will continue to improve its services to serve the needs of the entire community. In making developments, Maxim needs user opinions regarding its application or services. This research conducts sentiment analysis of Maxim users' opinions on Instagram using Naive Bayes Classifier (NBC) and K-Nearest Neighbor (KNN) algorithms. Opinions are divided into 3 classes: negative, neutral, and positive. This research also uses the Random Over Sampling method and data sharing with 10- Fold Cross Validation. The accuracy results on sentiment data related to applications using the NBC algorithm are 81.03% and  in the KNN algorithm with a value of k = 3 which is 80.72%. Meanwhile, sentiment data related to services produces an accuracy value in the NBC algorithm, namely 94% and the KNN algorithm with k = 3, namely 84%. It can be concluded that the NBC model is better than the KNN model in testing application-related sentiment data and service-related sentiment data after the Random Over Sampling method.
Keywords : Sentiment Analysis; Instagram; K-Nearest Neighbor; Maxim; Naive Bayes Classifier

## 1. PENDAHULUAN
Transportasi  online  adalah  bentuk  transportasi  berbasis  internet  yang  mencakup  semua  aspek  proses  transaksi, termasuk pemesanan, pelacakan rute, pembayaran, dan penilaian layanan terhadap transportasi online tersebut [1]. Saat ini sudah banyak transportasi online yang ada di Indonesia salah satunya yaitu Maxim. Maxim berasal dari Rusia dan berdiri pada tahun 2003 [2]. Maxim masuk ke Indonesia pada tahun 2018 di bawah naungan PT. Teknologi Perdana Indonesia  [2].  Awalnya,  Maxim  hanyalah  sebuah  aplikasi  pemesanan  layanan  taksi.  Namun,  saat  ini  di  Indonesia Maxim sudah memiliki beragam  layanan,  antara lain  Maxim Bike, Maxim Delivery, Maxim Food &  Shop, Maxim Car, Maxim Cargo, dan Maxim Cleaning  [3]. Maxim memberikan kebijakan yang menguntungkan bagi  driver dan customer, termasuk jadwal kerja yang fleksibel bagi driver, biaya yang murah, dan sistem pre-order bagi customer [4].
Maxim  merupakan  salah  satu  penyedia  transportasi  online  yang  populer  di  Indonesia  sehingga  akan  terus meningkatkan pelayanannya guna melayani kebutuhan seluruh masyarakat [5]. Berdasarkan informasi yang diambil dari  website  resmi  Maxim,  transportasi  online  ini  terus  melakukan  ekspansi  jangkauan  operasional  hingga  saat  ini sudah  bisa  digunakan  dilebih  dari  100  kota  yang  ada  di  Indonesia  [5].  Maxim  memiliki  dua  aplikasi  yang  bisa digunakan oleh penggunanya. Aplikasi “maxim – ojek, transportasi” digunakan untuk customer, sedangkan aplikasi “Taxsee Driver” digunakan untuk driver.  Aplikasi untuk customer Maxim sendiri telat diunduh lebih dari 50 jt kali di Google Play dan aplikasi untuk driver Maxim telah diunduh lebih dari 10 jt kali di Google Play. Berdasarkan hasil wawancara  dengan  pihak  Maxim  diketahui  bahwa  dalam  melakukan  perkembangan,  Maxim  membutuhkan  opini pengguna terkait aplikasi dan pelayanannya. Saat ini, Maxim mendapatkan opini tersebut melalui email, website, atau bertemu langsung dengan pengguna. Sebenarnya, Maxim juga melihat opini masyarakat dari beberapa sosial media.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
Volume 7, Nomor 3, Juli 2023, Page 1134-1143 ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online ) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i3.6336
Dzul Asfi Warraihan , Copyright © 2023, MIB , Page 1135 Submitted: 12/06/2023 ; Accepted: 12/07/2023 ; Published: 23/07/2023
Namun,  Maxim  hanya  menganggapi  pesan-pesan  yang  masuk  secara  personal  dan  beberapa  komentar  saja.  Hal tersebut  dikarenakan  jumlah  komentar  yang  tidak  sedikit  sehingga  belum  maksimal  dalam  menampung  atau menangani opini masyararakat.
Salah  satu  sosial  media  Maxim  yaitu  instagram  dengan  nama  akun  @maxim_indo.  Akun  tersebut  mulai bergabung  di  Instagram  pada  bulan  Februari  tahun  2018  dan  memiliki  sebanyak  517  unggahan  dengan  jumlah pengikutnya  sebanyak  103  ribu.  Instagram  memiliki  fitur  komentar  pada  sebuah  unggahan.  Akun  @maxim_indo termasuk  akun  instagram  yang  cukup  aktif  dalam  mengunggah  foto  atau  video  sehingga  banyak  masyarakat  yang memberikan opini mereka mengenai Maxim pada fitur komentar tersebut.
Berdasarkan penjelasan pada paragraf sebelumnya, penelitian ini menganalisis opini pengguna Maxim dengan menggunakan  Instagram  sebagai  sumber  pengambilan  data.  Opini  yang  didapat  dari  komentar  instagram  dianalisis menggunakan  teknik text mining.  Opini  tersebut diklasifikasi  menjadi  3  kelas  yaitu  opini  negatif, opini  netral,  dan opini  positif.  Pekerjaan  menganalisis  opini  ini,  biasa  disebut  dengan  istilah  analisis  sentimen.  Pada  penelitian  ini Analisis sentimen dilakukan pada 2 hal yaitu sentimen terkait aplikasi dan sentimen terkait layanan.
Sentimen terkait aplikasi berhubungan dengan 2 aplikasi smartpone yang ada pada Maxim yaitu “maxim – ojek, transportasi”  yang  digunakan  oleh  customer  dan  “Taxsee  Driver”  untuk  para  driver  sebagai  mitra  kerja  Maxim. Sedangkan sentimen terkait layanan berhubungan dengan interaksi antara pengguna dan pihak Maxim, maupun antara pengguna dan pengguna (driver dan customer). Hasil dari analisis sentimen tersebut akan memberikan gambaran secara umum tentang opini penggunanya kepada pihak maxim terhadap aplikasi dan layanannya.
Penelitian  ini  menggunakan  algoritma  yaitu  Naive  Bayes  Classifier  (NBC)  dan  K-Nearest  Neighbor  (KNN) untuk membuat model klasifikasi. Dalam proses klasifikasi, masing-masing algoritma tersebut memiliki karakteristik yang  berbeda  [6].  Algoritma  NBC  diperkenalkan  oleh  Thomas  Bayes  [7].  Algoritma  ini  adalah  metode  yang menggunakan  statistik  sederhana  berdasarkan  Teorema  Bayes  [8]  untuk  menentukan  kelas  sebuah  data  observasi dengan menggunakan atribut-atribut yang ada. Algoritma ini memiliki kelebihan yaitu accuracy yang tinggi dan proses perhitungan yang cepat [9] jika data yang digunakan adalah data yang balance dan telah di pra proses secara optimal [10]. Sedangkan KNN merupakan metode machine learning yang digunakan dalam proses klasifikasi [11]. Algoritma ini dapat memproses data yang besar dengan komputasi kinerja tinggi, dan juga memiliki nilai akurasi dan kinerja yang baik,  serta  merupakan  algoritma  yang  sederhana  dan  mudah  dipelajari  (Mustakim  dalam  [12]).  Selain  itu  KNN memiliki kelebihan yaitu robuste terhadap data ber-noise [13].
Algoritma  NBC  ataupun  KNN  telah  berhasil  digunakan  untuk  analisis  sentimen  transportasi  online  pada penelitian-penelitian sebelumnya [12][14][15][16][17]. Akan tetapi penelitian penelitian yang sudah ada tersebut tidak menggunakan instagram  sebagai  sumber datanya. Instagram  merupakan media sosial yang pada dasarnya berfungsi untuk berbagi foto maupun vídeo pada sesama pengguna [18]. Sejak Maret 2022 pengguna instagram telah tercatat kurang lebih 106,95 juta orang dan jumlah tersebut  meningkat  sebesar 22% dari tahun sebelumnya  [19]. Selain itu penelitian-penelitian sebelumnya [14][15][16][17] hanya menggunakan satu buah algoritma. Sedangkan penelitian ini akan membandingan dua buah algoritma (NBC dan KNN) untuk selanjutnya dipilih model klasifikasi terbaik.
Paper ini terdiri dari 4 bab yaitu pendahuluan, metodologi penelitian, hasil & pembahasan, serta kesimpulan. Pada  bab  pendahuluan  berisi  tentang  latar  belakang  penelitian.  Selanjutnya,  pada  bab  metodologi  penelitian menjelaskan tentang tahapan-tahapan penelitian yang dilakukan. Lalu  pada bab hasil dan pembahasan menjelaskan tentang hasil dari topik penelitian yang dilakukan. Bab terakhir yaitu kesimpulan yang menjawab permasalahan yang terdapat di dalam penelitian.

## 2. METODOLOGI PENELITIAN
Secara  garis  besar  penelitian  ini  terdiri  dari  9  tahapan.  Tahap  pertama  adalah  pengumpulan  data  sentimen  pada komentar instagram. Tahapan kedua, melakukan seleksi relevansi pada data. Tahapan ketiga, melakukan pembagian jenis data sentimen terkait aplikasi dan data sentimen terkait layanan. Tahapan keempat, melakukan pelabelan terhadap komentar-komentar yang ada. Tahapan kelima, dilakukan praproses data. Tahapan keenam, melakukan proses data balancing. Tahapan ketujuh, melakukan pembobotan kata dengan TF-IDF. Tahapan kedelapan, melakukan klasifikasi menggunakan  algoritma  NBC  dan  KNN.  Tahapan  terakhir,  melakukan  perbandingan  performa  algoritma  yang digunakan. Untuk lebih jelasnya dapat dilihat pada Gambar 1.
Gambar 1. Metodologi Penelitian

## JURNAL MEDIA INFORMATIKA BUDIDARMA
Volume 7, Nomor 3, Juli 2023, Page 1134-1143 ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online ) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i3.6336

## 2.1 Pengumpulan Data
Dataset penelitian ini berupa teks sentimen yang diambil dari komentar pada unggahan akun instagram resmi maxim yaitu @maxim_indo. Unggahan yang dipilih adalah foto atau video yang di-upload dalam rentang waktu Maret 2022 hingga  Maret  2023.  Dataset  dikumpulkan  menggunakan  Teknik  Scraping  dengan  bantuan  Tool  igcommentexport. Igcommentexport adalah extensions pada google chrome yang disimpan dalam format file csv [20].

## 2.2 Seleksi Relevansi Data
Pada  tahapan  ini  dihapus  komentar-komentar  yang  tidak  ada  relevansinya  dengan  topik  penelitian  [21].  Bentuk komentar  yang  tidak  relevan  yaitu  percakapan  antar  pengguna  yang  tidak  mengandung  opini  mengenai  aplikasi maupun layanan pada Maxim, komentar menggunakan full bahasa daerah ataupun full selain bahasa indonesia, balasan dari akun @maxim_indo, serta komentar yang sama dalam 1 akun. Seleksi relevansi data dilakukan menggunakan tool microsoft excel.

## 2.3 Pembagian Jenis Data
Tahapan  selanjutnya  yaitu  membagi  dataset  menjadi  2  jenis  yaitu  data  sentimen  terkait  aplikasi  dan  data  sentimen terkait  layanan.  Pembagian  ini  dilakukan  menggunakan  tool microsoft  excel.  Isi  dari  data  sentimen  terkait  aplikasi berhubungan dengan dua aplikasi  yang ada pada Maxim, yaitu “maxim  – ojek, transportasi” yang digunakan oleh customer dan “Taxsee Driver” untuk para driver sebagai mitra kerja Maxim. Sedangkan data sentimen terkait layanan berhubungan dengan interaksi antara pengguna dan pihak Maxim, maupun antara pengguna dan pengguna (driver dan customer).

## 2.4 Pelabelan Data
Dataset  yang  dihasilkan  dari  akun  @maxim_indo  merupakan  dataset  yang  belum  berlabel  atau  masih  berjenis unsupervised data, sehingga harus dilakukan pelabelan agar dataset dapat dipelajari. Pelabelan data dilakukan oleh 3 orang annotator. Annotator merupakan seseorang yang bertanggungjawab untuk memberikan label (negatif, netral, dan positif) pada masing-masing  dataset  [22]. Pada penelitian ini menggunakan 3 orang  annotator. Terdiri  dari 2 orang yang  memiliki  background  pendidikan  dibidang  Teknologi  Informasi  dan  1  orang  yang  memiliki  background pendidikan dibidang Bahasa Indonesia. Pelabelan dikategorikan menjadi  3 yaitu negatif, netral, dan positif. Teknik voting dilakukan pada penelitian ini untuk mendapatkan hasil pelabelan.

## 2.5 Praproses data
Setelah  dilakukan  pelabelan  pada  dataset,  tahapan  selanjutnya  yaitu  praproses  data  untuk  mengubah  data  mentah menjadi data yang lebih terstruktur [23]. Berikut adalah alur tahapan praproses data pada penelitian ini dapat dilihat pada Gambar 2.

## Gambar 2. Tahap praproses data
Pada  tahapan  ini  digunakan  bantuan  Lingkungan  Pengembang  Google  Colab  dengan  bahasa  Pemrograman Phyton  menggunakan  Library  Pandas  dan  Numpy.  Terdapat  beberapa  proses  yaitu;  Case  Folding untuk  meratakan seluruh  isi  komentar  menjadi  huruf  kecil;  Cleaning  untuk  menghapus  akun  pengguna  (@),  hastag  (#),  dan menghilangkan  emoticon,  angka,  tanda  baca,  serta  simbol  yang  ada  pada  komentar;   Tokenizing memisahkan  kata berdasarkan  karakter  spasi  pada  setiap  dokumen;  Convert  Word  yaitu  proses  mengubah  kata-kata  slang  (informal) seperti  "maantuulll"  menjadi  "mantul"  dengan  menggunakan  kamus  slang  dari  hasil  penelitian  [24];  Stopword Removal  pada  proses  ini  menggunakan  Natural  Language  Toolkit  (NLTK);    terakhir  yaitu  proses  Stemming menggunakan  bantuan  Library  Sastrawi.  Proses  dalam  tahapan  praproses  data  ini  bertujuan  untuk memaksimalkan perhitungan pada pembelajaran mesin menggunakan data yang clean [25].

## 2.6 Data Balancing
Pada  penelitian  ini,  data  balancing  dilakukan  untuk  menghilangkan  data  yang  imbalance.  Teknik  Random  Over Sampling  (ROS)  digunakan  dalam  tahapan  data  balancing  ini.  ROS  adalah  metode  persiapan  data yang  digunakan untuk  mengatasi  masalah  ketidakseimbangan  kelas  dalam  kumpulan  data  (M.  P.  Paing  and  S.  Choomchuay  dalam

## JURNAL MEDIA INFORMATIKA BUDIDARMA
Volume 7, Nomor 3, Juli 2023, Page 1134-1143 ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online ) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i3.6336
Dzul Asfi Warraihan , Copyright © 2023, MIB , Page 1137 Submitted: 12/06/2023 ; Accepted: 12/07/2023 ; Published: 23/07/2023
[26]). ROS  bekerja dengan cara mereplikasi  secara acak data pada kelas minoritas sehingga memiliki  jumlah yang sama dengan kelas mayoritas [27]. Dengan menggunakan teknik ini, kumpulan data yang lebih seimbang dapat dibuat, dan  kemampuan  model  untuk  mengidentifikasi  kelas  minoritas  ditingkatkan  [26].  Dataset  diseimbangkan menggunakan ROS untuk memastikan bahwa semua kelas memiliki jumlah data yang sama [26]. ROS dilakukan pada penelitian ini menggunakan Bahasa Pemrograman Phyton dengan Library Imblearn.

## 2.7 TF IDF
Tahap pembobotan dilakukan proses yaitu setiap kata diberi bobot dengan menggunakan Term Frequency dan Inverse Document Frequency  (TF-IDF)  [25]. Pada tahapan ini menggunakan Bahasa Pemrograman  Phyton  dengan  Library Sk-Learn.

## 2.8 Klasifikasi Menggunakan Algoritma NBC dan KNN
Pada penelitian ini dilakukan klasifikasi menggunakan dua algoritma yaitu NBC dan KNN.

## 2.8.1 Naïve Bayes Classifier (NBC)
Pada  algoritma  NBC  dilakukan  menggunakan  bantuan  Lingkungan  Pengembang  Google  Colab  dan  Bahasa Pemrograman  Phyton  dengan  Library  Numpy,  Pandas  dan  Sklearn  Model  GaussianNB.  Untuk  pembagian  data menggunakan 10-Fold Cross Validation. Penggunaan 10-Fold Cross Validation memberikan nilai yang terbaik pada proses validasi dibeberapa penelitian sebelumnya [15].

## 2.8.2 K-Nearest Neighbour (KNN)
Pada algoritma KNN juga menggunakan bantuan Lingkungan Pengembang Google Colab dan Bahasa Pemrograman Phyton dengan Library numpy, Pandas dan Sklearn dengan Model KneighborsClassifier. Pada algoritma ini dibuat 5 kali percobaan pada nilai parameter K. Nilai K yang dicoba pada K-NN sebanyak 5 kali, yaitu K = 3, 5, 7, 9, dan 11 dengan pembagian data menggunakan 10-Fold Cross Validation disetiap parameter yang akan digunakan.

## 2.9 Perbandingan Algoritma
Tahapan  terakhir  yaitu  melakukan  perbandingan  performa  dari  klasifiksi  menggunakan  algoritma  NBC  dan  KNN dengan  confusion  matrix.  Confusion  matrix  bertujuan  untuk  mengetahui  seberapa  akurat  algoritma  yang  dilakukan dengan menggunakan parameter accuracy, precision, dan recall [17]. Berikut adalah 3 Persamaan untuk menghitung accuracy, precision, dan recall [16], yaitu: rumus accuracy pada Persamaan (1); rumus precision pada Persamaan (2); dan rumus recall pada Persamaan (3).
Accuracy   = TP+TN TP+TN+FP+FN x 100% (1) Precision    = TP TP+FP x 100% (2)
Recall     = TP TP+FN x 100% (3)

## 3. HASIL DAN PEMBAHASAN

## 3.1 Hasil Pengumpulan Data
Berdasarkan  hasil  pengumpulan  data  dari  Maret  2022  hingga  Maret  2023,  didapat  83  unggahan  pada  akun @maxim_indo. Dataset yang dihasilkan yaitu sebanyak 6.263 komentar. Sampel dataset dapat dilihat pada Tabel 1.
Tabel 1. Sampel dataset awal No Username Comment Text Date 1 anas_baharuddin Kapan maxim pakai pembayaran Non Tunai 5/3/2022, 17.09.34 2 mahkotasurga26 Saatnya Maxim punya pembayaran non tunai dong 5/3/2022, 17.22.40 3 iniamad_ Karena di Jakarta ada JKT48 jadi aku pilih Jakarta aja min 5/3/2022, 17.11.04 ….. ….. ….. ….. 6.263  denikusumalukman  Wah kejadian juga nih serupa tapi saya pakai link aja.. biasanya lancar jaya langsung masuk.. lah hari ini error.. gimana ya isi 100 rebu pula 14/5/2023, 20.25.37

## JURNAL MEDIA INFORMATIKA BUDIDARMA
Volume 7, Nomor 3, Juli 2023, Page 1134-1143 ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online ) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i3.6336
Dzul Asfi Warraihan , Copyright © 2023, MIB , Page 1138 Submitted: 12/06/2023 ; Accepted: 12/07/2023 ; Published: 23/07/2023
Pada Tabel 1 berisi sampel dataset awal yang terdiri dari 4 kolom yaitu no, username, comment text, dan date.

## 3.2 Hasil Seleksi Relevansi Data
Berdasarkan hasil seleksi relevansi data didapat 2.110 yang relevan dengan topik penelitian. Sampel data hasil seleksi relenvansi dapat dilihat pada Tabel 2.
Tabel 2. Sampel hasil seleksi relevansi data
No Username Comment Text Date 1 anas_baharuddin Kapan maxim pakai pembayaran Non Tunai 5/3/2022, 17.09.34 2 mahkotasurga26 Saatnya Maxim punya pembayaran non tunai dong 5/3/2022, 17.22.40 3 stv_dam Naikin harga maxim lah 5/3/2022, 17.37.44 ….. ….. ….. ….. 2.110  denikusumalukman  Wah kejadian juga nih serupa tapi saya pakai link aja.. biasanya lancar jaya langsung masuk.. lah hari ini error.. gimana ya isi 100 rebu pula 14/5/2023, 20.25.37

## 3.3 Hasil Pembagian Jenis Data
Berdasarkan hasil pembagian jenis data, didapat data sentimen terkait aplikasi sebanyak 1.286 komentar, data sentimen terkait layanan yaitu sebanyak 789 komentar, dan terdapat 35 komentar yang masuk dalam sentimen terkait aplikasi sekaligus sentimen terkait layanan. Sehingga total jumlah data sentimen terkait aplikasi  adalah 1.321 komentar dan data sentimen terkait layanan yaitu 824 komentar. Sampel untuk data sentimen terkait aplikasi dapat dilihat pada Tabel 3 dan sentimen terkait layanan dapat dilihat pada Tabel 4.
Tabel 3. Sampel data sentimen terkait aplikasi
No. Komentar 1 Kapan maxim pakai pembayaran Non Tunai
2 Saatnya Maxim punya pembayaran non tunai dong
….. …..
1.321  Wah kejadian juga nih serupa tapi saya pakai link aja.. biasanya lancar jaya langsung masuk.. lah hari ini error.. gimana ya isi 100 rebu pula
Tabel 4. Sampel data sentimen terkait layanan
No. Komentar
1 Order auto Konsumennya aneh,sudah sampai di depan gang di cancel,rugi bahan bakar.
2 ada nomor whassap CS nya ga? saya mau melaporkan driver yang melakukan praktik pelecehan …..  …..
824  Tolong min untuk custemer servis di Bandung jl.logam tidak ramah tidak ada senyum ketika melayani pengaduan driver khususnya cewek yg duduk nya ditengah
3.4 Hasil Pelabelan Data
Berdasarkan pelabelan data yang dilakukan oleh 3 orang annotator menggunakan teknik voting dapat dilihat hasilnya untuk data sentimen terkait aplikasi dan data sentimen terkait layanan pada Tabel 5.
Tabel 5. Hasil pelabelan data Jenis Data Sentimen Jumlah 1. Data sentimen terkait aplikasi Negatif 945 Netral 173 Positif 203 2. Data sentimen terkait layanan Negatif 631 Netral 105 Positif 88

## 3.5 Hasil Praproses Data
Pada pengerjaan praproses data dilakukan penambahan kata pada kamus slang sesuai dengan kata-kata yang muncul pada komentar. Didapat jumlah kata pada kamus slang yaitu 16.197 kata dan 760 kata pada kamus stopword. Sampel

## JURNAL MEDIA INFORMATIKA BUDIDARMA
Volume 7, Nomor 3, Juli 2023, Page 1134-1143 ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online ) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i3.6336
Dzul Asfi Warraihan , Copyright © 2023, MIB , Page 1139 Submitted: 12/06/2023 ; Accepted: 12/07/2023 ; Published: 23/07/2023
hasil setelah dilakukan seluruh tahapan praproses terhadap data sentimen terkait aplikasi dapat dilihat pada Tabel 6 dan sampel data sentimen terkait layanan dapat dilihat pada Tabel 7.
Tabel 6 . Hasil praproses data sentimen aplikasi
No. Komentar Label Hasil Praproses Data 1 Kapan maxim pakai pembayaran Non Tunai Netral maxim pakai bayar non tunai 2 Saatnya Maxim punya pembayaran non tunai dong Netral maxim bayar non tunai ….. ….. ….. … 1.321  Wah kejadian juga nih serupa tapi saya pakai link aja.. biasanya lancar jaya langsung masuk.. lah hari ini error.. gimana ya isi 100 rebu pula Negatif jadi nih pakai link lancar jaya langsung masuk eror isi ribu Tabel 7 . Hasil praproses data sentimen layanan No. Komentar Label Hasil Praproses Data 1 Order auto Konsumennya aneh,sudah sampai di depan gang di cancel,rugi bahan bakar. Negatif order auto konsumen aneh gang cancel rugi bahan bakar 2 ada nomor whatsapp CS nya ga? saya mau melaporkan driver yang melakukan praktik pelecehan Negatif nomor whatsapp customer lapor driver praktik leceh …..  ….. ….. … 824  Tolong min untuk custemer servis di Bandung jl.logam tidak ramah tidak ada senyum ketika melayani pengaduan driver khususnya cewek yg duduk nya ditengah Negatif tolong admin customer service bandung jalan logam ramah senyum layan adu driver cewek duduk tengah

## 3.6 Data Balancing
Berdasarkan Tabel 5 dapat dilihat bahwa data yang ada tidak balance. Pada data tersebut lebih banyak data negatif. Oleh sebab itu dilakukan balancing menggunakan metode ROS. Hasil data yang telah balance dapat dilihat pada Tabel 8.
Tabel 8. Perbandingan jumlah label Jenis Data Sebelum ROS Setelah ROS Label Jumlah Label Jumlah 1.      Data sentimen terkait aplikasi Negatif 944 Negatif 944 Netral 173 Netral 944 Positif 204 Positif 944 2.      Data sentimen terkait layanan Negatif 631 Negatif 631 Netral 105 Netral 631 Positif 88 Positif 631
Berdasarkan  Tabel  8  yaitu  perbandingan  hasil  label  data  sentimen  sebelum  ROS  dan  setelah  ROS.  Setelah dilakukan ROS, label negatif, netral, dan positif memiliki jumlah yang balance. Jumlah data sentimen terkait aplikasi sebelum ROS  yaitu 1.321 sedangkan jumlah setelah ROS  yaitu 2.832. Untuk jumlah data sentimen terkait layanan sebelum  ROS  yaitu  824  sedangkan  jumlah  setelah  ROS  yaitu  1.893.  Tahap  selanjutnya  akan  menggunakan  data sentimen yang telah dilakukan ROS.

## 3.7 Hasil TF-IDF
Sampel hasil TF-IDF untuk data sentimen terkait aplikasi dapat dilihat pada Tabel 9 dan data sentimen terkait layanan pada Tabel 10. Jumlah kata yang didapat pada data sentimen terkait aplikasi adalah 1.831 kata sedangkan kata sentimen terkait layanan adalah 1.907 kata.
Tabel 9. Sampel hasil TF-IDF data sentimen terkait aplikasi
No bayar
maxim non tunai 1 0,454759  0,260874  0,506311  0,494991 2 0,516163  0,296099  0,574675  0,561827 … … … … … 2.832  0,499015 0 0,370388  0,362107

## JURNAL MEDIA INFORMATIKA BUDIDARMA
Volume 7, Nomor 3, Juli 2023, Page 1134-1143 ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online ) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i3.6336
Dzul Asfi Warraihan , Copyright © 2023, MIB , Page 1140 Submitted: 12/06/2023 ; Accepted: 12/07/2023 ; Published: 23/07/2023
Tabel 10. Sampel hasil TF-IDF data sentimen terkait layanan
No cancel cari customer driver enak 2 0 0 0,23399 0,116912 0 3 0,122622  0,339239 0 0,21593 0,147217 … … … … … … 1.893 0 0 0 0,27003 0

## 3.8 Klasifikasi Menggunakan Algoritma NBC dan KNN

## 3.8.1 Algoritma NBC
Pada data sentimen terkait aplikasi dihasilkan nilai  accuracy sebesar 81,03%, nilai precision sebesar 84%, dan nilai recall  sebesar  81%.  Sedangkan  untuk  data  sentimen  terkait  layanan  dihasilkan  nilai  accuracy  sebesar  94%,  nilai precision sebesar 94%, dan nilai recall sebesar 94%. Untuk hasil confusion matrix Algoritma NBC pada data sentimen terkait aplikasi dapat dilihat pada Tabel 11 dan untuk hasil confusion matrix Algoritma NBC pada data sentimen terkait layanan dapat dilihat pada Tabel 12.
Tabel 11 . Confusion matrix NBC pada data sentimen terkait aplikasi
Prediksi Recall Negatif Netral Positif Aktual Negatif 591 181 172 63% Netral 0 944 0 100% Positif 2 182 760 81% Precision 100% 72% 82% Accuracy 81,03% Tabel 12. Confusion matrix NBC pada data sentimen terkait layanan Prediksi Recall Negatif Netral Positif Aktual Negatif 550 36 45 87% Netral 0 631 0 100% Positif 0 38 593 94% Precision 100% 90% 93% Accuracy 94%

## 3.8.2 Algoritma KNN
Pada Algoritma KNN untuk data sentimen terkait aplikasi dihasilkan nilai  accuracy sebesar 80,72%, nilai precision sebesar 82%, dan nilai recall sebesar 81%. Sedangkan untuk data sentimen terkait layanan dihasilkan nilai accuracy sebesar  84%,  nilai  precision  sebesar  86%,  dan  nilai  recall  sebesar  84%.  Pengujian  algoritma  KNN  ini  dilakukan sebanyak 5 kali percobaan dengan nilai parameter K yaitu 3,5,7,9, dan 11. Parameter yang dipilih adalah parameter yang  menghasilkan  nilai  accuracy  tertinggi.  Nilai  accuracy  yang  tinggi  menunjukkan  bahwa  model  secara  umum mampu memprediksi sentimen dengan benar pada setiap label. Untuk data sentimen terkait aplikasi dipilih nilai K = 3 dan  data  sentimen  terkait  layanan  juga  dipilih  nilai  K=3.  Hasil  dari  pengujian  5  kali  percobaan  pada  nilai  K  dapat dilihat  pada  Tabel  13  untuk  data  sentimen  terkait  aplikasi  sekaligus  data  sentimen  terkait layanan. Hasil  confusion matrix  untuk  data  sentimen  terkait  aplikasi  dengan  nilai  K=3  dapat  dilihat  pada  Tabel  14  dan  untuk  data  sentimen terkait layanan dengan nilai K=3 dapat dilihat pada Tabel 15.
Tabel 13 . Perbandingan nilai K pada Algoritma KNN
Nilai Parameter Jenis Data Data Sentimen Terkait Aplikasi Data Sentimen Terkait Layanan Accuracy Precision Recall Accuracy Precision Recall K = 3 80,72% 82% 81% 84% 86% 84% K = 5 73% 74% 73% 79% 80% 79% K = 7 67% 69% 67% 73% 74% 73% K = 9 63% 65% 63% 66% 66% 66% K = 11 60% 62% 60% 63% 64% 63%

## JURNAL MEDIA INFORMATIKA BUDIDARMA
Volume 7, Nomor 3, Juli 2023, Page 1134-1143 ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online ) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i3.6336
Dzul Asfi Warraihan , Copyright © 2023, MIB , Page 1141 Submitted: 12/06/2023 ; Accepted: 12/07/2023 ; Published: 23/07/2023
Tabel 14. Confusion matrix KNN pada data sentimen terkait aplikasi
Prediksi Recall Negatif Netral Positif Aktual Negatif 482 244 217 51% Netral 14 925 5 98% Positif 42 24 878 93% Precision 90% 78% 80% Accuracy 80,72% Tabel 15. Confusion matrix KNN pada data sentimen terkait layanan Prediksi Recall Negatif Netral Positif Aktual Negatif 361 125 145 57% Netral 13 616 2 98% Positif 15 1 615 97% Precision 93% 83% 81% Accuracy 84%

## 3.9 Perbandingan Algoritma
Setelah melakukan klasifikasi dengan Algoritma NBC dan KNN pada data sentimen terkait aplikasi dan data sentimen terkait layanan menggunakan 10-Fold Cross Validation, selanjutnya yaitu mendapatkan hasil perbandingan performa antara NBC dan KNN. Data sentimen terkait aplikasi memiliki nilai accuracy yang lebih tinggi pada Algoritma NBC dibandingkan dengan Algoritma KNN dengan nilai precision dan recall yang selisih nya tidak jauh berbeda. Sedangkan untuk  data  sentimen  terkait  layanan  memiliki  nilai  accuracy  yang  lebih  tinggi  pada  algoritma  NBC  dibandingkan dengan  Algoritma  KNN.  Hasil  perbandingan  performa  kedua  Algoritma  dapat  dilihat  pada  Gambar  3  untuk  data sentimen terkait aplikasi dan Gambar 4 untuk data sentimen terkait layanan.
Gambar 3. Perbandingan performa data sentimen terkait aplikasi
Gambar 4. Perbandingan performa data sentimen terkait layanan

## 4. KESIMPULAN
Penelitian  ini  melakukan  analisis  sentimen  dengan  menggunakan  algoritma  Naïve  Bayes  Classifier  (NBC)  dan  K- Nearest  Neighbour (KNN) menggunakan metode validasi  K-Fold  Cross Validation  dengan nilai  k = 10. Data yang diolah  terbagi  menjadi  dua  jenis  yaitu  data  sentimen  terkait  aplikasi  dan  data  sentimen  terkait  layanan  yang
81% 84% 81% 80,72% 82% 81% 0% 20% 40% 60% 80% 100% Accuracy Precision Recall Algoritma NBC Algortima KNN 94% 94% 94% 84% 86% 84% 0% 20% 40% 60% 80% 100% Accuracy Precision Recall Algoritma NBC Algortima KNN

## JURNAL MEDIA INFORMATIKA BUDIDARMA
Volume 7, Nomor 3, Juli 2023, Page 1134-1143 ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online ) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i3.6336
Dzul Asfi Warraihan , Copyright © 2023, MIB , Page 1142 Submitted: 12/06/2023 ; Accepted: 12/07/2023 ; Published: 23/07/2023
menghasilkan perbandingan yang berbeda. Pada tahap pelabelan data menghasilkan kelas data yang imbalance karena pada setiap label  memiliki selisih  jumlah yang cukup banyak. Oleh karena itu, penelitian ini menggunakan metode tambahan yaitu Random Over Sampling agar kumpulan data yang lebih seimbang dapat dibuat, dan kemampuan model untuk mengidentifikasi kelas minoritas dapat ditingkatkan. Pada algoritma KNN menggunakan 5 buah parameter K yaitu K = 3, K = 5, K = 7, K = 9, dan K = 11. Perbandingan performa algoritma dilihat dari nilai accuracy tertinggi. Hasil  accuracy  pada  data  sentimen  terkait  aplikasi  menggunakan  algoritma  NBC  yaitu  81,03%  dan  pada  algoritma KNN  dengan  nilai  k=3  yaitu  sebesar  80,72%.  Sedangkan  pada  data  sentimen  terkait  layanan  menghasilkan  nilai accuracy pada algoritma NBC yaitu 94% dan Algoritma KNN dengan k=3 yaitu 84%. Dapat disimpulkan bahwa model NBC lebih baik dibandingkan dengan model KNN pada pengujian data sentimen terkait aplikasi dan data sentimen terkait layanan setelah dilakukannya metode Random Over Sampling.

## REFERENCES
[1] R.  M.  Oroh, A.  S.  Sembel,  and  J.  C.  Mandey,  “Pengaruh Keterjangkauan  Trayek Angkutan Kota  Terhadap Peningkatan Transportasi Online di Kota Tomohon,” Sabua  J. Lingkung. Binaan dan Arsit., vol. 11, no. 1, pp. 21–30, 2022, [Online]. Available: https://ejournal.unsrat.ac.id/index.php/SABUA/article/view/41227.
[2] E.  Setyaningsih,  E.  Ismawan,  and  T.  Hidayat,  “Analisa  Tingkat  Kepuasan  Pelanggan  Transportasi  Online  Maxim  di Balikpapan,” STMIK Borneo Int., vol. 3, no. 1, pp. 33–38, 2019.
[3] R. A. Tsalisa, S. P. Hadi, and D. Purbawati, “Pengaruh Kualitas Pelayanan dan Harga terhadap Kepuasan Pelanggan Pengguna Jasa  Transportasi  Online  Maxim  di  Kota  Semarang,”  J.  Ilmu  Adm.  Bisnis,  vol.  11,  no.  4,  pp.  822–829,  2022,  doi: 10.14710/jiab.2022.35970.
[4] M. N. Akbar, N. Hasanahlmar, and M. H. Hasrul, “Sentiment Analysis Terhadap Review Aplikasi Maxim di Google Play Store Menggunakan Support Vector Machine ( SVM ),” AGENTS J. Artif. Intell. Data Sci., vol. 2, no. 2, pp. 1–8, 2022.
[5] Taximaxim.com, “Maxim Ekspansi Jangkauan Layanan, Tambah 11 Kota di Indonesia,” https://id.taximaxim.com, 2023. https://id.taximaxim.com/id/2093-jakarta/blog/2023/01/2106-maxim-ekspansi-jangkauan-layanan-tambah-11-kota-di- indonesia/.
[6] F. Tempola, M. Muhammad, and A. Khairan, “Perbandingan Klasifikasi Antara KNN dan Naive Bayes pada Penentuan Status Gunung  Berapi  dengan  K-Fold  Cross  Validation,”  J.  Teknol.  Inf.  dan  Ilmu  Komput.,  vol.  5,  no.  5,  p.  577,  2018,  doi: 10.25126/jtiik.201855983.
[7] D. Pratmanto, R. Rousyati, F. F. Wati, A. E. Widodo, S. Suleman, and R. Wijianto, “App Review Sentiment Analysis Shopee Application in Google Play Store Using Naive Bayes Algorithm,” J. Phys. Conf. Ser., vol. 1641, no. 1, pp. 1–7, 2020, doi: 10.1088/1742-6596/1641/1/012043.
[8] M. Tri Anjasmoros, D. Fitri Marisa, and Istiadi, “Analisis Sentimen Aplikasi Go-Jek Menggunakan Metode Svm Dan Nbc (Studi Kasus: Komentar Pada Play Store),” Conf. Innov. Appl. Sci. Technol. (CIASTECH 2020), no. Ciastech, pp. 489–498, 2020.
[9] T. Qurahman, Mustakim, and A. Jaini, “Penerapan Algoritma Naïve Bayes Classifier Dan Probabilistic Neural Network Untuk Klasifikasi Nasabah  Bank  Dalam  Membayar Kredit,” …  Komun. dan  Ind.,  no.  November,  pp.  205–213, 2019,  [Online]. Available: http://ejournal.uin-suska.ac.id/index.php/SNTIKI/article/view/7999.
[10]  A.  Rahman,  E.  Utami,  and  S.  Sudarmawan,  “Sentimen  Analisis  Terhadap  Aplikasi pada  Google  Playstore  Menggunakan Algoritma Naïve Bayes dan Algoritma Genetika,” J. Komtika (Komputasi dan Inform., vol. 5, no. 1, pp. 60–71, 2021, doi: 10.31603/komtika.v5i1.5188.
[11]  M. N. Muttaqin and I. Kharisudin, “Analisis Sentimen Pada Ulasan Aplikasi Gojek Menggunakan Metode Support Vector Machine  dan  K  Nearest  Neighbor,”  UNNES  J.  Math.,  vol.  10,  no.  2,  pp.  22–27,  2021,  [Online].  Available: http://journal.unnes.ac.id/sju/index.php/ujm.
[12]  S.  G.  Setyorini  and  Mustakim,  “Application  of  The  Nearest  Neighbor  Algorithm  for  Classification  of  Online  Taxibike Sentiments In Indonesia In The Google Playstore Application,” in journal of Physics: Conference Series, 2021, pp. 1–7, doi: 10.1088/1742-6596/2049/1/012026.
[13]  A. D. Afifaturahman and F. MSN, “Perbandingan Algoritma K-Nearest Neighbour (KNN) dan Naive Bayes pada Intrusion Detection System (IDS),” Innov. Res. Informatics, vol. 3, no. 1, pp. 17–25, 2021, doi: 10.37058/innovatics.v3i1.2852.
[14]  S. Mandasari, B. H. Hayadi, and R. Gunawan, “Analisis Sentimen Pengguna Transportasi  Online Terhadap Layanan Grab Indonesia Menggunakan Multinomial Naive Bayes Classifier,” J-SISKO TECH (Jurnal Teknol. Sist. Inf. dan Sist. Komput. TGD), vol. 5, no. 2, p. 118, 2022, doi: 10.53513/jsk.v5i2.5635.
[15]  S. Nurwahyuni, “Analisis Sentimen Aplikasi Transportasi Online Krl Access Menggunakan Metode Naive Bayes,” Swabumi, vol. 7, no. 1, pp. 31–36, 2019, doi: 10.31294/swabumi.v7i1.5575.
[16]  B.  Mas  Pintoko  and  K.  Muslim,  “Analisis  Sentimen  Jasa  Transportasi  Online  pada  Twitter  Menggunakan  Metode  Naïve Bayes Classifier,” e-Proceeding Eng., vol. 5, no. 3, pp. 8121–8230, 2018.
[17]  F. R. Irawan, A. Jazuli, and T. Khotimah, “Analisis Sentimen Terhadap Pengguna Gojek Menggunakan Metode K-Nearset Neighbors Sentiment Analysis of Gojek Users Using K-Nearest Neighbor,” JIKO (Jurnal Inform. dan Komputer), vol. 5, no. 1, pp. 62–68, 2022, doi: 10.33387/jiko.
[18]  W. Athira Luqyana, I. Cholissodin, and R. S. Perdana, “Analisis Sentimen Cyberbullying pada Komentar Instagram dengan Metode Klasifikasi Support Vector Machine,” J. Pengemb. Teknol. Inf. dan Ilmu Komput., vol. 2, no. 11, pp. 4704–4713, 2018, [Online]. Available: http://j-ptiik.ub.ac.id.
[19]  M.  A.  Rizaty,  “Indonesia  Miliki  97,38  Juta  Pengguna  Instagram  pada  Oktober  2022,”  https://dataindonesia.id/,  2022.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
Volume 7, Nomor 3, Juli 2023, Page 1134-1143 ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online ) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i3.6336
Dzul Asfi Warraihan , Copyright © 2023, MIB , Page 1143 Submitted: 12/06/2023 ; Accepted: 12/07/2023 ; Published: 23/07/2023
https://dataindonesia.id/digital/detail/indonesia-miliki-9738-juta-pengguna-instagram-pada-oktober-2022 (accessed Apr. 07, 2023).
[20]  S. Z. Ulya, “Analisa Sentimen Masyarakat Mengenai Ppkm Di Kota Pekanbaru Pada Instagram Menggunakan Metode Naïve Bayes Classifier,” Universitas Islam Negeri Sultan Syarief Kasim Riau, 2022.
[21]  S.  Khomsah  and  Agus  Sasmito  Aribowo,  “Text-Preprocessing  Model  Youtube  Comments  in  Indonesian,”  J.  RESTI (Rekayasa Sist. dan Teknol. Informasi), vol. 4, no. 4, pp. 648–654, 2020, doi: 10.29207/resti.v4i4.2035.
[22]  N. T. Miko, “Analisis Sentimen pada Kasus Covid19 Menggunakan Convolutional Neural Network dan Word Embedding,” Universitas Komputer Indonesia, 2021.
[23]  E. F. Saraswita, D. P. Rini, and A. Abdiansah, “Analisis Sentimen E-Wallet di Twitter Menggunakan Support Vector Machine dan Recursive Feature Elimination,” J. Media Inform. Budidarma, vol. 5, no. 4, p. 1195, 2021, doi: 10.30865/mib.v5i4.3118.
[24]  N. Aliyah Salsabila, Y. Ardhito Winatmoko, A. Akbar Septiandri, and A. Jamal, “Colloquial Indonesian Lexicon,” Proc. 2018 Int. Conf. Asian Lang. Process. IALP 2018, pp. 226–229, 2019, doi: 10.1109/IALP.2018.8629151.
[25]  V. W. D. Thomas and F. Rumaisa, “Analisis Sentimen Ulasan Hotel Bahasa Indonesia Menggunakan Support Vector Machine dan TF-IDF,” J. Media Inform. Budidarma, vol. 6, no. 3, p. 1767, 2022, doi: 10.30865/mib.v6i3.4218.
[26]  R. Aryanti, T. Misriati, and R. Hidayat, “Klasifikasi Risiko Kesehatan Ibu Hamil Menggunakan Random Oversampling Untuk Mengatasi Ketidakseimbangan Data,” KLIK Kaji. Ilm. Inform. dan Komput., vol. 3, no. 5, pp. 409–416, 2023, doi: DOI: https://doi.org/10.30865/klik.v3i5.728.
[27]  M. Tripati and A. Taneja, “K-Fold Cross-Validation Machine Learning Approach on Data Imbalance for Wireless Sensor Network,” Int. J. Sci. Res. Eng. Trends, vol. 5, no. 5, pp. 1590–1595, 2019.