## Journal of Information System Research (JOSH)
Volume 5, No. 4, Juli 2024, pp 1085−1094 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v5i4.5639

## Perbandingan Metode Decision Tree Dan K-Nearest Neighbor Terhadap Ulasan Pengguna Aplikasi Mypertamina Menggunakan Confusion Matrix
Ade Syahril * , Yana Cahyana, Dwi Sulistya Kusumaningrum, Tatang Rohana
Fakultas Ilmu Komputer, Program Studi Teknik Informatika, Universitas Buana Perjuangan Karawang, Karawang Jl. HS.Ronggo Waluyo, Puseurjaya, Telukjambe Timur, Karawang, Jawa Barat, Indonesia Email: 1,* if20.adesyahril@mhs.ubpkarawang.ac.id, 2 yana.cahyana@ubpkarawang.ac.id, 3 dwi.sulistya@ubpkarawang.ac.id,
4 tatang.rohana@ubpkarawang.ac.id Email Penulis Korespondensi: if20.adesyahril@mhs.ubpkarawang.ac.id Submitted: 20/07/2024; Accepted: 25/07/2024; Published: 26/07/2024
Abstrak −Banyaknya kendaraan di Indonesia menjadikan Bahan Bakar Minyak (BBM) sangat penting, khususnya untuk mobil dan  sepeda  motor.  Pemerintahan  Indonesia  bekerja  sama  dengan  PT  Pertamina  Persero  dan  mengharuskan  transaksi menggunakan  aplikasi  MyPertamina  untuk  memastikan  bahwa  subsidi  BBM  diberikan  secara  tepat  sasaran.  Akan  tetapi aplikasi MyPertamina mendapatkan beragam tanggapan dan kritik dari pengguna, seperti keluhan mengenai bug yang sering muncul,  ketidakstabilan  aplikasi  saat  digunakan  dan  kesulitan  dalam  proses  pendaftaran  atau  login.  Tanggapan  pengguna mengenai aplikasi ini mencuat, baik positif maupun negatif. Pengguna pun memberikan penilaian dan ulasan mereka di Google Play Store. Tujuan dari riset ini yaitu menganalisis opini komentar  user aplikasi MyPertamina dan membandingkan akurasi dari algoritma Decision Tree dan K-Nearest Neighbor. Riset ini mencakup proses scraping, text preprocessing, pembobotan, penerapan algoritma dan evaluasi. Data yang digunakan diperoleh dari Google Play Store sebanyak 10.000 data berdasarkan ulasan  terbaru,  setelah  pembersihan  data seperti  menghapus  data  duplikat  dan  missing  value  diperoleh  8.072  ulasan.  Data kemudian dikelompokkan menjadi kelas positif (2.506 ulasan) dan kelas negatif (5.566 ulasan), dengan jumlah data negatif lebih banyak. Berdasarkan hasil klasifikasi menggunakan metode Decision Tree dan K-NN diketahui bahwa metode Decision Tree memiliki tingkat akurasi yang lebih tinggi yaitu di angka 83%, sedangkan metode K-Nearest Neighbor atau K-NN sebesar 58%. Temuan ini mengindikasikan bahwa metode Decision Tree lebih efektif dalam menganalisis ulasan pengguna aplikasi MyPertamina dibandingkan dengan metode K-NN.
Kata Kunci: Analisis Sentimen; Decision Tree; K-Nearest Neighbors; MyPertamina.
Abstract −The large number of vehicles in Indonesia makes fuel oil (BBM) very important, especially for cars and motorbikes. The  Indonesian  government  works  closely  with  PT  Pertamina  Persero  and  requires  transactions  using  the  MyPertamina application to ensure that fuel subsidies are properly targeted. However, the MyPertamina app has received mixed feedback and  criticism  from  users,  such  as  complaints  about  frequent  bugs,  instability  of  the  app  during  use  and  difficulties  in  the registration or login process. User feedback on the app has been both positive and negative. Users also provided their ratings and reviews on the Google Play Store. The purpose of this research is to analyse the opinions of MyPertamina application user comments and compare the accuracy of the Decision Tree and K-Nearest Neighbor algorithms. This research includes scraping, text preprocessing, weighting, algorithm implementation and evaluation. The data used was obtained from Google Play Store as much as 10,000 data based on the latest reviews, after data cleaning such as removing duplicate data and missing values obtained 8,072 reviews. The data is then grouped into positive classes (2,506 reviews) and negative classes (5,566 reviews), with more negative data. The classification results using the Decision Tree and K-NN methods, it is known that the Decision Tree method has a higher accuracy of 83%, while K-NN method is 58%. This finding indicates that the Decision Tree method is more effective in analysing user reviews of the MyPertamina application compared to the K-NN method.
Keywords : Decision Tree; K-Nearest Neighbors; MyPertamina; Sentiment Analysis.

## 1. PENDAHULUAN
Minyak bumi dan gas dianggap sebagai bahan bakar yang tidak dapat digantikan oleh pemerintah. Kedua bahan sumber daya ini memiliki peran penting dalam kehidupan Masyarakat dan berdampak besar pada perekonomian nasional[1]. Bahan Bakar Minyak (BBM) dibuat sebagian besar dari minyak bumi, yang juga merupakan sumber energi penting yang mendukung aktivitas global. Bahan Bakar Minyak (BBM) juga memainkan peran kunci dalam menentukan harga di berbagai sektor dan dan memungkinkan dalam menyebabkan inflasi[2]. Banyaknya jumlah kendaraan  di  Indonesia  seperti  mobil  dan  motor  membuat  Bahan  Bakar  Minyak  (BBM)  menjadi  bahan  bakar utama. Oleh karena itu, Indonesia menempati urutan kelima di wilayah Asia-Pasifik dan memiliki kebutuhan bahan bakar  terbesar  di  Asia  Tenggara[3].  Naiknya  harga  minyak  dunia  menyebabkan  pemerintah  Indonesia  mulai menetapkan batasan pembelian bahan bakar seperti pertalite dan solar. Pada 1 Juli 2022, pemerintahan Indonesia bekerja  sama  dengan  PT  Pertamina  Persero  dan  mengharuskan  pembeli  bahan  bakar  bersubsidi  untuk mendaftarkan diri di aplikasi MyPertamina. Tindakan ini diambil pemerintah dengan tujuan memastikan bahwa subsidi  BBM  diberikan  secara  tepat  sasaran,  dengan  data  yang  terdaftar  pada  aplikasi  menjadi  acuan  untuk menentukan konsumen yang bisa memperoleh subsidi atau tidak[4].
PT Pertamina Persero membuat mobile application MyPertamina untuk mempermudah Masyarakat  dalam menikmati layanan BBM nontunai di SPBU (Stasiun Bahan Bakar Umum)[5]. Aplikasi MyPertamina dirancang khusus untuk memberikan kemudahan dalam transaksi bagi masyarakat[6]. Aplikasi MyPertamina mendapatkan

## Journal of Information System Research (JOSH)
beragam  tanggapan  dan  kritik  dari  banyak  pengguna, seperti  keluhan  mengenai  bug  yang  sering  muncul, ketidakstabilan aplikasi saat digunakan dan kesulitan dalam proses pendaftaran atau login. Tanggapan pengguna mengenai aplikasi ini mencuat, baik positif maupun negatif. Pengguna pun akhirnya menyampaikan penilaian dan ulasan mereka di Google Play Store[4]. Ulasan biasanya berguna dan efektif untuk memberikan informasi tentang barang  atau  aplikasi[7].  Pada  permasalahan  yang  ditemukan,  analisis  sentimen  diperlukan  untuk  mengetahui pendapat  masyarakat  yang  menggunakan aplikasi MyPertamina agar  memungkinkan pemerintah  untuk  menilai pendapat masayakat dan melakukan evaluasi kebijakan. Selain itu, pihak pengembang dapat memprioritaskan fitur apa yang dikeluhkan oleh pengguna dan bisa segera di perbaharui.
Sentimen  analisis  merupakan  metode  mendeteksi  opini,  sentimen,  evaluasi,  dan  emosi  dari  pernyataan seseorang dalam suatu bidang tertentu[8]. Analisis sentimen melibatkan pemisahan teks dalam sebuah dokumen dengan tujuan mengidentifikasi apakah opini yang disampaikan cenderung positif, negatif, atau netral[9]. Kendala yang sering muncul dalam penelitian analisis sentimen adalah data ulasan tidak setara, di mana jumlah ulasan pada setiap  kelas  cenderung  tidak  seimbang,  seperti  condong  ke  kelas  positif  atau  sebaliknya.  Biasanya,  saat menggunakan data yang tidak seimbang, algoritma machine learning sering kali menghasilkan model yang kurang peka terhadap kelas minoritas, sehingga mengakibatkan kinerja yang buruk seperti tingkat akurasi yang rendah dalam  klasifikasi  analisis  sentimen.  Untuk  mengatasi  masalah  ini,  dilakukan  metode  oversampling  untuk memastikan distribusi dataset positif dan negatif secara menjadi seimbang agar terhindar dari ketidakseimbangan dalam dataset[7].
Penelitian terkait analisis sentimen telah dilakukan oleh[10] menggunakan K-Nearest Neighbors (K-NN) untuk  analisis  review  aplikasi  Bibit  dan  Bareksa.  Aplikasi  Bareksa  menggunakan  998  kuesioner,  dengan  484 respon  positif  dan  514  respon  negatif  dan  1063  data  aplikasi  Bibit  dengan  541  respon  positif  dan  522  respon negatif.  Riset  ini  menggunakan  tahapan  pre-processing  dan  modelling.  Dari  proses  pemodelan  menggunakan algoritma K-Nearest Neighbors dengan data yang dibagi jadi 60:40 untuk data latih dan data test. Untuk aplikasi Bibit,  nilai  precision  91,91%,  nilai  recall  76,44%  dan  nilai  accuracy  85,14%,  sedangkan  app  Bareksa,  nilai precision 87,15%, nilai recall 75,73% dan nilai accuracy 81,70%. Riset serupa juga dilakukan oleh[11] tentang penilaian pendapat  masyarakat terhadap efek PSBB (Pembatasan  Sosial Berskala Besar)  menggunakan  metode Decision  Tree,  metode  K-NN  (K-Nearest  Neighbors),  dan  metode  Naïve  Bayes.  Data  mengenai  efek  PSBB (Pembatasan  Sosial  Berskala  Besar)  terdapat  170  pendapat,  lalu  diproses  dengan  teknik  data  mining,  meliputi tahapan  teks  mining,  tokenisasi,  transformasi,  klasifikasi,  dan  stemming.  Tiga  metode  yaitu  metode  K-NN  (K- Nearest Neighbors), metode Naïve Bayes Classifier dan metode Decision Tree, digunakan untuk memproses data dengan  nilai  akurasi  terbaik.  Hasil  algoritma  dengan  akurasi  paling  tinggi  yaitu  algoritma  Decision  Tree  yang mencapai  tingkat  presisi  79%,  tingkat  recall  87,17%  dan  tingkat  akurasi  83,3%.  Riset  selanjutnya  oleh[12] mengenai  komparasi  metode  Decision  Tree,  metode  Naive  Bayes  dan  metode  K-Nearest  Neighbors  (K-NN) dengan  riset  Analisis  Persepsi  Pelanggan  Layanan  BPJS.  Riset  ini  menggunakan  dataset  yang  dikumpulkan melalui platform media sosial Twitter sebanyak 1000 data. Setelah melalui proses filtering, jumlah data berkurang menjadi 903 karena terdapat duplikasi data. Tahapan pre-processing yang dilakukan yaitu mengubah kata slang, case  folding,  menghapus  stopword  dan  menghapus  simbol.  Hasil  penelitian  dengan  menggunakan  K-Nearest Neighbors  (K-NN)  menunjukan  akurasi  95,58%.  Selanjutnya,  dengan  menerapkan  metode  Decision  Tree diperoleh nilai accuracy 96,13%, dan Naïve Bayes dengan nilai accuracy 89,14 %.
Berdasarkan penelitian sebelumnya, algoritma Decision Tree dan algoritma K-Nearest Neighbors (K-NN) mampu mengklasifikasikan teks dengan sangat baik. Sehingga pada riset ini akan menggunakan kedua algoritma tersebut dikarenakan tidak hanya bisa mengklasifikasi sentimen dengan baik tetapi juga sangat cocok dengan data yang  berjumlah  besar  dan  memiliki  perspektif  dan  pendekatan  yang  berbeda  terhadap  klasifikasi  data.  Hasil klasifikasi dari kedua metode akan dibandingkan menggunakan classification report dan confusion matrix untuk menentukan algoritma terbaik. Harapannya, temuan dari riset ini akan menjadi informasi penting bagi pemerintah serta PT Pertamina Persero.

## 2. METODOLOGI PENELITIAN

## 2.1 Tahapan Penelitian
Ada bebarapa langkah dalam penelitian ini dan urutan langkah-langkahnya tergambar pada gambar 1 yang terlihat di bawah.

## Journal of Information System Research (JOSH)
Volume 5, No. 4, Juli 2024, pp 1085−1094 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v5i4.5639
Gambar 1. Flowchart Alur Penelitian
Penelitian ini mencakup serangkaian prosedur, dimulai dari pengumpulan data dengan teknik  scrapping, kemudian dilanjutkan dengan tahap  pre-processing teks yang meliputi "case folding, normalization, tokenizing, filtering,  dan  stemming".  Tahapan  selanjutnya  melibatkan  penggunaan  pembobotan  data  dengan  pendekatan vektorisasi  TF-IDF.  Setelah  itu,  data  diklasifikasikan  menggunakan  metode  Decision  Tree  dan  Algoritma  K- Nearest Neighbors (K-NN). Tahap evaluasi dan visualisasi dilakukan agar menghasilkan pemahaman yang dalam dari hasil analisis yang dilakssanakan.

## 2.2 Objek Penelitian
Dalam menjalankan sebuah penelitian, langkah awal yang penting adalah mengidentifikasi objek penelitian yang akan menjadi fokus penelitian. Objek penelitian ini mencakup permasalahan yang akan menjadi subjek penelitian untuk dicari solusinya[13]. Studi ini akan difokuskan pada evaluasi dan tanggapan yang ditemukan di Google Play Store untuk aplikasi MyPertamina. Prioritas utama akan diberikan pada pengumpulan data dari pengguna  yang sudah mengunduh dan aktif menggunakan aplikasi tersebut.

## 2.3 Pengumpulan data
Proses mengumpulkan data  menggunakan teknik  Scraping,  data  yang diambil berupa tanggapan atau  komentar user dari  web Google Play Store tentang aplikasi MyPertamina. Proses ini  memungkinkan untuk  mendapatkan informasi  yang  berharga  mengenai  pengalaman  pengguna  terhadap  aplikasi  tersebut.  Teknik  Scrapping menggunakan  Google  Colab  untuk  mengambil  data  ulasan,  informasi  tentang  pemberi  ulasan,  dan  waktu ulasan[14]. Data suskses diambil dari situs Google Play Store sebanyak 10.000 data dengan rentang waktu dari 07 Maret 2023 s/d 14 Juni 2024.

## 2.4 Text Preprocesing
Text  Preprocessing  merupakan  langkah  pembersihan  teks  menjadi  terstruktur  dan  dapat  dieksekusi  pada  suatu algoritma[15].  Tujuan  dari  text  preprocessing  untuk  menyusun  data  agar  menjadi  lebih  terstruktur,  sehingga memudahkan dalam proses pengolahan data[16]. Berikut langkah - langkah preprocessing: a. Case Folding
Case Folding yaitu tahap yang mengubah abjad atau kata pada sebuah ulasan menjadi abjad kecil atau abjad besar serta menghilangkan tanda baca, sehingga memudahkan konsistensi dalam analisis teks.
b. Normalization
Normalization adalah proses mengganti kata-kata yang typo atau salah ejaan dan kata singkatan menjadi kata baku bahasa Indonesia.
c. Tokenizing
Tokenizing adalah proses memecah setiap kata dari kalimat sehingga kata-kata tersebut menjadi urutan yang terpisah.
d. Filtering
Filtering dilakukan untuk menghilangkan kata - kata yang memiliki sedikit makna dalam evaluasi sentimen. Dalam penelitian ini, kata-kata yang tidak bermakna dihilangkan dengan menggunakan metode stopword.
e. Stemming
Stemming yaitu tahap yang diterapkan untuk mengganti kata-kata dengan imbuhan atau menghapus imbuhan. Dalam hal ini, library sastrawi diterapkan sebagai pedoman aturan bahasa Indonesia, untuk memastikan bahwa hasil dari stemming sesuai dengan aturan yang ada dalam library tersebut.

## 2.5 Pembobotan Kata
Pembobotan kata juga dikenal sebagai TF-IDF, yaitu teknik yang dinamis untuk mengevaluasi signifikansi kata- kata pada teks. Pendekatan ini mengintegrasikan dua model utama: frekuensi kata yang muncul dalam teks (TF) dan  kebalikan  frekuensi  dokumen  (IDF).  Dengan  demikian,  TF-IDF  mempertimbangkan  berapa  frekuensi  kata yang  muncul  dalam  sebuah  teks  dan  tingkat  keumuman  kata  tersebut  dalam  seluruh  dokumen  yang  ada  untuk menentukan bobotnya[17]. Berikut persamaan TF-IDF:
TF = 0.5 + 0.5 tf max⁡(tf) (1) IDF = ln n df + 1 (2)
TF − IDF = ⁡TF⁡x⁡IDF (3)
Penjelasan:  Jumlah  kata  dalam  dataset  ditulis  dengan  df.  logaritma  natural  ditulis  dengan  ln,  N  adalah  jumlah dokumen keseluruhan, Jumlah data dalam dokumen adalah Tf., dan Panjang data dokumen adalah max(tf)[17].
2.6 Klasifikasi

## Journal of Information System Research (JOSH)
Klasifikasi  dilakukan  dengan  menerapkan  algoritma  data  mining  pada  dataset  hasil  preprocessing[14].  Dalam tahapan ini, algoritma yang diimplementasikan meliputi Decision Tree serta K-Nearest Neighbors (K-NN). a. Decision Tree
Decision Tree adalah mesin pembelajaran supervised learning yang dipakai untuk mengelompokan opini dalam teks.  Pendekatan  ini  menggunakan  struktur  multi-partisipan  dengan  struktur  data  berdimensi  rendah  untuk membuat  model  yang  dapat  memprediksi  klasifikasi  atau  regresi.  Decision  Tree  memiliki  beberapa keunggulan, seperti pengumpulan data yang besar, fleksibel, mudah dipahami dan lebih akurat, tetapi memiliki kriteria yang lebih kompleks[18].
b. K-Nearest Neighbors
K-Nearest Neighbors (K-NN) adalah mesin membelajaran yang bersifat fleksibel dan non-linear. K-Nearest Neighbors melakukan klasifikasi objek berdasarkan data latihan dengan jarak terdekat. K-Nearest Neighbors tangguh terhadap noisy data training sample dan memiliki konsistensi kuat, dan kekurangan algoritma K-NN adalah peneliti perlu menentukan sendiri parameter k dan tidak menangani missing value secara otomatis dan rawan akan data pencilan atau outlier[19].
2.7 Evaluasi
Langkah ini bertujuan untuk evaluasi hasil dari pembangunan model dengan membandingkan kinerja dua jenis model,  yaitu  metode  Decision  Tree  dan  metode  K-Nearest  Neighbors  (K-NN).  Evaluasi  dilakukan  dengan menerapkan metrik seperti accuracy, presicion, recall dan F1-Score[9]. Penilaian tingkat akurasi ini menggunakan confusion matrix dan berikut adalah model evaluasi menggunakan confusion matrix[10]:
Tabel 1. Model Confusion Matrix Actual Label Predicted Class Positive Negative Positive True positive (TP) False negative (FN) Negative False positive (FN) True negative (TN)
Penjelasan dari tabel 1 yaitu TP adalah nilai benar positif, yang berarti angka prediksi positif sama dengan nilai aktual yang benar. FP adalah nilai salah positif, yang berarti angka prediksi negatif tidak sama dengan nilai aktual  yang benar.  FN adalah salah negatif, berarti angka prediksi  negatif tidak  sama dengan  nilai aktual  yang benar. TN adalah nilai benar negatif, yang berarti angka prediksi negatif sama dengan nilai aktual benar[4].

## 2.8 Visualisasi
Untuk  lebih  memahami  kata-kata  kunci  yang  sering  terkait  dengan  setiap  jenis  sentimen,  dilakukan  visualisasi menggunakan wordcloud. Ini membantu dalam mengidentifikasi pola-pola yang mungkin muncul dalam respons positif  maupun  negatif.  Hal  ini  bertujuan  untuk  menentukan  kata  yang  paling  sering  dibahas  pada  setiap  kelas sentimen, sehingga dapat diperoleh kesimpulan mengenai fokus utama dalam setiap konteks tersebut[20].

## 3. HASIL DAN PEMBAHASAN

## 3.1 Pengumpulan Data
Data review aplikasi MyPertamina di situs  Google Play Store dikumpulkan  menggunakan Teknik  scrapping di google  colab,  sehingga  diperoleh  10.000  data  review  pengguna.  Gambar  2  di  bawah  memperlihatkan  hasil scrapping.

## Journal of Information System Research (JOSH)
Volume 5, No. 4, Juli 2024, pp 1085−1094 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v5i4.5639
Setelah  mendapatkan  data  scrapping,  selanjutnya  melakukan  pembersihan  data  seperti  menghapus  data duplikat dan missing value sehingga didapatkan data bersih 8072 data. Kemudian dilakukan proses pelabelan di Google Colab untuk mengkategorikan data ke dalam kelompok positif dan negatif.
Gambar 3. Kelas Hasil Pelabelan
Pada gambar 3 adalah hasil dari pembersihan data dan pelabelan data sentimen kelas positif dan negatif, review dengan rating 1-3 menjadi negatif atau 0 dan review rating 4-5 menjadi positif atau 1.
Gambar 4. Proporsi Pelabelan Kelas
Pada  hasil  pelabelan  data  positif  berjumlah  2506  dan  data  negatif  berjumlah  5566  kemudian divisualisasikan pada gambar 4 dan diketahui bahwa data kelas negatif lebih banyak daripada positif.

## 3.2 Text Preprocessing
Proses  berikutnya  yaitu  preprocessing  terhadap  data  komentar  pengguna.  Preprocessing  memegang  peranan penting ketika memodelkan analisis sentimen karena kondisi teks mempengaruhi keakuratan hasil. Preprocessing teks dibagi menjadi 5 tahap yaitu case folding, normalization, tokenization, filltering dan stemming. a. Case Folding
Case folding bertujuan mengubah atau mengganti teks secara keseluruhan pada data komentar menjadi huruf kecil, sambil menghapus karakter selain huruf. Hal ini dilakukan karena format teks yang diverifikasi di Google Play Store tidak selalu konsisten dalam penggunaan huruf besar, serta sering mengandung angka, tanda baca, dan emotikon. Tabel 2 di bawah menunjukkan hasil case folding.
Tabel 2. Hasil Case Folding
Sebelum Case Folding Aplikasi gjls. Sudah update nya maksa dibuat bayar non  tunai  di  SPBU  tidak  bisa.  Buang  waktu  dan tenaga saja. Payah. 🤬
aplikasi  gjls  sudah  update  nya  maksa  dibuat  bayar non  tunai  di  spbu  tidak  bisa  membuang  waktu  dan tenaga saja payah
b. Normalization
Normalisasi  yaitu  proses  mengganti  kata-kata  yang  typo  menjadi  kata  baku  agar  kata  menjadi  rapih  dan memiliki makna yang benar. Tabel 3 di bawah menunjukkan hasil normalization.
Tabel 3. Hasil Normalization
Case Folding Normalization

## Journal of Information System Research (JOSH)
aplikasi  gjls  sudah  update  nya  maksa  dibuat  bayar non  tunai  di  spbu  tidak  bisa  membuang  waktu  dan tenaga saja payah
aplikasi  tidak  jelas  sudah  update  nya  maksa  dibuat bayar non tunai di spbu tidak bisa membuang waktu dan tenaga saja payah
c. Tokenizing
Tokenisasi melibatkan penguraian kalimat ulasan menjadi kata-kata secara individual, seperti yang terilustrasi dalam Tabel 4.
Tabel 4. Hasil Tokenizing Normalization Tokenizing aplikasi  tidak  jelas  sudah  update  nya  maksa  dibuat bayar non tunai di spbu tidak bisa membuang waktu dan tenaga saja payah ['aplikasi',  'tidak',  'jelas',  'sudah',  'update',  'nya', 'maksa',  'dibuat',  'bayar',  'non',  'tunai',  'di',  'spbu', 'tidak',  'bisa',  'membuang',  'waktu',  'dan',  'tenaga', 'saja', 'payah']
d. Filltering
Di  langkah  ke  empat,  korpus  NLTK  digunakan  untuk  proses  filtering.  Metode  ini  bertujuan  untuk menghilangkan  kata-kata  yang  kurang  bermakna,  seperti  yang  ditunjukkan  dalam  Tabel  5.  Contohnya, termasuk kata-kata penghubung seperti "tidak" dan "sudah", serta kata-kata lainnya yang tidak memberikan kontribusi signifikan.
Tabel 5. Hasil Filtering Tokenizing
Filtering
['aplikasi',  'tidak',  'jelas',  'sudah',  'update',  'nya', 'maksa',  'dibuat',  'bayar',  'non',  'tunai',  'di',  'spbu', 'tidak',  'bisa',  'membuang',  'waktu',  'dan',  'tenaga', 'saja', 'payah'] ['aplikasi',  'update',  'maksa',  'bayar',  'tunai',  'spbu', 'membuang', 'tenaga', 'payah']
e. Stemming
Stemming merujuk pada proses mengubah kata-kata menjadi bentuk dasarnya. Hasil ini terilustrasikan dengan jelas pada contoh yang ditunjukan dalam Tabel 6.
Tabel 6. Hasil Stemming Filtering Stemming ['aplikasi',  'update',  'maksa',  'bayar',  'tunai',  'spbu', 'membuang', 'tenaga', 'payah'] ['aplikasi',  'update',  'maksa',  'bayar',  'tunai',  'spbu', 'buang', 'tenaga', 'payah']

## 3.3 Pembobotan Kata
Tahap pembobotan kata menggunakan TF-IDF guna merubah data kata (token) menjadi numerik. TF-IDF adalah teknik  untuk  menentukan  pentingnya  kata-kata  tertentu  dalam  dokumen  atau  teks  berdasarkan  frekuensi kemunculan kata. Hasil dari TF-IDF dapat dilihat pada gambar 5 dibawah.

## 3.4 Klasifikasi
Setelah memberi bobot pada kata-kata secara numerik langkah berikutnya adalah pemodelan algoritma. Sebelum pemodelan  algoritma  terlihat  pada  gambar  4  menunjukan  proporsi  data  antara  kelas  positif  dan  negatif,  ada

## Journal of Information System Research (JOSH)
ketidakseimbangan antara kedua kelas tersebut dalam hal jumlah data. Untuk mengatasi ketidakseimbangan ini, dilakukan  teknik  oversampling  agar  proporsi  antara  kelas  positif  dan  negatif  menjadi  lebih  seimbang.  Hal  ini bertujuan untuk  meningkatkan akurasi dalam pembuatan model. Hasil  oversampling ditunjukan pada gambar 6 dibawah.

## Gambar 6. Proforsi Data Oversampling
Kemudian data dibagi  menjadi training 70% dan  test 30%  untuk dapat  dipakai pada algoritma  Decision Tree dan K-NN dalam pemodelan analisis sentimen guna melihat model mana yang terbaik. Berikut hasil evaluasi algoritma Decision Tree dan K-NN yang digunakan. Metrik yang dipakai adalah nilai presisi, recall, skor f1, dan akurasi.
Gambar 7. Hasil Classification Report Decision Tree
Pada  gambar  7,  model  Decision  Tree  memiliki  hasil  klasifikasi  yang  baik  dengan  precision  84%,  recall 84%, f1-score 83% dan tingkat accuracy 83%.

## Journal of Information System Research (JOSH)
Volume 5, No. 4, Juli 2024, pp 1085−1094 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v5i4.5639
Gambar 8. Hasil Confusion Matrix Decision Tree
Model Decision Tree memiliki performa yang baik terlihat pada gambar 8 dengan akurasi yang tinggi dalam memprediksi True Positive dan True Negative, dan tingkat akurasi yang relatif rendah pada False Positive 331 dan False Negative 222.
Gambar 9. Hasil Classification Report K-NN
Pada gambar 9, model K-NN memiliki hasil klasifikasi yang cukup baik pada precision sebesar tetapi pada recall, f1-score dan akurasi kurang baik. Hasil klasifikasi dari K-NN yaitu precision 70%, recall 58%, f1-score 51% dan accuracy 58%.
Gambar 10. Hasil Confusion Matrix K-NN
Model K-NN memiliki performa yang lebih rendah dibandingkan Decision Tree terlihat pada gambar 10, hasil confusion matrix K-NN tidak memuaskan, karena jumlah False Positive dan False Negative  mencapai 1352 untuk False Positive dan 55 untuk False Negative.

## 3.5 Visualisasi
Tahap terakhir melibatkan kompilasi kata-kata yang umumnya ditemui saat tahap preprocessing data. Selanjutnya, data tersebut diolah dan divisualisasikan menggunakan teknik wordcloud, seperti terlihat pada Gambar 11 untuk kelas positif dan Gambar 12 untuk kelas negatif.

## Journal of Information System Research (JOSH)
Volume 5, No. 4, Juli 2024, pp 1085−1094 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v5i4.5639
Gambar 11. Wordcloud Kelas Positif
Berdasarkan Gambar 11, wordcloud positif kata yang kerap muncul yaitu “bagus”, “mudah”, “mantap” dan “bantu”.
Gambar 12. Wordcloud Kelas Negatif
Pada Gambar 12, wordcloud negatif dapat dilihat bahwa kata dengan frekuensi tinggi yaitu “sulit”, “daftar”, “susah”  dan  “ribet”.  Kata  yang  muncul  pada  wordcloud  kelas  negatif  menunjukkan  rasa  frustrasi  pengguna terhadap aplikasi MyPertamina.

## 4. KESIMPULAN
Berdasarkan temuan penelitian ini, analisis opini review pengguna terhadap aplikasi MyPertamina dengan menerapkan metode Decision Tree menunjukkan tingkat akurasi yang tinggi, mencapai 83%. Di sisi lain, metode K-Nearest Neighbor (K-NN) hanya mencapai akurasi sebesar 58%. Perbedaan ini menunjukkan bahwa Decision Tree  secara  efektif  mampu  mengidentifikasi  dan  memanfaatkan  pola-pola  kompleks  dalam  data  teks  ulasan pengguna untuk mengklasifikasikan sentimen dengan lebih baik. Metode Decision Tree menawarkan pendekatan yang  lebih  fleksibel  dalam  memahami  kompleksitas  data  teks,  yang  sangat  penting  dalam  analisis  sentimen. Keunggulan ini berasal dari kemampuan Decision Tree untuk membangun model yang lebih akurat dari berbagai pola sentimen dalam ulasan pengguna. Sementara itu, metode K-NN, meskipun memiliki konsep yang sederhana tampaknya kurang efektif dalam menangani variasi dalam data teks, yang seringkali mengakibatkan tingkat akurasi yang lebih rendah. Hasil ini memberi kesimpulan bahwa dalam konteks analisis sentimen, pendekatan berbasis aturan seperti Decision Tree dapat lebih unggul dibandingkan metode yang bergantung pada kedekatan data seperti K-NN.  Meskipun  demikian,  ada  potensi  untuk  meningkatkan  akurasi  lebih  lanjut  dengan  mempertimbangkan penggunaan data yang lebih baik atau menggunakan teknik analisis lainnya.

## REFERENCES
[1] Syamsir Syamsir, Ahmad Lutfi, Aulia Annisa Fitriani, Ira Ramadani, Nabilah Azahra Putri, and Yurike Shizuka Nelsi, “Efekvitas  Penggunaan  Aplikasi  My  Pertamina  Di  Era  Kenaikan  Bbm  Bersubsidi,”  Pros.  Semin.  Nas.  Pendidikan, Bahasa, Sastra, Seni, Dan Budaya, vol. 1, no. 2, pp. 244–253, 2022, doi: 10.55606/mateandrau.v1i2.189.
[2] R. Islamia, I. R. Faizy Al, A. Aqilla, R. F. Ahmad, A. Z. Arum Pundak, and G. Pratama, “Dampak Kenaikan Harga Bahan Bakar Minyak (Bbm) Terhadap Sembilan Bahan Pokok (Sembako) Di Toko Sani Kabupaten Cirebon,” J. Ekon. Manaj., vol. 17, no. 2, pp. 1–7, 2022, [Online]. Available: http://oaj.stiecirebon.ac.id/index.php/jem
[3] D.  Rahayuningtiyas,  R.  Laksmono,  and  Y.  D.  Kuncjoro,  “Analisis  Pemanfaatan  Coral  Reef  Sebagai  Penyimpanan

## Journal of Information System Research (JOSH)
Cadangan Strategis Energi Untuk Ketahanan Energi Nasional,” J. Ketahanan Energi, vol. 7, pp. 44–59, 2021, [Online]. Available: https://jurnalprodi.idu.ac.id/index.php/KE/article/view/1070
[4] R. Maulana, A. Voutama, and T. Ridwan, “Analisis Sentimen Ulasan Aplikasi MyPertamina pada Google Play Store menggunakan Algoritma NBC,” J. Teknol. Terpadu, vol. 9, no. 1, pp. 42–48, 2023, doi: 10.54914/jtt.v9i1.609.
[5] N. K. Hikmawati, “Analisis Kualitas Layanan My Pertamina Menggunakan Pendekatan e-GovQual pada Beberapa Kota Percobaan,” J. Manaj. Inform., vol. 12, no. 2, pp. 100–111, 2022, doi: 10.34010/jamika.v12i2.7977.
[6] M.  Mustasaruddin,  E.  Budianita,  M.  Fikry,  and  F.  Yanto,  “Klasifikasi  Sentiment  Review  Aplikasi  MyPertamina Menggunakan Word Embedding FastText dan SVM (Support Vector Machine),” J. Sist. Komput. dan Inform., vol. 4, no. 3, p. 526, 2023, doi: 10.30865/json.v4i3.5695.
[7] A. Maulana, I. K. Afifah, A. Mubarrak, and K. R. Fauzan, “Comparison of Logistic Regression , MultionalNB , SVM , and K-NN Methods on Sentiment Analysis of Gojek App Reviews on The Google Play Store,” vol. 4, no. 6, pp. 1487– 1494, 2023.
[8] B.  K.  Prahani,  I.  A.  Rizki,  F.  Nikmah,  E.  F.  Khoir,  E.  Hariyono,  and  E.  A.  K.  Putri,  “Development  of  Affordable Pendulum  and  Collision  Prop  as  Media  in  Science  Learning,”  TEM  J.,  vol.  12,  no.  4,  pp.  2064–2070,  2023,  doi: 10.18421/TEM124.
[9] I. Nurul Hassanah, S. Faisal, A. Mutoi Siregar, “Perbandingan Algoritma Support Vector Machine Dengan Decision Tree Pada Aplikasi Ruang Guru,” Kumpul. J. Ilmu Komput., vol. 10, no. 1, pp. 39–50, 2023.
[10]  A.  D.  Adhi  Putra,  “Analisis  Sentimen  pada  Ulasan  pengguna  Aplikasi  Bibit  Dan  Bareksa  dengan  Algoritma  KNN,” JATISI (Jurnal Tek. Inform. dan Sist. Informasi), vol. 8, no. 2, pp. 636–646, 2021, doi: 10.35957/jatisi.v8i2.962.
[11]  M.  Syarifuddinn,  “Analisis  Sentimen  Opini  Publik  Terhadap  Efek  Psbb  Pada  Twitter  Dengan  Algoritma  Decision Tree,Knn, Dan Naïve Bayes,” INTI Nusa Mandiri, vol. 15, no. 1, pp. 87–94, 2020, doi: 10.33480/inti.v15i1.1433.
[12]  R. Puspita and A. Widodo, “Perbandingan Metode KNN, Decision Tree, dan Naïve Bayes Terhadap Analisis Sentimen Pengguna Layanan BPJS,” J. Inform. Univ. Pamulang, vol. 5, no. 4, p. 646, 2021, doi: 10.32493/informatika.v5i4.7622.
[13]  A. Turmudi Zy, A. Nugroho, A. Rivaldi, and I. Afriantoro, “Analisis Sentimen Terhadap Pembobolan Data pada Twitter dengan  Algoritma  Naive  Bayes,”  J.  Teknol.  Inform.  dan  Komput.,  vol.  8,  no.  2,  pp.  202–213,  2022,  doi: 10.37012/jtik.v8i2.1240.
[14]  V.  K.  S.  Que,  A.  Iriani,  and  H.  D.  Purnomo,  “Analisis  Sentimen  Transportasi  Online  Menggunakan  Support  Vector Machine Berbasis Particle Swarm Optimization,” J. Nas. Tek. Elektro dan Teknol. Inf., vol. 9, no. 2, pp. 162–170, 2020, doi: 10.22146/jnteti.v9i2.102.
[15]  F. A. Larasati, D. E. Ratnawati, and B. T. Hanggara, “Analisis Sentimen Ulasan Aplikasi Dana dengan Metode Random Forest,” … Teknol. Inf. dan …, vol. 6, no. 9, pp. 4305–4313, 2022, [Online]. Available: http://j-ptiik.ub.ac.id
[16]  A.  M.  Siregar,  S.  Faisal,  and  B.  Widiharto,  “Analisis  Sentimen  Masyarakat  Terhadap  Universitas  Buana  Perjuangan Karawang Dengan Algoritme SVM dan Naive Bayes,” Pros. Konf. Nas. Penelit. Dan Pengabdi. Univ. Buana Perjuangan Karawang, vol. 3, no. 1, pp. 25–36, 2023, [Online]. Available:
https://journal.ubpkarawang.ac.id/index.php/ProsidingKNPP/article/view/4894
[17]  A. Nursalim, R. Novita, I. Systems, and S. Program, “Sentiment Analysis of Comments on Google Play Stoore, Twitter and Youtube to The MyPertamina Application with Support Vector Machine,” vol. 4, no. 6, pp. 1305–1312, 2023.
[18]  Maharani  and  Fathoni,  “Analisis  Sentimen  Pengguna  Terhadap  Faktor  Penggunaan  PayPal  Menggunakan  Metode Decision Tree,” J. Ilm. Teknol. Inf. Asia, vol. 18, no. 1, pp. 71–83, 2024.
[19]  R. Sari, “Analisis Sentimen Pada Review Objek Wisata Dunia Fantasi Menggunakan Algoritma K-Nearest Neighbor (K- Nn),” EVOLUSI  J. Sains dan Manaj., vol. 8, no. 1, pp. 10–17, 2020, doi: 10.31294/evolusi.v8i1.7371.
[20]  J. Muliawan, E. Dazki, and R. D. Kurniawan, “Sentiment Analysis of Indonesia ’ S Capital City Relocation Using Three Algorithms :  Naïve  Bayes  ,  Knn  ,  and  Random  Forest  Analisis  Sentimen  Pemindahan  Ibu  Kota  Negara  Indonesia Menggunakan Tiga Algoritma : Naïve Bayes , Knn , Dan Random,” vol. 4, no. 5, pp. 1227–1236, 2023.