## Jurnal Teknologi Terpadu
https://journal.nurulfikri.ac.id/index.php/jtt ISSN : 2477-0043 ISSN ONLINE : 2460-7908

## ANALISIS SENTIMEN ULASAN APLIKASI MYPERTAMINA PADA GOOGLE PLAY STORE MENGGUNAKAN ALGORITMA NBC
Rihan Maulana 1 , Apriade Voutama 2 , Taufik Ridwan 3
1,2,3 Sistem Informasi, Fakultas Ilmu Komputer, Universitas Singaperbangsa Karawang Karawang, Jawa Barat, Indonesia 41361 rihan.maulana19028@student.unsika.ac.id , apriade.voutama@staff.unsika.ac.id , taufik.ridwan@cs.unsika.ac.id

## Abstract
The MyPertamina application is a digital service application from Pertamina with various services initiated and created to carry out purchases in vehicle fuel transactions. The existence of the MyPertamina application made by PT Pertamina caused reactions and criticism from some application users. Each user has various opinions about the MyPertamina application, as evidenced  by  the  different  star  ratings  in  Google  Play  Store  reviews.  This  study  aims  to  determine  the  sentiments  of MyPertamina application users, which are divided into two classes, namely positive and negative. The dataset in this study uses scraping results from user reviews on the Google Play Store. The data taken to carry out sentiment analysis is from 1 July 2022 to 31 July 2022, and the dataset is taken randomly. The dataset is classified by rating: ratings 4 and 5 as positive sentiment  and  ratings  1,  2,  and  3  as  negative  sentiment.  In  this  study,  Google  Colab  tools  will  be  used  using  Python programming. The dataset used is 5722 data labeled positive and negative, with the division of training data by 80% and test data by 20%. The MyPertamina application sentiment analysis results tend to be hostile towards using the application. This study used classification with the Naïve Bayes Classifier (NBC) algorithm. By using the Naïve Bayes Classifier algorithm, it produces 87% accuracy, 86% precision, 90% recall, and 87% f1-score .
Keywords: Classification Method, MyPertamina, Naïve Bayes Classifier, Sentiment Analysis, Text Mining

## Abstrak
Aplikasi MyPertamina merupakan aplikasi layanan digital dari Pertamina dengan berbagai layanan yang digagas dan diciptakan untuk melakukan pembelian dalam bertransaksi bahan bakar kendaraan. Adanya aplikasi MyPertamina yang dibuat oleh PT Pertamina menimbulkan reaksi dan kritik dari beberapa pengguna aplikasi. Setiap pengguna memiliki berbagai opini terhadap aplikasi  MyPertamina  dibuktikan  dengan  peringkat  bintang  yang  beragam  dalam  ulasan Google  Play  Store .  Tujuan  dari penelitian ini adalah untuk mengetahui sentimen pengguna aplikasi MyPertamina yang dibagi ke dalam dua kelas yaitu positif dan negative. Dataset dalam penelitian ini menggunakan hasil scraping dari ulasan pengguna pada Google Play Store . Data yang diambil untuk melakukan analisis sentimen yaitu pada rentang tanggal 1 Juli 2022  - 31 Juli 2022 dan dataset diambil dengan acak. Dataset tersebut dengan pengklasifikasian rating yaitu rating 4 dan 5 sebagai sentimen positif, rating 1, 2 dan 3 sebagai  sentimen  negatif. Pada  penelitian  kali  ini  akan  menggunakan tools  Google  Colab dengan  menggunakan  bahasa pemrograman Python . Dataset yang digunakan sebanyak 5722 data berlabel positif dan negatif dengan pembagian data latih sebanyak 80% dan data uji sebanyak 20%. Hasil analisis sentimen aplikasi MyPertamina cenderung bersifat negative terhadap penggunaan  aplikasi.  Penelitian  ini  menggunakan  klasifikasi  dengan  algoritma Naïve  Bayes  Classifier (NBC).  Dengan menggunakan algoritma Naïve Bayes Classifier menghasilkan accuracy 87 %, precision 86%, recall 90%, dan f1-score 87%.
Kata kunci: Analisis Sentimen , Metode Klasifikasi , MyPertamina , Naïve Bayes Classifier , Text Mining

## 1. PENDAHULUAN
Aplikasi  MyPertamina  merupakan  aplikasi  layanan  digital dari  Pertamina  dengan  berbagai  layanan  yang  ada  di dalamnya yaitu untuk menemukan lokasi SPBU Pertamina terdekat,  pembayaran  digital  yang  sekaligus  mendapatkan loyalty  point dan  sistem  pencatatan  ketika  belanja  bensin
bulanan  agar  lebih  mudah.  Aplikasi  ini  digagas  dan diciptakan  oleh  PT  Pertamina  sebagai  solusi  bagi  para pengguna  BBM  supaya  memberikan  kemudahan,  cepat serta  aman  dalam  melaksanakan  pembelian  dalam bertransaksi  bahan  bakar  kendaraan  [1].  Dampak  dari naiknya  minyak  dunia  membuat  pemerintah  Indonesia
berencana  untuk  membatasi  penggunaan  bahan  bakar bersubsidi yaitu pertalite dan solar. Pada tanggal 1 Juli 2022, pemerintah  melalui  PT  Pertamina  Persero  mewajibkan pengguna BBM bersubsidi untuk mendaftar melalui aplikasi MyPertamina  atau website Pertamina.  Kebijakan  yang dilakukan  oleh  pemerintah  bertujuan  agar  subsidi  BBM tepat sasaran, karena data yang didaftarkan di aplikasi akan menunjukkan  konsumen  mana  yang  berhak  mendapatkan subsidi atau tidak.
Keberadaan  aplikasi  MyPertamina  yang  dibuat  oleh  PT Pertamina  Persero  menimbulkan  reaksi  dan  kritikan  dari beberapa  pengguna  aplikasi.  Setiap  pengguna  memiliki berbagai  opini  terhadap  aplikasi  MyPertamina  yang  baru saja  di  sosialisasikan  oleh  pemerintah.  Kebijakan  yang dilakukan  pemerintah  menimbulkan  pro  dan  kontra  di masyarakat,  konsumen  akhirnya  menuliskan rating dan review- nya pada Google Play Store dimana aplikasi tersebut dapat diunduh.
Pada  masalah  yang  muncul  dari  melihat  persoalan  yang ditemukan,  maka  diperlukan  analisis  sentimen  terhadap review atau ulasan dari warga yang menggunakan aplikasi MyPertamina sehingga informasi sentimen dapat diketahui oleh pemerintah terkait kebijakan yang telah disosialisasikan kepada pengguna BBM bersubsidi. Analisis Sentimen  diperlukan  agar  pemerintah  dapat  menganalisis pendapat, melakukan evaluasi kebijakan, dan penilaian dari para pengguna aplikasi. Dalam hal ini, review yang terdapat di aplikasi tersebut kurang baik, terbukti dengan rating yang diberikan oleh pengguna aplikasi. Jumlah data ulasan yang besar  membuat  sulit  untuk  membedakan  antara  sentimen yang  bersifat  positif  dan  negatif  sehingga  perlu  dilakukan proses analisis terhadap review pada aplikasi tersebut. Data yang  akan  digunakan  yaitu  hasil scraping data rating dan ulasan di Google Play Store pada aplikasi MyPertamina.
Pada  penelitian  sebelumnya  yang  dilaksanakan  oleh  [2] penelitian  tersebut  menggunakan  algoritma Naïve  Bayes Classifier memperoleh hasil penelitian dengan nilai akurasi sebesar 85% dengan nilai akurasi yang baik maka penelitian ini  menggunakan  algoritma Naïve  Bayes dengan membedakan ulasan dari aplikasi yang berbeda. Selain itu, pada  penelitian  yang  ditulis  oleh  [3]  menyarankan  agar menggunakan dataset yang  besar  dan  tidak  terlalu  jauh variasi  perbandingan  komentar  antara  positif  dan  negatif. Maka,  penelitian  kali  ini  akan  menggunakan dataset yang lebih banyak dan variasi komentar yang berimbang.
Dari ulasan di atas, perlu dilakukan analisis dengan metode tertentu  untuk  meringkas  ulasan.  Setiap  ulasan  yang dikumpulkan akan mendapatkan kesimpulan dan dilakukannya analisis sentimen agar pengalaman pengguna dapat  diperoleh  dari  aplikasi  MyPertamina  untuk  periode tertentu.  Untuk  itu  pada  penelitian  ini  akan  menggunakan algoritma NBC. Naïve Bayes Classifier merupakan metode yang mengandalkan probabilitas untuk mengklasifikasikan teks. Algoritmanya sederhana namun memiliki akurasi dan
presisi  yang  tinggi  merupakan  salah  satu  kelebihan  dari algoritma  NBC.  Metode  ini  akan  digunakan  pada  analisis sentimen  aplikasi  MyPertamina  berdasarkan  ulasan  dari google play  store untuk  menentukan kualitas  dari  layanan aplikasi  berdasarkan  hasil  ulasan  pengguna.  Algoritma Naïve  Bayes  Clasiffier digunakan  karena  algoritma  ini menemukan nilai probabilitas tertinggi untuk mengklasifikasikan data uji ke dalam kategori yang paling sesuai  sehingga  merupakan  algoritma  yang  banyak digunakan dan sesuai untuk penelitian kali ini.
Tujuan  dari  penelitian  ini  adalah  untuk  mengetahui sentimen  pengguna  aplikasi  MyPertamina  yang  dibagi  ke dalam  dua  kelas  yaitu  positif  dan  negatif  sehingga  hasil opini  pengguna  dapat  menjadi  evaluasi  bagi  pemerintah khususnya  Pertamina  dalam  melakukan  kebijakan  dan update penggunaan aplikasi. Setelah hasil sudah didapatkan,  kemudian  hasil  klasifikasi  akan  dievaluasi accuracy,  precision,  recall dan f1-score dari  pemodelan yang  menggunakan  algoritma Naïve  Bayes .    Diharapkan dari  hasil  penelitian  ini  dapat  menjadi  kontribusi  kepada pemerintah  dan  PT  Pertamina  Persero  dalam  mengambil langkah  dan  kebijakan  yang  tepat  dalam  penggunaan  atau pengembangan aplikasi.
Aplikasi adalah suatu program pada sistem komputer yang digunakan  orang  untuk  melakukan  sesuatu.  Aplikasi merupakan suatu komponen yang bermanfaat sebagai media yang  digunakan  untuk  melakukan  pengelolaan  data-data maupun  kegiatan  lainnya  [4].  Sistem  aplikasi mobile merupakan  aplikasi  yang  penggunanya  dapat  lancar berpindah-pindah  dari  satu  tempat  ke  suatu  tempat  lain dengan tidak terjadi komunikasi yang terputus atau terhenti [5]. Aplikasi Mobile adalah aplikasi yang dirancang untuk platform khusus berbasis mobile yang bertujuan membantu user sesuai dalam jenis aplikasi yang disediakan [6].
Text Mining adalah suatu proses penambangan inti sari dari suatu dokumen data berupa teks yang bentuknya lebih tidak teratur yang dapat dibuat pola untuk menghasilkan sebuah informasi  yang  berguna.  Proses  penambangan  data  dapat bersumber melalui website , yang datanya dapat berupa data dokumen  berbentuk  teks  dari website yang  di  dalamnya berisi  ulasan,  opini,  kritik  dan feedback . Text  mining merupakan  salah  satu  ragam  dari data  mining yang bertujuan untuk  mengambil  format  yang  dapat diolah dari sekumpulan data-data yang berupa text dalam jumlah besar [7].  Sebelum text  mining dilakukan  terdapat  tahapan sebelumnya  yaitu text  pre-processing yaitu case  folding, cleansing,  tokenizing,  stemming, dan filtering yang menggunakan stopword removal [8].
Analisis Sentimen merupakan teknik penggalian informasi yang  menganalisis  penilaian,  pendapat,  opini,  sikap,  aksi dan  emosi  terhadap  suatu  entitas  seperti  isu,  layanan, produk,  atau  masalah  tertentu  [9].  Analisis  Sentimen penting dilakukan dengan perkembangan yang pesat suatu opini  di  media  sosial  dan  berbagai  diskusi  di  ulasan  atau
suatu review produk dan layanan [10]. Karena pertumbuhan era  digital  yang  sangat  pesat  membuat  masyarakat  pada zaman modern tidak dapat lepas dari penggunaan teknologi, salah  satunya  yaitu  media  sosial  membuat  orang mengungkapkan  dan  menuliskan  pendapat  yang  tertulis dapat  melalui  media  sosial  atau  melalui  suatu  ulasan sehingga analisis sentimen dapat dilakukan [11].
Algoritma Naïve Bayes adalah algoritma yang mengandalkan  kemungkinan  atau  probabilitas  dengan pengklasifikasi  statistik  kelas  data,  klasifikasi  ini dikelompokkan  ke  kelas  tertentu  sesuai  teori  probabilitas [12].  Algoritma Naïve  Bayes dapat  menarik  kesimpulan berdasarkan  klasifikasi data  training yang  disimpan sebelumnya. Meskipun sifat independen antara kata (istilah) atau parameter dalam dokumen tidak sepenuhnya terpenuhi dengan sempurna, tapi kinerja Naïve Bayes untuk klasifikasi relatif dapat diandalkan dan bahkan lebih unggul dalam hal realistis,  kecepatan  tinggi  dan  akurasi  yang  baik  [13]. Metode  klasifikasi  dapat  menemukan  pola  suatu  model dengan  membedakan  suatu  konsep  atau  kelas  yang  tidak diketahui  namanya  dan  termasuk  ke  dalam  metode data mining . Metode klasifikasi bersifat supervised learning dan juga  didefinisikan  sebagai  metode data  mining yang membagi  data  ke  dalam  kelas-kelas  tertentu  berdasarkan kategorinya. Proses klasifikasi terdiri dari empat komponen dasar yaitu class, predictor, training set dan data training [14]. Naïve Bayes ini memprediksi probabilitas peluang di masa  mendatang  bersumber  pada  pengalaman  yang  sudah ada  sebelumnya  [15].  Algoritma  ini  dapat  memungkinkan untuk melakukan pekerjaan yang lebih bagus dari kejadian nyata  yang  rumit  dan  data  yang  kompleks  jauh  dari  yang diharapkan.

## 2. METODE PENELITIAN
Penelitian yang dilakukan akan dilakukan dengan berbagai tahapan,  secara  umum  dengan  melakukan  proses pengumpulan  data  ( scraping ), text  pre-processing  (case folding,  cleansing,  tokenizing,  stemming, dan filtering) , pembobotan  kata  ( vectorizing  TF-IDF) ,  pengolahan  data, pengujian  klasifikasi  mengunakan  algoritma  NBC  lalu kemudian hasil klasifikasi [16]. Pada penelitian kali ini akan menggunakan tools  Google  Colab dengan  menggunakan bahasa  pemrograman Python .  Dukungan library menjadi salah    satu    penggunaan Python dalam    proses  analisis sentiment semakin  mudah. Library yang digunakan dalam proses perhitungan harus di-instal terlebih dahulu. Library ini  termasuk pandas,  numpy,  matplotlib,  sklearn, dan sastrawi. Diagram alur tahapan penelitian dapat dilihat pada Gambar 1 berikut.
Gambar 1. Diagram Alur Metode Penelitian

## 2.1 Pengumpulan Data
Pengambilan  data  pada  penelitian  kali  ini  menggunakan hasil scraping data.  Data  yang  ingin  diolah  adalah rating dan ulasan dari pengguna aplikasi MyPertamina di Google Play Store . Rating tersebut akan digunakan untuk memilah sentimen  positif  dan  negatif.  Data  yang  diambil  untuk melakukan  analisis  sentimen  yaitu  pada  rentang  tanggal  1 Juli 2022 sampai tanggal 31 Juli 2022 dan dataset diambil dengan acak. Pengklasifikasian rating sebagai berikut yaitu rating 4  dan  5  sebagai  sentimen  positif, rating 1,  2  dan  3 sebagai sentimen negatif. Hasil scraping yang diambil pada ulasan setelah melakukan proses pengolahan hasil data yang telah  dihimpun  dan  dilakukan cleansing data  dapat  dilihat pada Tabel 1 berikut.
Tabel 1 . Contoh Dataset Ulasan Review
Comment Value Sudah daftar keluar terus abis abisin kouta aja NEGATIVE Sangat membantu kelancaran serta kemudahan dalam bertransaksi POSITIVE Aplikasinya masih banyak eror NEGATIVE Langkah upaya subsidi tepat sasaran POSITIVE
Mempersulit rakyat aja buat apa coba pakai beginian terus yang ga punya android gimana??? Motor gonta ganti gimana, kacau!!!!!!!
NEGATIVE
2.2 Text Pre-processing
Text  Pre-processing merupakan  tahap  pertama  dalam pemrosesan  data  supaya  data  dapat  diolah  dan  data  siap untuk  proses  penelitian  salah  satunya  analisa  sentimen. Proses text  pre-processing dapat  berupa cleaning,  case- folding, tokenizing, stemming, dan filtering [3].
a. Casefolding
Casefolding merupakan tahapan yang mengubah suatu kata atau huruf pada ulasan menjadi huruf yang kecil semua atau menjadi huruf besar semua. Pada implementasi casefolding untuk  penelitian  yang  sekarang  mengubah  semua  tulisan menjadi  huruf  kecil  semua.  Contoh  proses casefolding dapat dilihat pada Tabel 2 berikut.
Tabel 2 . Tahap Casefolding Ulasan
Sebelum Casefolding Sesudah Casefolding
udah daftar tinggal tunggu di verifikasi nomor Hp, kode otp udah dikirim otomatis masa gabisa ke verifikasi sih? Gimana aneh banget gada tombol apa" Malah balik ke menu utama sedangkan akun sudah jadi tapi belum terverifikasi juga kan aneh malah gabisa login
udah daftar tinggal tunggu di verifikasi nomor hp, kode otp udah dikirim otomatis masa gabisa ke verifikasi sih? gimana aneh banget gada tombol apa" malah balik ke menu utama sedangkan akun sudah jadi tapi belum
terverifikasi juga kan aneh malah gabisa login
b. Tokenizing
Tokenizing merupakan tahapan yang yang membuat setiap kata menjadi berurutan dari suatu kalimat, setiap kata akan di  pisah-pisah  atau  dilakukan  separasi.  Contoh  proses tokenizing dapat dilihat pada Tabel 3 berikut.
Tabel 3 . Tahap Tokenizing Ulasan
Sebelum Tokenizing Sesudah Tokenizing
udah daftar tinggal tunggu di verifikasi nomor hp, kode otp udah dikirim otomatis masa gabisa ke verifikasi sih? gimana aneh banget gada tombol apa" malah balik ke menu utama sedangkan akun sudah jadi tapi belum terverifikasi juga kan aneh malah gabisa login
[‘udah’, ‘daftar’, ‘tinggal’, ‘tunggu’, ‘di’, ‘verifikasi’, ‘nomor’, ’hp’, ‘kode’, ‘otp’, ‘udah’, ‘dikirim’, ‘otomatis’, ‘masa’, ‘gabisa’, ‘ke’, ‘verifikasi’, ‘sih’, ‘gimana’, ‘aneh’, ‘banget’, ‘gada’, ‘tombol’, ‘apa’, ‘malah’, ‘balik’, ‘ke’, ‘menu’ , ‘utama’, ‘sedangkan’, ‘akun’, ‘sudah’, ‘jadi’, ‘tapi’, ‘belum’, ‘terverifikasi’, ‘juga’, ‘kan’, ‘aneh’, ‘malah’, ‘gabisa’, ‘login’]
c. Filtering
Filtering merupakan  tahapan  yang  digunakan  untuk menghapus  kata  yang  kurang  bermanfaat  atau  kurang bermakna  untuk  proses  dalam  melakukan  analisis sentimen. Dalam penelitian ini, akan menggunakan metode stopwords yaitu kata-kata yang tidak penting akan dibuang berdasarkan data yang diproses ada dalam metode. Contoh dari stopwords yaitu  kata  “di”,  “dan”,  “kan”,  “yang”  dan sebagainya.  Contoh  proses filtering dapat  dilihat  pada Tabel 4 berikut.
Tabel 4 . Tahap Filtering Ulasan
Sebelum Filtering
Sesudah Filtering
[‘udah’, ‘daftar’, ‘tinggal’, ‘tunggu’, ‘di’, ‘verifikasi’, ‘nomor’, ’hp’, ‘kode’, ‘otp’, ‘udah’, ‘dikirim’, ‘otomatis’, ‘masa’, ‘gabisa’, ‘ke’, ‘verifikasi’, ‘sih’, ‘gimana’, ‘aneh’, ‘banget’, ‘gada’, ‘tombol’, ‘apa’, ‘malah’, ‘balik’, ‘ke’, ‘menu’ , ‘utama’, ‘sedangkan’, ‘akun’, ‘sudah’, ‘jadi’, ‘tapi’, ‘belum’, ‘terverifikasi’, ‘juga’, ‘kan’, ‘aneh’, ‘malah’, ‘gabisa’, ‘login’]
[‘udah’, ‘daftar’, ‘tinggal’, ‘tunggu’, ‘verifikasi’, ‘nomor’, ’hp’, ‘kode’, ‘otp’, ‘udah’, ‘dikirim’, ‘otomatis’, ‘masa’, ‘gabisa’, ‘verifikasi’, ‘gimana’, ‘aneh’, ‘banget’, ‘gada’, ‘tombol’, ‘apa’, ‘malah’, ‘balik’, ‘menu’ , ‘utama’, ‘sedangkan’, ‘akun’, ‘sudah’, ‘jadi’, ‘belum’, ‘terverifikasi’, ‘aneh’, ‘malah’, ‘gabisa’, ‘login’]
d. Stemming
Stemming merupakan  tahapan  yang  digunakan  untuk mengkonversikan kata-kata yang berimbuhan menjadi kata dasar atau menghilangkan imbuhan. Menggunakan library sastrawi  yang  digunakan  sebagai  acuan  ketentuan  bahasa Indonesia,  maka  keluaran  hasil stemming akan  sesuai dengan  ketentuan library sastrawi.  Contoh  proses stemming dapat dilihat pada Tabel 5 berikut.
Tabel 5 . Tahap Stemming Ulasan
Sebelum Stemming
Sesudah Stemming [‘udah’, ‘daftar’, ‘tinggal’, ‘tunggu’, ‘di’, ‘verifikasi’, ‘nomor’, ’hp’, ‘kode’, ‘otp’, ‘udah’, ‘dikirim’, ‘otomatis’, ‘masa’, ‘gabisa’, ‘ke’, ‘verifikasi’, ‘sih’, ‘gimana’, ‘aneh’, ‘banget’, ‘gada’, ‘tombol’, ‘apa’, ‘malah’, ‘balik’, ‘ke’, ‘menu’ , ‘utama’, ‘sedangkan’, ‘akun’, ‘sudah’, ‘jadi’, ‘tapi’, ‘belum’, ‘terverifikasi’, ‘juga’, ‘kan’, ‘aneh’, ‘malah’, ‘gabisa’, ‘login’]
[‘udah’, ‘daftar’, ‘tinggal’, ‘tunggu’, ‘verifikasi’, ‘nomor’, ’hp’, ‘kode’, ‘otp’, ‘udah’, ‘kirim’, ‘otomatis’, ‘masa’, ‘gabisa’, ‘verifikasi’, ‘gimana’, ‘aneh’, ‘banget’, ‘gada’, ‘tombol’, ‘malah’, ‘balik’, ‘menu’ , ‘utama’, ‘sedang’, ‘akun’, ‘sudah’, ‘belum’, ‘verifikasi’, ‘aneh’, ‘malah’, ‘gabisa’, ‘login’]
2.3 Vectorizing TF-IDF
Pembobotan kata dengan menggunakan vectorizing TF-IDF dilaksanakan  dengan  cara  memberikan  bobot  pada  setiap kata dari masing-masing dokumen/kalimat  dengan keseringan  kata  yang  muncul  terbanyak  akan  ditampilkan terlebih  dahulu  yang  sudah  melalui  tahap pre-processing . Ada dua proses yang digunakan dalam tahapan pembobotan kata  yaitu  tahap Term  Frequency (TF)  dan  tahap Inverse Document  Frequency (IDF). Term  Frequency (TF) merupakan suatu term dalam dokumen terkait yang dihitung frekuensi kemunculannya. Bobot kata akan semakin tinggi apabila  banyak  jumlah  kata  yang  sering  muncul  (term) dalam suatu dokumen semakin banyak. Inverse Document Frequency (IDF) merupakan hubungan ketersedian sebuah term  dalam  seluruh  dokumen  yang  menunjukan  sebuah perhitungan.  Besar  nilai  IDF  akan  semakin  besar  apabila besaran  dokumen  yang  didalamnya  terdapat  suatu  term
tertentu  semakin  sedikit  [2].  Persamaan  berikut  untuk menghitung TF-IDF bobot setiap kata.
𝑡𝑓 − 𝑖𝑑𝑓 t.d = 𝑡𝑓 d ∗ 𝑖𝑑𝑓 t (1)

## 2.4 Pengolahan Data
Pengolahan  data  pada  penelitian  ini  akan  menggunakan algoritma Naïve  Bayes  Classifier .  Algoritma  NBC  adalah klasifikasi    probabilitas  sederhana  dengan  menggunakan model  statistik  untuk  menghitung  peluang  kelas  yang memiliki  setiap  kelompok  dengan  atribut  yang  tampil, dimana  label  kelas  diambil  dari  beberapa  himpunan berhingga.  Metode Naïve  Bayes merupakan  metode  yang terdiri  atas  beberapa  keunggulan,  seperti  perhitungan sederhana,  presisi  yang  tinggi,  dan  memiliki  kecepatan apabila melakukan pemrosesan database yang banyak dan besar [8]. Rumus Naïve Bayes memiliki bentuk umum yang sebagai berikut :
𝑃(𝑐|𝑋) = 𝑃(𝑥|𝑐)𝑃(𝑐) 𝑃(𝑥) (2)
Keterangan : c
: Hipotesis data X merupakan suatu class spesifik
X : Data dengan class yang belum diketahui
P(c|X)   :  Probabilitas  hipotesis  berdasarkan  kondisi  X ( posteriori probability )
P(x|c)   : Probabilitas hipotesis x berdasarkan kondisi pada hipotesis c
P(x) : Probabilitas c P(c) : Probabilitas hipotesis c ( prior probability )

## 2.5 Pengujian Klasifikasi Confusion Matrix
Confusion  matrix merupakan  suatu  matriks  pengukuran performa  yang  berisi  nilai  perkiraan  benar  dan  nilai perkiraan salah dimana keluarannya dapat berupa dua kelas atau  lebih.  Nilai recall,  precision,  accuracy dan f1-score akan  menjadi  evaluasi  dalam  pengujian  keakuratan  hasil pencarian nilai dalam penelitian. Struktur Confusion matrix akan  menghasilkan  angka  yang  terdapat  pada  Tabel  6 berikut.
Tabel 6 . Confusion Matrix Actual Positive (1) Actual Negative (0) Predicted Positive (1) TP FP Predicted Negative (0) FN TN
Tabel 6 menjelaskan 4 sisi nilai dari confusion matrix terdiri dari TP merupakan singkatan dari True Positive , yaitu angka perkiraan  positif  sesuai  dengan  nilai  aktual  benar.  FP merupakan  singkatan  dari False  Positive ,  yaitu  angka perkiraan positif tidak sesuai dengan nilai aktual salah. FN merupakan  singkatan  dari False  Negative ,  yaitu  angka perkiraan negatif tidak sesuai dengan nilai aktual benar. Dan
TN  merupakan  singkatan  dari True  Negative ,  yaitu  angka perkiraan negatif sesuai dengan nilai aktual salah.
Accuracy dapat  memprediksi  nilai  dengan  benar  sehingga menggambarkan  seberapa  akurat  dan  tepat  ( machine learning ). Dengan kata lain, merupakan perbandingan rasio kasus  yang  diidentifikasi  benar  ( negative dan positive ) dengan semua data yang ada. Rumus accuracy adalah :
𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 𝑇𝑃+𝑇𝑁 𝑇𝑃+𝑇𝑁+𝐹𝑃+𝐹𝑁 (3)
Precision mengevaluasi kemampuan tingkat ketelitian data antara data aktual dengan hasil prediksi dalam model  untuk menemukan  peringkat  yang  paling  relevan.  Rumus precision adalah :
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑇𝑃
𝑇𝑃 +𝐹𝑃 (4)
Recall untuk  memaparkan  keberhasilan  model  dalam mendapatkan  kembali  sebuah  informasi.  Sehingga recall untuk mengevaluasi kemampuan sistem untuk menemukan informasi  yang  sesuai  dari  semua  data  yang  benar  positif. Rumus recall adalah :
𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃 𝑇𝑃 +𝐹𝑁 (5)
F1-Score adalah komparasi perhitungan rata-rata nilai dari recall dan precision yang telah di bobotkan.
𝐹1 𝑆𝑐𝑜𝑟𝑒 = 2 x 𝑅𝑒𝑐𝑎𝑙𝑙 x 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛
𝑅𝑒𝑐𝑎𝑙𝑙+𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛
(6)

## 3. HASIL DAN PEMBAHASAN
Data ulasan yang telah diambil datanya dengan melakukan scraping di  aplikasi  MyPertamina  pada  platform Google Play Store . Dataset yang akan digunakan dalam penelitian kali ini yaitu ulasan random sampling pada rentang waktu tanggal 1 Juli 2022 sampai 31 Juli 2022, terdiri dari 5722 data yang didalamnya terdapat data dari data ulasan negatif sebanyak  2861  dan  data  ulasan  positif  sebanyak  2861. Dataset ulasan lalu dipecah menjadi dua bagian yaitu 80% data latih sebanyak 4577 dan 20% data uji sebanyak 1145. Dataset terdiri  dari  2  kolom  yang  berisi  ulasan  dari pengguna dan kolom yang menjadi value label yaitu positive dan negative yang diberikan pada setiap komentar.
Gambar 2. Hasil Confusion Matrix
Hasil proses confusion matrix dapat dilihat pada Gambar 2. Hasil penelitian yang diukur dengan confusion matrix dari data  uji  sebanyak  1145  ulasan,  sistem  telah  berhasil melakukan klasifikasi sebanyak 628 ulasan komentar positif
dan 517 ulasan komentar negatif. Hasil data tersebut dengan rincian  sebanyak  628  ulasan  positif  diprediksi  benar sebanyak  537  ulasan  dan  sebanyak  91  ulasan  diprediksi salah.  Kemudian,  sebanyak  517  ulasan  negatif  diprediksi benar  sebanyak  459  ulasan  dan  sebanyak  58  ulasan diprediksi salah.
Penelitian kali ini akan menjelaskan hasil yang didapat dan menguraikan  performansinya  dengan  data  nilai confusion matrix yang  telah  didapatkan.  Hasil accuracy,  precision  , recall dan f1-score dapat  dihitung  data  dalam confusion matrix.
Tabel 7 . Hasil Naïve Bayes Classifier Performa Confusion Matrix binary class Accuracy Precision Recall F1-Score 87 % 86 % 90 % 87 %
Berdasarkan hasil uji yang didapatkan, pada Tabel 7 dengan menggunakan
algoritma Naïve Bayes Classifier menghasilkan hasil accuracy sebesar 87 %, hasil precision sebesar  86%,  hasil recall sebesar  90%  dan  hasil f1-score sebesar 87%.

## 4. KESIMPULAN
Berdasarkan  hasil  penelitian  yang  telah  dilaksanakan pengujian  pada  sistem,  maka  dapat  disimpulkan  sebagai berikut :
1. Secara  keseluruhan  dengan  menggunakan  algoritma Naïve  Bayes dalam  mengklasifikasikan  ulasan komentar perihal  aplikasi  MyPertamina  pada Google Play Store dapat melakukan klasifikasi dengan sangat baik  untuk  memberikan  label  value positive dan negative dengan akurasinya yang mencapai 87%.
2. Dataset  dengan  menggunakan  data  yang  seimbang antara label positif dan label negatif, hasil klasifikasi yang  dihasilkan  cukup  baik  dan  akurat  dilihat  dari akurasinya  yang  mencapai  87%  menggunakan algoritma Naïve Bayes .
3. Algoritma  yang  diterapkan  pada dataset dari penelitian,  algoritma  NBC  dapat  memprediksi  data review aplikasi  MyPertamina  dengan  data  ulasan negatif dengan nilai 90% true positive .
Dataset yang  dijadikan  objek  penelitian,  dilihat  dari  dari data  yang  berdasarkan  label  positif  dan  negatif  ulasan aplikasi,  hasil  analisis  sentimen  aplikasi  MyPertamina cenderung bersifat negatif. Analisis sentiment negatif yaitu penggunaan aplikasi yang masih mengeluhkan penggunaan aplikasi  yang  belum  siap  untuk  diakses  untuk  melakukan pembelian  BBM.  Terdapat eror ketika  proses  pendaftaran seperti  kode  otp  yang  tidak  terkirim  ke  nomor  yang didaftarkan.  Akan  tetapi,  ada  juga  pengguna  yang mendukung  dan  memberi  ulasan  positif  untuk  aplikasi MyPertamina  yang  berfungsi  untuk  membatasi  para konsumen yang tidak layak mendapatkan subsidi.
Pemerintah dapat memperbaiki sistem aplikasi pendaftaran dari MyPertamina dikarenakan banyaknya respon masyarakat mengenai kesulitan saat proses pendaftaran dan pengiriman  kode  otp  serta  lebih  siap  ketika  aplikasi digunakan secara bersamaan agar tidak terjadi susah masuk ke system sehingga  program  ini  dapat  terus  berjalan  dan penerima BBM bersubsidi tepat sasaran.
Penelitian  selanjutnya,  disarankan  untuk  melakukan perbandingan  terhadap  algoritma  lain,  tidak  menggunakan algoritma Naïve Bayes Classifier untuk melakukan analisis tetapi dapat menggunakan algoritma lain seperti K-NN dan Decision  Tree sehingga  melakukan  perbandingan  yang dapat  diketahui  mana  algoritma  yang  terbaik  untuk melakukan analisis sentimen.

## DAFTAR PUSTAKA
[1] F.  M.  Oktaviana,  D.  Wijayanto,  and  T.  Wahyudi, “Pengaruh  Social  Marketing  Campaign  Terhadap Keputusan  Konsumen  Bertransaksi  Menggunakan App Mypertamina Di Pontianak,” J. TIN , vol. 5, no. 1, pp. 23–29, 2021.
[2] I.  Saputra,  T.  Djatna,  R.  R.  A.  Siregar,  D.  A. Kristiyanti,  H.  R.  Yani,  and  A.  A.  Riyadi,  “Text Mining of PeduliLindungi Application Reviews on Google Play Store,” Fakt. Exacta , vol. 15, no. 2, pp. 101–108, 2022.
[3] G. K. Locarso, “Analisis Sentimen Review Aplikasi
Pedulilindungi pada Google Play Store Menggunakan  NBC,” J.  Tek.  Inform.  Kaputama , vol. 6, no. 2, 2022.
[4] A. Voutama, “Perancangan Aplikasi M-Discussion Berbasis Android Sebagai Wadah Diskusi Sekolah,” Syntax  J.  Inform. ,  vol.  7,  no.  2,  p.  116, 2018.
[5] A. Voutama and E. Novalia, “Perancangan Aplikasi M-Magazine  Berbasis  Android  Sebagai  Sarana Mading  Sekolah  Menengah  Atas,” J.  Tekno Kompak ,  vol.  15,  no.  1,  pp.  104–115,  Feb.  2021, Accessed:  Oct.  28,  2022.  [Online].  Available: https://ejurnal.teknokrat.ac.id/index.php/teknokom pak/article/view/920
[6] S. D. Purnamasari and F. Panjaitan, “Pengembangan  Aplikasi  E-Reporting  Kerusakan Lampu  Jalan  berbasis  Mobile,” Jusikom    J.  Sist. Komput. Musirawas , vol. 5, no. 1, pp. 59–69, 2020, doi: 10.32767/jusikom.v5i1.764.
[7] D. Adhe, C. Rachman, R. Goejantoro, and D. Tisna, “Implementation  Of  Text  Mining  For  Grouping Thesis  Documents  Using  K-Means  Clustering,” J. EKSPONENSIAL ,  vol.  11,  no.  2,  pp.  167–174, 2020.
[8] A. Yoga Pratama et al. , “Analisis Sentimen Media Sosial  Twitter  Dengan  Algoritma  K-Nearest Neighbor  Dan  Seleksi  Fitur  Chi-Square  (Kasus Omnibus  Law  Cipta  Kerja),” J.  Sains  Komput.
Inform. (J-SAKTI , vol. 5, no. 2, pp. 897–910, 2021.
[9] Euis  Saraswati,  Yuyun  Umaidah,  and  Apriade Voutama,  “Penerapan  Algoritma  Artificial  Neural Network  untuk  Klasifikasi  Opini  Publik  Terhadap Covid-19,” Gener.  J. ,  vol.  5,  no.  2,  pp.  109–118, 2021, doi: 10.29407/gj.v5i2.16125.
[10] Raksaka  Indra  Alhaqq,  I  Made  Kurniawan  Putra, and  Yova  Ruldeviyani,  “Analisis  Sentimen terhadap  Penggunaan  Aplikasi  MySAPK  BKN  di Google  Play  Store,” J.  Nas.  Tek.  Elektro  dan Teknol. Inf. , vol. 11, no. 2, pp. 105–113, 2022, doi: 10.22146/jnteti.v11i2.3528.
[11] R.  T.  Aldisa  and  P.  Maulana,  “Analisis  Sentimen Opini  Masyarakat  Terhadap  Vaksinasi  Booster COVID-19  Dengan  Perbandingan  Metode  Naive Bayes, Decision Tree dan SVM,” Technol. Sci. , vol.
4, no. 1, pp. 106–109, 2022, doi: 10.47065/bits.v4i1.1581.
[12] U.  Kusnia  and  F.  Kurniawan,  “Analisis  Sentimen Review Aplikasi Media Berita OnlinePada Google Playmenggunakan  Metode  Algoritma  Support Vector  Machines  (SVM)  Dan  Naive  Bayes,”
Explor. IT , vol. 14, no. 36, pp. 24–28, 2022.
[13] R.  Akbar,  Bagus  Muhammad;  Akbar,  Ahmad Taufiq;  Husaini,  “Analisis  Sentimen  dan  Emosi Vaksin Sinovac pada Twitter Menggunakan Naïve Bayes  dan  Valence  Shifter,” J.  Teknol.  Terpadu , vol. 7, no. 2, pp. 83–92, 2021, doi: https://doi.org/10.54914/jtt.v7i2.433.
[14] D.  P.  Wilandini,  “Penerapan  Algoritma  Naïve Bayes  Dalam  Mengklasifikasikan  Media  Sosial Untuk  Mengamati  Trend  Kuliner,” J.  Teknol. Terpadu ,  vol.  8,  no.  1,  pp.  31–39,  2022,  doi: https://doi.org/10.54914/jtt.v8i1.535.
[15] M.  F.  Andriansyah,  D.  Yusup,  and  A.  Voutama, “Menggunakan  Metode  Naïve  Bayes  Berbasis Website  Web-Based  Expert  System  of  Covid-19 Early Detection Using Naïve Bayes Method,” J. Inf. Technol.  Comput. Sci. , vol.  4,  no.  2, pp.  446–455, 2021.
[16] A.  Voutama,  “Sistem  Antrian  Cucian  Mobil Berbasis Website Menggunakan Konsep CRM dan Penerapan UML,” Komputika  J. Sist. Komput. , vol. 11, no. 1, pp. 102–111, 2022, doi:
10.34010/komputika.v11i1.4677.