## Journal of Information System Research (JOSH)
Volume 5, No. 4, Juli 2024, pp 998−1005 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v5i4.5485
Analisis Sentimen Aplikasi Mobile Bangking Bca Pada Ulasan Pengguna di Google Play Store Menggunakan Metode Naive Baye s
Afinda Juliana Tobing, Arafat Febriandirza *
Fakultas Teknik Industri dan Informatika, Teknik Informatik, Universitas Muhammadiyah Prof. Dr. Hamka, Jakarta Jl. Limau II No.2, RT.3/RW.3, Kramat Pela, Kec. Kby. Baru, City, Daerah Khusus Ibukota Jakarta, Indonesia Email: 1 afinda.juliana02@gmail.com, 2,* arafat@uhamka.id Email Penulis Korespondensi: arafat@uhamka.id Submitted: 04/07/2024; Accepted: 17/07/2024; Published: 20/07/2024
Abstrak- Aplikasi adalah suatu program yang di kembangkan untuk memenuhi kebutuhan pengguna. M-banking adalah salah satu aplikasi yang sangat memudahkan pengguna untuk melakukan transaksi kapanpun dan dimanapun. Layanan yang terdapat pada  aplikasi  M-banking  membuat  para  penggguna  tidak  perlu  repot  berkunjung  ke  ATM  ataupun  ke  Bank.  Jumlah pemasangan aplikasi BCA Mobile melalui playstore mencapai lebih dari 50juta pengguna. Aplikasi dibidang perbank-an yang kini  banyak  sekali  digunakan  untuk  transaksi  secara  mobile  tanpa  perlu  ke  bank  ataupun  ATM.  Tentunya,  ini  sangat memudahkan  pengguna  atau  nasabah  dalam  melakukan  transaksi  menggunakan  aplikasi  mobile  banking.  Ulasan  pengguna menjadi salah satu sumber informasi penting bagi pengembang untuk mengetahui keluhan dari para pengguna atau nasabah. Komentar dan rating pengguna dalam ulasan sangat dibutuhkan oleh pengembang untuk meningkatkan kualitas dan kinerja aplikasi M-Banking. Namun demikian, belum tentu hal tersebut selalu menjamin kepuasan untuk pengguna aplikasi. Untuk mengidentifikasi sentimen pengguna aplikasi BCA Mobile, akan dilakukan analisis sentimen dengan algoritma Naive Bayes. Hal ini bertujuan untuk menilai tingkat akurasi dari algortima Naive Bayes. Perlu dilakukan analisis sentimen untuk mengetahui apa saja kekurangan dari fitur – fitur aplikasi, apa saja kendala dalam mengunakan aplikasi BCA Mobile untuk bertransaksi untuk mengetahui perasaan atau opini yang terdapat dalam teks atau kalimat ulasan pada google play store. Dan untuk para pengguna  aplikasi  seberapa  puas  mereka  menggunakan  aplikasi  tersebut.  Penelitian  ini  bertujuan  untuk  mengetahui  hasil sentimen melalui komentar para pengguna aplikasi dan untuk mengetahui hasil accuracy, precision dan recall. Apakah nantinya hasil  dari  analisis  ini  lebih  besar  dari  nilai  positif  atau  negatif.  Sekaligus  untuk  melihat  seberapa  akurasinya  jika  analisis sentimen dilakukan pengklasifikasian dengan metode Naive Bayes. Data yang digunakan diperoleh melalui web scraping dari 1000 ulasan pengguna di aplikasi Google Play Store. Untuk setelah melalui web scrapping, akan dilakukan tahap prepocessing, dan data dibagi menjadi 60% data training dan 40% data testing. Hasil analisis cenderung Negatif sebanyak 396 dan Positif sebanyak 312. Berdasarkan hasil confusion matrix,  mendapatkan hasil  accuracy sebesar 71.03% Precisions sebesar 97.67% dan Recall sebesar 33.60%.
Kata Kunci: Analisis Sentimen; BCA Mobile; Algoritma Naive Bayes; ATM; Bank
Abstract- An application is a program that is developed to meet user needs. M-banking is one application that makes it very easy for users to make transactions anytime and anywhere. The services contained in the M-banking application make users do not need to bother visiting ATMs or banks. The number of BCA Mobile application installations through Playstore reached more than 50 million users The development of technology is currently increasing rapidly, including applications in the field of banking which are now widely used for mobile transactions without the need to go to a bank or ATM Of course, this makes it very easy for users or customers to make transactions using the mobile banking application. User reviews are an important source of information for developers to find out complaints from users or customers. User comments and ratings in reviews are needed by developers to improve the quality and performance of M-Banking applications. However, this does not guarantee satisfaction for application users. To identify the sentiment of BCA Mobile application users, sentiment analysis will be carried out  with  the  Naive  Bayes  algorithm.  This  aims  to  assess  the  accuracy  of  the  Naive  Bayes  algorithm.  This  study  aims  to determine the results of sentiment through comments from application users and to determine the results of accuracy, precision and recall. Whether the results of this analysis will be greater than positive or negative values. At the same time to see how accurate it is if sentiment analysis is classified with the Naive Bayes method. The data used is obtained through web scraping from 1000 user reviews on the Google Play Store application. For after web scrapping, a preprocessing stage will be carried out, and the data is divided into 60% training data and 40% training data.
Keywords: Sentiment Analysis; BCA Mobile; Naive Bayes Algorithm; Google Play Store; Bank

## 1. PENDAHULUAN
Aplikasi adalah program yang dikembangkan untuk memnuhi kebutuhan pengguna. M-banking adalah salah satu aplikasi yang sangat memudahkan pengguna dalam melakukan transaksi kapan saja dan dimana saja [1]. Layanan dalam aplikasi M-Banking membuat pengguna tidak perlu repot pergi ke ATM atau bank. Sudah lebih 50jt  kali aplikasi BCA Mobile diunduh oleh masyarakat pengguna. [2].
Aplikasi perbankan menjadi aplikasi yang kini paling banyak digunakan untuk transaksi mobile tanpa harus ke bank atau ATM [3]. Ini tentu sangat memudahkan pengguna atau nasabah dalam bertransaksi menggunakan aplikasi  mobile  bankinh  [4].  Ulasan  dari  pengguna  mejadi  sumber  informasi  penting  bagi  pengembang  untuk memahami  keluhan  pengguna  atau  nasabah.  Komentar  dan  rating  dalam  ulasan  sangat  dibutuhkan  oleh pengembang untuk meningkatkan kualitas dan kinerja aplikasi M-banking. [5]
Analisis  sentimen  dapat  diartikan  sebagai  ilmu  yang  bertujuan  untuk  mengekspresikan  sentimen  yang terdapat  dalam  teks  atau  kalimat  [6].  Dalam  metode  pelatihan  ini,  algoritma  Naive  Bayes  akan  digunakan.

## Journal of Information System Research (JOSH)
Volume 5, No. 4, Juli 2024, pp 998−1005 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v5i4.5485
Algoritma Naive Bayes adalah salah satu metode pembelajaran yang menggunakan statistik dan probabilitas untuk memprediksi probabilitas dimasa depan bedasarkan pengalaman dari masa lalu.
Algoritma  Naive  Bayes  karap  digunakan  dalam  analisis  sentimen  pada  berbagai  studi  sebelumnya mengenai  Analisis  Sentimen  aplikasi  Brimo  menggunakan  algoritma  Naive  Bayes  dari  hasil  penelitian  analisis sentimen pengguna aplikasi brimo kedalam kategori positif dan negatif dimana data diambil melalui hasil scraping bulan  agustus  2022  hingga  januari  2023  sebanyak  1550  data  yang  mengahsilkan  bahwa  pengguna  aplikasi memberi ulasan positif. yang mendapatkan hasil accuracy sebesar 84.52%, presisi 82,51% dan recall 87,62% [7].
Selain  itu,  adapun  penelitian  mengenai  BCA  dengan  menggunakan  BM24  dan  improved  K-Nearest Neighbor. Hasil yang diperoleh bedasarkan evaluasi berupa pengujian 5-fold mendapatkan nilai k-values terbaik sebesar 10. Dengan nilai akurasi sebesar 0,942 [8].
Adapun  penelitian  lain  yang  membahas  tentang  analisis  sentimen  menggunakan  algoritma  SVM,  Naive Bayes dan logistic regression. Dan Hasil dari percobaan yang telah dilakukan bahwa SVM menghasilkan akurasi sebesar 0,88%, Naive bayes menghasilkan akurasi 0,76%, dan logistic regression menghasilkan akurasi 0,86%. [9]
Perlu dilakukan analisis sentimen untuk mengetahui apa saja kekurangan dari fitur – fitur aplikasi, apa saja kendala dalam mengunakan aplikasi BCA Mobile untuk bertransaksi untuk mengetahui perasaan atau opini yang terdapat dalam teks atau kalimat ulasan pada google play store. Dan untuk para pengguna aplikasi seberapa puas mereka  menggunakan  aplikasi  tersebut.  Penelitian  ini  bertujuan  untuk  mengetahui  hasil  sentimen  melalui komentar para pengguna aplikasi dan untuk mengetahui hasil accuracy, precision dan recall. Apakah nantinya hasil dari analisis ini lebih besar dari nilai positif atau negatif. Sekaligus untuk melihat seberapa akurasinya jika analisis sentimen dilakukan pengklasifikasian dengan metode Naive Bayes.

## 2. METODOLOGI PENELITIAN

## 2.1 Tahap Penelitian
Naive bayes digunakan untuk mengklasifikasi sentimen dalam penelitian ini. Data yan dikumpulkan terkait dengan ulasan pengguna apikasi BCA Mobile di Google Play store.

## Gambar 1. Tahap Penelitian
Gambar  diatas  adalah  beberapa  tahap  yang  akan  dilakukan  untuk  penelitian.  Yang  dimulai  dengan scrapping  data  menggunakan  google  colab.  Dan  setelahnya  melakukan  langkah  –  langkah  preprocessing  untuk melanjutkan penelitian. Yang Dimana preprocessing akan melewati tahap cleansing yang, tokenizing, transform cases, stopwords dan filter tokens. Setelah tahapan itu telah dilewati langkah selanjutnya yaitu penentuan akurasi yang menggunakan metode confusion matrix [10].

## 2.2 Web Scraping
Dilangkah ini web scrapping ini kita mengambil data dari ulasan pengguna yang ada di google play  store. Yang nantinya  akan  digunakan  untuk  keperluan  dalam  riset,  atau  analisis  lainnya.  Proses  ini  dilakukan  dengan menggunakan program atau script yang mengekstrak konten dari halaman web untuk kemudian disimpan dalam format, seperti file CSV, atau spreadsheet.

## 2.3 Prepocessing
Prepocessing  adalah  tahap  pembersihan  data  atau  perbaikan  data.  rangkaian  atau  langkah  yang  nantinya  akan digunakan    data  sebelum  nantinya  melanjutkan  ke  tahap  tahap  berikutnya.  Berikut  dibawah  ini  adalah  tahapan untuk melakukan preprocessing. Berikut langkah – langkah yang akan diambil terhadap data sebelum melanjutkan ke tahap – tahap selanjutnya. Dibawah ini adalah langkah – langkah untuk preprocessing [11].

## Journal of Information System Research (JOSH)
a. Clenasing
Tahap cleansing ini berguna  untuk  membersihkan symbol  symbol,  menghapus  ulasan  yang  sama, atau kata kata yang tidak sesuai.
b. Tokenizing
Tokenizing pada tahapan ini, merupakan proses penyaringan atau memisahkan kalimat menjadi beberapa kata. Sehingga menjadi kata yang memiliki arti tertentu c. Transform Cases
Transform cases yaitu mengubah semua huruf besar atau kapital menjadi huruf kecil atau sebaliknya
d. Stopwords
Dilangkah ini, stopword berguna sebagai menyaring, memfilter atau menghilangkan kata yang tidak memiliki arti, seperti “yang”, “di” dan lainnya
e. Filter Tokens
Ditahap  ini  kurang  lebihnya  sama  dengan  tahap  stopword  yaitu  untuk  menyaring  atau  memfilter  kata,  dan membatasi    jumlah di setiap kata, dengan minimal kata yaitu 4 karakter dan maksimal kata yaiu 25 karakter.

## 2.4 Pelabelan Data
Langkah  ini  yaitu  pelabelan  data,  yang  dimana  dilakukan  setelah  preprocessing,  langkah  ini  dilakukan  secara manual di Microsoft excel yang nantinya setelah itu data akan dibagi menjadi 2 yaitu data latih dan data uji. Jumlah data yang sudah di cleansing berjumlah 701 data yang dibagi menjadi 60% data training dan 40% data testing

## 2.5 Algoritma Naïve Bayes
Algoritma  Naïve  Bayes  merupakan  algoritma  yang  sering  digunakan  untuk  menganalisa  sentimen.  Ditahap implementasi algoritma ini dimulai dengan membuat data training dan data testing [12]. Penelitian ini difokuskan untuk  melakukan  sebuah  klasifikasi  sentiment  pada  ulasan  pengguna  aplikasi  BCA  Mobile  di  google  play store.setelah  dilakukannya  tahapan  penilitian,  akan  di  lanjut  dengan  perhitungan  akurasi,  presisi,  dan  recall. Berikut dibawah ini adalah rumus untuk menghitung akurasi, presisi, dan recall.
Accuraccy = Tp+Tn Tp+TN+FP+FN (1) Precision = TP TP+FP (2) Recall = TP TP+FN
(3)

## 3. HASIL DAN PEMBAHASAN

## 3.1 Scrapping Data
Data  telah  diambil  menggunakan  metode  web  scrapping  di  google  colab.  Web  scrapping  adalah  proses pengumpulan data yang berasal dari macam – macam situs web, termasuk aplikasi google play store [13]. Gambar dibawah merupakan proses web scraping yang menggunakan google colab untuk mengambil data ulasan apliaksi BCA Mobile dari Google Play store, setelah berhasil di web scrapping, data yang diperoleh disimpan kedalam file csv untuk melanjutkan ke tahap selanjutnya.

## Gambar 2. Proses scrapping data
Ulasan  pada  aplikasi  BCA  Mobile  telah  diambil  sebanyak  1000  ulasan  untuk  dilakukannya  penelitian. Setelah  ulasan  diambil  akan  melanjutkan  di  tahap  preprocessing.  Data  yang  saya  ambil  terdiri  dari  username, ulasan, rating dan tanggal. Gambar dibawah ini merupakan proses scrapping menggunakan Google Colab. Berikut dibawah ini merupakan contoh hasil scrapping data ulasan.
Tabel 1. Hasil scrapping Data Ulasan
Username Rating Tanggal Ulasan Suripto KBM Zarni Pipit Ari Santika Dahlar Danial 2 5 1 5 26-06-2024 26-06-2024 26-06-2024 26-06-2024 Setelah diupdate malah tidak bisa login Simpel dan memudahkan Sering gangguan saat dibutuhkan Sangat baik & berguna

## Journal of Information System Research (JOSH)
Volume 5, No. 4, Juli 2024, pp 998−1005 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v5i4.5485
Setelah melakukan web scrapping, data yang sudah diambil disimpan kedalam file csv untuk melanjutkan ke langkah berikutnya yaitu tahap prepocessing. Gambar dibawah ini merupakan proses penyimpanan file hasil web scrapping
Gambar 3 . Proses penyimpanan hasil scrapping

## 3.2 Prepocessing
Prepocessing  adalah  berbagai  rangkaian  langkah  –  langkah  yang  akan  digunakan  proses  membersihkan  atau memfilter data. Rangkaian preprocessing ini akan melewati berbagai langkah. Untuk langkah yang pertama yaitu Cleansing yang berguna untuk menghapus symbol, tanda baca dan karakter. Dilangkah kedua yaitu Tokenizing proses penyaringan atau memisahkan kalimat menjadi beberapa kata [14]. Sehingga menjadi kata yang memiliki arti  tertentu.  Selanjutnya  yaitu  Transform  cases  yang  berguna  untuk  mengubah  semua  huruf  besar  atau  kapital menjadi  huruf  kecil  atau  sebaliknya.  Dilangkah  selanjutnya  yaitu  Filter  stopword  stopword  berguna  sebagai menyaring,  memfilter atau  menghilangkan kata  yang tidak  memiliki arti,  seperti “yang”, “di”  dan lainnya  dan Langkah terakhir dalam prepocessing yaitu Filter tokens Ditahap ini kurang lebihnya sama dengan tahap stopword yaitu untuk menyaring atau memfilter kata, dan membatasi    jumlah di setiap kata, dengan minimal kata yaitu 4 karakter dan maksimal kata yaitu 25 karakter. Setelah di lakukan preprocessing, akan dilakukan pelabelan data dan lainnya. Gambar dibawah menunjukkan proses cleansing yang berguna untuk menghapus symbol symbol dan menghapus kata yang sama (duplicates) [15].
Gambar 4. Proses cleaning Tabel 2. Hasil cleaning
Setelah  melakukan  cleansing,  dilangkah  berikutnya  yaitu  menyajikan  beberapa  operator  yaitu  tokenize yang merupakan proses penyaringan atau memisahkan kalimat menjadi beberapa kata, transform cases merupakan proses mengubah huruf besar atau kapital menjadi huruf kecil, stopword adalah proses menyaring, memfilter, atau menghilangkan  kata  yang tidak  memiliki arti,  seperti,  “yang”,  “di”  dan lainnya. dan  filter tokens suatu proses membatasi jumlah di setiap kata, dengan minimal kata yaitu 4 karakter dan maksimal kata yaiu 25 karakter. Semua operator ini, akan dijadikan satu kedalam 1 yaitu proses operator documents. Gambar 6 dibawah ini adalah gambar operator processing [16].

## Gambar 5. Operator proses processing
Setelah melewati tahap cleansing, tahap berikutnya yaitu Tokenizing. Ditahap tokenizing ini berguna untuk proses penyaringan atau memisahkan kalimat menjadi beberapa kata. Sehingga menjadi kata yang memiliki arti tertentu. Tabel dibawah ini merupakan proses memisahkan ulasan ini akan menggunakan operator proses tokenize [17].
Tabel 2. Hasil Tokenize
Setelah  melewati  proses  tokenizing,  langkah  selanjutnya  yaitu  transform  cases.  Yang  berfungsi  untuk mengubah  huruf  besar  atau  kapital  menjadi  huruf  kecil  atau  sebaliknya.  Langkah  ini  dilakukan  menggunakan
Sebelum Sesudah Mudah dan cepat Sangat membantu untuk transaksi Hanya pengguna mobile banking gak mau ribet Mudah dan cepat Sangat membantu untuk bertrasnsaksi Hanya pengguna mobile banking gak mau ribet Sebelum Sesudah Mudah dan cepat Sangat membantu untuk transaksi Hanya pengguna mobile banking gak mau ribet Mudah, dan, cepat
Sangat, membantu, untuk, trasnsaksi Hanya, pengguna, mobile, banking, gak, mau, ribet

## Journal of Information System Research (JOSH)
operatos transform cases dan  parameter  filter  yang digunakan adalah lower cases (menjadi huruf  kecil semua). Gambar dan tabel dibawah ini merupakan parameter dan hasil dalam tahap transform cases [18].
Gambar 6. Parameter mengubah huruf kecil
Tabel 3. Hasil Transform cases
Setelah melakukan proses transform cases, akan dilanjutkan langkah selanjutnya yaitu filter stopword yang berguna untuk menghapus atau menghilangkan kata yang tidak penting pada ulasan tersebut. Tabel dibawah ini merupakan hasil proses stopword.

## Tabel 4. Proses stopword
Setelah  melewati  proses  stopword,  langkah  selanjutnya  yaitu  filter  tokens.  Dilangkah  filter  tokens  ini merupakan  tahap terakhis didalam prepocessing.  Filter tokens ini berfungsi  sebagai  membatasi jumlah disetiap kata – katanya dengan filter bye lenght didalam operatornya. Tabel dibawah ini adalah hasil filter tokens.
Tabel 5. Hasil filter tokens

## 3.3 Pelabelan data
Setelah tahap prepocessing selesai, akan dilanjutkan dengan pelabelan data. Pelabelan data ini dilakukan secara manual  di  microsoft  excel.  Langkah  ini  dilakukan  secara  manual,  yang  nantinya  setelah  itu  data  akan  dibagi menjadi 2 yaitu data latih dan data uji. Jumlah data yang sudah di cleansing berjumlah 701 dari 1000 data yang telah di ambil dalam proses web scrapping, data yang sudah di cleansing akan dibagi menjadi 2 yaitu 60% data training dan 40% data testing. Tabel dibawah ini merupakan tabel pelabelan data.
Tabel 6. Pelabelan data

## 3.4 Implementasi Algoritma Naive Bayes
Setelah  tahap  pelabelan  data,  langkah  selanjutnya  adalah  klasifikasi.  Didalam  penelitian  ini  klasifikasi  yang digunakan yaitu Algoritma Niave Bayes beroperasi dengan menggunakan informasi dari pengalaman sebelumnya. atau data latih untuk membuat prediksi. Dengan menggunakan algoritma Naive Bayes menghitung probabilitas suatu  kejadian berdasarkan kemungkinan  kejadian tersebut  terjadi di masa lalu. [19]. Ditahap implementasi  ini akan dimulai dengan pembagian data menadi 2 yaitu data testing dan data training. Gambar dibawah ini merupakan proses pembagian data.
Sebelum
Sesudah Mudah, dan, cepat Sangat, membantu, untuk, trasnsaksi
Hanya, pengguna, mobile, banking, gak, mau, ribet
mudah, dan, cepat sangat, membantu, untuk, trasnsaksi hanya, pengguna, mobile, banking, gak, mau, ribet
Sebelum Sesudah mudah, dan, cepat sangat, membantu, untuk, trasnsaksi hanya, pengguna, mobile, banking, gak, mau, ribet
mudah, cepat sangat, membantu, transaksi hanya, pengguna, mobile, banking, gak, ribet Sebelum Sesudah mudah, cepat sangat, membantu, transaksi hanya, pengguna, mobile, banking, gak, ribet mudah, cepat sangat, membantu, transaksi hanya, pengguna, mobile, banking Ulasan Sentimen Bagus Mantap Sering error Sering banget trouble Positif Positif Negatif Negatif

## Journal of Information System Research (JOSH)
Volume 5, No. 4, Juli 2024, pp 998−1005 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v5i4.5485
Pada gambar 7 yaitu proses klasifikasi pembagian data menggunakan Naive Bayes yang dibagi menjadi 2 dengan operator split data dengan ratio 60:40 yaitu data training dan data testing. Data pelatihan untuk melatih model,  sementara  data  pengujian  digunakan  untuk  menguji  kinerja  model.  Algoritma  Naive  Bayes  digunakan untuk analisa sentimen, dimana operator apply model digunakan untuk melakukan prediksi pada data pengujian, dan operator performance digunakan untuk mengevaluasi kinerja model. Pada proses klasifikasi di atas, dibawah ini merupakan hasil diagram pie dari pengklasifikasian data, terdapat hasil prediksi bahwa nilai yang di dapatkan lebih besar nilai negatif daripada nilai positif [20].
Gambar 9. Diagram pie hasil klasifikasi
Diagram  diatas  menunjukkan  hasil  sentimen  positif  dan  negatif.  Setelah  melalui  beberapa  tahap implementasi  di  atas,  Algoritma  Naive  Bayes  pada  ulasan  pengguna  BCA  Mobile  di  google  play  store menunjukkan bahwa nilai positif sebesar 312 dan nilai negatif sebesar 396. Hasil prediksi lebih besar nilai negatif karena  aplikasi  BCA  Mobile  terlalu  sering  mengalami  trouble  sistem  sehingga  pengguna  terkendala  untuk melakukan transaksi di aplikasi tersebut.
Selain dipresentasikan dalam diagram lingkaran, implementasi algoritma ini juga dapat ditunjukkan melalui worldcloud. Wordcloud yaitu kata kata yang palling sering muncul didalam ulasan aplikasi BCA Mobile yang ada di Google Play store.

## Gambar 10. Worldcloud

## 3.5 Evaluasi
Evaluasi ini adalah tahap terakhir, didalam tahap ini, confusion matrix digunakan untuk mengevaluasi hasil kinerja model. Confusiom matrix berfungsi sebagai penghiyung untuk menghitung accuracy, precision, dan recall. Yang dimana  True  Positive  (TP)  terjadi  ketika  nilai  aktual  atau  prediksi  keduanya  positif,  False  Negatif  (FN)  terjadi ketika nilai aktual positif tetapi nilai prediksi negatif, False Positive (FP) terjadi ketika nilai aktual negatif tetapi nilai predksi positif, True Negative (TN) terjadi ketika nilai aktual dan prediksi keduanya negatif. Hasil dari proses confusion  matrix.  Tabel  dibawah  ini  adalah  hasil  accuracy  yang  ternilai  sebesar  71.03%,  precesions  sebesar 97.67% dan recall sebesar 33.60%.
Tabel 7. Confusion matrix True Positif True Negatif Class Precisions Pred. Positif 42 1 65.42%

## Journal of Information System Research (JOSH)
Volume 5, No. 4, Juli 2024, pp 998−1005 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v5i4.5485
True Positif True Negatif Class Precisions Pred. Negatif Class Recall 83 99.37% 157 33.60% 97.67%
Untuk memberikan hasil perhitungan, dibawah ini adalah hasil perhitungan akurasi, presisi, dan recall yang dihasilkan dari confusion matrix.
Accuraccy   = TP+TN TP+TN+FP+FN = 42+157 42+157+1+83 = 199 283 = 0,7103 (1) Precision = TP TP+FP = 42 42+1 = 42 43 = 0,9767
(2)
Recall          = TP TP+FN = 42 42+83 = 42 125 = 0,3360 (3)
Berdasarkan evaluasi yang dilakukan terhadap analisis sentimen ulasan pengguna analisis sentimen ulasan pengguna aplikasi BCA Mobile di Google Play Store menggunakan metode Naive Bayes diperoleh nilai akurasi sebesar 71.03% Presisi 97.67% dan recall 33.60%.

## 4. KESIMPULAN
Menganalisis sentimen ulasan aplikasi BCA Mobile dari google play store untuk penelitian ini. Data yang diambil dari  google  play  store  adalah  1000  ulasan  dari  pengguna  aplikasi  BCA  Mobile  dan  disusun  secara  terstruktur dengan melalui beberapa tahap, yaitu langkah prepocessing yang meliputi dari cleansing, tokenizing, stopword, dan  filter  tokens.  Setelah  melalui  tahap  itu,  dilanjutkan  dengan  pelabelan  data  dan  pemisah  data  dengan perbandingan 60:40. Selanjutnya, serangkaian proses dalam melakukan analisis didapatkan hasil sentimen negatif yang lebih banyak dibandingkan dengan sentimen positif dengan jumlah sentimen negatif 396 dan sentimen positif 312. Dan dari hasil analisis sentimen dapat disimpulkan bahwa para pengguna BCA Mobile sangat kurang bagus dikarenakan teralu sering truoble dan pembaharuan sehingga para pengguna aplikasi BCA Mobile terkendala jika ingin melakukan transsaksi di aplikasi tersebut. Banyak pengguna aplikasi BCA Mobile merasa kecewa karena sering  mengalami  kesalahan teknis,  yang  mengakibatkan hasil  kinerja evaluasi  menggunakan confusion  matrix menunjukkan  accuracy  71.03%,  precision  97.67%,  dan  Recall  33.60%.  Oleh  karena  itu,  rekomenasi  untuk penelitian kedepan adalah membandingkan kinerja algoritma Naive Bayes dengan algoritma lainnya.

## REFERENCES
[1] F. Gunawan, M. A. Fauzi, and P. P. Adikara, “Analisis Sentimen Pada Ulasan Aplikasi Mobile Menggunakan Naive Bayes  dan  Normalisasi  Kata  Berbasis  Levenshtein  Distance  (Studi  Kasus  Aplikasi  BCA  Mobile),”  Syst.  Inf.  Syst. Informatics J., vol. 3, no. 2, pp. 1–6, 2017, doi: 10.29080/systemic.v3i2.234.
[2] R.  A.  Husen,  R.  Astuti,  L.  Marlia,  R.  Rahmaddeni,  and  L.  Efrizoni,  “Analisis  Sentimen  Opini  Publik  pada  Twitter Terhadap Bank BSI Menggunakan Algoritma Machine Learning,” MALCOM Indones. J. Mach. Learn. Comput. Sci., vol. 3, no. 2, pp. 211–218, 2023, doi: 10.57152/malcom.v3i2.901.
[3] M. K. Khoirul Insan, U. Hayati, and O. Nurdiawan, “Analisis Sentimen Aplikasi Brimo Pada Ulasan Pengguna Di Google Play  Menggunakan  Algoritma  Naive  Bayes,”  JATI  (Jurnal  Mhs. Tek.  Inform.,  vol.  7, no.  1,  pp.  478–483, 2023,  doi: 10.36040/jati.v7i1.6373.
[4] N. Herlinawati, Y. Yuliani, S. Faizah, W. Gata, and S. Samudi, “Analisis Sentimen Zoom Cloud Meetings di Play Store Menggunakan Naïve Bayes dan Support Vector Machine,” CESS (Journal Comput. Eng. Syst. Sci., vol. 5, no. 2, p. 293, 2020, doi: 10.24114/cess.v5i2.18186.
[5] A. C. Najib, A. Irsyad, G. A. Qandi, and N. A. Rakhmawati, “Perbandingan Metode Lexicon-based dan SVM untuk Analisis Sentimen Berbasis Ontologi pada Kampanye Pilpres Indonesia Tahun 2019 di Twitter,”  Fountain Informatics J., vol. 4, no. 2, p. 41, 2019, doi: 10.21111/fij.v4i2.3573.
[6] S.  Nurwahyuni,  “Analisis  Sentimen  Aplikasi  Transportasi  Online  Krl  Access  Menggunakan  Metode  Naive  Bayes,” Swabumi, vol. 7, no. 1, pp. 31–36, 2019, doi: 10.31294/swabumi.v7i1.5575.
[7] F. Sidik, I. Suhada, A. H. Anwar, and F. N. Hasan, “Analisis Sentimen Terhadap Pembelajaran Daring Dengan Algoritma Naive Bayes Classifier,” J. Linguist. Komputasional, vol. 5, no. 1, p. 34, 2022, doi: 10.26418/jlk.v5i1.79.
[8] A. Nurian, “Analisis Sentimen Ulasan Pengguna Aplikasi Google Play Menggunakan Naïve Bayes,” J. Inform. dan Tek. Elektro Terap., vol. 11, no. 3s1, pp. 829–835, 2023, doi: 10.23960/jitet.v11i3s1.3348.
[9] K. D. Indarwati and H. Februariyanti, “Analisis Sentimen Terhadap Kualitas Pelayanan Aplikasi Gojek Menggunakan Metode  Naive  Bayes  Classifier,”  JATISI  (Jurnal  Tek.  Inform.  dan  Sist.  Informasi),  vol.  10,  no.  1,  2023,  doi: 10.35957/jatisi.v10i1.2643.
[10]  A.  F.  Fajar  Iqbal  Wibowo,  “Analisis  Sentimen  Ulasan  Pengguna  Game  Pubg  Di  Google  Play  Store  Menggunakan Algoritma  Naïve  Bayes,”  JATI  (Jurnal  Mhs.  Tek.  Inform.,  vol.  7,  no.  6,  pp.  3314–3319,  2024,  doi: 10.36040/jati.v7i6.8178.
[11]  A. Safira, F. N. Hasan, K. J. Timur, and N. B. Classifier, “Paylater Menggunakan Metode Naive Bayes,” vol. 5, no. 1, pp. 59–70, 1978.
[12]  A. I. Tanggraeni and M. N. N. Sitokdana, “Analisis Sentimen Aplikasi E-Government pada Google Play Menggunakan Algoritma  Naïve  Bayes,”  JATISI  (Jurnal  Tek.  Inform.  dan  Sist.  Informasi),  vol.  9,  no.  2,  pp.  785–795,  2022,  doi: 10.35957/jatisi.v9i2.1835.

## Journal of Information System Research (JOSH)
[13]  M. Ramadhan, B. Anwar, R. Gunawan, and R. Kustini, “Pada Tanaman Kopi Menggunakan Metode,” Sist. Pakar Untuk Mendiagnosa Penyakit Pada Tanam. Kopi Menggunakan Metod. Teorema Bayes, vol. 4307, no. June, pp. 115–121, 2021.
[14]  U.  Gunadarma,  U.  Gunadarma,  K.  Positif,  K.  Negatif,  and  N.  Bayes,  “Analisis  Sentimen  Terhadap  Universitas Gunadarma  Berdasarkan  Opini Pengguna  Twitter  Menggunakan  Metode  Naive  Bayes  Classifier,”  J.  Ilm.  Komputasi, vol. 19, no. 4, pp. 507–521, 2020, doi: 10.32409/jikstik.19.4.354.
[15]  E. Fitri, “Analisis Sentimen Terhadap Aplikasi Ruangguru Menggunakan Algoritma Naive Bayes, Random Forest Dan Support Vector Machine,” J. Transform., vol. 18, no. 1, p. 71, 2020, doi: 10.26623/transformatika.v18i1.2317.
[16]  E.  D.  N.  Sari  and  I.  Irhamah,  “Analisis  Sentimen  Nasabah  pada  Layanan  Perbankan  Menggunakan  Metode  Regresi Logistik Biner, Naïve Bayes Classifier (NBC), dan Support Vector Machine (SVM),” J. Sains dan Seni ITS, vol. 8, no. 2, 2020, doi: 10.12962/j23373520.v8i2.44565.
[17]  B. Gunawan, H. S. Pratiwi, and E. E. Pratama, “Sistem Analisis Sentimen pada Ulasan Produk Menggunakan Metode Naive Bayes,” J. Edukasi dan Penelit. Inform., vol. 4, no. 2, p. 113, 2018, doi: 10.26418/jp.v4i2.27526.
[18]  A.  Rozaqi,  A.  Triayudi,  and  R.  T.  Aldisa,  “Analisis  Sentimen  Vaksinasi  Booster  Berdasarkan  Twitter  Menggunakan Algoritma  Naïve  Bayes  dan  K-NN,”  J.  Sist.  Komput.  dan  Inform.,  vol.  4,  no.  1,  p.  184,  2022,  doi: 10.30865/json.v4i1.4907.
[19]  M. M. Mala Olhang, S. Achmadi, and F. . A. Wibisono, “Analisis Sentimen Pengguna Twitter Terhadap Covid-19 Di Indonesia Menggunakan Metode Naive Bayes Classifier (Nbc),” JATI (Jurnal Mhs. Tek. Inform., vol. 4, no. 2, pp. 214– 221, 2020, doi: 10.36040/jati.v4i2.2695.
[20]  Y. A. Singgalen, “Analisis Sentimen Wisatawan Melalui Data Ulasan Candi Borobudur di Tripadvisor Menggunakan Algoritma Naïve Bayes Classifier,” Build. Informatics, Technol. Sci., vol. 4, no. 3, 2022, doi: 10.47065/bits.v4i3.2486.