## Journal of Information System Research (JOSH)
Volume 5, No. 4, Juli 2024, pp 911−921 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v5i4.5343

## Analisis Sentimen Terhadap Ulasan Pengguna Pada Aplikasi BCA Mobile Menggunakan Metode Naïve Bayes
Muchammad Gamma Al Hakim, Faldy Irwiensyah *
Fakultas Teknologi Industri dan Informatika, Teknik Informatika, Universitas Muhammadiyah Prof. Dr. Hamka, Jakarta Jl. Tanah Merdeka No.20, RT.11/RW.2, Rambutan, Kec. Ciracas, Kota Jakarta Timur, Daerah Khusus Ibukota Jakarta,
Indonesia
Email: 1 aychakim74@gmail.com, 2,* faldy@uhamka.ac.id Email Penulis Korespondensi: faldy@uhamka.ac.id Submitted: 13/06/2024; Accepted: 17/07/2024; Published: 20/07/2024
Abstrak −Perkembangan teknologi telah membuat proses pembayaran menjadi lebih mudah, yang telah menghasilkan banyak sekali aplikasi ponsel pintar. Seiring dengan semakin banyaknya ponsel yang beredar, organisasi komersial dan publik berupaya meningkatkan layanan yang mereka sediakan dengan mengimplementasikan solusi berbasis seluler. Industri perbankan telah mengalami  ekspansi  yang  luar  biasa,  sebagaimana  dibuktikan  dengan  penggunaan  solusi  mobile  banking  oleh  perusahaan seperti Bank BCA. Khususnya di tengah pandemi, aplikasi BCA Mobile merupakan sebuah kemajuan penting dalam perbankan online yang memberikan keuntungan dan kemudahan bagi individu yang sering bertransaksi secara online. Bank BCA dapat terus menawarkan fitur-fitur yang paling berguna bagi nasabah sambil secara proaktif memperbaiki layanan yang saat ini masih kurang.  Studi  ini  menekankan  pentingnya  meningkatkan  teknik  analisis  sentimen  untuk  memahami  masukan  dari  nasabah secara lebih lengkap dan memberikan layanan mobile banking yang lebih baik. Penelitian ini menggunakan pendekatan Naïve Bayes untuk menganalisis sentimen pengguna terhadap aplikasi BCA Mobile di Google Play Store dengan menemukan dan mengkategorikan ulasan pengguna berdasarkan sentimen yang mereka tunjukkan yaitu positif, negatif, atau netral adalah tujuan dari penelitian ini. Melalui penggalian data secara online, 2000 data ulasan pengguna dikumpulkan  pada tanggal 11 Januari 2024, menghasilkan 1173 sentimen yaitu 163 ulasan positif dan 1010 ulasan negatif dari keseluruhannya.  Algoritma Naïve Bayes menghasilkan akurasi sebesar 86.83%, presisi 52.78%, dan recall 46.91%.
Kata Kunci: Analisis Sentimen; Naïve Bayes; Perbankan Seluler; Ulasan Pengguna; BCA Mobile
Abstract −Technological developments have made the payment process easier, which has resulted in a plethora of smartphone applications.  As  mobile  phones  become  more  prevalent,  commercial  and  public  organizations  are  looking  to  improve  the services  they  provide  by  implementing  mobile-based  solutions.  The  banking  industry  has  seen  tremendous  expansion,  as evidenced by the use of mobile banking solutions by companies such as BCA Bank. Especially in the midst of the pandemic, the BCA Mobile app is an important advancement in online banking that provides benefits and convenience to individuals who frequently transact online. Bank BCA can continue to offer the most useful features to customers while proactively improving services  that  are  currently  lacking.  This  study  emphasizes  the  importance  of  improving  sentiment  analysis  techniques  to understand  customer  feedback  more  fully  and  provide  better  mobile  banking  services.  This  study  uses  the  Naïve  Bayes approach to analyze user sentiment towards the BCA Mobile application on the Google Play Store by finding and categorizing user reviews based on the sentiment they exhibit i.e. positive, negative, or neutral is the objective of this study. Through online data mining, 2000 user review data were collected on January 11, 2024, resulting in 1173 sentiments, 163 positive reviews and 1010 negative reviews in total. The Naïve Bayes algorithm produced an accuracy of 86.83%, precision of 52.78%, and recall of 46.91%.
Keywords : Sentiment Analysis; Naïve Bayes; Mobile Banking; User Reviews; BCA Mobile

## 1. PENDAHULUAN
Teknologi  yang  mempermudah  pembayaran  telah  berkembang  seiring  dengan  perkembangan  zaman,  Banyak aplikasi  ponsel  cerdas  yang  telah  dikembangkan  sebagai  hasil  dari  tingginya  jumlah  pengguna  ponsel  cerdas. Karena  minat  yang  meluas  terhadap  ponsel  pintar,  baik  organisasi  publik  maupun  komersial  berusaha meningkatkan penawaran mereka dengan memanfaatkan layanan berbasis aplikasi seluler [1] . Salah satu industri yang mengalami pertumbuhan adalah perbankan, di mana baik institusi pemerintah maupun swasta di Indonesia memanfaatkan peluang ini. Bank BCA merupakan salah satu bank yang telah mengadopsi mobile banking. Dalam industri  perbankan,  salah  satu  contoh  inovasi  adalah  aplikasi  internet  banking  yang  sama  kompleksnya  [2], terutama  di  masa  pandemi  tentu  saja,  hal  ini  menawarkan  kenyamanan  dan  keuntungan  bagi  para  nasabah  [3], dimana masyarakat menjadi lebih konsumtif dan sering bertransaksi secara online [4], dan bagi mereka yang sering menggunakannya, teknologi ini menjadi sangat penting. Namun, bagi nasabah yang menyimpan sejumlah besar uang dalam bentuk  uang  elektronik,  mobile banking kini telah  menjadi kebutuhan dasar[5]. Google Play Store yang menyediakan akses ke berbagai konten digital kepada konsumen, dimiliki oleh Google. Diluncurkan pada 22 Oktober 2008, platform ini awalnya dikenal sebagai Android Market. Nama tersebut diubah menjadi Google Play Store pada bulan Maret 2012. Materi digital seperti game, film, musik, dan buku dapat ditemukan di Google Play Store [6]. Di Google Play Store, beberapa ulasan pengguna seperti ulasan kritis dengan rating tinggi tidak sesuai dengan rating yang diberikan [7].
Pembuatan  aplikasi  mobile  BCA  merupakan  salah  satu  cara  PT  Bank  Central  Asia  Tbk,  bank  swasta terbesar di Indonesia memanfaatkan teknologi untuk meningkatkan penawaran produk dan layanannya. Pengguna

## Journal of Information System Research (JOSH)
dapat mengakses fungsi m-Info, m-Transfer, m-Payment, m-Commerce, Cardless, m-Admin, Flazz, BagiBagi, dan Lifestyle melalui menu m-BCA [8].
Data  mining  adalah  proses  mengidentifikasi  pola  atau  informasi  dalam  kumpulan  data  dan mengumpulkannya  sehingga  metode  dan  algoritme  tertentu  dapat  digunakan  untuk  mengubahnya  menjadi informasi  yang  bermakna  [9].  Ulasan  tentang  fitur  dan  layanan  yang  ditawarkan  oleh  aplikasi  seluler  selalu disambut  baik  oleh  para  pengguna.  Jika  Anda  berpikir  untuk  menggunakan  aplikasi  tersebut,  ulasan  pengguna sebelumnya adalah sumber yang bagus. Fitur analisis sentimen dalam aplikasi seluler saat ini tidak memungkinkan klasifikasi atau penyaringan ulasan ke dalam kategori positif atau negatif  [10]. Analisis sentimen adalah teknik untuk mengotomatiskan penafsiran, pemrosesan, dan ekstraksi data opini dari teks untuk menentukan sentimen yang diekspresikan dalam sebuah opini [11]. Teknik klasifikasi yang didasarkan pada teorema Bayes adalah Naïve Bayes  Classifier.    Istilah  “Teorema  Bayes”  mengacu  pada  teknik  kategorisasi  yang  ditemukan  oleh  ilmuwan Inggris,  Thomas  Bayes.  Teorema  ini  menggunakan  teknik  statistik  dan  probabilitas  untuk  memperkirakan probabilitas di masa depan berdasarkan pengalaman masa lalu. Karakteristik utama Naïve Bayes Classifier adalah asumsi yang kuat (naif) terhadap independensi setiap kondisi dan peristiwa [12].
Penelitian  Muslimin  dari  tahun  2023  yang  berjudul  “Analisis  Sentimen  Kenaikan  Harga  Bahan  Pokok Menggunakan  Metode  Naive  Bayes  Classifier”  menggunakan  aplikasi  TextBlob  dan  algoritma  Naïve  Bayes Classifier  untuk  menganalisa  data  dari  sebanyak  2070  sumber.  Hasil  penelitian  menunjukkan  2,8%  responden memiliki sentimen positif dan 97,2% memiliki sentimen negatif. Setelah tahap pengolahan data atau pretreatment, 934  tweet  diambil  dan  menunjukkan  bahwa  3,43%  dari  data  tersebut  memiliki  sentimen  positif  dan  96,57% memiliki  sentimen  negatif  [13].  Pendekatan  Random  Forest  menghasilkan  nilai-nilai  sebagai  berikut:  93,93%, 89,89%, dan 91,43% untuk akurasi, recall, dan F1-score. Teknik klasifikasi Naïve Bayes menghasilkan matriks penilaian dengan nilai sebagai berikut: Akurasi 92,31%, presisi 97,30%, recall 80,90%, dan F1-score 88,34% [14]. Banyak penelitian sebelumnya  yang berkonsentrasi pada analisis  sentimen dalam berbagai latar,  seperti isu-isu sosial  atau  barang  fisik.  Sementara  itu,  tidak  banyak  penelitian  yang  secara  khusus  meneliti  sikap  pengguna Indonesia mengenai aplikasi mobile banking.
Dalam  konteks  ini,  pengguna  aplikasi  mobile  banking,  seperti  BCA  Mobile,  sering  kali  memberikan evaluasi di situs ulasan online seperti Google Play Store. Evaluasi ini membahas berbagai topik, mulai dari masalah teknis  hingga  kepuasan  pengguna  terhadap  fitur-fiturnya.  Mengingat  pentingnya  pengalaman  pengguna  dalam menjaga loyalitas nasabah dan meningkatkan layanan, BCA harus mampu menguraikan nada dari ulasan-ulasan tersebut.pemilihan  algoritma  sangat  dipengaruhi  oleh  tujuan  yang  ingin  dicapai.  Oleh  karena  itu,  tujuan  dari penelitian ini adalah untuk menemukan dan mengklasifikasikan evaluasi pengguna sesuai dengan sentimen yang mereka wakili (positif, negatif, atau netral). Dengan melakukan hal ini, Bank BCA dapat mempertahankan fitur- fitur yang menjadi favorit pengguna dan mengambil langkah-langkah proaktif untuk meningkatkan layanan yang kurang baik. Serta mengetahui bagaimana aplikasi BCA Mobile menggunakan Naïve Bayes sebagai pendekatan pengolahan datanya serta akurasi, presisi, dan recall dari aplikasi BCA Mobile.

## 2. METODOLOGI PENELITIAN
Prosedur mengklasifikasikan sentimen dari evaluasi yang terkumpul adalah subjek utama dari penelitian ini. Naive Bayes  digunakan  dalam  teknik  ini  untuk  menghasilkan  akurasi  melalui  klasifikasi  sentimen.  Alat  RapidMiner digunakan  untuk  melakukan  proses  kategorisasi,  sementara  layanan  Google  Colab  digunakan  untuk mengumpulkan data ulasan. Proses penelitian digambarkan pada Gambar 1.
Selesai Mulai Pengumpulan Data Algoritma Naive Bayes
Pre-Processing
1. Cleansing 2. Tokenization
3. Transform
Cases
4. Stopwords 5. Filter Token Pelabelan Data Evaluasi

## Journal of Information System Research (JOSH)

## 2.1 Pengumpulan Data
Pada saat ini, teknik web scraping digunakan oleh para peneliti untuk mendapatkan dataset dari Google Play Store. Salah satu metode untuk mendapatkan data dari internet atau media sosial adalah web scraping. Dalam metode ini, diperlukan ekstraksi data dari dokumen dengan struktur yang rumit. Tujuan utama dari web scraping adalah untuk mendapatkan data yang dibutuhkan untuk penelitian[15]. Pada saat tanggal 11 Januari 2024 data diambil dengan mengikuti prosedur web scraping, data dari Google Colab disimpan dan diformat ke dalam file CSV.
Gambar 2. Proses scrapping data ulasan di Google Colab pada aplikasi BCA Mobile
Pada  gambar  2  merupakan  proses  tahapan  web  scrapping  data  dari  Google  Colab  lalu  disimpan  dengan format ke dalam file csv.

## 2.2 Pelabelan Data
Setelah itu, data yang diperoleh dilanjutkan ke tahap pelabelan data. Tiga sentimen yang ingin diidentifikasi dalam data  adalah  positif,  negatif,  dan  netral.  Pada  tahap  ini,  ulasan  dan  peringkat  yang  telah  dikumpulkan  akan digunakan  untuk  melabeli  data  ulasan  [16].  Setiap  ulasan  diberi  label  untuk  dianalisis  dan  Microsoft  Excel digunakan untuk memproses data secara manual ke dalam file CSV.

## 2.3 Pre – Processing
Pada titik ini, data yang terkumpul segera diproses dikenal sebagai pre - processing.  Tujuan dari langkah ini adalah untuk  mengubah  teks  kalimat  menjadi  kalimat  yang  dimaksud  [17].  Dengan  menggunakan  perangkat  lunak RapidMiner, set data yang sudah dilabeli sebelumnya digunakan dalam langkah pre - processing ini. Berikut proses pre – processing ada  lima tahap terdiri atas beberapa fase, seperti:
a. Cleansing
Cleansing juga disebut data yang telah dibersihkan bebas dari informasi yang tidak relevan seperti tagar, nama pengguna, url, dan tanda baca.
b. Tokenization
Tokenisasi, juga disebut segmentasi kalimat karena mengatur teks menjadi frasa yang koheren, adalah proses memecah korpus teks menjadi kalimat-kalimat yang berfungsi sebagai token tingkat pertama dalam korpus. Taktik dasarnya adalah mencari pembatas kalimat, seperti titik koma (;), karakter baris baru (/n), dan titik (.) [18].
c. Transform Cases
Adalah proses mengubah semua bentuk huruf dalam data menjadi huruf kecil [19].
d. Stopwords
Istilah  umum  seperti  “dan”,  “atau”,  “juga”,  “di”,  “dapat”,  dan  sebagainya  yang  sering  muncul  dalam  suatu bahasa  dikenal  sebagai  kata  henti.  Kata-kata  ini  biasanya  tidak  memiliki  arti  khusus  dan  tidak  membuat perbedaan besar dalam membantu kita memahami nada atau konteks teks yang kita pelajari [20].
e. Filter Token
Filter  Token  yaitu  proses  penyaringan  melibatkan  pemilihan  kata-kata  yang  signifikan  dari  token  yang dikembalikan dan menghilangkan kata-kata yang tidak relevan [21].

## 2.4. Algoritma Naive Bayes
Pengklasifikasi  probabilistik  langsung  yang  disebut  Naive  Bayes  menjumlahkan  frekuensi  dan  kombinasi  nilai dari  kumpulan  data  untuk  menentukan  serangkaian  probabilitas.  Menurut  teorema  Bayes,  setiap  atribut diasumsikan tidak bergantung pada nilai yang diberikan pada kelas variabel dan tidak saling bergantung. Semua

## Journal of Information System Research (JOSH)
Volume 5, No. 4, Juli 2024, pp 911−921 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v5i4.5343
yang diperlukan untuk metode ini untuk menemukan estimasi parameter untuk proses klasifikasi adalah sejumlah kecil data pelatihan[22].
P(X|Y) = p(Y|X.(x) p(y) (1)
Rumus Naive Bayes P(X|Y) adalah Posterior ∣ probability yaitu nilai probabilitas X berdasarkan kondisi Y, P(Y|X) adalah Probabilitas Y yang ditentukan X adalah benar,  P(X) adalah Peluang evidence penyakit X, dan P(Y) adalah Probabilitas dari nilai Y.

## 2.5. Evaluasi
Tujuan  evaluasi  adalah  untuk  memverifikasi  keakuratan  ujian.  Menemukan  hasil  tes  terbaik  dan  mengukur keakuratan temuan adalah tujuan pengujian. Kualitas model dinilai dengan menggunakan  confusin matrix, yang diverifikasi dengan menggunakan ukuran-ukuran seperti akurasi, presisi, dan recall [23].
Tabel 1. Confusion Matrix Positif Negatif Positif True Positif (TP) False Negatif (FN) Negatif  True Negatif (TN) False Positif (FP)
Di gambar 3 merupakan confusion matrix yang berisi True Positif (TP), True Negatif (TN), False Positif (FP) dan False Negatif (FN).
Sementara akurasi adalah ukuran yang mengevaluasi seberapa efektif model dapat mengkategorikan data, presisi adalah bagian dari akurasi yang berfokus pada keakuratan prediksi yang dihasilkan oleh model. Dengan membagi jumlah total sampel dengan jumlah prediksi yang akurat, seseorang dapat menghitung nilai akurasi. Sebaliknya, recall adalah rasio observasi kelas yang akurat terhadap prediksi positif [24].
Accuracy = 𝑇𝑃+𝑇𝑁 𝑇𝑃+𝑇𝑁+𝐹𝑃+𝐹𝑁 (2) Precision = 𝑇𝑃 𝑇𝑃+𝐹𝑃 (3) Recall = 𝑇𝑃 𝑇𝑃+𝐹𝑁 (4)

## 3. HASIL DAN PEMBAHASAN
Pada bagian ini berisi hasil dan pembahasan dari topik penelitian, yang bisa di buat terlebih dahulu metodologi penelitian. Bagian ini juga merepresentasikan penjelasan yang berupa penjelasan, gambar, tabel dan lainnya. 3.1 Pengumpulan Data
Google Colab digunakan dalam proses Web Scraping, yang digunakan untuk mengumpulkan data review. Dengan tujuan mengumpulkan informasi untuk 1200 komentar ulasan, tahap web scraping ini akan dilakukan pada aplikasi mobile BCA di Google Play Store. Prosedur Web Scraping menghasilkan semua hasil pengumpulan data, yang kemudian disimpan dalam format dokumen CSV untuk digunakan pada tahap proses RapidMiner selanjutnya.

## Gambar 3. Proses pengumpulan data
Pada gambar 3, proses pengumpulan data saat mengekstrak data ulasan menggunakan situs web Google Colab dari google colab kemudian di simpan dalam file csv, lalu gunakan RapidMiner untuk mengolah data.

## 3.2 Pelabelan Data
Hasil  dari  pelabelan  data  BCA  Mobile  ditampilkan  pada  Gambar  4.  Setiap  ulasan  pada  aplikasi  BCA  Mobile memberikan sentimen negatif, seperti sulitnya mendapatkan verifikasi dengan nomor telepon; sejak update terbaru, sering terjadi masalah dengan koneksi dan error saat membuka aplikasi; selain itu, banyak kebijakan terbaru yang kurang membantu dan lebih banyak merugikan pengguna. Kelas afirmatif menerima umpan balik positif mengenai kemudahan mentransfer dana ke bank mana pun, bantuan dengan transaksi, data yang sangat aman, kemudahan penggunaan, dan fitur yang berlimpah.

## Journal of Information System Research (JOSH)
Gambar 4. Pelabelan data sentimen negatif dan positif ulasan pada aplikasi BCA Mobile
Pada gambar 4, pelabelan data melalui file csv untuk memberikan sentimen positif dan negatif dari ulasan pada aplikasi BCA Mobile.

## 3.3 Pre – Processing
Persiapan data dilakukan pada tahap ini dalam penelitian ini. Setelah data  yang dikumpulkan telah dibersihkan untuk  menghilangkan  duplikasi,  aplikasi  RapidMiner  Studio  akan  digunakan  untuk  menerapkan  metode preprocessing dataset pada ulasan aplikasi BCA Mobile yang mengandung data sentimen. Dataset harus melalui beberapa tahap pre-processing, seperti tokenize, transform cases, stopwords, dan token filter.

## Gambar 5. Proses Cleansing
Proses cleansing data digambarkan pada Gambar 5 setelah data dikumpulkan dan disimpan dalam file CSV. Data  tinjauan  mengandung  simbol  seperti  {!@#$%^&*)[];:'",./<>?\},  oleh  karena  itu  data  perlu  dibersihkan. Selanjutnya, terus gunakan operator Hapus Duplikat untuk menghilangkan data yang telah digores berkali-kali. Selanjutnya, gunakan operator Trim untuk menghilangkan spasi ganda dari data. tinjau kembali situasinya. Selain itu,  penelitian  ini  memodifikasi  fase  Tokenize,  Transform  Cases,  Filter  Stopwords,  dan  Filter  Token  dengan menggunakan beberapa operator pemrosesan dokumen di RapidMiner. Persiapan preprocessing data ditunjukkan pada Gambar 6.

## Journal of Information System Research (JOSH)
Volume 5, No. 4, Juli 2024, pp 911−921 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v5i4.5343
Pada gambar 6, menggunakan preprocessing data Tokenize, Transform Cases, Filter Stopwords, dan Filter Token di operator pemrosesan dokumen pada RapidMiner. a. Tokenization,  Pada  titik  ini,  tokenisasi  mencoba  memecah    susunan  kata  kalimat,  paragraf,  atau  halaman menjadi  kata-kata  individual.  Memotong  kalimat  berdasarkan  jeda  adalah  metode  yang  digunakan  untuk memecah  kalimat  menjadi  kata-kata.  Pada Tabel  2  akan  menunjukkan  contoh  komentar  sebelum  dilakukan tokenisasi dan sesudah dilakukan tokenisasi.
Tabel 2. Hasil Tokenization
Sebelum Tokenization
Sesudah Tokenization
Aplikasi ini sangat bagus bisa di gunakan di mana saja dan untuk pembayaran apa saja. Saya sudah menggunakan  aplikasi  ini  selama  3  tahun  dan aplikasi ini sangat membantu untuk pembayaran online, dan fiturnya pun sangat lengkap.
‘Aplikasi’, ‘ini’, ‘sangat’, ‘bagus’, ‘bisa’, ‘di’, ‘gunakan’, ‘di’, ‘mana’,  ‘saja’,  ‘dan’,  ‘untuk’,  ‘pembayaran’,  ‘apa’, ‘saja’, ‘Saya’, ‘sudah’, ‘menggunakan’, ‘aplikasi’,  ‘ini’, ‘selama’, ‘3’, ‘tahun’, ‘dan’, ‘aplikasi’, ‘ini’, ‘sangat’, ‘membantu’, ‘untuk’, ‘pembayaran’, ‘online’, ‘dan’, ‘fiturnya’, ‘pun’, ‘sangat’, ‘lengkap’
Aneh  buka  bca  mobile  punya  sendiri  malah terblokir  padahal  sebelumnya  sudah  konfirmasi sampe  pulsa  saya  habis  buat  telpon  customer service. Sangat disayangkan seperti ini. Kecewa saya
‘Aneh’,  ‘buka’,  ‘bca’,  ‘mobile’,  ‘punya’,  ‘sendiri’,  ‘malah’,
‘terblokir’, ‘padahal’,  ‘sebelumnya’,  ‘sudah’,  ‘sudah’,
‘konfirmasi’,  ‘sampe’,  ‘pulsa’,  ‘saya’,
‘habis’,  ‘buat’,  ‘telpon’, ‘customer’, ‘service’, ’Sangat’, ‘disayangkan’, ‘seperti’,  ‘ini’, ‘Kecewa’,  ‘saya’
b. Transform Cases, Kata-kata yang dimulai dengan huruf kapital dalam ulasan dapat diubah menjadi huruf kecil dengan  menggunakan  prosedur  Transform  Cases.  Pada  Tabel  3  di  bawah  ini  terdapat  beberapa  komentar sebelum pemrosesan dan tampilan akhir setelah tahap transform cases.
Tabel 3. Hasil Transform Cases Sebelum Transform Cases
Sesudah Transform Cases
‘Aplikasi’, ‘ini’, ‘sangat’, ‘bagus’, ‘bisa’, ‘di’, ‘gunakan’, ‘di’, ‘mana’,  ‘saja’,  ‘dan’,  ‘untuk’,  ‘pembayaran’, ‘apa’, ‘saja’, ‘Saya’, ‘sudah’, ‘menggunakan’, ‘aplikasi’, ‘ini’, ‘selama’, ‘3’, ‘tahun’, ‘dan’, ‘aplikasi’, ‘ini’, ‘sangat’, ‘membantu’, ‘untuk’, ‘pembayaran’, ‘online’, ‘dan’,
‘fiturnya’, ‘pun’, ‘sangat’, ‘lengkap’
‘aplikasi’, ‘ini’, ‘sangat’, ‘bagus’, ‘bisa’, ‘di’, ‘gunakan’, ‘di’, ‘mana’,  ‘saja’,  ‘dan’,  ‘untuk’,  ‘pembayaran’,  ‘apa’, ‘saja’, ‘saya’, ‘sudah’, ‘menggunakan’, ‘aplikasi’,  ‘ini’, ‘selama’, ‘3’, ‘tahun’, ‘dan’, ‘aplikasi’, ‘ini’, ‘sangat’, ‘membantu’, ‘untuk’, ‘pembayaran’, ‘online’, ‘dan’,
‘fiturnya’, ‘pun’, ‘sangat’, ‘lengkap’
‘Aneh’,  ‘buka’,  ‘bca’,  ‘mobile’,  ‘punya’,  ‘sendiri’, ‘malah’,  ‘terblokir’, ‘padahal’,  ‘sebelumnya’,  ‘sudah’, ‘sudah’,  ‘konfirmasi’,  ‘sampe’,  ‘pulsa’,  ‘saya’, ‘habis’,
‘buat’,  ‘telpon’, ‘customer’, ‘service’, ’Sangat’, ‘disayangkan’, ‘seperti’,  ‘ini’, ‘Kecewa’,  ‘saya’
‘aneh’,  ‘buka’,  ‘bca’,  ‘mobile’,  ‘punya’,  ‘sendiri’, ‘malah’,  ‘terblokir’, ‘padahal’,  ‘sebelumnya’,  ‘sudah’,
‘sudah’,  ‘konfirmasi’,  ‘sampe’,  ‘pulsa’,  ‘saya’, ‘habis’,  ‘buat’,  ‘telpon’, ‘customer’, ‘service’, ’sangat’,
‘disayangkan’, ‘seperti’,  ‘ini’, ‘kecewa’,  ‘saya’
c. Stopwords,  Pada  tahap  stopwords,  yang  merupakan  proses  yang  digunakan  untuk  menghilangkan  kata penghubung  dan  istilah-istilah  yang  tidak  perlu  dari  kumpulan  data,  akan  dilakukan  setelah  tokenizing. Prosedur menghilangkan kata-kata yang tidak perlu berdasarkan kamus bahasa Indonesia yang diambil dari situs web Kaggle dimungkinkan dengan menggunakan operator stopwords pada alat RapidMiner. Beberapa komentar  sebelum  pemrosesan  dan  tampilan  akhir  setelah  langkah  stopwords  ditunjukkan  pada Tabel  4 di bawah ini.
Tabel 4. Hasil Stopwords Sebelum Stopwords
Sesudah Stopwords
‘aplikasi’, ‘ini’, ‘sangat’, ‘bagus’, ‘bisa’, ‘di’, ‘gunakan’, ‘di’, ‘mana’,  ‘saja’,  ‘dan’,  ‘untuk’,  ‘pembayaran’, ‘apa’, ‘saja’, ‘saya’, ‘sudah’, ‘menggunakan’, ‘aplikasi’, ‘ini’, ‘selama’, ‘3’, ‘tahun’, ‘dan’, ‘aplikasi’, ‘ini’, ‘sangat’, ‘membantu’, ‘untuk’, ‘pembayaran’, ‘online’, ‘dan’,
‘fiturnya’, ‘pun’, ‘sangat’, ‘lengkap’
‘aplikasi’, ‘sangat’, ‘bagus’, ‘bisa’,  ‘gunakan’, ‘mana’, ‘saja’, ‘untuk’,  ‘pembayaran’,  ‘apa’, ‘saja’, ‘saya’, ‘sudah’, ‘menggunakan’, ‘aplikasi’, ‘selama’, ‘3’, ‘tahun’, ‘aplikasi’,
‘sangat’, ‘membantu’, ‘untuk’, ‘pembayaran’, ‘online’, ‘fiturnya’, ‘sangat’, ‘lengkap’
‘aneh’,  ‘buka’,  ‘bca’,  ‘mobile’,  ‘punya’,  ‘sendiri’, ‘malah’,  ‘terblokir’, ‘padahal’,  ‘sebelumnya’,  ‘sudah’,
‘sudah’,  ‘konfirmasi’,  ‘sampe’,  ‘pulsa’,  ‘saya’, ‘habis’,  ‘buat’,  ‘telpon’, ‘customer’, ‘service’, ’sangat’,
‘buka’,  ‘bca’,  ‘mobile’,  ‘punya’,  ‘sendiri’,  ‘malah’, ‘terblokir’, ‘padahal’,  ‘sebelumnya’,  ‘sudah’,  ‘konfirmasi’,
‘sampe’,  ‘pulsa’,  ‘saya’, ‘habis’,  ‘buat’,  ‘telpon’, ‘customer’, ‘service’, ’sangat’, ‘disayangkan’, ‘kecewa’,

## Journal of Information System Research (JOSH)
Volume 5, No. 4, Juli 2024, pp 911−921 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v5i4.5343
Sebelum Stopwords
Sesudah Stopwords
‘disayangkan’, ‘seperti’,  ‘ini’, ‘kecewa’,  ‘saya’ ‘saya’
d. Filter  Token,  Untuk  meningkatkan  kejelasan  frasa,  kata-kata  dengan  panjang  karakter  tertentu  dieliminasi pada tahap filter token. Dalam proses ini, para peneliti menetapkan batas panjang kata 10 karakter dan minimal 3 karakter. Tabel 5 di bawah ini merupakan komentar sebelum pemrosesan dan tampilan akhir setelah langkah filter token.
Tabel 5. Hasil Filter Token Sebelum Filter Token
Sesudah Filter Token
‘aplikasi’, ‘sangat’, ‘bagus’, ‘bisa’,  ‘gunakan’, ‘mana’,  ‘saja’, ‘untuk’,  ‘pembayaran’,  ‘apa’, ‘saja’, ‘saya’, ‘sudah’, ‘menggunakan’, ‘aplikasi’, ‘selama’, ‘3’, ‘tahun’, ‘aplikasi’, ‘sangat’, ‘membantu’, ‘untuk’, ‘pembayaran’, ‘online’, ‘fiturnya’, ‘sangat’, ‘lengkap’
‘aplikasi’, ‘sangat’, ‘bagus’, ‘bisa’,  ‘gunakan’, ‘pembayaran’,  ‘apa’, ‘saja’, ‘saya’, ‘sudah’, ‘menggunakan’, ‘aplikasi’, ‘selama’, ‘tahun’, ‘aplikasi’, ‘sangat’, ‘membantu’, ‘pembayaran’, ‘online’, ‘fiturnya’, ‘sangat’, ‘lengkap’
‘buka’,  ‘bca’,  ‘mobile’,  ‘punya’,  ‘sendiri’,  ‘malah’, ‘terblokir’, ‘padahal’,  ‘sebelumnya’,  ‘sudah’, ‘konfirmasi’,  ‘sampe’,  ‘pulsa’,  ‘saya’, ‘habis’, ‘buat’,  ‘telpon’, ‘customer’, ‘service’, ’sangat’, ‘disayangkan’, ‘kecewa’,  ‘saya’
‘buka’,  ‘bca’,  ‘mobile’,  ‘malah’,  ‘terblokir’, ‘padahal’,  ‘sebelumnya’,  ‘sudah’,  ‘konfirmasi’,
‘sampe’,  ‘pulsa’,  ‘habis’, ‘buat’,  ‘telpon’, ‘customer’, ‘service’, ’sangat’, ‘kecewa’,  ‘saya’

## 3.4 Algoritma Naive Bayes
Setelah  dataset  berhasil  menyelesaikan  langkah  preprocessing,  peneliti  menggunakan  pengujian  validasi  silang untuk memverifikasi akurasi dataset dan hasil klasifikasi pada tahap implementasi algoritma Naive Bayes.
Gambar 7. Proses Klasifikasi Data
Proses kategorisasi data metode Naïve Bayes secara lengkap ditunjukkan pada Gambar 7. Untuk menilai keefektifan metode Naïve Bayes, semua operator dihubungkan dari Dataset Berlabel ke Cross Validation.

## Gambar 8. Proses Cross Validation
Selain itu, operator Cross Validation ditunjukkan pada Gambar 8. Teknik operator Naïve Bayes digunakan dalam  prosedur  ini  untuk  mengklasifikasikan  data.  Akan  ada  beberapa  operator  yang  termasuk  dalam  operator Cross Validation, termasuk Naïve Bayes, Apply Model, dan Performance. Tujuan dari Apply Model adalah untuk mengambil data input dan menghasilkan prediksi berdasarkan algoritma kategorisasi. Efektivitas algoritma Naïve Bayes dalam mengklasifikasikan data dinilai dengan menggunakan operator kinerja.

## Journal of Information System Research (JOSH)

## 3.5 Evaluasi
Pengujian validasi silang digunakan oleh peneliti untuk memverifikasi akurasi dataset dan temuan klasifikasi pada tahap  implementasi  algoritma  Naive  Bayes,  setelah  dataset  berhasil  diselesaikan  pada  tahap  persiapan.  .  Nilai akurasi  sebesar  86,84%  diperoleh  dari  hasil  evaluasi  pemodelan  metode  Naïve  Bayes  dengan  menggunakan RapidMiner.  Nilai  confusion  matrix  untuk  True  Positive  (TP)  adalah  76,  False  Positive  (FP)  adalah  68,  False Negative (FN) adalah 86, dan True Negative (TN) adalah 940.

## Gambar 9. Tampilan Hasil Naïve Bayes
Hasil  dari  penerapan  alat  RapidMiner  untuk  mengevaluasi  metode  Naïve  Bayes  untuk  kategorisasi  data ditunjukkan pada Gambar 9. Perhitungan akurasi, presisi, dan recall dengan menggunakan confusion matrix dari hasil data dan rumus metode Naive Bayes ditunjukkan di bawah ini:
Accuracy =
𝑇𝑃+𝑇𝑁 𝑇𝑃+𝑇𝑁+𝐹𝑃+𝐹𝑁 = 76+940 76+940+68+86 = 1016 1170 = 86.83%
Precision = 𝑇𝑃
𝑇𝑃+𝐹𝑃 = 76 76+68 = 76 144 = 52.78%
Recall = 𝑇𝑃 𝑇𝑃+𝐹𝑁 = 76 76+86 = 76 162 = 46.91%
Evaluasi  klasifikasi  data  ulasan  pengguna  dari  aplikasi  BCA  Mobile  menghasilkan  nilai  akurasi  sebesar 86.83%, presisi 52.78%, dan recall 46.91%, berdasarkan perhitungan confusion matrix di atas.
Wordcloud yang  mewakili visualisasi  kata ditampilkan.  Wordcloud adalah representasi visual dari kata- kata dalam teks di mana kata-kata yang lebih sering muncul ditampilkan dalam ukuran huruf yang lebih besar, sedangkan  kata-kata  yang  lebih  jarang  muncul  ditampilkan  dalam  ukuran  huruf  yang  lebih  kecil.  Visualisasi wordcloud  dari  kata-kata  yang  paling  sering  muncul  dalam  data  yang  dikumpulkan  untuk  penelitian  ini ditampilkan pada Gambar 10 di bawah ini:
Gambar 10. Worlcloud kata sering muncul
Setelah data diurutkan dalam urutan menurun (dari yang paling banyak ke yang paling sedikit), Gambar 11 memberikan  representasi  visual  dalam  bentuk  wordcloud  yang  menyoroti  istilah-istilah  dengan  frekuensi kemunculan antara 1 dan 25 kata. Kata 'verifikasi' muncul 329 kali dalam daftar kata ini yang mengindikasikan bahwa ini adalah kata yang paling sering muncul. Kata 'aplikasi' muncul 324 kali menempati posisi kedua, diikuti oleh  kata  'transaksi'  dengan  247  kali  kemunculan  menempati  posisi  ketiga.  Kata  'pulsa'  dengan  231  kali kemunculan menempati posisi keempat, Dan kata ‘masuk’ dengan 225 kali bermunculan menempati posisi kelima.

## Journal of Information System Research (JOSH)
Volume 5, No. 4, Juli 2024, pp 911−921 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v5i4.5343

## 4. KESIMPULAN
2000 data sentimen dikumpulkan dari tanggal 11 Januari 2024 berdasarkan hasil pengumpulan data sentimen yang dilakukan dengan menggunakan pendekatan web scraping pada aplikasi BCA Mobile yang tersedia di Google Play Store. Sebanyak 1173 data ulasan di mana 163 ulasan positif dan 1010 ulasan negatif dihasilkan dari hasil analisis terhadap  2000  data  sentimen  tersebut.  Dari  hasil  analisis  data  dapat  disimpulkan  bahwa  persepsi  pengguna terhadap aplikasi BCA Mobile di Google Play Store secara umum kurang baik. Evaluasi algortima Naïve Bayes terhadap data sentimen menghasilkan nilai akurasi sebesar 86.83%, nilai presisi sebesar 52.78%, dan nilai recall sebesar 46.91%. Teknik pengklasifikasi sentimen lainnya dapat digunakan untuk lebih meningkatkan penelitian tentang aplikasi perbankan seluler  yang akan memungkinkan temuan penelitian ini untuk dibandingkan dengan hasil  evaluasi  dan  kinerja  dalam  penelitian  berikutnya.  ini  berisi  kesimpulan  yang  menjawab  hal  segala permasalahan yang terdapat didalam penelitian.

## REFERENCES
[1] R. Yuwono, A. Wibowo, S. H. Wijoyo, and R. I. Rokhmawati, “Analisis Pengalaman Pengguna Pada Aplikasi Mobile Banking di Indonesia Dengan Menggunakan Usability a dan User Experience Questionnaire (UEQ) (Studi pada JakOne Mobile dan BCA Mobile),” J. Pengemb. Teknol. Inf. dan Ilmu Komput., vol. 3, no. 6, pp. 5666–5673, 2019.
[2] Palupi Permata Rahmi,  A. Nur Aryanti, and D. Abdul  Aziz, “Pengaruh Kualitas Layanan Mobile Banking Terhadap Kepuasan  Nasabah  Bank  BCA,”  Arbitr.  J.  Econ.  Account.,  vol.  3,  no.  3,  pp.  710–722,  2023,  doi: 10.47065/arbitrase.v3i3.660.
[3] C. A. Novitasari, A. S. Manggabarani, and M. Astuti, “Analisis Kepuasan Nasabah Mobile Banking Pada Bank BCA,” J. Teknol. dan Manaj., vol. 19, no. 2, pp. 1–12, 2021, doi: 10.52330/jtm.v19i2.26.
[4] B. Permatasari, “Pengaruh Persepsi Kemudahan, Persepsi Keamanan, Dan Persepsi Kepercayaan Terhadap Kepuasan Pelanggan  Dalam  Menggunakan  Mobile  Banking  Bca,”  Journals  Econ.  Bus.,  vol.  2,  no.  2,  pp.  1–16,  2022,  doi: 10.33365/jeb.v2i2.112.
[5] Kusumawardhani,  “Analisis  Pengaruh  Kualitas  Layanan,  Citra  Merek  Dan  Promosi  Terhadap  Loyalitas  Konsumen Pengguna Mobile Banking (BCA MOBILE),” J. Cahaya Mandalika, vol. 2, no. 1, pp. 275–282, 2022, [Online]. Available: https://ojs.cahayamandalika.com/index.php/jtm/article/view/734
[6] M. Yusuf et al., “Analisis sentimen opini pengguna aplikasi vidio pada ulasan playstore menggunakan algoritma naive bayes,” vol. 7, no. 4, pp. 2767–2774, 2023.
[7] D. N. N. Husnina, D. E. Ratnawati, and B. Rahayudi, “Analisis Sentimen Pengguna Aplikasi RedBus berdasarkan Ulasan di Google Play Store menggunakan Metode Naïve Bayes,” J. Pengemb. Teknol. Inf. dan Ilmu Komput., vol. 7, no. 2, pp. 737–743, 2023.
[8] A.  Made,  K.  Dewi,  S.  Hadi  Wijoyo,  and  A.  R.  Perdanakusuma,  “Evaluasi  Usability  Aplikasi  Mobile  Banking  BCA dengan menggunakan Usability Testing dan System Usability Scale (Studi Kasus: BCA Kota Singaraja),” J. Pengemb. Teknol. Inf. dan Ilmu Komput., vol. 6, no. 10, pp. 2548–964, 2022, [Online]. Available: http://j-ptiik.ub.ac.id
[9] H. Dhery, A. Assyam, and F. N. Hasan, “Analisis Sentimen Twitter Terhadap Perpindahan Ibu Kota Negara Ke IKN Nusantara  Menggunakan  Orange  Data  Mining,”  Media  Online),  vol.  4,  no.  1,  pp.  341–349,  2023,  doi: 10.30865/klik.v4i1.957.
[10]  I.  D.  Onantya  and  P.  P.  Adikara,  “Analisis  Sentimen  Pada  Ulasan  Aplikasi  BCA  Mobile  Menggunakan  BM25  Dan Improved K-Nearest Neighbor,” J-Ptiik.Ub.Ac.Id, vol. 3, no. 3, pp. 2575–2580, 2019.
[11]  F.  V.  Sari  and  A.  Wibowo,  “Analisis  Sentimen  Pelanggan  Toko  Online  Jd.Id  Menggunakan  Metode  Naïve  Bayes Classifier Berbasis Konversi Ikon Emosi,” J. SIMETRIS, vol. 10, no. 2, pp. 681–686, 2019.
[12]  K. Anwar, “Analisa sentimen Pengguna Instagram Di Indonesia Pada Review Smartphone Menggunakan Naive Bayes,” KLIK Kaji. Ilm. Inform. dan Komput., vol. 2, no. 4, pp. 148–155, 2022, doi: 10.30865/klik.v2i4.315.
[13]  C.  F.  Hasri  and  D.  Alita,  “Penerapan  Metode  Naïve  Bayes  Classifier  Dan  Support  Vector  Machine  Pada  Analisis Sentimen Terhadap Dampak Virus Corona Di Twitter,” J. Inform. dan Rekayasa Perangkat Lunak, vol. 3, no. 2, pp. 145– 160, 2022.
[14]  A. Miftahusalam, H. Pratiwi, I. Slamet, P. S. Statistika, and U. S. Maret, “184-Article Text-1295-1-10-20230724,” pp. 1–8, 2023.
[15]  M.  Iqbal,  A.  Davy  Wiranata,  R.  Suwito,  and  R.  Faiz  Ananda,  “KLIK:  Kajian  Ilmiah  Informatika  dan  Komputer Perbandingan Algoritma Naïve Bayes, KNN, dan Decision Tree terhadap Ulasan Aplikasi Threads dan Twitter,” Media Online, vol. 4, no. 3, pp. 1799–1807, 2023, doi: 10.30865/klik.v4i3.1402.
[16]  D. C. Ramadhan and F. Irwiensyah, “Analisis Sentimen Pengguna Terhadap Aplikasi Bing Chat di Google Play Store dengan Metode Naïve Bayes,” vol. 4, no. 5, pp. 2410–2418, 2024, doi: 10.30865/klik.v4i5.1769.
[17]  Fajar Sidik, Ibnu Suhada, Azhar Haikal  Anwar, and Firman Noor Hasan, “Analisis Sentimen Terhadap Pembelajaran Daring dengan Algoritma Naïve Bayes Classifier,” J. Linguist. Komputasional, vol. 5, no. 1, pp. 34–43, 2022.
[18]  B.  K.  Widodo,  N.  H.  Matondang,  and  D.  S.  Prasvita,  “Penerapan  Algoritma  Naive  Bayes  Untuk  Analisis  Sentimen Penggunaan Aplikasi Jobstreet,” Techno.Com, vol. 21, no. 3, pp. 523–533, 2022, doi: 10.33633/tc.v21i3.6361.
[19]  Irvandi,  B.  Irawan,  and  O.  Nurdiawan,  “Naive  Bayes  Dan  Wordcloud  Untuk  Analisis  Sentimen  Wisata  Halal  Pulau Lombok,” INFOTECH J., vol. 9, no. 1, pp. 236–242, 2023, doi: 10.31949/infotech.v9i1.5322.
[20]  N.  R.  Siahaan,  R.  Y.  Tiffany,  and  S.  R.  E.  Sinaga,  “Analisis  Sentimen  Ulasan  Aplikasi  Media  Sosial  Whatsapp Menggunakan Metode Naive Bayes Classifier,” J. Ilm. Betrik, vol. 14, no. 02, pp. 343–354, 2023, [Online]. Available: https://ejournal.pppmitpa.or.id/index.php/betrik/article/view/104%0Ahttps://ejournal.pppmitpa.or.id/index.php/betrik/ar ticle/download/104/76
[21]  F.  Matheos  Sarimole  and  K.  Kudrat,  “Analisis  Sentimen  Terhadap  Aplikasi  Satu  Sehat  Pada  Twitter  Menggunakan Algoritma  Naive  Bayes  Dan  Support  Vector  Machine,”  J.  Sains  dan  Teknol.,  vol.  5,  no. 3, pp. 783–790,  2024, doi:

## Journal of Information System Research (JOSH)
10.55338/saintek.v5i3.2702.
[22]  N. S. Fauziah and R. D. Dana, “Implementasi Algoritma Naive bayes dalam Klasifikasi Status Kesejahteraan Masyarakat Desa Gunungsari,” Blend Sains J. Tek., vol. 1, no. 4, pp. 295–305, 2023, doi: 10.56211/blendsains.v1i4.234.
[23]  I. P. Rahayu, A. Fauzi, and J. Indra, “Analisis Sentimen Terhadap Program Kampus Merdeka Menggunakan Naive Bayes Dan Support Vector Machine,” vol. 4, pp. 296–301, 2022, doi: 10.30865/json.v4i2.5381.
[24]  Ernianti Hasibuan and Elmo Allistair Heriyanto, “Analisis Sentimen Pada Ulasan Aplikasi Amazon Shopping Di Google Play  Store  Menggunakan  Naive  Bayes  Classifier,”  J.  Tek.  dan  Sci.,  vol.  1,  no.  3,  pp.  13–24,  2022,  doi: 10.56127/jts.v1i3.434.