## EXPLORER

## Analisis Sentimen Ulasan Aplikasi Bank Digital Menggunakan Algoritma Naive Bayes
Febby Adelia Irawan 1 , Aldy Rialdy Atmadja 2* Agung Wahana 3
1,2,3* Teknik Informatika, UIN Sunan Gunung Djati Bandung, Bandung, Indonesia
1 adelia.irawan12@gmail.com, 2* aldyrialdy@uinsgd.ac.id, 3 wahana.agung@uinsgd.ac.id
*) aldyrialdy@uinsgd.ac.id
Abstrak- Bidang perbankan merupakan salah satu yang berkembang dan mengikuti tren digitalisasi. Adanya bank digital  merupakan  inovasi  yang  dilakukan  pada  bidang  perbankan  dalam  memberikan  pelayanan  dengan menggunakan  media  elektronik  atau  digital.  Teknologi  yang  dikembangkan  memungkinkan  pengguna  hanya cukup mengakses transaksi dalam suatu aplikasi dengan bermodalkan smartphone yang didistribusikan melalui Google  Playstore.  Ulasan-ulasan  pengguna  (review)  pada  Google  Playstore  ini  tersedia  untuk  membantu meningkatkan  performa  dari  aplikasi  dan  menjadi  landasan  bagi  perusahaan  dalam  mengembangkan  aplikasi perbankan. Akan tetapi, terdapat kendala jika banyaknya ulasan dan sulit untuk memilah dan mengolahnya secara manual sehingga diperlukan analisis sentimen ulasan pengguna pada aplikasi-aplikasi bank digital. Pada penelitian ini analisis sentimen dilakukan dengan menggunakan algoritma Naïve Bayes. Adapun pendekatan metode yang dilakukan  dengan  menggunakan  CRISP-DM  sebagai  standar  yang  umum  dalam  melakukan  riset  data  mining. Hasil  dalam  penelitian  ini  menunjukkan  bahwa  penerapan  model  klasifikasi  dengan  menggunakan  Algoritma Naïve Bayes dengan data ulasan menghasilkan 46% ulasan positif dan 54% ulasan negatif. Selain itu, nilai akurasi tertinggi dari kinerja algoritma Naïve Bayes dengan menggunakan pembagian data training dan testing dengan persentase 70:30 menghasilkan akurasi yang optimal mencapai 89%.
Kata Kunci: Perbankan, Bank Digital, Sentimen, Ulasan Pengguna, Naive Bayes
Abstract- One of the technological developments that is following the digitalization trend is the banking sector. The existence of digital banks is an innovation carried out in the banking sector in providing services by utilizing electronic or digital means. Now, The technology allows users to simply access transactions in an application using a smartphone distributed via Google Playstore. User reviews are available to help improve the performance of the application and become a basis for companies to improve their banking applications. However, the large number of incoming reviews will certainly be difficult to process manually, so sentiment analysis of user reviews on related digital banking applications is needed. In this research, sentiment analysis was carried out using the Naïve Bayes algorithm. The method approach used is CRISP-DM as a general standard in conducting data mining research. The results show that applying a classification model using the Naïve Bayes algorithm with review data resulted in 46% positive reviews and 54% negative reviews. Apart from that, the highest accuracy value of the performance of the Naïve Bayes algorithm using a division of training and testing data with a percentage of 70:30 produces optimal accuracy reaching 89%.
Keywords : Banking, Digital Bank, Sentiment, User Review, Naive Bayes

## 1. PENDAHULUAN
Di era perkembangan teknologi, proses digitalisasi tanpa disadari telah menjadi bagian dari  kehidupan manusia. Teknologi kini telah berkembang dan menjadi bagian dari kehidupan manusia. Salah satunya adanya teknologi memiliki  peran  dalam  mendukung  produktivitas  pekerjaan  dan  memudahkan  aktivitas  manusia.  Salah  satu perkembangan teknologi yang mengikuti tren digitalisasi adalah sektor perbankan [1]. Bank digital adalah bank yang  memberikan  layanan  dengan menggunakan  fasilitas  elektronik  atau  bank digital.  Hal  ini   memungkinkan calon  pelanggan  untuk  belajar,  berkomunikasi,  dan  bertransaksi  [2].  Namun,  tidak  hanya  proses  Transaksi perbankan,  bank  digital  pun  dapat  memiliki  beberapa  fitur  diantaranya  memberi  saran  atau  nasihat  keuangan, informasi dan akses terhadap investasi, jual-beli melalui media elektronik atau e-commerce.
Aturan  yang  dikeluarkan  OJK  No.12/POJK.03/2021  menjelaskan  bahwa  “Bank  Digital  adalah  bank  berbadan hukum Indonesia yang menyediakan dan menjalankan kegiatan usaha terutama melalui saluran elektronik tanpa kantor fisik selain kantor pusat atau menggunakan kantor fisik yang terbatas [3]”. Saat ini, belum ada aturan yang spesifik yang mengatur terkait bank digital, sehingga penerapan peraturan pada bank digital mengacu pada bank konvensional lainnya yang tercantum pada Peraturan OJK No.12/POJK.03/2021. Sampai dengan saat ini, aplikasi bank digital yang tersedia di Google Playstore diantaranya Bank Neo Commerce, Jenius, Bank Jago, Blu, SeaBank, Digibank dan lainnya. Berdasarkan data yang diambil pada bulan Januari 2023, aplikasi perbankan digital yang paling banyak diunduh  pada Google Playstore adalah aplikasi Bank Neo Commerce  dengan  lebih dari 10 juta

## EXPLORER
unduhan  dan  275.000  ulasan.  Disusul  aplikasi  Jenius  yang  sudah  diunduh  lebih  dari  5  juta  kali  dan  mendapat 183.000 review, serta Bank Jago yang paling banyak diunduh lebih dari 5 juta Juta dengan total 61.000 ulasan [4].
Aplikasi  perbankan  digital  ini  memungkinkan    pengguna  untuk  mengakses  proses  transaksi  hanya  dengan menggunakan  smartphone  sehingga  memberikan  kemudahan  dan  akses  darimana  saja.  Proses  distribusi  yang dilakukan  pada  bank  digital  dengan  menggunakan  market  Google  Playstore.  Setiap  pengguna  yang  hendak menggunakan aplikasi perbankan tersebut perlu mengunduh aplikasi dan menggunakan fitur-fitur yang tertanam apda aplikasi dan tersedia pada Google Playstore. Aplikasi tersebut diharuskan memiliki platform Android yang berjalan  pada smatphone .  Google  Playstore  menyediakan  ulasan  dalam  bentuk  rating  maupun  komentar  pada kolom yang tersedia. Ulasan-ulasan pengguna ini tentu sangat berguna bagi penyedia layanan untuk meningkatkan performa dari aplikasi. Pengolahan data ulasan ini dapat digunakan sebagai landasan bagi Perusahaan perbankan tersebut dalam mengembangkan aplikasi dan memaksimalkan fitur yang disediakan untuk pengguna. Akan tetapi, kendala yang dihadapi dengan banyaknya data yang perlu diolah secara manual akan membutuhkan waktu dan teknologu yang memadai. Oleh karena itu, analisis sentimen menjadi jawaban dalam memecahkan masalah dalam menentukan sentimen ulasan pengguna pada aplikasi-aplikasi bank digital.
Analisis  sentimen  memiliki  definisi  sebagai  sebuah  studi  komputasi  dimana  opini,  perspektif,  penilaian  serta perasaan  seseorang  akan  dimanfaatkan  untuk  kebutuhan  analisis  dan  pengolahan  data.  Analisis  sentimen  ini digunakan untuk menganalisis ulasan dari sebuah sistem kemudian memberikan klasifikasi dari komentar tersebut ke dalam sentimen positif atau negatif [5], [6]. Analisis sentimen dapat dilakukan dengan beberapa algoritma yang umum digunakan pada klasifikasi diantaranya Support Vector Machine, K-Nearest Neighbor, Random Forest, K- Means,  Rule-Based  Classification  dan  Naïve  Bayes  Classifier.  Beberapa  penelitian  terkait  diantaranya  yaitu penelitian yang dilakukan oleh Raihan Adyatma, Yuni Widiastiwi, Nurul Chamidah pada tahun 2021. Penelitian ini  menggunakan  data  dengan  teknik  scrapping  pada  Google  Playstore  dengan  web  scrapping  menggunakan Python.  Setelah  didapatkan  data  dan  dilakukan  pengolahan  didapatkan  tingkat  akurasi  sebesar  0,57.  Performa Naïve Bayes Classifier dalam mengklasifikasi pengguna aplikasi jenius dinilai kurang baik karena tingkat akurasi yang  kecil[7]  Penelitian  lainnya  dilakukan  oleh  Alfio  Kusuma, Ermatita,  Elena  Nurramdhani  pada  tahun 2022 dimana data dilakukan dengan teknik scrapping menggunakan google-play-scrapper. Setelah didapatkan data dan dilakukan  pengolahan  didapatkan  hasil  akurasi  klasifikasi  menggunakan  Support  Vector  Machinde  dengan masing-masing akurasi sebesar 81%; 84%; dan 85% dengan pembagian data latih dan data uji menggunakan tiga rasio  yaitu  60:40  ;  70:30  ;  80:20  [8].  Penelitian  serupa  dilakukan  oleh  Moh  Khoirul  Insan,  Umi  Hayati,  Udi Nurdiawan  pada  tahun  2023.  Penelitian  ini  berfokus  pada  analisis  sentimen  aplikasi  BRIMO  Pada  Ulasan Pengguna di Google Play. Adapun pengambilan data dilakukan dengan teknik scrapping dengan dibantu bahasa program  Phyton.  Setelah  didapatkan  data  dan  dilakukan  pengolahan,  maka  didapatkan  bahwa  tingkat  akurasi menggunakan  Naïve  Bayes  adalah  84,52%  [9].  Sedangkan  Artanti  Inez  Tanggraeni,  Melkior  N.  N.  Sitokdana melakukan penelitian dalam menganalisis sentimen pada aplikasi E-Government dengan menggunakan algoritma Naïve Bayes. Pengambilan data dilakukan dengan melakukan teknik web scrapping, data yang diambil merupakan data dari halaman website. Setelah didapatkan data dan dilakukan pengolahan, maka didapatkan bahwa tingkat akurasi yang didapatkan sebesar 89% [10]. Penelitian lain dengan tema sentiment dilakukan oleh Amalia Anjani Arifiyanti,  Nurisa  Rahma  Shantika,  Anggy  Oktaviana  Syafira  pada  tahun  2023  yang  berfokus  pada  analisis sentimen pengguna BSI Mobile pada Google Playstore dengan Pendekatan Supervised Learning. Pada penelitian ini  pengambilan  data  dilakukan  dengan  metode  scrapping  menggunakan  library  google  play  scrapper.  Setelah didapatkan data dan dilakukan pengolahan data, maka didapatkan bahwa tingkat akurasi yang didapatkan yaitu 87,5% [11]. Selain itu, penelitian serupa lainnya dilakukan pada aplikasi Dompet Digital di Era 4.0 Pada Masa Pandemi  COVID-19  di  Play  Store  Menggunakan  Algoritma  Naïve  Bayes  Classifier.  Analisis  sentimen  diawali dengan pengambilan data dengan metode scrapping dengan memanfaatkan data miner. Setelah didapatkan data dan dilakukan  pengolahan maka  didapatkan  bahwa nilai akurasi  yang  ddiapatkan  pada  penelitian  ini mencapai lebih dari 90% [12].
Pada penelitian ini, analisis sentimen dilakukan dengan menggunakan algoritma Naïve Bayes. Algoritma Naïve Bayes merupakan metode data mining yang banyak digunakan dikarenakan algoritma ini memiliki tingkat nilai akurasi yang tinggi. Algoritma Naive Bayes yang digunakan  cocok  diterapkan pada data yang berisi data dalam jumlah  besar.  Naive  Bayes  juga  merupakan  bentuk  algoritma  klasifikasi  yang  disederhanakan  untuk  model probabilistik dan statistik..

## 2. METODE PENELITIAN

## 2.1 Tahapan Penelitian
Adapun tahapan penelitian yang dilakukan dengan menggunakan CRISP-DM (Cross Industri Standard Process for Data Mining)[13]. Dimana tahapan tersebut diantaranya yaitu:

## EXPLORER
1. Pemahaman Bisnis ( Business Understanding )
Pada  tahapan  ini,  penelitian  berfokus  pada  identifikasi  awal  dan  membuat  daftar  yang  berisi  cara  untuk mendapatkan  data  dan  menentukan  strategi  untuk  mencapai  tujuan  penelitian  sehingga  diharapkan  data tersebut dapat mendukung analisis sentimen pada bank digital. Adapun data pada penelitian ini lebih optimal didapatkan dari hasil ulasan pengguna terhadap aplikasi bank digital.
2. Pemahaman Data ( Data Understanding )
Tahapan ini dilakukan setelah mendapatkan data yang diambil dengan cara crawling pada ulasan bank digital. Langkah pada penelitian ini dilakukan juga dengan memahami data yang telah dikumpulkan pada basis data untuk kemudian dilakukan identifikasi permasalahan berdasarkan data yang didapatkan.
3. Pengolahan Data ( Data Preparation )
Pada tahap ini dilakukan pengolahan data diantaranya melakukan praproses data. Praproses data dilakukan untuk memastikan data yang masuk dan diolah sudah bersih dari noise sehingga akan menghasilkan akurasi yang optimal pada saat klasifikasi. Selain itu, dikarenakan data yang didapatkan dari ulasan maka dipandang perlu dilakukan perbaikan terhadap data yang bermasalah.
4. Pemodelan ( Modeling )
Data yang telah diolah dan didapatkan  pada tahapan sebelumnya  kemudian dilakukan permodelan dengan algoritma Naïve Bayes sehingga menghasilkan model yang dapat melakukan klasifikasi terhadap sentimen dari data ulasan yang telah dilakukan pengolahan data pada tahap sebelumnya.
5. Evaluasi ( Evaluation )
Tahap  ini  melakukan  penilaian  terhadap  penerapan  dari  model  yang  digunakan,  Selain  itu  pengukuran dilakukan dengan mengukur akurasi, precision, recall dan f1-measure dari model yang dihasilkan.

## 2.2 Pemahaman Bisnis (Business Understanding)
Pemahaman  bisnis  adalah  tahapan  awal  dari  metode  CRISP-DM  dimana  pada  tahapan  pemahaman  bisnis  ini memaparkan masalah yang ingin dipecahkan dan menjelaskan sistem yang akan dibangun dalam penelitian dengan fokus utama pada pemahaman kebutuhan berdasarkan penilaian bisnis untuk mengetahui dengan jelas tujuan dan batasan dari penelitian yang dilakukan [14]. Pada penelitian ini pemahaman bisnis memfokuskan tentang ulasan atau data komentar pengguna bank digital di Indonesia pada platform Google Play Store.
Pada application store seperti Google Play Store terdapat ulasan atau komentar dari pengguna aplikasi yang dapat membantu dalam menganalis kepuasan dan keluhan para pengguna aplikasi bank diital. Penggunaan data komentar dalam  bentuk  ulasan  yang  diambil  dari  Google  Play  Store  seringkali  digunakan  untuk  melakukan  pemrosesan sentimen  dari  setiap  komentar  atau ulasan  pada  aplikasi.  Sistem  analisis  sentimen  pengguna  bank  digital akan menjadi  sarana  untuk  mengemukakan  kepuasan  dan  keluhan  penggunaan  aplikasi  -  aplikasi  bank  digital  di Indonesia.  Oleh  karena  itu,  dalam  mengatasi  dan  mengetahui  masalah  dari  keluhan  yang  sering  terjadi  pada perbankan digital ini maka dibangunlah sistem yang dapat menganalisis opini para pengguna bank digital pada Google Play Store.

## 2.3 Pemahaman Data (Data Understanding)
Pada  penelitian  ini  data  yang  digunakan  adalah  data  komentar  atau  ulasan  terhadap  aplikasi  bank  digital  di Indonesia yaitu ulasan dari aplikasi Bank Neo Commerce, Jenius, dan Bank Jago. Berdasarkan observasi 3 aplikasi tersebut  memiliki  jumlah  pengunduh  terbanyak  pada  google  play  store.  Berikut  adalah  rincian  data  aplikasi tersebut yang diambil pada Januari 2023.
Tabel 1. Data Aplikasi Bank Digital Bank Digital Pengunduh Rating Ulasan Neobank 10 juta+ 4,1/5 276.000 Jenius 5 juta+ 3,9/5 183.000 Bank Jago 5 juta+ 3,6/5 61.000
Dikarenakan jumlah ulasan aplikasi bank digital pada google play store  tersebut lebih dari 50 ribu bahkan ratusan ribu data ulasan maka dibuat batasan dalam pengambilan data yaitu data ulasan aplikasi yang diambil hanya 300 data ulasan dengan masing-masing jumlah data 100 ulasan per aplikasi.

## EXPLORER
Data yang sudah diambil akan diklasifikasikan menjadi dua kelas sentimen, yaitu positif dan negatif. Sentimen pada penelitian ini tidak menyerttakan kelas klasifikasi netral dikarenakan data yang didapat dari ulasan aplikasi bank digital berupa ulasan kepuasan dan keluhan terhadap aplikasi. Setelah data sudah diklasifikasi data tersebut akan digunakan untuk data latih dan data uji dengan jumlah pengujian sebanyak tiga kali, pengujian pertama data dibagi menjadi 70% data latih dan 30% data uji,  pengujian ketuda data dibagi menjadi 80% data latih dan 20% data uji, dan pengujian ketiga data dibagi menjadi 90% data latih dan 10% data uji.
2.4 Pengolahan Data (Data Preparation)

## 2.4.1 Pengumpulan Data
Data yang diperlukan dalam penelitian ini adalah data ulasan  dari pengguna aplikasi bank digital di Indonesia. Data ulasan tersebut diambil dengan menggunakan package Google-Play-Scrape yang harus diinstall pada jupyter notebook.  Package  tersebut  digunakan  untuk  mengambil  data  ulasan  dari  google  play  store  yang  selanjutnya datatersebut akan  disimpan dalam bentuk csv.
Proses pencarian data yang akan digunakan adalah data yang berhubungan dengan aplikasi bank digital dimana data tersebut diambil berdasarkan ulasan para pengguna aplikasi bank dgital pada google play store. Ulasan yang sudah didapat kemudian disimpan pada satu file yang selanjutnya akan diolah.
Data  mentah  yang  didapatkan  dari  hasil  scrapping  masih  banyak  mengandung  noise.  Oleh  karena  itu  data selanjutnya akan disamakan. Hal tersebut akan memudahkan saat memasuki tahap pemodelan sistem. Berikut ini merupakan data mentah yang sudah diambil dari goole play store:
Tabel 2. Contoh Data Ulasan Bank Digital

## 2.4.2 Pelabelan Data
Proses  pelabelan  data dalam penelitian  ini  dilakukan  secara  otomatis  berdasarkan nilai rating  aplikasi  tersebut. Rating yang akan digunakan hanya rating 1,2,4, dan 5 dikarenakan pada rating 3 terdapat ulasan positif dan negatif sehinga dapat mempengaruhi data label. Pada rating 1 dan 2 akan diberikan label negative dan rating 4 dan 5 akan diberi label positif kemudian data yang sudah mendapat label tersebut akan menjadi bagian dari pembelajaran oleh sistem yang nantinya sistem dapat membedakan mana ulasan yang bersifat positifdan yang bersifat negatif. Data keseluruhan pelabelan ulasan dari aplikasi neobank, jenius , dan bank jago akan ditampilkan hasil ulasan bersifat positif yang akan diberi label 1 dan ulasan yang bersifat negatif akan diberi label 0.

## 2.4.3 Praproses Data
Praproses  data  merupakan  proses  yang  dilakukan  untuk  memfilter  data  agar  data  awal  yang  sebelumnya  tidak terstruktur  menjadi  data  yang  terstruktur  sehingga  data  yang  sudah  dilakukan  pada  tahapan  ini  dapat memaksimalkan kinerja sistem[15]. Pada tahapan praproses data dilakukan beberapa langkah berikut ini:
1. Regex Removing
Proses  regex removing  bertujuan untuk  menghapus  atau menghilagkan  data dari  eberapa noise  seperti #,@,$, angka, titik, koma, tanda baca dan emoticon sampai data tersebut hanya tersisa kalimat yang terdiri dari beberapa kata.
2. Casefolding
Data  yang  sudah  dihapus  noise  nya  akan  dilakukan  proses  case  folding  yaitu  proses  mengubah  huruf kapital menjadi huruf kecil.
3. Stopword Removing
Proses stopwerd removing bertujuan untuk penghilangan kata yang memiliki arti tidak relevan atau kata yang tidak bermakna seperti kata “ini”, “adalah”, “apa”, “yang”, dan masih banyak lagi.
4. Tokenizing
Ulasan Rating Good 😊😊👍 ,, bank digital bisa menjangkau dimana saja kapan saja, 1 rekening banyak kantong nya 5 Ini  aplikasi  kenapa  ya???  Kok  ga  bisa  dibuka  sih??!!!!  Keterangan  "Maaf  jaringan bermasalah. Coba cek koneksi kamu" padahal saya buka aplikasi lain lancar2 saja! 3 LEMOT  BANGET  SUMPAH#,,,..  Aplikasi  paling  lemot  yang  pernah  aku  pakai. Silahkan diperbaiki!! 1

## EXPLORER
Pada tahap ini data yang diambil dari twitter yang berupa teks dipisahkan menjadi beberapa potongan kata-kata. Seperti contoh pada tabel 2 berikut:
5. Stemming
Pada tahap  ini  dilakukan  proses  pengubahan  kata  dengan menghilangkan  kata  imbuhan  dan membuat kata tersebut menjadi kata dasar. Seperti contoh pada tabel 6 berikut:
Tabel 3. Data Ulasan, Teknik Praproses pada Regex Removal dan Casefolding Ulasan dari Google Play Regex Removing Case Folding
Good 😊😊👍 ,,  bank  digital  bisa menjangkau dimana saja kapan saja, 1 rekening banyak kantong nya Good  bank  digital  bisa  menjangkau dimana  saja  kapan  saja  1  rekening banyak kantong nya good  bank  digital  bisa menjangkau  dimana  saja kapan saja 1 rekening banyak kantong nya Ini aplikasi kenapa ya??? Kok ga bisa dibuka  sih??!!!!  Keterangan  "Maaf jaringan bermasalah. Coba cek koneksi  kamu"  padahal  saya  buka aplikasi lain lancar2 saja! Ini  aplikasi  kenapa  ya  Kok  ga  bisa dibuka sih Keterangan Maaf jaringan bermasalah  Coba  cek  koneksi  kamu padahal  saya  buka  aplikasi  lain lancar2 saja ini aplikasi kenapa ya kok ga bisa  dibuka  sih  keterangan maaf  jaringan  bermasalah coba  cek  koneksi  kamu padahal  saya  buka  aplikasi lain lancar2 saja LEMOT  BANGET  SUMPAH#,,,.. Aplikasi  paling  lemot  yang  pernah aku pakai. Silahkan diperbaiki!! LEMOT BANGET SUMPAH Aplikasi  paling  lemot  yang  pernah aku pakai Silahkan diperbaiki lemot banget sumpah aplikasi  paling  lemot  yang pernah  aku  pakai  silahkan diperbaiki Tabel 4. Stopword Removing, Tokenizing dan Stemming pada Tahapan Praproses Stopword Removing Tokenizing Stemming good bank digital menjangkau dimana 1 rekening kantong nya ['good', 'bank', 'digital', 'menjangkau', 'dimana',  '1',  'rekening',  'kantong', 'nya'] good  bank  digital  jangkau mana  1  rekening  kantong nya aplikasi  ya  ga  dibuka  sih  keterangan maaf  jaringan  bermasalah  coba  cek koneksi buka aplikasi lancar2 ['aplikasi',  'ya',  'ga',  'dibuka',  'sih', 'keterangan', 'maaf', 'jaringan', 'bermasalah',  'coba',  'cek',  'koneksi', 'buka', 'aplikasi', 'lancar2'] aplikasi  ya  ga  buka  sih terang  maaf  jaring  masalah coba  cek  koneksi  buka aplikasi lancar2 lemot  banget  sumpah  aplikasi  lemot pakai silahkan diperbaiki ['lemot',  'banget',  'sumpah',  'aplikasi', 'lemot', 'pakai', 'silahkan', 'diperbaiki'] lot  banget  sumpah  aplikasi lot pakai silah baik

## 2.5 Permodelan (Modeling)
Dalam  membuat  model  analisis  sentimen  yang  mampu  mengklasifikasikan  ulasan  ke  dalam  label  positif  dan negatif, penelitian ini menggunakan algoritma Naïve Bayes Classifier. Sebelum dilakukan pemodelan, pemahaman mengenai arsitektur perlu dideskripsikan. Arsitektur sistem menjabarkan hubungan antara aplikasi yang digunakan pengguna untuk dapat terhubung pada aplikasi tujuan. Arsitektur sistem yang dibangun untuk analisis sentimen pada penelitian ini diuraikan pada gambar 1.

## EXPLORER
Gambar 1. Modeling

## 2.5 Evaluasi (Evaluation)
Evaluasi pada penelitian ini yaitu evaluasi terhadap performa algoritma Naïve Bayes dengan mengukur tingkat akurasi algoritma tersebut pada objek penelitian yang dilakukan. Analisis dilakukan terhadap model yang dibuat untuk mengetahui kesesuaian antara pola yang dihasilkan dengan standar klasifikasi pada data latih. Selain itu, ketika hasil sudah terlihat, maka dilakukan peninjauan kembali untuk menghindari terlewat atau kelirunya sebuah proses yang telah dilakukan agar kualitas informasi yang didapat lebih baik.
Pada tahap evaluasi ini juga kita dapat menentukan model mana yang akan diambil sebagai model terbaik diantara pemodelan-pemodelan  yang  telah  dilakukan.  Model  yang  dipilih  selanjutnya  dapat  dikonversi  menjadi  sebuah sistem yang dapat melakukan analisis terhadap ulasan berdasarkan pengetahuan yang telah dimiliki oleh model machine learning tersebut.

## 3. HASIL DAN PEMBAHASAN

## 3.1 Hasil Labeling
Proses labeling dilakukan berdarkan rating yang ada pada data tersebut, terdapat rating 1, 2, 3, 4, dan 5 pada setiap data ulasan. Visualisasi banyaknya rating setiap data ulasan bank digital dapat dilihat pada Gambar 2.
Gambar 2. Visualisasi Rating
Proses pelabelan pada data dilakukan dengan cara melakukan konversi rating atau score, dengan kententuan data diatas 3 diberikan label positif, data dibawah 3 diberikan label negatif, sedangkan rating yang bernilai 3 diberikan label manual sebab nilai tersebut terkadang menimbulkan ambiguitas dan tidak konsisten. Data hasil labeling dapat dilihat pada Gambar 3.

## EXPLORER
Gambar 3. Hasil Labeling
Berdasarkan  proses  labelling  yang  dilakukan,  jumlah  data  yang  berjumlah  1500  data,  terdapat  126  data ulasan yang  memiliki  rating  3  dan  126  ulasan  tersebut  dilakukan  labelling  manual.  Dari  jumlah  data  tersebut, perbandingan  jumlah  data  antara  data  dengan  label  positif  dan  data  dengan  label  negatif  dapat  dilihat  melalui visualisasi data yang terdapat pada Gambar 4.
Gambar 4. Visualisasi Labeling Sentimen Komentar Review

## 3.2 Hasil Modeling
Pada penelitian ini model diauji dengan menggunakan algoritma Naïve Bayess. Adapun skenario pengujian yang dilakukan  dengan  menggunakan  beberapa  jenis  teknik  split  data.  Pengujian  dilakukan  dengan  scenario perbandingan data latih dan data uji diantaranya 70:30 atau 70% data latih dan 30% data uji, 80:20 atau 80% data latih  dan  20%  data  uji,  serta  90:10 atau  90%  data latih  dan  10%  data uji, maka  didapatkan hasil  evaluasi  pada keseluruhan proses pemodelan seperti pada tabel 6.
Tabel 5. Perbandingan Evaluasi Untuk Setiap Data Split Evaluasi Data Split 70:30 80:20 90:10 Accuracy 0.89 0.88 0.87 Negatif 0.87 0.86 0.86

## EXPLORER
Evaluasi Data Split 70:30 80:20 90:10 Precision Positif 0.92 0.92 0.90 Recall Negatif 0.94 0.95 0.93 Positif 0.83 0.80 0.81 F1-score Negatif 0.91 0.90 0.89 Positif 0.87 0.86 0.85

## 3.3 Hasil Wordcloud
Wordcloud merupakan salah satu metode untuk memvisualisasikan data teks secara visual. Word Cloud digunakan dalam  text  mining  karena  membuat  proses  analisis  data  teks  lebih  cepat  dan  efisien  dibandingkan  dengan menganalisis  teks  secara  manual.  Dengan  menggunakan  word  cloud,  gambaran  frekuensi  kata-kata  dapat ditampilkan dalam bentuk yang menarik namun tetap informatif. Berikut adalah visualisasi wordcloud positif dan negatif terhadap ulasan bank digital.
Gambar 5. Wordcloud Positif dan Negatif

## 4. KESIMPULAN
Penerapan model klasifikasi dengan menggunakan Algoritma Naive Bayes dengan data ulasan sebanyak 1500 data menghasilkan 46% ulasan positif dan 54% ulasan negatif. Hal ini menunjukan masih banyak pengguna aplikasi bank digital yang kurang puas dengan aplikasi tersebut. Sehingga hal ini harus menjadi perhatian bagi pengembang untuk  meningkatkan  kualitas  aplikasi  demi  kenyamanan  para  pengguna.  Pengujian  analisis  sentimen  terhadap ulasan aplikasi Bank Digital menggunakan algoritma Naive Bayes menghasilkan nilai akurasi yang berbeda pada setiap  pengujiannya.  Dilakukan  tiga  kali  pengujian  dengan  data  split  yang  berbeda,  data  split  pertama  dengan pemisahan data sebanyak 70% data latih dan 30% data uji, menghasilkan akurasi sebesar 89% data split kedua dengan pemisahan data sebanyak 80% data latih dan 20% data uji, menghasilkan akurasi sebesar 88% data split terakhir dengan pemisahan data sebanyak 90% data latih dan 10% data uji menghasilkan akurasi sebesar 87%. Dilihat dari ketiga pengujian tersebut, nilai akurasi tertinggi dari hasil kinerja Naïve Bayes dalam penelitian ini adalah dengan menggunakan data split 70:30, semakin banyak data uji nya maka semakin besar tingkat akurasinya.

## REFERENCES
[1] Y. R. M Allo, “Strategi Meningkatkan Kualitas Layanan Melalui Digitalisasi Jasa Perbankan Di PT. Bank Negara Indonesia (Persero) Tbk. Kantor Pusat Jakarta Pusat,” 2020, Accessed: Feb. 11, 2024. [Online]. Available: http://journal.lldikti9.id/Ekonomika/index
[2] M. K. Ansor, “Analisis Faktor Penerimaan Teknologi Bank Digital Menggunakan Modifikasi UTAUT2,” Universitas Islam Indonesia, Yogyakarta, 2022.

## EXPLORER
[3] O. J. Keuangan, “Salinan Peraturan Otoritas Jasa Keuangan Republik Indonesia Nomor 12 /POJK.03/2021 Tentang Bank Umum.” 2021. [Online]. Available: https://www.ojk.go.id/id/regulasi/Documents/Pages/Bank-Umum/POJK 12 - 03 -2021.pdf
[4] J. Prabu Prakoso, “Daftar 10 Aplikasi Bank Digital Paling Banyak Diunduh,” Bisnis Indonesia , Jan. 07, 2023.
[5] A. Alaei, S. Becken, and B. Stantic, “Sentiment analysis in tourism: Capitalising on Big Data,” J Travel Res .
[6] I. Sunni and D. H. Widyantoro, “Analisis Sentimen dan Ekstraksi Topik Penentu Sentimen pada Opini Terhadap  Tokoh  Publik,” Jurnal  Sarjana  Institut  Teknologi  Bandung  Bidang  Teknik  Elektro  dan Informatika , vol. 1, no. 2, pp. 200–206, 2012.
[7] R. A. Subagja et al. , “Klasifikasi Ulasan Aplikasi Jenius pada Google Play Store Menggunakan Algoritma Naive  Bayes,” Informatik :  Jurnal  Ilmu  Komputer ,  vol.  17,  no.  3,  pp.  197–208,  Dec.  2021,  doi: 10.52958/IFTK.V17I3.3652.
[8] A. Kusuma, E. Ermatita, and H. N. Irmanda, “Analisis Sentimen Pada Ulasan Aplikasi Indodax di Google Play  Store  Menggunakan  Metode  Support  Vector  Machine,” Prosiding  Seminar  Nasional  Mahasiswa Bidang Ilmu Komputer dan Aplikasinya , vol. 3, no. 2, pp. 773–782, Aug. 2022, Accessed: Feb. 12, 2024. [Online]. Available: https://conference.upnvj.ac.id/index.php/senamika/article/view/2214
[9] M. K. K. Insan, U. Hayati, and O. Nurdiawan, “Analisis Sentimen Aplikasi BRIMO pada Ulasan Pengguna di Google Play Menggunakan Algoritma Naive Bayes,” JATI  (Jurnal  Mahasiswa  Teknik  Informatika) , vol. 7, no. 1, pp. 478–483, Mar. 2023, doi: 10.36040/JATI.V7I1.6373.
[10] A. I. Tanggraeni and M. N. N. Sitokdana, “Analisis Sentimen Aplikasi E-Government pada Google Play Menggunakan Algoritma Naïve Bayes,” JATISI (Jurnal Teknik Informatika dan Sistem Informasi) , vol. 9, no. 2, pp. 785–795, Jun. 2022, doi: 10.35957/JATISI.V9I2.1835.
[11] A. A. Arifiyanti, N. R. Shantika, and A. O. Syafira, “Analisis Sentimen Ulasan Pengguna BSI Mobile pada Google Play dengan Pendekatan Supervised Learning,” Jurnal Informatika Polinema , vol. 9, no. 3, pp. 283–288, May 2023, doi: 10.33795/JIP.V9I3.1003.
[12] E. S. Basryah, A. Erfina, and C. Warman, “Analisis Sentimen Aplikasi Dompet Digital di Era 4.0 pada Masa  Pendemi  Covid-19  di  Play  Store  Menggunakan  Algoritma  Naive  Bayes  Classifier,” Prosiding Seminar Nasional Sistem Informasi dan Manajemen Informatika Universitas Nusa Putra , vol. 1, no. 01, pp. 189–196, Sep. 2021, Accessed: Feb. 12, 2024. [Online]. Available: https://sismatik.nusaputra.ac.id/index.php/sismatik/article/view/28
[13] A. P. Fadillah, “Penerapan Metode CRISP-DM untuk Prediksi Kelulusan Studi Mahasiswa Menempuh Mata Kuliah (Studi Kasus Universitas XYZ),” Jurnal Teknik Informatika dan Sistem Informasi , vol. 1, no. 3, pp. 260–270, 2015, doi: 10.28932/jutisi.v1i3.406.
[14] I.  Purnama,  R.  Saputra, and  A.  Wibowo,  “Implementasi  Data  Mining  Menggunakan  CRISP-DM  pada Sistem Informasi Eksekutif Dinas Kelautan dan Perikanan Provinsi Jawa Tengah,” in Prosiding Seminar Nasional Ilmu Komputer UNDIP , 2012. [Online]. Available: http://eprints.undip.ac.id/36654/
[15] F. Emsa Zamani, “Sentiment Analysis and Twitter Social Media Visualization Regarding the Omnibus Law Draft,” CoreID Journal , vol. 1, no. 1, pp. 11–20, 2023, doi: 10.60005/coreid.v1i1.4.