## ANALISIS SENTIMEN PENGGUNA APLIKASI BANK SYARIAH

## INDONESIA DENGAN 0 MENGGUNAKAN 0 ALGORITMA SUPPORT VECTOR MACHINE (SVM)

## (ANALYSIS OF USER SENTIMENT OF BANK INDONESIA APPLICATIONS USING SUPPORT VECTOR MACHINE (SVM) ALGORITHM)
Rachmawati Oktaria Mardiyanto 1) , Kusrini 2) , dan Ferry Wahyu Wibowo 3)
1, 2) Magister 0 Teknik Informatika Universitas Amikom 0 Yogyakarta Jl. Ring Road Utara, Condong 0 Catur, Sleman, DI Yogyakarta, Indonesia
3) Magister 0 Teknik Informatika Universitas Amikom 0 Yogyakarta Jl. Ring Road Utara, Condong 0 Catur, Sleman, DI Yogyakarta, Indonesia e-mail: rachmaokta@students.amikom.ac.id 1) , kusrini@amikom.ac.id 2) , ferry.w@amikom.ac.id 3)

## ABSTRAK
Beberapa produk perbankan syariah baru telah diciptakan sebagai hasil  dari meningkatnya popularitas per- bankan syariah di Indonesia. Karena kemajuan teknis yang dimungkinkan oleh era globalisasi, semua operasi, termasuk  transaksi,  dapat  dilakukan  dengan  mudah  dan  praktis.  Salah  satu  bank  syariah  yang  menawarkan layanan mobile banking adalah Bank Syariah Indonesia. BSI Mobile masih menempati posisi ke-49 dalam kate- gori perbankan menurut statistik yang diambil dari Google Playstore, sementara institusi lain sudah berada di posisi  20  besar.  5  ahli  bahasa  akan  membubuhi  keterangan  atau  memberi  label  secara  manual  pada  55.416 ulasan  dan  peringkat  yang  diberikan  pengguna  aplikasi.  13568  data  ulasan  dan  peringkat  yang  dikumpulkan pengguna  aplikasi  setelah  memberi  anotasi  atau  pelabelan  dan  menghilangkan  data  duplikat  akan  digunakan dalam  penelitian  ini.  Pada  tahap  awal  proses  analisis  sentimen,  dilakukan  case  folding,  punctuation  mark  re- moval,  stop  word  removal,  dan  stemming  pada  data  review  dan  rating.  Pendekatan  Support  Vector  Machine (SVM)  digunakan  untuk  mengevaluasi  data  training  dan  data  testing  menggunakan  temuan  stemmed.  Pada penelitian ini, hasil pelatihan dan uji presisi masing-masing bernilai 87,309%, serta hasil pelatihan dan uji daya ingat  keduanya  bernilai  86,958%.  Nilai  akurasi  pelatihan  sebesar  85,87%,  hasil  analisis  sentimen  yang  di- proyeksikan memiliki tingkat akurasi sebesar 85,87%, serta hasil pelatihan dan pengujian presisi masing-masing bernilai 86,958%.
Kata  Kunci:  Sentimen  Analisis,  Klasifikasi  Ulasan  Aplikasi  Perbankan,  Support  Vector  Machine  (SVM),  Deep Learning

## ABSTRACT
Several new Islamic banking products have been created as a result of the increasing popularity of Islamic bank- ing in Indonesia. Due to the technical advances made possible by the globalization era, all operations, including transactions, can be carried out easily and practically. One of the sharia banks that offers mobile banking ser- vices is Bank Syariah Indonesia. BSI Mobile still occupies the 49th position in the banking category according to statistics taken from Google Playstore, while other institutions are already in the top 20 positions. 5 linguists will annotate or manually label the app's 55,416 user-submitted reviews and ratings. 13568 review and rating data collected by app users after annotating or labeling and eliminating duplicate data will be used in this research. In the early stages of the sentiment analysis process, case folding, punctuation mark re-moval, stop word remov- al, and stemming were carried out on review and rating data. The Support Vector Machine (SVM) approach is used to evaluate training data and data testing using stemmed findings. In this study, the results of the training and precision tests were each worth 87.309%, and the results of the training and memory tests were both worth 86.958%. The training accuracy value is 85.87%, the projected sentiment analysis results have an accuracy rate of 85.87%, and the training results and precision testing are each worth 86.958%.
Keywords: Sentiment Analysis, Banking Application Review Classification, Support Vector Machine (SVM) , Deep Learning

## I. P ENDAHULUAN
eberapa  produk  perbankan  syariah  baru telah  diciptakan  sebagai  hasil  dari meningkatnya  popularitas  perbankan syariah  di  Indonesia.  Karena  dengan  kemajuan teknologi yang dimungkinkan oleh era globalisasi, semua  kegiatan,  termasuk  transaksi,  dapat dilakukan  dengan  mudah  dan  praktis  [1].  Karena dengan  teknologi  yang  terus  berkembang, perbankan dapat meningkatkan kualitas layanannya  secara  aman,  nyaman,  dan  efektif dengan  menggunakan  perbankan  elektronik. Perbankan elektronik adalah istilah yang digunakan untuk menggambarkan layanan pelanggan untuk informasi dan transaksi perbankan yang dilakukan dengan sarana elektronik,  seperti  ATM,  internet banking , SMS banking , mobile  banking , e-commerce , phone banking , dan video banking [2], [3 ].
Pelanggan dapat melakukan transaksi menggunakan  ponsel  mereka  dengan  bantuan mobile banking ,  semacam  layanan  keuangan  [4]. Nasabah  dapat  mengunduh  atau  menginstal aplikasi  yang  berisi  menu  yang  memungkinkan mereka untuk mengakses layanan mobile banking . Sebelum  pengenalan mobile  banking ,  konsumen harus  terbiasa  dengan  format  pesan  SMS  dan nomor  tujuan  SMS  untuk  mengirim  pesan  ke bank.  Ini  membuat  penggunaan mobile  banking lebih mudah bagi klien setelah tersedia.
Pelanggan  dapat  memperoleh  layanan  aplikasi melalui mobile  banking tanpa  harus  mengunjungi ATM  atau  bank.  Pemasangan  perangkat  lunak mobile banking tidak konsisten [5].  Menurut data Google PlayStore, aplikasi BCA Mobile memiliki lebih dari 10 juta pengguna dan memiliki rating 2, aplikasi  BRImo  memiliki  lebih  dari  10+  juta pengguna dan memiliki rating 3, aplikasi Mandiri Mobile memiliki lebih dari 5+ juta pengguna dan memiliki  rating  8,  aplikasi  BNI Mobile memiliki lebih dari 10+ juta pengguna dan memiliki rating 20,  dan  aplikasi  BSI Mobile memiliki  lebih  dari 5+ juta pengguna dan memiliki rating 8.
Konsumen dapat menyelesaikan transaksi melalui  layanan mobile  banking [6].  Nasabah dapat  melakukan  transaksi  tanpa  harus  ke  bank dan  mengantri.  Menurut  bagian  ulasan  Google Playstore,  pengguna  layanan mobile  banking BSI telah  meninggalkan  sekitar  95.311  komentar ulasan.  Guna  mengevaluasi  kinerja  aplikasi  dan
melakukan  penyesuaian,  Bank  Syariah  Indonesia (BSI),  bank  yang  baru  saja  diresmikan  Presiden pada 1 Februari 2021 lalu, juga meminta masukan dari  klien  atau  pengguna  seberapa  puas  mereka terhadap layanan aplikasi yang mereka gunakan.
Mengingat konteks sebelumnya, peneliti menggunakan  analisis  sentimen  sebagai  teknik untuk  mengukur  kepuasan  aplikasi  [7].  Tentukan kesan  individu  dari  suatu  peristiwa,  produk,  atau objek lain dengan menggunakan analisis sentimen [8],  [9].  Klien  atau  konsumen  masa  depan  yang tertarik  dengan  barang  atau  jasa  dan  yang  ingin memutuskan  apa  yang  perlu  dikembangkan  atau ditingkatkan  akan  dapat  menemukan  jawaban terbaik  dengan  menggabungkan  dua  pendekatan [10], [11].
Metode Support  Vector  Machine (SVM) digunakan  dalam  pekerjaan  ini  untuk  melakukan analisis  sentimen.  Dalam  penelitian  ini, tools kolaboratif  Google  digunakan  untuk  mengetahui proyeksi  temuan  analisis  sentimen  dari  pengguna aplikasi  BSI  Mobile.  Algoritma Support  Vector Machine (SVM)  digunakan  untuk  memberikan algoritma  analisis  dan  nilai  akurasi  yang  optimal. BSI Mobile masih menempati urutan ke-49 untuk kategori perbankan menurut statistik yang diambil dari  Google  Playstore,  sedangkan  institusi  lain sudah  masuk  dalam  20  besar.  Lima  ahli  bahasa akan  secara  manual  mengidentifikasi  sentimen positif  dan  negatif  dalam  ulasan  pengguna  untuk menentukan analisis sentimen.

## II. STUDI PUSTAKA
Menurut  temuan  tinjauan  literatur,  penelitian tentang  analisis  sentimen  yang  diteliti  oleh  Fer- ly 0 Gunawan, Mochammad 0 Ali Fauzi, Pu- tra 0 Pandu Adikara dari Fakultas 0 Ilmu 0 Komputer,  Universitas  Brawijaya  pada  tahun 2017  dengan  judul  Analisis 0 Sentimen  Pada Ulasan  Aplikasi Mobile 0 Menggunakan 0 Naive Bayes dan Normalisasi Kata Berbasis Levenshtein Distance (Studi  Kasus  Aplikasi  BCA  Mobile) yang menghasilkan penggunaan algorit- me 0 Levenshtein    distance untuk  normalisasi 0 kata yang 0 mengalami  kesalahan  penulisan  mampu meningkatkan hasil klasifikasi dengan nilai 0 akurasi  sebesar  96,9%  dibandingkan  hanya menggunakan 0 klasifikasi Naive  Bayes dengan nilai akurasi 94,4%. Penelitian ini masih memiliki kelemahan yaitu hasil normalisasi kata untuk data

## B
latih  dan  data  uji  terdapat 0 kata  yang 0 mengalami kesalahan  penulisan  yang 0 diubah  menjadi  kata yang bermakna lain [2].
Penelitian  kedua  yang  diteliti  oleh  Mochamad Yudha  Febrianta,  Sri 0 Widiyanesti,  Syahrul  Rob- biansyah  Ramadhan  tahun  2021  dari  Universitas Telkom,  Bandung  dengan  judul Analisis 0 Ulasan
Indie Video Game Lokal Pada
Steam Menggunakan  Sentiment  Analysis  Dengan  Algo- ritma Naïve  Bayes  Classifier Dan LDA- Based 00 Topic Modeling dan menghasilkan kiner- ja  entiment  positif  dominan 0 sebesar  69.8% dengan 0 akurasi  algoritma  sebesar  75.45%  dan nilai Cohen's  Kappa sebesar  0.454.  Penelitian  ini juga telah mengidentifikasi topik dominan dengan sejumlah  istilah  yang  diduga  merupakan  aspek- aspek 0 video  game  yang  mempengaruhi  sentimen pemainnya.  Pada  penelitian  yang  dilakukan peneliti  memberikan  saran  untuk  meningkatkan kualitas  persiapan  dan pre-processing data  untuk menghasilkan  klasifikasi 0 yang  lebih  akurat, membangun  algoritma machine 0 learning yang ampu  melakukan  klasifikasi  terhadap 0 data  ulasan yang bersifat sangat kompleks [12].
Pada penelitian ketiga dilakukan oleh Wijanarto,  Seviana  Pungky  Briliant  ditahun  2020 dari Program Studi Teknik Informatika 00 Universitas Dian Nuswantoro Semarang, 000 Indonesia dengan judul Peningkatan Performa 0 Analisis 0 Sentimen  Dengan Resampling dan Hyperparameter 0 pada Ulasan Aplikasi BNI 0 Mobile menghasilkan berdasarkan 7 baseline model  didapatkan  3  model 0 dengan  akurasi tertinggi regresi  logistic 0 91%, SVC 92%, 0 dan Linear SVC 93%, dan 0 setelah
dilakukan 0 resampling RENN didapatkan 0 model terbaik  yaitu 0 SVC dengan  akurasi  sebesar 98.05%,  Hasil  eksperimen  model  terhadap  data baru  sebanyak  26  review  menghasilkan  prediksi benar
19 dan salah 0 sebesar 7
atau 0 menghasilkan 0 error rate 27% [13]. Penelitian  keempat  dilakukan  oleh  Majesty Eksa 0 Permana,  Handoko 0 Ramadhan, Indra Budi, Aris  Budi  Santoso,  Prabu  Kresna  Putra  ditahun 2021  dengan  judul Sentiment 000 Analysis  and Topic 0 Detection 00 of Mobile Banking 0 Application Review menghasilkan  bahwa  algoritma Naive Bayes dapat  menghasilkan  model  yang  baik dengan  nilai  akurasi  86,762%, recall 93,474%, dan presisi 92,482%.  Selain  itu,  pemodelan  topik menggunakan LDA dapat  mengetahui  topik  yang dibahas  oleh reviewer ,  pada  penelitian  ini  juga peneliti  memberikan  saran  untuk  menambah
jumlah  data  dan  menggabungkan  ulasan  bahasa Indonesia  dan  Inggris  dan  menambahkan  kamus untuk  menerjemahkan  bahasa  non-standar  dan pembobotan  untuk  setiap  topik  sesuai  dengan prioritas [10].

## III. METODE 0 PENELITIAN
Penelitian  tindakan,  eksperimen,  studi  kasus, dan  survei  adalah  metode  penelitian  yang  paling sering  digunakan.  Penelitian  eksperimen  ini menggunakan  metode  kuantitatif.  Metode  studi yang  dikenal  sebagai  eksperimen  menggunakan tes  untuk  melihat  hubungan  ketergantungan, dengan  peneliti  sebagai  pengontrol  [14].  Gambar 1  di  bawah  ini  menggambarkan  bagaimana langkah-langkah penelitian berjalan kali ini.

## Gambar 1. Langkah-langkah Penelitian

## A. Pengumpulan Data
Penelitian  ini  melalui  berbagai  tahapan.  Dari Google Play Store, awalnya kami mengumpulkan informasi review dan rating untuk aplikasi mobile banking untuk periode 1 Februari 2021 hingga 10 Agustus  2022.  Informasi review dan rating Google  Play  Store di- scraping menggunakan program Python dan modul google_play_scraper , dan  hasilnya  disimpan  dalam  format  .csv.  Data yang  diperoleh  akan  dianotasi  oleh  lima  ahli bahasa.  Untuk  mengkategorikan  data  ke  dalam klasifikasi  positif  dan  negatif,  prosedur  anotasi dilakukan  secara  manual.  Ada  13.568  ulasan  dan peringkat  secara  keseluruhan.  Data  beranotasi ditampilkan pada Tabel 1.
Tabel 1. Data Beranotasi . CONTENT LABELING Ga jelas    peningkatan pelayanan yang berakhir penurunan pelayanan D Negatif Ok Positif Kereeen Positif Alhamdulillah aplikasinya berjalan lancar  Sukses Bank Syariah Indone- sia Barakallahu Positif Alhamdulillah   sudah lancar kemba- li Positif
Semoga tiga jadi satu bisa mem- berikan lebih manfaat untuk umat islam di negeri tercinta ini fokus untuk pemberdayaan UMKM bukan pengusaha kakap serta duitnya jan- gan digunakan untuk pendanaan yang bersifat riba Positif Ko saya buka aplikasinya gk masuk gimna nih Gimna mau ngeceknya Negatif
Aplikasi ngeri  nih    Apalagi kalau duitnya gedean di dalam    Duit ribu ilang kemarin gegara beli voucher PLN tokennya nggak keluar Abis itu down sistem nya lagi    Mau buat pengaduan kantor nya bingung dimana    Gimana nih BSI Negatif Terbaik Positif jozz Positif Kenapa ga bisa di buka Negatif Seharusnya nya kasih update ap- likasi adalah untuk peningkatan kualitas layanan ini malah se- baliknya Negatif
Kenapa selau request time out ini beneran mau merger apa gmn  Ko imbasnya ke aplikasi  bisa ga layanan BSI mobile ttp berjalan selama proses merger  toh bank bnis dan bris aman aman aja  Tolong dengarkan nasabah Terimakasih
Negatif

## B. Pengolahan Data Awal
Preprocessing  adalah  langkah  selanjutnya.  Un- tuk  membersihkan  dan  menghomogenkan  data [15], digunakan preprocessing . Karena data untuk penelitian  ini  berbasis  teks,  maka preprocessing data  dilakukan,  termasuk case  folding , filtering (yang  menghilangkan  tanda  baca), stopword  re- moval , stemming ,  dan tokenization .  Diharapkan data menjadi lebih seragam setelah preprocessing . Untuk  tujuan  pengujian  model,  validasi  terpisah akan  digunakan  untuk  membagi  data  menjadi  ba- gian  pelatihan  dan  bagian  pengujian.  Dalam penelitian ini, pembagian data tes adalah 30% dan pembagian  data  pelatihan  adalah  70%.  Analisis data  untuk  evaluasi  model  dan  pelatihan  data  un-
tuk  konstruksi  model.  Contoh  data  yang  telah  di- proses sebelumnya ditunjukkan pada Tabel 2.
Tabel 2. Data Yang Telah Dilakukan Preprocessing
CONTENT LABELING ga tingkat layan turun layan Negatif ok Positif kereeen Positif alhamdulillah aplikasi jalan lancar sukses bank syariah indonesia barakallahu Positif alhamdulillah lancar Positif moga manfaat umat islam negeri cinta fokus daya umkm usaha kakap duit dana sifat riba Positif ko buka aplikasi gk masuk gimna nih gimna ngeceknya Negatif aplikasi ngeri nih duit gede duit ribu ilang kemarin gegara beli voucher pln tokennya nggak abis down sis- tem nya adu kantor nya bingung mana gimana nih bsi Negatif baik Positif jozz Positif ga buka Negatif nya kasih update aplikasi tingkat kualitas layan Negatif

## C. Model yang akan Digunakan
Pendekatan klasifikasi Support Vector Machine (SVM)  akan  menjadi  model  algoritma  yang digunakan dalam penelitian ini untuk memastikan kebenaran  hasil.  Untuk  analisis  studi  awal,  data dibagi menjadi dua kelompok: 70% data pelatihan dan  30%  data  uji.  70:30,  atau  9.497  dataset digunakan  untuk  pelatihan  dan  4.071  digunakan untuk pengujian, adalah perbandingan antara data pelatihan  dan  pengujian.  Total  ada  13.568  kum- pulan  data.  Gambar  2  menggambarkan  model  al- goritma yang akan diterapkan.

## D. Eksperimen dan Pengujian Model
Pada tahap ini, dilakukan uji coba dengan men- simulasikan data yang akan diproses menggunakan  metode  pemrosesan  yang  direk- omendasikan perangkat lunak. Pada penelitian ini dibuat  model machine  learning dengan  terlebih dahulu  mengidentifikasi  pola  pada  data  training berlabel  menggunakan  metode Support  Vector Machine (SVM).  Data  ulasan  pengguna  aplikasi BSI  baru  yang  belum  diberi  label  kemudian dikenali  menggunakan  model  yang  dihasilkan, dan  menggunakan Google  Colaboratory ,  prediksi kelas  sentimen  dibuat  untuk  menentukan  apakah ulasan tersebut positif atau negatif.

## E. Evaluasi dan Validasi
Prosedur klasifikasi dilanjutkan dengan evalua- si model kinerja yang dihasilkan oleh teknik Sup- port  Vector  Machine (SVM).  Selama  evaluasi, alat yang disebut Confusion Matrix digunakan un- tuk  mengukur Accuracy , Precision , Recall , F1- Score , dan Error rate dan akan menghasilkan data yang dapat divalidasi.
Untuk membuat Confusion Matrix di mana pa- rameter  TP  ( True  Positive )  dan  FN  ( False  Nega- tive )  mewakili  sampel  dengan  nilai  sebenarnya yang  diklasifikasikan  dengan  benar,  FP  ( False Positive ) yang mewakili sampel dengan nilai salah yang diklasifikasikan dengan benar, dan TN ( True Negative )  yang  mewakili  sampel  dengan  nilai sebenarnya  diklasifikasikan  secara  tidak  benar. Nilai  akurasi  seperti  yang  ditentukan  oleh  rumus di bawah ini.
𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 𝑇𝑃 + 𝑇𝑁 𝑇𝑃 + 𝑇𝑁 + 𝐹𝑃 + 𝐹𝑁 (1)

## IV. HASIL 0 DAN PEMBAHASAN

## A. Dataset
Informasi  yang  digunakan  dalam  penelitian ini dikumpulkan dari ulasan dan peringkat aplikasi mobile banking Google  Play  Store untuk  periode waktu  1  Februari  2021  hingga  10  Agustus  2022. Google  Play  Store dapat  di scraping untuk informasi review dan rating menggunakan program Python menggunakan modul scraper_google_play ,  dan  hasilnya  disimpan dalam  format  .csv.  Ulasan  yang  diajukan  oleh pelanggan aplikasi perbankan membentuk kumpulan  data,  informasi  yang  diperlukan  untuk melaksanakan  prosedur  pengujian  dan  pelatihan. Prosedur  pengujian  dan  pelatihan  ini  dilakukan
untuk  mengembangkan  model  pembelajaran mesin  sebagai  prediksi  kelas  dalam  data  baru. Hasilnya,  13.568  ulasan  telah  ditinjau  dan dievaluasi. Data evaluasi pengguna untuk aplikasi tersebut  kemudian  diberi  label  oleh  lima  ahli bahasa dan dilakukan secara manual.
Data  dari review di Google  Play  Store diberi label  berdasarkan  nilai rating dan  label  dari  ahli bahasa.  Jika  pengguna  aplikasi  memberikan ulasan  dengan rating 4-5  dan  kalimat  ulasan tersebut  mengandung  kata-kata  positif,  maka ulasan  tersebut  dianggap  positif;  jika  pengguna memberikan rating 1-3  pada  ulasan  dan  kalimat ulasan  tersebut  mengandung  kata-kata,  ulasan tersebut  dianggap  negatif.  Meskipun  tidak  me- nutup  kemungkinan  ulasan  dengan  peringkat  4 atau  5  akan  berisi  kalimat  negatif  menurut  ahli bahasa,  sedangkan  evaluasi  dengan  peringkat  1-3 biasanya berisi banyak kata yang tidak menyenangkan.  7.545  poin  data  sentimen  positif dan 6.023 negatif diperoleh setelah pelabelan.
B. Data Preprocessing
Persiapan  data  yang  terdiri  dari  tahapan case folding , filtering (menghilangkan  tanda  baca), stopwords  removal , stemming ,  dan tokenization , diperlukan  untuk  membersihkan  dan  menstandar- kan data ulasan pengguna aplikasi BSI Mobile . Hal ini  dilakukan untuk  menghasilkan  data  yang tepat yang  dapat  dievaluasi  dan  untuk  mendapatkan hasil  klasifikasi  terbaik  yang  layak.  Tabel  3,  4,  5, 6,  dan  7  menampilkan  hasil  penggunaan  metode tersebut.
1. Case folding Tabel 3. Case Folding Sebelum Hasil Ga jelas,,, peningkatan pelayanan yang berakhir penurunan pelayanan. :D ga jelas    peningkatan pelayanan yang berakhir penurunan pelayanan   d
2. Filtering
Tabel 4. Filtering Sebelum Hasil Ga jelas,,, peningkatan pelayanan yang berakhir penurunan pelayanan. :D ga jelas peningkatan pela- yanan yang berakhir penurunan pelayanan
3. Stopword removal
Tabel 5. Stopword Removal Sebelum Hasil ga jelas peningkatan pelayanan yang be- ['ga', 'peningkatan', 'pela- yanan', 'penurunan', 'pela-
rakhir penurunan pela- yanan yanan']

## 4. Tokenization
Tabel 6. Tokenization Sebelum Hasil ga jelas peningkatan pelayanan yang be- rakhir penurunan pela- yanan ['ga', 'jelas', 'peningkatan', 'pelayanan', 'yang', 'be- rakhir', 'penurunan', 'pela- yanan']

## 5. Stemming
Tabel 7. Stemming Sebelum Hasil ga jelas peningkatan pe- layanan yang berakhir penurunan pelayanan
ga tingkat layan turun layan

## C. Spliting Data dan Kasifikasi
Data  ulasan  pengguna  aplikasi  dibagi 0 menjadi dua  kelompok  yaitu 0 70%  data  pelatihan  dan 30% 0 data 0 uji.  Artinya  dari  13.568  dataset,  9.497 digunakan  untuk  training  dan  sisanya  4.071 digunakan  untuk  testing.    Setelah  dilakukan  pen- gujian  terhadap  4.071  data  uji,  akurasi  perhi- tungannya adalah 85,87%.
# Classifier - Algorithm - SVM # fit the training dataset on the classifier SVM = svm.SVC(C= 1.0 , kernel= 'linear' , degree= 3 , ga mma= 'auto' ) SVM.fit(X_train,y_train) # predict the labels on validation dataset predictions_SVM = SVM.predict(X_test) # Use accuracy_score function to get the accuracy print ( "SVM Accuracy Score - > " ,accuracy_score(predictions_SVM, y_test)* 100 ) print ( f 'confusion matrix:\n {confusion_matrix(y_te st, predictions_SVM)} ' ) print ( '==================================\n' ) tn, fp, fn, tp = confusion_matrix(y_test, predicti ons_SVM).ravel() print ( "TN:" , tn) print ( "FP:" , fp) print ( "FN:" , fn) print ( "TP:" , tp) print (classification_report(y_test, predictions_SV M, zero_division= 0 )) print ( '==================================\n' )

## Gambar 3. Hasil Akurasi
Nilai  akurasi,  dihitung  dengan  rumus  berikut menggunakan  nilai  yang  diperoleh  dari confusion matrix .
Tabel 8. Confusion Matrix TP : 1549 FP : 283 FN : 292 TN : 1947
𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 𝑇𝑃 + 𝑇𝑁
𝑇𝑃 + 𝑇𝑁 + 𝐹𝑃 + 𝐹𝑁 𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 1549 + 1947 1549 + 1947 + 283 + 292 𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 3496 4071 = 0,858757 𝑥 100% = 85,87%

## V. K ESIMPULAN
Kesimpulan  penelitian  didasarkan  pada  topik yang telah dikemukakan di atas.  Bagian awal dari penelitian ini adalah mengumpulkan data yang di- ambil  dari Google  PlayStore menggunakan  paket library  google_play_scraper dalam  pemrograman python . 13.568 rekaman ulasan dan peringkat akan disimpan  menggunakan  format  csv.  Atribut  dan class dari  dataset  ini  divalidasi  berdasarkan  7.545 review positif  dan  6.023  data  dengan  sentimen negatif, sehingga dilakukan klasifikasi
menggunakan  Algoritma Support  Vector  Machine (SVM)  dengan  perbandingan  70:30  antara  data training  dan  testing  dari  13.568  dataset  ,  9.497 digunakan  untuk  pelatihan  dan  sisanya  4.071
digunakan  untuk  pengujian  dan  diperoleh  hasil akurasi  sebesar  85,87%.  Nilai  akurasi  pada penelitian  ini  masih  rendah,  sehingga  diperlukan penelitian lebih lanjut untuk menerapkan berbagai algoritma  dan cross  validation untuk  mencapai nilai akurasi yang lebih besar.

## R EFERENSI DAN C ATATAN K AKI
[1] E. Indrayuni, A. Nurhadi, and D. A. Kristiyanti, “Implementasi 0 Algoritma Naive Bayes, Support Vector Machine, dan K-Nearest 0 Neighbors untuk Analisa Sentimen Aplikasi Halodoc,” Faktor Ex- acta , vol. 14, no. 2, p. 64, 2021, doi:
10.30998/faktorexacta.v14i2.9697.
[2] F. Gunawan, 0 M. A. Fauzi, and P. P. 0 Adikara, “Analisis Sentimen 0 Pada Ulasan Aplikasi Mobile Menggunakan Naive Bayes 0 dan Normalisasi Kata Berbasis Levenshtein Distance (Studi Kasus Ap- likasi BCA Mobile),” Systemic: Information System and Informatics Journal , vol. 3, no. 2, pp. 1–6, Dec. 2017, doi: 10.29080/systemic.v3i2.234.
[3] B. Gunawan, H. Sasty, P. #2, E. Esyudha, and P. #3, “JEPIN (Jurnal Edukasi 0 dan Penelitian Informatika) Sistem Analisis Sentimen pada 0 Ulasan Produk Menggunakan Metode Naive Bayes,” vol. 4, no. 2, pp. 17–29, 2018, [Online]. Available:
www.femaledaily.com
[4] E. Putri Nirwandani and R. Cahya Wihandika, “An- alisis Sentimen Pada 0 Ulasan Pengguna Aplikasi Mandiri Online 0 Menggunakan 0 Metode Modified Term Frequency Scheme Dan Naïve Bayes,” 2021.
[Online]. Available: http://j-ptiik.ub.ac.id
[5] D. Pratmanto, R. Rousyati, F. F. Wati, A. E. Wido- do, S. Suleman, and R. Wijianto, “App Review Sen- timent Analysis Shopee Application in Google Play Store Using Naive Bayes Algorithm,” in Journal of Physics: Conference Series , Nov. 2020, vol. 1641, no. 1. doi: 10.1088/1742-6596/1641/1/012043.
[6] M. H. Munna, M. R. I. Rifat, and A. S. M. Badrud- duza, “Sentiment Analysis and Product Review Classification in E-commerce Platform,” in ICCIT 2020 - 23rd International Conference on Computer and Information Technology, Proceedings , Dec.
2020. doi: 10.1109/ICCIT51783.2020.9392710.
[7] L. B. Ilmawan and M. A. Mude, “Perbandingan
Metode Klasifikasi Support Vector Machine dan Naïve Bayes untuk Analisis Sentimen pada Ulasan Tekstual di Google Play Store,” ILKOM Jurnal
Ilmiah , vol. 12, no. 2, pp. 154–161, Aug. 2020, doi: 10.33096/ilkom.v12i2.597.154-161.
[8] D. Pratmanto, R. Rousyati, F. F. Wati, A. E. Wido- do, S. Suleman, and R. Wijianto, “App Review Sen- timent Analysis Shopee Application in Google Play Store Using Naive Bayes Algorithm,” in Journal of Physics: Conference Series , Nov. 2020, vol. 1641, no. 1. doi: 10.1088/1742-6596/1641/1/012043.
[9] F. V. Sari and A. Wibowo, “ANALISIS
SENTIMEN PELANGGAN TOKO ONLINE JD.ID MENGGUNAKAN METODE NAÏVE BAYES CLASSIFIER BERBASIS KONVERSI IKON EMOSI,” Jurnal SIMETRIS , vol. 10, no. 2, 2019.
[10] M. Eksa Permana, H. Ramadhan, I. Budi, A. Budi
Santoso, and P. Kresna Putra, “Sentiment analysis
and topic detection of mobile banking application review,” in 2020 5th International Conference on Informatics and Computing, ICIC 2020 , Nov. 2020. doi: 10.1109/ICIC50835.2020.9288616.
[11] A. Muhammadin and I. A. Sobari, “Analisis Sen- timen Pada Ulasan Aplikasi Kredivo Dengan Algo- ritma SVM Dan NBC,” Jurnal Rekayasa Perangkat Lunak , vol. 2, no. 2, 2021, [Online]. Available: http://jurnal.bsi.ac.id/index.php/reputasi
[12] M. Y. Febrianta, S. Widiyanesti, and S. R. Rama- dhan, “ANALISIS ULASAN INDIE VIDEO GAME LOKAL PADA STEAM MENGGUNAKAN SENTIMENT ANALYSIS DENGAN ALGORITMA NAÏVE BAYES CLASSIFIER DAN LDA-BASED TOPIC MODELING REVIEW ANALYSIS OF LOCAL INDIE VIDEO GAMES ON STEAM USING SENTIMENT ANALYSIS WITH NAÏVE BAYES CLASSIFIER ALGORITHM AND LDA-BASED TOPIC MODELING,” 2021.
[13] W. Wijanarto and S. 0 P. Brilianti, “Peningkatan Per- forma Analisis Sentimen 0 Dengan Resampling dan Hyperparameter pada 0 Ulasan Aplikasi BNI 0 Mobile,” Jurnal Eksplora Informatika , 0 vol. 9, no. 2, pp. 140–153, 2020, doi:
10.30864/eksplora.v9i2.333.
[14] D. A. Kristiyanti, D. A. Putri, E. Indrayuni, A. Nur- hadi, and A. H. Umam, “E-Wallet Sentiment Analy- sis Using Naïve Bayes and Support Vector Machine Algorithm,” in Journal of Physics: Conference Se- ries , Nov. 2020, vol. 1641, no. 1. doi:
10.1088/1742-6596/1641/1/012079.
[15] R. Watrianthos, S. Suryadi, D. Irmayani, M. Nasu- tion, and E. F. S. Simanjorang, “Sentiment Analysis Of Traveloka App Using Naïve Bayes Classifier Method,” INTERNATIONAL JOURNAL OF SCIENTIFIC & TECHNOLOGY RESEARCH , vol. 8, p. 7, 2019, [Online]. Available: www.ijstr.org