## Analisis Sentimen Pengguna Aplikasi Sistem Pembayaran UTAP Pondok Pesantren Salafiyah Syafi’iyah Situbondo
Author: Akhlis Munazilin 1 Mohammad Nasta’in 2
Afiliation: Universitas Ibrahimy 1,2
Corresponding email akhlismunazilin@gmail .com mohammadnastain08@ gmail.com
Histori Naskah:
Submit: 2023-07-29 Accepted: 2023-07-29 Published: 2023-07-31 This is an Creative Commons
License This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License

## Abstrak :
Pondok  Pesantren  Salafiyah  Syafi’iyah  atau  yang  dikenal  dengan  P2S2 merupakan  pondok  yang  telah  berdiri  lebih  dari  satu  abad  dan  masih menjaga sistem salafi dan tradisional dengan didirikannya beberapa bidang pendidikan  mulai  dari  SLTP  hingga  PT  untuk  formal  dan  Madrasah Diniyah hingga Madrasah Aliyah yang dapat menunjang lulusannya dapat bersaing  di  masyarakat.  Kebanyakan  santri  berpendidikan  merangkap diniyah  dan  formal,  sehingga  sangat  sulit  bagi  pengurus  pesantren  untuk selalu melakukan pembayaran biaya tahunan pesantren oleh semua santri. P2S2  membuat  teknologi  aplikasi  sendiri  yang  dinamakan  SIMANTAP (Sistem  Pembayaran  Uang  Tahunan  Pesantren),  dengan  harapan  agar pengurus  pesantren  dan  wali  santri  dapat  melakukan  pembayaran  dengan mudah. Namun realita yang ada yaitu beberapa wali santri gagap teknologi dan  masih  sering  terjadi  error  pada  aplikasi.  SIMANTAP  ini  dapat diunduh pada play store dan pengguna dapat memberikan kritik saran pada play  store  SIMANTAP.  Fokus  penelitian  untuk  menggali  problematika pengguna  aplikasi  dengan  metode  web  scraping  dan  metode  naïve  bayes dengan  bahasa  pemrograman  Python.  Dari  225  komentar  terdiri  dari  165 komentar positif dan 60 komentar negatif atas aplikasi SIMANTAP P2S2.
Kata kunci : Analisis Sentimen, UTAP, SIMANTAP, Salafiyah Syafi’iyah Situbondo

## Pendahuluan
Pondok  pesantren  adalah  sebuah  bentuk  lembaga  pendidikan  yang  eksistensinya  cukup  lama  di  Negara Indonesia  dan  terbukti  memiliki  kontribusi  besar  dalam  berbagai  aspek  kehidupan  bangsa  (Achmad, Agung  Budi  Sulistiyo,  2021).  Sebagai  salah  satu  bentuk  Pendidikan  tertua  di  Indonesia,  pengaruh perkembangan teknologi telah memberikan dampak negative maupun positif bagi kehidupan di pesantren. Salah  satu  dampak  positifnya  yaitu  teknologi  telah  membantu  pondok  pesatren  untuk  mempermudah walisantri  dalam  melakukan  pembayaran  uang  tahunan  santri  pada  ponpes  salafiyah  syafiiyah  sukorejo situbondo.  Dengan  cara  menyediakan  layanan  pembayaran  digital  menggunakan  aplikasi  SIMANTAP (Asmito, 2023).
Pembayaran  digital  merupakan  proses  penggunaan  teknologi  untuk  melakukan  transaksi  pembayaran secara  elektronik  tanpa  menggunakan  uang  tunai.  Sehingga  meminimalisisr  adanya  kehilangan  uang tunai.  Mayoritas  walisantri  menerima  adanya  system  ini  karena  tidak  hanya  pembayaran  uang  tahunan santri  saja,  tetapi  pembayaran  yang  lain  juga  disediakan  seperti  spp,  dana  sehat  dan  dpp  (Prabowo  & Wiguna,  2021).  Hal  ini  tentu  sangat  mempermudah  walisantri  yang  ingin  melakukan  pembayaran terutama  yang  rumahnya  jauh  dari  kota.  Cara  kerja  pembayaran  di  aplikasi  SIMANTAP  yaitu  dengan membuka  aplikasi  yang  sudah  terpasang  di  smartphone,  lalu  memilih  layanan  pembayaran  yang  ingin dilakukan lalu mengkonfirmasi layanan pembayaran. Setelah layanan pembayaran dikonfirmasi walisantri akan mendapat nomer rekening dari pengurus pesantren kemudian mentransfer jumlah pembayaran yang
telah  tertera  pada  aplikasi.(Sunni  &  Widyantoro,  2012)  Hal  ini  tentu  sangat  mempermudah  walisantri dalam mempermudah pembayaran.
Seiring  perkembangan  jasa  pembayaran  online  pada  aplikasi  SIMANTAP  P2S3,  masyarakat  atau walisantri memiliki opini dan pendapatnya masing masing. Masyarakat biasanya memberikan opini atau pendapatnya  melalui  kolom  komentar  yang  telah  disediakan  pada  aplikasi  SIMANTAP.  Pendapat  yang diberikan  masyarakat  terhadap  sistem  pembayaran  digital  SIMANTAP  P2S3  beragam,  ada  yang merespon baik karena merasa di mudahkan, ada juga yang  merespon negative karena merasa pelayanan yang  kurang  memuaskan.  Apabila  diteliti  dan  dipahami  lebih  lanjut  terhadap  pendapat  dan  opini masyarakat  tersebut  maka  akan  didapatkan  sebuah  sentimen  yang  apabila  dikumpulkan  akan mendapatkan  kesimpulan  apakah  sistem  pembayaran  ini  relevan  untuk  kedepanya  atau  tidak.  Analisis sentimen adalah studi komputasi dari opini-opini, sentimen, serta emosi yang diekspresikan dalam teks . Tugas  dasar  dalam  analisis  sentimen  adalah  mengelompokkan  polaritas  dari  teks  yang  ada  dalam dokumen,  kalimat,  atau  pendapar.  Polaritas  mempunyai  arti  apakah  teks  yang  ada  dalam  dokumen, kalimat, atau pendapat memiliki aspek positif atau negative (Alita & Isnain, 2020).
Teknik  pembelajaran  mesin  atau  mechine  learning  yang  digunakan  dalam  penerapan  metode  ini  adalah naïve bayes classifier (NBC). NBC merupakan salah satu metode machine learning yang memanfaatkan perhitungan probabilitas dan statistik . Analisis sentimen yang dibangun menggunakan NBC memperoleh akurasi  sebesar  83%  dan  rata-rata  harmonik  sebesar  90,713%  .  Perbandingan  beberapa  metode  seperti metode  Naïve  Bayes,  K-nearest  Neighbor,  dan  gabungan  K-means  dan  LVQ  dalam  mengklasifikasikan kategori buku berbahasa Indonesia dengan data yang digunakan berjumlah 200 buku, 150 buku digunakan sebagai  data  latih,  sedangkan  50  buku  digunakan  sebagai  data  uji.(Buntoro,  2017)  Dari  hasil  penelitian yang  dilakukan,  metode  KNN  memperoleh  akurasi  sebesar  96%,  kemudian  Naïve  Bayes  sebesar  98%, lalu  kombinasi  K-Means  dan  LVQ  menghasilkan  akurasi  sebesar  92,2%.  Metode  Naïve  Bayes mendapatkan  hasil  akurasi  yang  tertinggi  (Chandani  &  Wahono,  2015).  Tingkat  keakurasian pengklasifikasian  sangat  dipengaruhi  oleh  proses  training  Kompleksitas  data  juga  dapat  mempengaruhi hasil akurasi (Sunni & Widyantoro, 2012).

## Studi Literatur
Pada jurnal dengan judul “Analisis Sentimen Pada Jasa Ojek Online Menggunakan Metode Naïve Bayes“ yang  disusun  oleh  Didik  Garbian  Nugroho,  Yulison  Herry  Chrisnanto,  Agung  Wahana  menjelaskan mengenai mekanisme untuk proses mengekstraksi pendapat, sentimen, evaluasi, dan emosi orang tentang pelayanan  ojek  online  yang  tertulis.  Hasil  yang  didapatkan  dari  akurasi  naïve  bayes  memperoleh ketepatan 80%. (Nugroho et al., 2015)
Pada  jurnal  dengan  judul  “Penerapan  Algoritma  Naive  Bayes  untuk  Analisis  Sentimen  Review  Data Twitter BMKG Nasional“ yang disusun oleh Dedi Darwis, Nery Siskawati, Zaenal Abidin menjelaskan mengenai  mekanisme  untuk  dapat  memberikan  kemudahan  bagi  pengguna  untuk  melihat  opini  positif, negatif, dan netral. Hasil uji akurasi pada metode naive bayes untuk klasifikasi yaitu 69.97%. (Darwis et al., 2021)
Pada jurnal  dengan judul  “Analisis  Sentimen  Aplikasi  E-Government  Pada  Google  Play  Menggunakan Algoritma  Naïve  Bayes“  yang  disusun  oleh  Artanti  Inez  Tanggraeni,  Melkior  N.  N.  Sitokdana menjelaskan  mengenai  mekanisme  untuk  melihat  kecenderungan  pengguna  terhadap  aplikasi  secara otomatis,  apakah  positif  atau  negatif.  Dari  proses  menunjukkan  bahwa  aplikasi cenderung  mendapatkan respon  positif  dari  pengguna  dengan  perbandingan  407  ulasan  positif  dan  235  ulasan  negatif.  Hasil pengujian  analisis  sentimen  menggunakan  algoritma  Naïve  Bayes  dengan  pembobotan  TF-IDF
menghasilkan  akurasi  sebesar  89%,  precision  sebesar  83%,  dan  recall  sebesar  87%.  (Tanggraeni  & Sitokdana, 2022)

## Metode Penelitian
Data  yang  akan  digunakan  pada  penelitian  ini  bersumber  dari  ulasan  aplikasi  SIMANTAP  yang  kami scraping menggunakan google colaboratory. Dari data tersebut nantinya akan digunakan untuk data latih dan  Sebagian  menjadi  data  uji.  Kedua  data  ini  nantinya  akan  dilakukan  pre-processing  terlebih  dahulu untuk diolah menjadi teks yang bersih. (Gunawan et al., 2018)
Pada  tahap  pre-processing  data  ini,  data  ulasan  mentah  terlebih  dahulu  akan  dilakukan  proses  case folding,tokenizing,serta  filtering.  Dari  hasil  tahapan  ini  nantinya  akan  menghasilkan  fitur  yang  akan digunakan sebagai data untuk dijadikan pembelajaran mesin oleh NBC. Dalam tahapan prepocessing ini, terdiri  dari  casefolding,  tokenizing,  stemming,  dan  filtering.(Rachman  &  Pramana,  2020)  Berikut  ini penjelasan dari tahapan pre-processing:
1. Pada tahapan case folding, teks dilakukan proses perubahan dari huruf besar menjadi huruf kecil dan menghilangkan seluruh tanda baca pada kalimat.
2. Ada tahapan tokenizing, setiap kata akan dipisahkan berdasarkan spasi yang ditemukan
3. Pada tahapan stemming, yaitu pengubahan kata berimbuhan menjadi kata dasar.
4. Pada tahapan filtering, yaitu pembuangan kata-kata tidak penting dari hasil token.
Pada  tahap  ini  dilakukan  pengklasifikasian  teks  bersih  yang  sudah  melalui  tahap  pre-processing.untuk mengetahui  kategori  dari  teks  tersebut  berdasarkan  data  latih.  Metode  Naïve  Bayes  merupakan  proses pengklasifikasian  atau  pengujian  suatu  teks  baru  yang  belum  pernah  diketahui  kategorinya  berdasarkan basis pengetahuan yang dimiliki.(Giovani et al., 2020) Pada tahapan ini terdapat empat tahapan.
1. Pembentukan  fitur  data  latih,  Bagian  ini  merupakan  tahapan  awal  melakukan  pelatihan  data  latih. Dalam  penelitian  ini  yang  dimaksud  dengan  fitur  adalah  kata  kunci  yang  akan  menjadi  parameter satuan  data  latih  yaitu  dokumen(ulasan).  Dalam  kata  lain,  fitur  adalah  kata  yang  memiliki  nilai sentiment. Probabilitas dihitung dengan persamaan sebagai berikut.
𝑝(𝑤𝑘\𝑣𝑗) = 𝑛𝑘 + 1 (𝑗𝑢𝑚𝑙𝑎ℎ
𝑓𝑟𝑒𝑘𝑢𝑒𝑛𝑠𝑖 + 𝑗𝑢𝑚𝑙𝑎ℎ 𝑘𝑎𝑡𝑎)
2. Perhitungan nilai probabilitas data latih, Setelah dibentuk fitur dengan kemunculannya dari data latih selanjutnya menghitung probabilitas dari setiap kelas.
3. Menentukan probabilitas kelas Setelah dapat probabilitas dari setiap kelas,selanjutnya menghitung probabilitas setiap fitur pada setiap kelas menggunakan persamaan berikut
𝑝 ( 𝑤𝑘 𝑣𝑗 ) = 𝑓 ( 𝑤 𝑘𝑖 𝑐 𝑖 ) + 1 𝑓( 𝑐𝑖 + |𝑊|)
4. Perhitungan Vmap, Ditahap ini dilakukan proses perhitungan nilai probabilitas teks berdasarkan data latih. Teks yang akan diuji dilakukan tahap pre-processing dan penghitungan Vmap. Vmap adalah perhitungan yang digunakan NBC untuk menentukan probabilitas tertinggi data uji dari masing- masing kelas berdasarkan dari proses learning. Persamaan yang digunakan adalah sebagai berikut.

## {𝑝𝑜𝑠𝑖𝑡𝑖𝑓, 𝑛𝑒𝑔𝑎𝑡𝑖𝑓}𝑝(𝑤𝑘/𝑐)𝑥𝑝(𝑐)

## Hasil
Pada tahap ini menjelasan hasil penelitian dan pembahasan yang terdiri dari beberapa tahap, yaitu: 1. Tahapan Pre-Processing
Sebelum data ulasan digunakan, tahap pre-processing dilakukan untuk mendapatkan data bersih. Tahapan yang dilakukan antara lain case folding, tokenizing, stemming, dan filtering. (Hendrastuty et al., 2021) Berikut ini adalah data latih 1 sebelum dan setelah dilakukan pre-processing.
Gambar1. Data latih sebelum pre-processing Gambar 2. Data latih sesudah pre-processing

## 2. Penentuan Sentimen
Perbandingan jumlah data ulasan positif dan negatif yang didapatkan setelah melakukan pelabelan secara manual dan penghapusan ulasan yang tidak relevan menunjukkan bahwa dalam rentang waktu September 2021 sampai Oktober 2021, aplikasi SIMANTAP cenderung mendapatkan respon positif dari pengguna. Hal ini dibuktikan dengan sedikitnya data ulasan negatif pada aplikasi SIMANTAP dibandingkan dengan data ulasan positifnya. (Alita & Isnain, 2020) Hasil tersebut dapat dilihat pada diagram batang di Gambar 3

## 3. Naïve Bayes Classifier
Klasifikasi  menggunakan  algoritma  naïve  bayes  ini  dapat  menghasilkan  sebuah  model  yang  digunakan untuk data uji. Klasifikasi ini menggunakan library dari phyton yaitu scikit learn. Hasil dari permodelan dalam  proses  klasifikasi  data  yang  dilatih,  nantinya  akan  digunakan  pada  data  uji  coba  untuk  dijadikan acuan evaluasi terhadap klasifikasi menggunakan algoritma naïve bayes dalam proses analisis sentiment terhadap aplikasi SIMANTAP. (Ferdiana et al., 2019) hasil dari data uji terdapat pada gambar 4 berikut
Gambar 3. Ulasan perbandingan positif dan negative aplikasi SIMANTAP Gambar 4. Hasil dari data uji aplikasi SIMANTAP

## Pembahasan
Dengan  hasil  akurasi  yang  mendekati  100%,  yaitu  89%  membuktikan  cukup  tingginya  tingkat  akurasi analisis sentiment menggunakan klasifikasi naïve bayes. Hasil precision sebagai rasio data ulasan positif yang diprediksi dengan tepat dari keseluruhan data yang diprediksi juga menunjukkan hasil yang cukup tinggi, yaitu sebesar 89%. Selain itu, hasil recall sebesar 97% yang menunjukkan sensitivitas prediksi data ulasan positif berdasarkan data yang sebenarnya juga cukup tinggi. (Nurrun Muchammad Shiddieqy et al., 2016)

## Kesimpulan
Penelitian analisis sentiment terhadap aplikasi SIMANTAP menggunakan algoritma naïve bayes clasiffier menghasilkan kesimpulan bahwa :
1. Pengguna  aplikasi  Sentuh  Tanahku  cenderung  memberikan  respon  positif  terhadap  adanya  aplikasi karena terdapat 89 % data ulasan positif Di mana data tersebut lebih banyak dibandingkan data ulasan negatif yang berjumlah 18% data. Dengan demikian hasil ini dapat memperkuat penelitian sebelumnya yang mengatakan bahwa aplikasi sentuh tanahku memberikan kemudahan bagi pengguna.
2. Berdasarkan  hasil  dari  data  uji  menggunakan  algoritma  naïve  bayes  clasiffier,  klasifikasi  mampu memprediksi dengan cukup baik, hal ini ditunjukan dari hasil precission sebesar 82 %, recall 97%, dan fi-score 89%.

## Referensi
Achmad, Agung Budi Sulistiyo, W. P. (2021). Analisis dan Desain Sistem Informasi Kinerja Keuangan Badan Usaha PP. Salafiyah Syafi’iyah Sukorejo Situbondo . 21 (2), 327–332.
Alita, D., & Isnain, A. R. (2020). Pendeteksian Sarkasme pada Proses Analisis Sentimen Menggunakan Random Forest Classifier. Jurnal Komputasi , 8 (2), 50–58. https://doi.org/10.23960/komputasi.v8i2.2615
Asmito, Z. R. (2023). EFEKTIVITAS PEMANFAATAN SIMANTAP P2S3 DALAM PENGELOLAAN KEUANGAN SANTRI SALAFIYAH SYAFI’IYAH SUKOREJO: PENDEKATAN BERBASIS
KONSUMEN . 4 (1), 113–137.
Buntoro, G. A. (2017). Analisis Sentimen Calon Gubernur DKI Jakarta 2017 Di Twitter. INTEGER: Journal of Information Technology , 2 (1), 32–41. https://doi.org/10.31284/j.integer.2017.v2i1.95
Chandani, V., & Wahono, R. S. (2015). Komparasi Algoritma Klasifikasi Machine Learning Dan Feature
Selection pada Analisis Sentimen Review Film. Journal of Intelligent Systems , 1 (1), 55–59.
Darwis, D., Siskawati, N., & Abidin, Z. (2021). Penerapan Algoritma Naive Bayes Untuk Analisis Sentimen Review Data Twitter Bmkg Nasional. Jurnal Tekno Kompak , 15 (1), 131. https://doi.org/10.33365/jtk.v15i1.744
Ferdiana, R., Jatmiko, F., Purwanti, D. D., Ayu, A. S. T., & Dicka, W. F. (2019). Dataset Indonesia untuk Analisis Sentimen. Jurnal Nasional Teknik Elektro Dan Teknologi Informasi (JNTETI) , 8 (4), 334. https://doi.org/10.22146/jnteti.v8i4.533
Giovani, A. P., Ardiansyah, A., Haryanti, T., Kurniawati, L., & Gata, W. (2020). Analisis Sentimen Aplikasi Ruang Guru Di Twitter Menggunakan Algoritma Klasifikasi. Jurnal Teknoinfo , 14 (2), 115. https://doi.org/10.33365/jti.v14i2.679
Gunawan, B., Pratiwi, H. S., & Pratama, E. E. (2018). Sistem Analisis Sentimen pada Ulasan Produk Menggunakan Metode Naive Bayes. Jurnal Edukasi Dan Penelitian Informatika (JEPIN) , 4 (2), 113. https://doi.org/10.26418/jp.v4i2.27526
Hendrastuty, N., Rahman Isnain, A., Yanti Rahmadhani, A., Styawati, S., Hendrastuty, N., Isnain, A. R., Rahman Isnain, A., Yanti Rahmadhani, A., Styawati, S., Hendrastuty, N., & Isnain, A. R. (2021). Analisis Sentimen Masyarakat Terhadap Program Kartu Prakerja Pada Twitter Dengan Metode Support Vector Machine. Jurnal Informatika: Jurnal Pengembangan IT , 6 (3), 150–155. http://situs.com
Nugroho, D. G., Chrisnanto, Y. H., & Wahana, A. (2015). Analisis Sentimen Pada Jasa Ojek Online ... (Nugroho dkk.) . 156–161.
Nurrun Muchammad Shiddieqy, H., Paulus Insap, S., & Wing Wahyu, W. (2016). Studi Literatur Tentang Perbandingan Metode Untuk Proses Analisis Sentimen Di Twitter. Seminar Nasional Teknologi Informasi Dan Komunikasi , 2016 (March), 57–64.
Prabowo, W. A., & Wiguna, C. (2021). Sistem Informasi UMKM Bengkel Berbasis Web Menggunakan Metode SCRUM. Jurnal Media Informatika Budidarma , 5 (1), 149. https://doi.org/10.30865/mib.v5i1.2604
Rachman, F. F., & Pramana, S. (2020). Analisis Sentimen Pro dan Kontra Masyarakat Indonesia tentang Vaksin COVID-19 pada Media Sosial Twitter. Health Information Management Journal , 8 (2), 100– 109. https://inohim.esaunggul.ac.id/index.php/INO/article/view/223/175
Sunni, I., & Widyantoro, D. H. (2012). Analisis Sentimen dan Ekstraksi Topik Penentu Sentimen pada Opini Terhadap Tokoh Publik. Jurnal Sarjana Institut Teknologi Bandung Bidang Teknik Elektro Dan Informatika , 1 (2), 200–206.
Tanggraeni, A. I., & Sitokdana, M. N. N. (2022). Analisis Sentimen Aplikasi E-Government pada Google Play Menggunakan Algoritma Naïve Bayes. JATISI (Jurnal Teknik Informatika Dan Sistem Informasi) , 9 (2), 785–795. https://doi.org/10.35957/jatisi.v9i2.1835