Journal Sensi                                                                            Online ISSN: 2655-5298
Research Article                                            Open Access (CC–BY-SA)

## Analisis Sentimen dan Pemodelan Ulasan Aplikasi AdaKami Menggunakan Algoritma SVM dan KNN
Dea Safryda Putri* 1 , Nina Sulistiyowati 2 , Apriade Voutama 3 1,2,3 Program Studi Sistem Informasi, Fakultas Ilmu Komputer, Universitas Singaperbangsa Karawang, Karawang e-mail: * 1 dea.safryda19039@student.unsika.ac.id , 2 nina.sulistio@staff.unsika.ac.id ,
3 apriade.voutama@staff.unsika.ac.id

## Abstrak
Salah satu aplikasi pinjaman uang online populer di Google Play Store  yaitu aplikasi AdaKami.  Bagi  calon  pengguna,  ulasan  mampu  memberikan  detail  pengalaman  penggunaan aplikasi.  Bagi  pihak  perusahaan,  ulasan  pengguna  dapat  menjadi  acuan  evaluasi  aplikasi. Masalah yang ditemukan yaitu jumlah dan keragaman ulasan pengguna aplikasi AdaKami yang tidak  efisien  untuk  dibaca  satu  per  satu  sehingga  perlu  dilakukan  analisis  sentimen  dan pemodelan.  Tujuan  penelitian  ini  yaitu  mengetahui  reputasi  aplikasi  berdasarkan  sentimen dominan dalam ulasan pengguna dan membuat model analisis sentimen yang optimal. Penelitian ini menggunakan Metode SEMMA, dengan 1.000 data ulasan bersumber dari Google Play Store, melalui  proses  sampling  dan  labelling  (negatif,  positif,  netral).  Dalam  pemodelan  analisis sentimen, diujicobakan tiga variabel yaitu metode pelabelan (manual dan leksikon), algoritma (SVM dan KNN) dan proporsi pembagian data (data latih : data uji = 90:10, 80:20, 70:30, 60:40 dan  50:50)  yang  disajikan  dalam  bentuk  20  skenario.  Hasil  penelitian  menunjukkan  bahwa sentimen paling dominan adalah positif dan model paling optimal yaitu model skenario 6 yang menggunakan  algoritma  SVM,  metode  pelabelan  manual  dan  proporsi  90:10.  Model  tersebut memiliki performa 93% accuracy, 93% precision, 93% recall dan 92% f1-score.
Kata kunci — Analisis Sentimen, KNN, Leksikon, SEMMA, SVM

## Abstract
One of the popular online money loan applications on the Google Play Store is AdaKami application. For potential users, reviews are able to provide details on the experience of using the application. For companies, user reviews can be a reference for evaluating applications. The problem found is the number and diversity of user  reviews of AdaKami application which are inefficient to read one by one, so sentiment analysis and modeling are necessary. The purpose of this study is to determine reputation of the application based on the dominant sentiment in user reviews and create an optimal sentiment analysis model. This study uses SEMMA method, with 1.000 review data sourced from the Google Play Store, through a sampling and labeling process (negative, positive, neutral). In sentiment analysis modeling, three variables were tested, namely labeling method (manual and lexicon), algorithm (SVM and KNN) and data split (training data: test data = 90:10, 80:20, 70:30, 60:40 and 50:50) presented in the form of 20 scenarios. Results shows, the most dominant sentiment is positive and most optimal model is scenario 6 which used
ISSN: 1978-1520
Vol: 09 No. 02 – Agustus 2023                                                                                                             210
SVM algorithm, manual  labeling method  and 90:10 data split. This model has 93% accuracy, 93% precision, 93% recall and 92% f1-score.
Keywords — KNN, Lexicon, SEMMA, Sentiment Analysis, SVM

## 1. PENDAHULUAN
Dalam  era  perkembangan  teknologi  informasi,  aplikasi  pinjaman  uang  online  (pinjol) semakin populer sebagai solusi keuangan yang praktis [1]. Salah satu aplikasi pinjol yang populer di Google Play Store adalah aplikasi AdaKami. Aplikasi ini telah  mendapatkan lebih dari 500 ribu  ulasan  dari  pengguna  dan  memperoleh  rating  4.3/5  pada  Mei  2023  yang  menandakan popularitas dan penggunaan yang luas [2]. Rating aplikasi dapat menjadi pertimbangan bagi calon pengguna dalam memilih atau menggunakan aplikasi. Namun, untuk mengetahui reputasi aplikasi tersebut, calon pengguna tidak hanya dapat mengandalkan rating, tetapi juga perlu melihat ulasan pengguna yang mampu memberikan detail pengalaman penggunaan aplikasi [3]. Tantangan bagi calon pengguna  dan pihak  perusahaan  adalah jumlah  dan keragaman ulasan  yang tidak  efisien untuk dibaca satu per satu [4]. Dalam konteks aplikasi AdaKami, permasalahan yang dihadapi adalah bagaimana mengumpulkan dan menganalisis ulasan pengguna dengan tujuan memahami sentimen  paling  dominan  yang  terkandung  dalam  ulasan-ulasan  tersebut,  sehingga  reputasi aplikasi  dapat  diketahui.  Selain  itu,  permasalahan  lainnya  adalah  membangun  model  analisis sentimen yang memiliki performa yang terbaik bagi aplikasi AdaKami. Oleh karena itu, analisis sentimen dan pemodelan terhadap ulasan pengguna aplikasi AdaKami perlu dilakukan.
Data  mining dan text  mining merupakan  proses  penambangan  data  yang  banyak mengekstrak  informasi  tapi  yang  membedakan  dari  keduanya  yaitu,  bentuk  data  yang  diolah, dimana data mining mengolah data yang telah terstruktur sedangkan text mining mengolah data yang tidak terstruktur seperti teks, dokumen, laman web, dan sebagainya [5]. Analisis sentimen merupakan  salah  satu  kasus text  mining yang  merujuk  pada  proses  penggunaan  teknik-teknik komputasional untuk mengidentifikasi, mengekstraksi, dan memahami sentimen atau opini yang terkandung  dalam  teks  atau  data  unstruktural,  dengan  tujuan  mendapatkan  wawasan  yang berharga  dari  data  tersebut  [6].  Analisis  sentimen,  sebagai  bagian  dari  data  mining  dan  text mining,  melibatkan  penggunaan  berbagai  algoritma  dan  metode  komputasional  dalam penerapannya [7]. Dalam penelitian ini, algoritma klasifikasi yang digunakan dalam membangun model analisis sentimen adalah Support Vector Machine (SVM) dan K-Nearest Neighbor (KNN). Algoritma  SVM  dipilih  karena  kemampuannya  dalam  menangani  data  yang  kompleks  dan memiliki kekuatan generalisasi yang tinggi [8], sedangkan KNN dipilih karena fleksibilitasnya dalam mengadaptasi perubahan pada data yang sedang dianalisis [9]. Pendekatan yang digunakan dalam penelitian ini adalah Metode SEMMA (Sample, Explore, Modify, Model, Assess), yang terbukti  efektif  dalam  analisis  sentimen  [10].  Metode  SEMMA  memberikan  keleluasaan  dan fleksibilitas yang dibutuhkan dalam menghadapi kompleksitas kasus analisis sentimen dan fokus pada  pengelolaan  sampel  data  dengan  langkah-langkah  yang  terstruktur  [11].  Penelitian  ini menggunakan tiga label sentimen yaitu positif, negatif dan netral dengan kriteria sentimen positif mencakup ulasan yang mengandung pujian, kepuasan, dan saran positif terkait aplikasi sedangkan sentimen negatif meliputi ulasan yang berisi keluhan, umpatan, dan sarkasme terhadap aplikasi [12]. Netral adalah ulasan yang tidak termasuk dalam kategori sentimen positif maupun negatif [13].
Beberapa  penelitian  terkait  analisis  sentimen  dan  pemodelan  aplikasi  pinjaman  uang online (pinjol) telah dilakukan dalam beberapa tahun terakhir. Alman Muhammadin dan Irwan Agus  Sobari  (2021)  menerapkan  analisis  sentimen  terhadap  ulasan  pengguna  aplikasi  Kredivo

## Print    ISSN: 2461-1409
Journal Sensi                                                                             Online ISSN: 2655-5298
menggunakan  algoritma  SVM  dan  NBC,  dan  menyimpulkan  bahwa  model  dengan  algoritma SVM memiliki performa yang lebih baik, yaitu 83,3% dibandingkan dengan algoritma NBC yang hanya mencapai 80,8% [14]. Mussalimun et al. (2021) juga telah melakukan penelitian analisis sentimen terhadap aplikasi pinjol menggunakan KNN dan NB dengan data dari Google Play Store terhadap  platform  IGROW  [15].  Namun,  penelitian  yang  secara  spesifik  membahas  aplikasi AdaKami dengan fokus pada pembangunan model analisis sentimen yang menerapkan metode pelabelan  manual  dan  leksikon,  serta  mencakup  lima  proporsi  pembagian  data  latih  dan  uji, terhadap algoritma SVM  dan KNN dengan pendekatan SEMMA masih  terbatas. Penelitian ini diharapkan  dapat  mengisi  kekosongan  literatur  tersebut  dan  memberikan  kontribusi  dalam pemahaman  yang  lebih  mendalam  tentang  sentimen  pengguna  serta  pengembangan  model analisis sentimen yang efektif.

## 2. METODE PENELITIAN
Metode  penelitian  yang  digunakan  mengacu  pada  kerangka  SEMMA.  SEMMA  terdiri dari lima tahap yaitu sample (opsional), explore, modify, model dan assess.

## Gambar 1. Metode SEMMA
Penerapan Metode SEMMA dalam penelitian ini dilakukan dengan menerapkan tahapan opsional yaitu sample dan tanpa pengulangan atau tanpa kembali ke tahap sample setelah tahap assess selesai. Metode SEMMA yang diterapkan dalam penelitian ini telah disesuaikan dengan kebutuhan dan konteks penelitian ini.
2.1 Sample (Sampel)
Tahap  sampel  dalam  penelitian  ini  terdiri  dari  empat  proses  yang  secara  sistematis ditampilkan pada Gambar 2.
Gambar 2. Alur Tahap Sampel
Pada tahap ini, dilakukan proses sampling menggunakan metode simple random sampling setelah melakukan scraping data  ulasan  pengguna  dari  Google  Play  Store  terkait  aplikasi  AdaKami. Jumlah sampel yang diambil sebanyak 1.000 data dipilih berdasarkan kebutuhan penelitian ini.
ISSN: 1978-1520
Vol: 09 No. 02 – Agustus 2023                                                                                                             212
Simple  random  sampling dipilih  karena  teknik  tersebut  dapat  menghasilkan  sampel  yang mewakili populasi secara acak dan setiap elemen dalam populasi memiliki peluang yang sama untuk  dipilih.  Dalam  tahap  ini,  dilakukan  pelabelan  dengan  menggunakan  metode  leksikon VADER  dan  metode  manual.  Leksikon  VADER  dapat  mendeteksi  sentimen  berdasarkan polaritas  kata-kata  menggunakan  kamus  yang  telah  tersedia  [16].  Metode  manual  dilakukan dengan  cara  melabeli  ulasan  satu  per  satu  tanpa  bantuan  sistem.    Kriteria  sentimen  positif mencakup ulasan  yang mengandung pujian dan kepuasan  sedangkan sentimen negatif meliputi ulasan yang berisi keluhan, umpatan, dan sarkasme [12] .
2.2 Explore (Eksplorasi)
Tahap  eksplorasi  dalam  penelitian  ini  terdiri  dari  dua  proses  yang  secara  sistematis ditampilkan pada Gambar 3.
Gambar 3. Alur Tahap Eksplorasi
Pada  tahap  ini,  dilakukan  eksplorasi  pendeskripsian  data  dan  visualisasi  data.  Visualisasi  data dilakukan untuk mengetahui sentimen paling dominan terhadap ulasan aplikasi AdaKami serta untuk  mengetahui  apakah  data  yang  digunakan  seimbang  atau  tidak  seimbang.  Selain  itu, wordcloud dibuat untuk memberikan gambaran yang komprehensif dan menarik mengenai kata- kata  yang  dominan  dalam  ulasan  pengguna  [17].  Semakin  besar  suatu  kata  dalam  wordcloud, semakin  umum  kata  tersebut  tercantum  pada  ulasan  pengguna  dan  sebaliknya.  Alasan penggunaan wordcloud adalah untuk menyajikan informasi penting secara lebih ringkas.
2.3 Modify (Modifikasi)
Tahap  modifikasi  dalam  penelitian  ini  terdiri  dari  tiga  proses  yang  secara  sistematis ditampilkan pada Gambar 4.
Gambar 4. Alur Tahap Modifikasi
Tahap ini melibatkan proses eliminasi atribut, text pre-processing , dan pembobotan kata. Proses eliminasi atribut dilakukan untuk menghilangkan atribut yang kurang relevan dalam penelitian. Text pre-processing penting untuk dilakukan agar data bebas dari noise yang dapat mempengaruhi pembuatan  model. Text  pre-processing yang  diterapkan  dalam  penelitian  ini  diterapkan  dalam enam tahap sebagai berikut.
Gambar 5. Text Pre-processing
Case folding akan mengubah huruf besar (A-Z) menjadi kecil (a-z). Cleaning akan membersihkan data  dari  simbol  dan  angka  diluar  alphabet  (a-z). Tokenizing akan  memecah  kalimat  menjadi
Vol. 09 No. 02 – Agustus 2023                                                                                                             213
potongan string guna mempermudah pemeriksaan setiap kata pada tahap selanjutnya. Normalize akan  memeriksa  dan  memperbaiki  kata-kata  yang  tidak  sesuai  EYD. Stopword  removal akan menghapus kata-kata yang kurang bermakna. Stemming akan memeriksa dan mengubah kata-kata berimbuhan  kedalam  bentuk  dasarnya  [9].  Proses  penghapusan  data missing  value diterapkan setelah data melalui text pre-processing agar data bebas dari data kosong dan tidak mengganggu representasi  data  dan  analisis  statistik  seperti  pembobotan  kata.  Pembobotan  kata  dilakukan menggunakan  Term  Frequency  -  Inverse  Document  Frequency  (TF-IDF).  TF-IDF  dapat mentransformasi data teks menjadi representasi numerik yang dapat diolah oleh algoritma analisis sentimen.  Semakin  besar  bobot  suatu  kata  maka  semakin  umum  kata  tersebut  pada  dokumen keseluruhan dan sebaliknya.
2.4 Model (Pemodelan)
Tahap  pemodelan  dalam  penelitian  ini  terdiri  dari  dua  proses  yang  secara  sistematis ditampilkan pada Gambar 6.
Gambar 6. Alur Tahap Pemodelan
Pada tahap ini, dilakukan pembuatan model analisis sentimen. Penelitian ini menguji tiga variabel dalam upaya memperoleh model dengan performa optimal, yaitu proporsi pembagian data latih dan  uji  (90:10,  80:20,  70:30,  60:40,  dan  50:50),  metode  pelabelan  (menggunakan  leksikon VADER dan pelabelan manual), serta dua algoritma klasifikasi, yaitu Support Vector Machine (SVM) dan K-Nearest Neighbor (KNN). Pengujian terhadap tiga variabel disimplifikasi dalam bentuk skenario pembuatan model sebagai berikut.
Tabel 1. Skenario Pembuatan Model Skenario Variabel Uji Pembuatan Model Algoritma Metode Pemberian Label Proporsi (Data latih : Data uji) 1 SVM Leksikon 90:10 2 80:20 3 70:30 4 60:40 5 50:50 6 Manual 90:10 7 80:20 8 70:30 9 60:40 10 50:50 11 KNN Leksikon 90:10 12 80:20 13 70:30 14 60:40
ISSN: 1978-1520
Vol: 09 No. 02 – Agustus 2023                                                                                                             214
15 50:50
16 Manual 90:10 17 80:20 18 70:30 19 60:40 20 50:50
Skenario pembuatan model diatas diterapkan dengan library Scikit-learn Python. Apabila pada tahap explore diketahui  bahwa  data  seimbang,  maka  model  dengan  performa accuracy paling optimal dipilih untuk dievaluasi. Apabila diketahui data tidak seimbang, maka f1-score menjadi pertimbangan utama dalam memilih model paling optimal. F1-score dapat memberikan informasi lebih baik tentang kemampuan model dalam mengidentifikasi kelas minoritas dengan benar tanpa mengorbankan  performa  pada  kelas  mayoritas  dengan  mengkalkulasikan  keseimbangan  antara precision dan recall [19].
2.5 Assess (Evaluasi)
Tahap  evaluasi  dalam  penelitian  ini  terdiri  dari  dua  proses  yang  secara  sistematis ditampilkan pada Gambar 7.
Gambar 7. Alur Tahap Assess
Pada  tahap  ini  dilakukan  evaluasi  model  menggunakan  confusion  matrix.  Confusion matrix merepresentasikan data yang diprediksi benar (sesuai label/data aktual) dan salah (tidak sesuai label/data aktual). Berikut tampilan confusion matrix multi-class berukuran 3 x 3 dengan tiga label sentimen (positif, negatif dan netral).
Tabel 2. Confusion matrix Sentimen Aktual Sentimen Prediksi Negatif Positif Netral Negatif True Negatif False Negatif False Negatif Positif False Positif True Positif False Positif Netral False Netral False Netral True Netral
Hasil  evaluasi  confusion  matrix  digunakan  untuk  menghitung  tingkat accuracy , precision , recall , dan f1-score . Berikut rumus accuracy (1) , precision (2) , recall (3) dan f1-score
(4) :
⁄ (1) = ⁄ (2) ⁄ (3)
1 2 x x ⁄
(4)
Vol. 09 No. 02 – Agustus 2023                                                                                                             215
Pada  kasus multi-class, TP  ( true  positive ) dianggap  sebagai  data  yang  diklasifikasikan  dengan sesuai bagi kelas tertentu, TN ( true negative ) dianggap sebagai data yang diklasifikasikan dengan sesuai bagi kelas lainnya, FP ( false positive ) dianggap sebagai data yang salah diklasifikasikan bagi kelas tertentu, FN ( false negative ) dianggap sebagai data yang tidak diklasifikasikan pada kelas tertentu tetapi sebenarnya merupakan bagian dari kelas tersebut [13].
Evaluasi kinerja model secara keseluruhan dilakukan menggunakan pendekatan weighted average. Pendekatan weighted average dapat memberikan informasi lebih relevan tentang kinerja model terutama ketika terdapat ketidakseimbangan kelas yang signifikan [20]. Matriks evaluasi untuk  setiap  kelas  dihitung  secara  terpisah.  Kemudian, support  proportion (proporsi)  masing- masing kelas dalam dataset dihitung dengan mengjkalkulasikan jumlah data masing-masing kelas sentimen  dan  total  data  uji. Support  proportion (sp) masing-masing  kelas  sentimen  digunakan untuk memperoleh weighted average matriks evaluasi sebagai berikut.
ℎ  !  " # $ $ x $ % # $  x % $ x # $ $ $     $ % (5)
Score adalah score matriks evaluasi seperti precision, recall dan f1-score yang  dihitung untuk setiap kelas sentimen.

## 3. HASIL DAN PEMBAHASAN
3.1 Sample (Sampel)
Hasil  tahap  sampel  yaitu  1.000  data  ulasan  pengguna  aplikasi  pinjaman  uang online AdaKami yang telah diambil secara acak menggunakan teknik simple random sampling dari total 297.292 data ulasan hasil scraping website Google Play Store.
Gambar 8. Hasil sampling
Sebanyak  1.000  data  hasil sampling telah  diberi  label  melalui  dua  metode  yaitu  leksikon  dan manual. Label sentimen diberikan dalam bentuk angka yaitu 0 untuk negatif, 1 untuk positif dan 2 untuk netral.
Tabel 3. Data Ulasan dengan Label Sentimen No Ulasan ( content ) Label Leksikon Label Manual 1 Simple gak pake ribet Top 0 1 2 pda pihak ada kami,pdahl saya bayar selalu tepat waktu, kenapa sekarang mlah nga di acc lagi,,saya sgt kecewe 0 0
ISSN: 1978-1520
Vol: 09 No. 02 – Agustus 2023                                                                                                             216
3 Uang asli 2 2 … … … … 999 Baik 1 1 1000  pinjaman online cepat 2 1 3.2 Explore (Eksplorasi)
Hasil  tahap  eksplorasi  yaitu  informasi  dari  data  sampel  yang  diperoleh  dari  penerapan fungsi info() pada library Pandas Python sebagai berikut.
Gambar 9. Informasi Data
Gambar  diatas  menunjukan  bahwa  data  sampel  memiliki  15  atribut  dan  empat  tipe  data  yaitu object, float, interger dan datetime. Missing value ditemukan pada beberapa atribut diantaranya reviewCreatedVersion sebanyak 244 data, replyContent dan repliedAt masing-masing sebanyak 769  data.  Atribut  replyContent  dan  repliedAt  memiliki missing  value paling  banyak.  Atribut replyContent  dan  repliedAt  berisi  tanggapan  dari  pihak  AdaKami  terhadap  ulasan  pengguna. Adanya missing value pada kedua atribut tersebut merupakan evaluasi bagi pihak AdaKami untuk meningkatkan responsivitas dalam memberikan tanggapan terhadap ulasan pengguna.
Sebaran data berdasarkan sentimen telah diketahui berdasarkan hasil visualisasi. Berikut merupakan visualisasi sentimen pengguna aplikasi AdaKami.
Gambar 10. Sentimen Pengguna Aplikasi AdaKami

## Print    ISSN: 2461-1409
Journal Sensi                                                                             Online ISSN: 2655-5298
Gambar 10 merupakan visualisasi dari total 1.000 data ulasan yang telah diberikan label menggunakan dua metode pelabelan yaitu leksikon dan manual. Berdasarkan metode pelabelan menggunakan  leksikon  VADER,  telah  ditemukan  sebanyak  155  ulasan  yang  mengandung sentimen negatif, 620 ulasan yang mengandung sentimen positif dan 225 data netral. Berdasarkan metode  pelabelan  secara  manual,  telah  ditemukan  sebanyak  289  ulasan  yang  mengandung sentimen  negatif,  578  ulasan  yang  mengandung  sentimen  positif  dan  133  data  netral.  Kedua metode pelabelan menunjukkan bahwa sentimen paling dominan dari ulasan pengguna aplikasi AdaKami adalah sentimen positif. Dataset dalam penelitian ini tidak seimbang karena sentimen pada kelas sentimen terindikasi memiliki jumlah yang berbeda-beda.
Data ulasan pengguna aplikasi AdaKami telah divisualisasikan dalam bentuk wordcloud. Berikut wordcloud sentimen negatif data ulasan pengguna aplikasi AdaKami.
Gambar 11. Wordcloud Sentimen Negatif
Wordcloud  diatas  menunjukkan  bahwa  kata  ‘pinjam’,  ‘aplikasi’,  ‘gak’,  ‘bayar’  dan ‘tolak’  merupakan  lima  kata  yang  sering  muncul  pada  data  ulasan  negatif  aplikasi  AdaKami. Ulasan  bersentimen  negatif  dari  pengguna  kerap  membahas  topik  terkait  proses  peminjaman, penolakan  dan  pembayaran  pada  aplikasi.  Berikut  wordcloud  sentimen  positif  data  ulasan pengguna aplikasi AdaKami.
Gambar 12. Wordcloud Sentimen Positif
Wordcloud  diatas  menunjukkan  bahwa  kata  ‘bantu’,  ‘bagus’,  ‘mantap’,  ‘terima  kasih’ dan  ‘aplikasi’  merupakan  lima  kata  yang  sering  muncul  pada  data  ulasan  positif  aplikasi AdaKami. Ulasan bersentimen positif dari pengguna kerap menyampaikan pujian, kepuasan dan ucapan terima kasih terhadap layanan dan kinerja aplikasi. Berikut wordcloud data ulasan netral pengguna aplikasi AdaKami.
ISSN: 1978-1520
Vol: 09 No. 02 – Agustus 2023                                                                                                             218
Gambar 13. Wordcloud Netral
Wordcloud diatas menunjukkan bahwa kata ‘pinjam uang’, ‘cepat’, ‘pinjam’, ‘mantap’ dan ‘gak’ merupakan lima kata yang sering muncul pada data ulasan netral aplikasi AdaKami. Ulasan netral dari pengguna kerap membahas topik peminjaman uang dan kineja aplikasi.
3.3 Modify (Modifikasi)
Hasil tahap modifikasi diperoleh setelah menerapkan proses eliminasi atribut, text pre- processing, penghapusan missing value dan pembobotan kata secara berurutan. Proses eliminasi atribut telah berhasil menghilangkan 12 atribut yang tidak relevan diantaranya atribut reviewId, userName,  userImage,  polarity,  compound,  score,  thumbsUpCount,  reviewCreatedVersion,  at, replyContent,  repliedAt  dan  appName.  Atribut  yang  masih  relevan  untuk  digunakan  dalam penelitian ini yaitu atribut content (berisi ulasan pengguna), lex_label dan mnl_label (berisi label sentimen). Berikut merupakan dataframe hasil eliminasi atribut.
Gambar 14 Dataframe hasil eliminasi atribut
Setelah  proses  eliminasi  atribut,  data  ulasan  diolah  melalui  enam  tahap text  pre- processing yaitu case folding, cleaning, tokenizing, normalize, stopword removal dan stemming menghasilkan  1.000  data  yang  bebas  dari noise. Tabel  berikut  menampilkan  transformasi  data ulasan.
Tabel 4. Transformasi Data Ulasan Setiap Tahap Text Pre-Processing Ulasan Case Folding Cleaning Tokenizing Normalize Stopword Removal Stemming Memang ok dan ramh2. Estebes memang ok dan ramh2. estebes memang ok dan ramh estebes ['memang', 'ok', 'dan', 'ramh', 'estebes'] ['memang', 'oke', 'dan', 'ramah', 'estebes'] ['oke', 'ramah'] ['oke', 'ramah']
Verif wajahnya susah kalo tahu.!!!! verif wajahnya susah kalo tahu.!!!! verif wajahnya susah kalo tahu ['verif', 'wajahnya', 'susah', 'kalo', 'tahu'] ['verifikasi', 'wajahnya', 'susah', 'kalau', 'tahu'] ['verifikasi', 'wajahnya', 'susah'] ['verifikasi ', 'wajah', 'susah'] Beberapa pengajuan di tolak terus beberapa pengajuan di tolak terus beberapa pengajuan di tolak terus ['beberapa', 'pengajuan', 'di', 'tolak', 'terus'] ['beberapa', 'pengajuan', 'di', 'tolak', 'terus'] ['pengajuan' , 'tolak'] ['aju', 'tolak'] mantaaap pp.. pencairan cepat. mantaaap pp.. pencairan cepat. mantaaap pp pencairan cepat ['mantaaap pp', 'pencairan', 'cepat'] ['mantap', 'pencairan', 'cepat'] ['mantap', 'pencairan', 'cepat'] ['mantap', 'cair', 'cepat'] Bintang 4 dulu,nanti ditambah bintang 4 dulu,nanti ditambah bintang dulu nanti ditambah ['bintang', 'dulu', 'nanti', 'ditambah'] ['bintang', 'dulu', 'nanti', 'ditambah'] ['bintang', 'ditambah'] ['bintang', 'tambah']
Transformasi  data  ulasan  diatas  menunjukkan  bahwa  tahap case  folding telah  berhasil mengubah  semua  huruf  besar  (A-Z)  menjadi  huruf  kecil  (a-z).  Tahap cleaning telah  berhasil menghapus  simbol,  tanda  baca,  angka  dan  spasi  berlebih . Tahap tokenizing telah  berhasil memenggal kata pada data dalam bentuk string. Tahap normalize telah berhasil menyesuaikan kata-kata  yang  tidak  sesuai  ejaan  Bahasa  Indonesia  yang  disempurnakan.  Tahap stopword removal telah  berhasil  menghapus  kata-kata  yang  kurang  bermakna.  Tahap stemming telah berhasil mengubah kata-kata berimbuhan kedalam bentuk dasar.
Sebanyak  1.000  data  ulasan  hasil text  pre-processing dibersihkan  dari  data  bernilai kosong atau missing value sehingga menghasilkan sebanyak 971 data ulasan bebas missing value. Data tersebut diberikan bobot kata menggunakan tf-idf yang menghasilkan matriks dua dimensi berukuran 971 x 721. Matriks tersebut mengindikasikan bahwa terdapat 721 token (fitur) dan 971 dokumen dengan tampilan sebagai berikut.
Gambar 15. Matriks TF-IDF
Matriks  diatas  menampilkan  bobot  token  yang  telah  melalui  tahap  normalisasi  L2.  Semakin umum suatu kata maka semakin besar bobot tf-idf kata tersebut dan sebaliknya.
ISSN: 1978-1520
3.4 Model (Pemodelan)
Hasil  tahap  model  diperoleh  setelah  mengujicobakan  20  skenario  pembuatan  model terhadap  971  data  ulasan  yang  telah  diberi  bobot  kata  serta  label  data  leksikon  dan  manual menggunakan Scikit-learn Python. Berikut merupakan f1-score dan accuracy model yang telah dibuat berdasarkan 20 skenario pembuatan model.
Tabel 5. Hasil Implementasi 20 Skenario Pembuatan Model
Skenario Variabel (Algoritma –Pelabelan – Proporsi) Jumlah Data F1-Score Accuracy Latih Uji 1 SVM – Leksikon – 90:10 873 98 0.79 0.80 2 SVM – Leksikon – 80:20 776 195 0.78 0.79 3 SVM – Leksikon – 70:30 679 292 0.75 0.77 4 SVM – Leksikon – 60:40 582 389 0.73 0.75 5 SVM – Leksikon – 50:50 485 486 0.65 0.70 6 SVM – Manual – 90:10 873 98 0.92 0.93 7 SVM – Manual – 80:20 776 195 0.90 0.91 8 SVM – Manual – 70:30 679 292 0.89 0.90 9 SVM – Manual – 60:40 582 389 0.87 0.89 10 SVM – Manual – 50:50 485 486 0.84 0.86 11 KNN – Leksikon – 90:10 873 98 0.78 0.78 12 KNN – Leksikon – 80:20 776 195 0.77 0.77 13 KNN – Leksikon – 70:30 679 292 0.77 0.77 14 KNN – Leksikon – 60:40 582 389 0.74 0.74 15 KNN – Leksikon – 50:50 485 486 0.70 0.71 16 KNN – Manual – 90:10 873 98 0.90 0.90 17 KNN – Manual – 80:20 776 195 0.89 0.89 18 KNN – Manual – 70:30 679 292 0.87 0.88 19 KNN – Manual – 60:40 582 389 0.84 0.85 20 KNN – Manual – 50:50 485 486 0.84 0.85
Berdasarkan  Tabel  5,  model  analisis  sentimen  dengan  performa  paling  optimal  bagi aplikasi  AdaKami  adalah  model  Skenario  6.  Skenario  6  menghasilkan  model  dengan f1-score sebesar 0.92 (92%) dan accuracy sebesar 0.93 (93%) dengan menerapkan algoritma SVM dengan proporsi pembagian data 90:10 dan metode pelabelan data secara manual.
Tabel 6. Leksikon vs Manual dan SVM vs KNN Proporsi Komparasi F1-Score Accuracy Metode Pelabelan Algoritma Leksikon Manual Leksikon Manual 90:10 SVM 0.79 0.92 0.80 0.93 KNN 0.78 0.90 0.78 0.90 80:20 SVM 0.78 0.90 0.79 0.91
Vol. 09 No. 02 – Agustus 2023                                                                                                             221
KNN 0.77 0.89 0.77 0.89 70:30 SVM 0.75 0.89 0.77 0.90 KNN 0.77 0.87 0.77 0.88 60:40 SVM 0.73 0.87 0.75 0.89 KNN 0.74 0.84 0.74 0.85 50:50 SVM 0.65 0.84 0.70 0.86 KNN 0.70 0.84 0.71 0.85 Keterangan Angka Cetak Tebal Angka  yang  lebih  tinggi  dalam  komparasi  metode  pelabelan  ( f1-score
leksikon vs f1-score manual dan accuracy leksikon vs accuracy manual)
Angka lebih tinggi dalam komparasi algoritma masing-masing proporsi dan metode pelabelan ( f1-score SVM vs. f1-score KNN dan accuracy SVM vs. accuracy KNN)
Angka lebih rendah dalam komparasi algoritma masing-masing proporsi dan metode pelabelan ( f1-score SVM vs. f1-score KNN dan accuracy SVM vs. accuracy KNN)
Komparasi  antara  metode  pelabelan  leksikon  dengan  metode  pelabelan  manual menunjukkan  bahwa  metode  pelabelan  manual  menghasilkan  model  dengan f1-score dan accuracy yang  lebih  optimal  dibandingkan  metode  pelabelan  leksikon  pada  setiap  proporsi dengan  algoritma  SVM  maupun  KNN.  Komparasi  antara  algoritma  SVM  dengan  KNN menunjukkan bahwa algoritma SVM menghasilkan model  dengan f1-score dan accuracy yang lebih unggul pada 7 kasus yaitu proporsi 90:10-Leksikon, 90:10-Manual, 80:20-Leksikon, 80:20- Manual,  70:30-Manual,  60:40-Manual  dan  50:50-Manual,  sedangkan  algoritma  KNN menghasilkan model dengan f1-score dan accuracy yang lebih unggul pada 3 kasus yaitu proporsi 70:30-Leksikon,  60:40-Leksikon  dan  50:50-Leksikon.  Proporsi  90:10  pada  SVM-Leksikon, SVM-Manual,  KNN-Leksikon  dan  KNN-Manual  menghasilkan  model  dengan f1-score dan accuracy lebih unggul daripada proporsi lain.
3.5 Assess (Evaluasi)
Model analisis sentimen dengan performa paling optimal adalah model yang menerapkan skenario 6. Model tersebut dievaluasi menggunakan confusion matrix berikut.
Gambar 16. Confusion Matrix Model Analisis Sentimen AdaKami
ISSN: 1978-1520
Confusion matrix diatas menunjukkan bahwa dari total data uji sebanyak 98 data, data yang diprediksi secara benar oleh model sebanyak 91 data dan data yang diprediksi secara salah oleh model adalah sebanyak 7 data. Rincian jumlah data ulasan yang diprediksi dengan benar oleh model yaitu 30 data sentimen negatif, 56 data sentimen positif dan 5 data netral. Rincian jumlah data ulasan yang diprediksi secara salah oleh model yaitu 1 data sentimen negatif, 1 data sentimen positif dan 5 data netral. Berdasarkan informasi tersebut dapat diketahui bahwa sebaran data uji terdiri dari 31 data sentimen negatif, 57 data sentimen positif dan 10 data netral. Performa model secara lebih rinci telah dihitung manual menggunakan rumus accuracy, precision, recall dan f1- score berikut.
& ' ℎ ! ! $ ! (  ! ) !     * 30 56 5 98 56 61 0,92
Sentimen positif memiliki tingkat precision, recall, dan f1-score sebagai berikut: $   2 $   2 ! $ ! (  $   2 56 56 1 4 56 61 0,92 $   2 $   2 ( $   2 56
56 1 0 56 57 0,98 1 2 x x 2 x 0,92 x 0,98 0,92 0,98 2 x 0,90 1,9 2 x 0,47 0,94
Sentimen negatif memiliki tingkat precision, recall, dan f1-score sebagai berikut: 2 2 ! $ ! ( 2 30 30 0 1 30 31 0,97 2 2 ( 2 30 30 1 0 30 31 0,97 1 2 x x 2 x 0,97 x 0,97 0,97 0,97 2 x 0,94 1,94 2 x 0,485 0,97
Netral memiliki tingkat precision, recall, dan f1-score sebagai berikut:
! $ ! ( 5 5 0 1 5
6 0,83
(
5 5 1 4 5 10 0,50 1 2 x x 2 x 0,5 x 0,83 0,5 0,83 2 x 0,415 1,33 2 x 0,31 0,62
Berikut  merupakan  proporsi  masing-masing  kelas  sentimen  berdasarkan  jumlah  data  masing- masing sentimen dan total data uji.
$$   $ $ 567 57/98 = 0,58
$$   $ $ 9:; 31/98 = 0,32 $$   $ $ 9:< 10/98 = 0,10
Vol. 09 No. 02 – Agustus 2023                                                                                                             223
Tingkat precision, recall dan f1 - score secara keseluruhan pada model yaitu sebagai berikut.
ℎ  !  " 5=:>?7?69 0,92 x 0,58 0,97 x 0,32 0,83 x 0,10 0,93 ℎ  !  " =:>@AA 0,98 x 0,58 0,97 x 0,32 0,50 x 0,10 0,93 ℎ  !  " BCD7>6=: 0,94 x 0,58 0,97 x 0,32 0,62 x 0,10 0,92
Hasil  evaluasi  secara  keseluruhan  dari  model  paling  optimal  yaitu  model  6  adalah accuracy sebesar 0.93 (93%), precision sebesar 0.93 (93%), recall sebesar 0.93 (93%) dan f1-score 0.92 (92%). Model skenario 6 dieksport dalam  format Pickle sehingga dapat dimanfaatkan  kembali dengan lebih efisien tanpa harus melakukan pelatihan ulang.

## 4. KESIMPULAN
Kesimpulan dari penelitian ini adalah sebagai berikut:
1) Mengumpulkan  dan  menganalisis  ulasan  pengguna  dilakukan  dengan  cara scraping data ulasan pengguna dari website Google Play Store dan sampling yang menghasilkan 1.000 data ulasan  pengguna.  Data  diberi  label  sentimen  dengan  metode  leksikon  dan  manual  serta diproses untuk visualisasi  dan pemodelan. Sentimen paling dominan  dari ulasan pengguna aplikasi  AdaKami  adalah  sentimen positif (620 ulasan berdasarkan label  leksikon dan 578 ulasan  berdasarkan  label  manual).  Analisis  wordcloud  menunjukkan  bahwa  ulasan bersentimen positif dari pengguna kerap menyampaikan pujian, kepuasan dan ucapan terima kasih terhadap layanan dan kinerja aplikasi; ulasan bersentimen negatif dari pengguna kerap membahas topik terkait proses peminjaman, penolakan dan pembayaran pada aplikasi; ulasan netral  dari  pengguna  kerap  membahas  topik  peminjaman  uang  dan  kineja  aplikasi.  Topik- topik dari wordcloud dapat dijadikan acuan dalam meningkatkan kinerja aplikasi AdaKami.
2) Dalam  membangun  model  analisis  sentimen  yang  memiliki  performa  terbaik  bagi  aplikasi AdaKami  adalah  dengan  menerapkan  pengujian  terhadap  tiga  variabel  penting  dalam pemodelan yaitu algoritma (SVM dan KNN), metode pelabelan (Leksikon dan Manual) dan proporsi pembagian data latih dan uji (data latih : data uji = 90:10, 80:20, 70:30, 60:40 dan 50:50).  Model  analisis  sentimen  dengan  performa  paling  optimal  yaitu  model  yang menerapkan skenario 6, dimana model tersebut menggunakan algoritma SVM dengan metode pelabelan  manual  dan  proporsi  pembagian  data  90:10.  Model  tersebut  memiliki  performa yang baik dengan accuracy sebesar 93%, precision sebesar 93%, recall sebesar 93% dan f1- score 92%.
3) Hasil komparasi antara performa (akurasi dan f1-score) dari model-model yang menerapkan SVM  dan  KNN  menunjukkan  bahwa  SVM  menghasilkan  model  dengan  performa  lebih optimal daripada KNN dalam lebih banyak kasus (7 dari 10 kasus). Metode pelabelan manual menghasilkan model dengan performa lebih optimal daripada metode pelabelan leksikon pada setiap proporsi data dan algoritma yang diujikan. Bedasarkan efektivitas waktu dan tenaga, metode pelabelan manual kurang efektif karena diterapkan tanpa sistem sedangkan metode pelabelan leksikon lebih efektif karena memanfaatkan sistem (leksikon VADER via Python). Proporsi pembagian data latih dan uji 90:10 (data latih: data uji) menunjukkan bahwa proporsi tersebut  mampu  menghasilkan  model  dengan  performa  lebih  optimal  daripada  proporsi lainnya dalam setiap metode pelabelan dan algoritma yang diujikan.
ISSN: 1978-1520
Vol: 09 No. 02 – Agustus 2023                                                                                                             224
5. SARAN
Adapun saran terhadap penelitian ini adalah menerapkan grid search cv serta k-fold cv dalam memilih kernel dan parameter pada algoritma SVM dan nilai k pada algoritma KNN dalam pembuatan model. Pengembangan lebih lanjut terkait penelitian ini adalah pembuatan sistem dari model analisis sentimen yang telah dibuat.

## DAFTAR PUSTAKA
[1]  T.  Hidayati,  Ismayani,  Y. T.  Tanjung,  and  L.  Faqrurrowzi,  “Sosialisasi  Peran  Dan  Risiko Pinjaman Online,” J. Liaison Acad. Soc. , vol. 2, no. 4, pp. 107–113, 2022, doi: 435-1126-1- SM.
[2]  Google Play Store,
“Google Play Store,” play.google.com , 2022.
play.google.com/store/apps/category/FINANCE.
[3]  R.  Wahyudi and  G. Kusumawardhana, “Analisis  Sentimen pada  Aplikasi Grab di Google Play Store Menggunakan Support Vector Machine,” J. Inform. , vol. 8, no. 2, pp. 200–207, 2021, doi: 10.31294/ji.v8i2.9681.
[4]  E. H. Muktafin, K. Kusrini, and  E. T.  Luthfi, “Analisis Sentimen pada  Ulasan Pembelian Produk di Marketplace Shopee Menggunakan Pendekatan Natural Language Processing,” J. Eksplora Inform. , vol. 10, no. 1, pp. 32–42, 2020, doi: 10.30864/eksplora.v10i1.390.
[5]  E. Novalia, A. Voutama, and S. Susanto, “Sales System Using Apriori Algorithm to Analyze Consumer Purchase Patterns,” Buana Inf. Technol. Comput. Sci. (BIT CS) , vol. 3, no. 1, pp. 11–16, Jan. 2022, doi: 10.36805/bit-cs.v3i1.2049.
[6]  N.  M.  Maghfur,  F.  Muhammad,  and  A.  Voutama,  “Analysis  of  the  Relationship  between Public Sentiment on Social Media and Indonesian Covid-19 Dynamics,” Systematics , vol. 3, no. 3, pp. 336–345, 2021.
[7]  D.  W.  Ardras,  A.  Voutama,  S.  Informasi,  I.  Komputer,  U.  S.  Karawang,  and  T.  Timur, “ANALISIS  SENTIMEN  ANTI  LGBT  DI  INDONESIA  MELALUI  MEDIA  SOSIAL,” vol. 15, no. 1, pp. 23–28, 2023, doi: 10.30736/jt.v15i1.926.
[8]  D. L. Rianti et al. , “TREN MARKETPLACE BERDASARKAN KLASIFIKASI ULASAN PELANGGAN  MENGGUNAKAN PERBANDINGAN KERNEL,” vol.  6,  no. 1, pp. 98– 105, 2021.
[9]  A.  Yoga  Pratama et  al. ,  “Analisis  Sentimen  Media  Sosial  Twitter  Dengan  Algoritma  K- Nearest Neighbor Dan Seleksi Fitur Chi-Square (Kasus Omnibus Law Cipta Kerja),” J. Sains Komput. Inform. (J-SAKTI , vol. 5, no. 2, pp. 897–910, 2021.
[10] N. Sulistiyowati, M. Jajuli, T. Informatika, and U. Singaperbangsa, “Integrasi naïve bayes dengan teknik sampling smote untuk menangani data tidak seimbang,” vol. 14, pp. 34–37, 2020.
[11] C. M. Sitorus, A. Rizal, and M. Jajuli, “Prediksi Risiko Perjalanan Transportasi Online Dari
Vol. 09 No. 02 – Agustus 2023                                                                                                             225
Data Telematik Menggunakan Algoritma Support Vector Machine,” J. Tek. Inform. dan Sist. Inf. , vol. 6, no. 2, pp. 254–265, 2020, doi: 10.28932/jutisi.v6i2.2672.
[12] U. Kulsum, M. Jajuli, and N. Sulistiyowati, “Analisis Sentimen Aplikasi WETV di Google Play Store Menggunakan Algoritma Support Vector Machine,” vol. 6, no. 2, pp. 205–212, 2022.
[13] N. A. Rahma, Garno, and N. Sulistiyowati, “Analisis Sentimen Tempat Wisata Di Jakarta Pasca Covid -19 Dengan Algoritma Naïve Bayes,” J. Pendidik. dan Konseling Vol. , vol. 4, no. 6, pp. 5894–5908, 2022.
[14] A. Muhammadin and I. A. Sobari, “Analisis Sentimen Pada Ulasan Aplikasi Kredivo Dengan Algoritma Svm Dan Nbc,” Reputasi J. Rekayasa Perangkat Lunak , vol. 2, no. 2, pp. 85–91, 2021, doi: 10.31294/reputasi.v2i2.785.
[15] Mussalimun,  E.  H.  Khasby,  G.  I.  Dzikrillah,  and  Muljono,  “Comparison  of  K-  N  earest Neighbor (K -NN) and Naïve Bayes Algorithm for Sentiment Analysis on Google Play Store Textual  Reviews,”  in 2021  8th  International  Conference  on  Information  Technology, Computer  and  Electrical  Engineering  (ICITACEE) ,  Sep.  2021,  pp.  180–184,  doi: 10.1109/ICITACEE53184.2021.9617217.
[16] V.  Bonta,  N.  Kumaresh,  and  N.  Janardhan,  “A  Comprehensive  Study  on  Lexicon  Based Approaches for Sentiment Analysis,” Asian J. Comput. Sci. Technol. , vol. 8, no. S2, pp. 1– 6, 2019, doi: 10.51983/ajcst-2019.8.s2.2037.
[17] D.  P.  Santoso  and  W.  Wibowo,  “Analisis  Sentimen  Ulasan  Aplikasi  Buzzbreak Menggunakan Metode Naïve Bayes Classifier pada Situs Google Play Store,” J. Sains dan Seni ITS , vol. 11, no. 2, 2022, doi: 10.12962/j23373520.v11i2.72534.
[18] G. Hackeling, Mastering Machine Learning with scikit-learn . 2017.
[19] Z.  DeVries et  al. ,  “Using  a  national  surgical  database  to  predict  complications  following posterior  lumbar  surgery  and  comparing  the  area  under  the  curve  and  F1-score  for  the assessment of prognostic capability,” Spine J. , vol. 21, no. 7, pp. 1135–1142, Jul. 2021, doi: 10.1016/j.spinee.2021.02.007.
[20] Yuyun, Nurul Hidayah, and Supriadi Sahibu, “Algoritma Multinomial Naïve Bayes Untuk Klasifikasi  Sentimen  Pemerintah  Terhadap  Penanganan  Covid-19  Menggunakan  Data Twitter,” J. RESTI (Rekayasa Sist. dan Teknol. Informasi) , vol. 5, no. 4, pp. 820–826, 2021, doi: 10.29207/resti.v5i4.3146.