Terakreditasi Nomor 204/E/KPT/2022 | Vol. 4, No. 4, Oktober (2023), pp. 977-987

## Analisis Sentimen Berbasis Aspek Terhadap Ulasan Pengguna Aplikasi Pegadaian Digital Dengan Multiclass Multioutput Menggunakan Algoritma Support Vector Machine
Vina Fadillah¹, Faqih Hamami², Rachmadita Andreswari³ 1,2,3 Universitas Telkom, Bandung, Indonesia E-mail: ¹vinafadillah@student.telkomuniversity.ac.id, ²faqihhamami@telkomuniversity.ac.id, ³andreswari@telkomuniversity.ac.id

## Abstract
Badan  Usaha  Milik  Negara  (BUMN)  are  one  of  the  three  main  economic  players  in the  country,  alongside  cooperatives  and  private  enterprises,  aiming  to  realize  a prosperous  society  in  various  fields.  One  of  the  BUMN,  PT  Pegadaian,  operates  in  the financial sector. According to the directorate regulation of PT Pegadaian Number 122 of 2020, to enhance the quality and maturity level of information technology (IT), evaluation and monitoring mechanisms based on the international standard ISO/IEC 25010:2011 for System  &  Software  Quality  Models  are  required  in  managing  IT  quality.  Therefore,  PT Pegadaian is currently undergoing a transformation process to expand its business model that  was  originally  only  feasible  through  offline  means,  making  it  possible  to  be  done online.  To  support  this  Pegadaian  transformation  process,  an  application  named "Pegadaian  Digital"  has  been  developed,  containing  PT  Pegadaian's  core  businesses, such as buying and selling gold savings, pawn booking, and gold price reviews. To assist digital transformation process, sentiment analysis research is conducted based on various aspects  to  identify  aspects  in  the  application  that  need  to  be  improved  and  maintained. The study focuses on user reviews from Google Play Store, utilizing the KDD process and Support  vector  machine  algorithm.  The  aspects  used  in  this  research  are  Learnability, Efficiency, Errors, and Satisfaction, each aspect labelled as positive, negatif, and neutral (not  exist).  The  testing  in  this  research  is  divided  into  two  scenarios,  focusing  on  the model with default parameter and parameter with hyperparameter tuning. Subsequently, the  model  is  evaluated  with  accuracy,  precision,  recall,  F1-score,  and  K-Fold  Cross Validation. The evaluation results show that the scenario with a split data ratio of 80:20 using  SVM  with  basic  or  default  parameters  gets the best  performance  results based  on an accuracy value of 86%, recall 80%, f1-score 82%, precision 84%, and model did not overfitting.
Keywords: Google  Play  Store  Reviews,  Pegadaian  Digital,  ABSA  (Aspect  Based Sentiment Analysis), Support Vector Machine, Hyperparameter tuning

## Abstrak
BUMN  adalah  salah  satu  dari  tiga  pelaku  utama  ekonomi  negara  selain  koperasi  dan usaha  swasta  untuk  mewujudkan  masyarakat  yang  sejahtera  di  berbagai  bidang.  Salah satu  Perusahaan  Perseroan  yang  dimiliki  oleh  BUMN  adalah  PT  Pegadaian  yang bergerak pada sektor finansial. Berdasarkan peraturan direksi PT Pegadaian Nomor 122 Tahun 2020 dalam rangka meningkatkan kualitas dan maturity level teknologi informasi (TI) diperlukan mekanisme evaluasi serta monitoring berdasarkan standar internasional ISO/IEC  25010:2011  tentang  System  &  Software  Quality  Models  pada  pengelolaan kualitas teknologi informasi. Sehingga saat ini, PT Pegadaian sedang melakukan proses transformasi  untuk  menambahkan  bisnis  model  yang  awalnya  hanya  dapat  dilakukan secara luring menjadi memungkinkan dilakukan secara daring. Untuk mendukung proses transformasi  Pegadaian  tersebut,  dikembangkanlah  aplikasi  bernama  “Pegadaian Digital”.  Aplikasi  ini  berisikan  bisnis  utama  PT  Pegadaian  seperti  jual  beli  tabungan

## KESATRIA: Jurnal Penerapan Sistem Informasi (Komputer & Manajemen)
Terakreditasi Nomor 204/E/KPT/2022 | Vol. 4, No. 4, Oktober (2023), pp. 977-987
emas, booking gadai hingga tinjauan harga emas. Untuk membantu proses transformasi digital  ini  dilakukan  penulisan  sentimen  berbasis  aspek  agar  dapat  mengetahui  aspek pada aplikasi yang perlu diperbaiki dan dipertahankan. Penulisan ini berfokus pada data ulasan yang ada di Google Play Store dengan menggunakan tahapan berdasarkan KDD dan  menggunakan  algoritma  Support  Vector  Machine.  Aspek  yang  digunakan  dalam penulisan ini adalah learnability, efficiency, errors dan satisfaction dengan label positif, negatif  dan  netral  (tidak  beraspek).  Pengujian  pada  penulisan  ini  terbagi  menjadi  2 skenario  dengan  berfokus pada  dataset asli  dan  dataset dengan  hyperparameter  tuning. Kemudian  dilakukan  evaluasi  model  menggunakan  akurasi,  presisi,  recall  dan  f1-score. Hasil evaluasi menunjukkan bahwa skenario dengan rasio split data 80:20 menggunakan SVM  dengan  parameter  dasar  atau  default  mendapatkan  hasil  performansi  terbaik berdasarkan  nilai  akurasi  sebesar  86%,  recall  80%,  f1-score  82%  dan  presisi  sebesar 84%.
Kata  Kunci: Google  Play  Store  Reviews,  Pegadaian  Digital,  ABSA  (Aspect  Based Sentiment Analysis), Support Vector Machine, Hyperparameter tuning

## 1. Pendahuluan
Indonesia  sudah  menetapkan  untuk  mengusung  adanya  sistem  ekonomi  Pancasila. Artinya,  akan  diterapkan  sistem  ekonomi  campuran  yang  bertujuan  untuk  mengurangi monopoli  ekonomi  oleh  golongan  tertentu.  Salah  satu  contoh  pelaku  utama  ekonomi negara  selain  koperasi  dan  usaha  swasta  yaitu  BUMN.  Salah  satu  Perusahaan  Perseroan yang  dimiliki  oleh  BUMN  adalah  PT  Pegadaian  [1].  PT  Pegadaian  merupakan  instansi pemerintahan  yang  bergerak  pada  sektor  finansial  dengan  tugas  meningkatkan kesejahteraan rakyat kecil. Tumbuhnya usaha pergadaian dengan cukup pesat ditunjukan dengan adanya penyerapan pasar, artinya ada kebutuhan atas keberadaan lembaga tersebut di masyarakat yang dapat memberikan dana tunai dengan cepat, mudah dan prosedur yang sederhana [2].
Berdasarkan  peraturan  direksi  PT  Pegadaian  Nomor  122  Tahun  2020  Tentang Pedoman  Pengelolaan  Kualitas  Teknologi  Informasi  bahwa  dalam  rangka  meningkatkan kualitas  dan  maturity  level  teknologi  informasi  (TI)  yang  telah  digunakan  oleh Perusahaan,  diperlukan  mekanisme  evaluasi  serta  monitoring  berdasarkan  standar internasional  ISO/IEC  25010:2011  tentang  System  &  Software  Quality  Models  pada pengelolaan  kualitas  teknologi  informasi.  Untuk  mendukung  proses  transformasi Pegadaian  tersebut,  dikembangkanlah  salah  satu  aplikasi  bernama  “Pegadaian  Digital”. Aplikasi  ini  berisikan  bisnis  utama  dari  PT  Pegadaian  seperti  jual  beli  tabungan  emas, booking gadai hingga tinjauan harga emas [3].
Berdasarkan  data  ulasan  pengguna  di  Google  Play  Store  per  19  November  2022, tercatat  besar  penilaian  pengguna  terhadap  aplikasi  adalah  3.6/5  [4].  Jumlah  tersebut merupakan  angka  yang  cukup  besar  untuk  jumlah  ulasan  total  yang  sudah  mencapai 52.900. Karena itulah diperlukan teknik analisis data yang tepat untuk mengolah data dari hasil  ulasan  aplikasi  Pegadaian  Digital  tersebut.  Salah  satu  teknik  analisis  data  yaitu analisis  sentimen  berbasis  aspek  yang  dilakukan  untuk  melihat  kecenderungan  opini terhadap objek, baik negatif maupun positif pada aspek tertentu. Analisis sentimen sering digunakan  untuk  menyelesaikan  permasalahan-  permasalahan  yang  melibatkan  proses analisis  data  berupa  teks  (text  analytics).    Pada  Aplikasi  Pegadaian  Digital  merupakan core  bisnis  yang  ada  di  PT  Pegadaian,  sehingga  penelitian  ini  penting  selain  untuk mendukung  bisnis  utama  juga  untuk  memberikan  inovasi  supaya  Aplikasi  Pegadaian Digital tetap mengikuti perkembangan yang terjadi serta dapat meningkatkan kenyamanan customer  saat  menggunakan  aplikasi  tersebut.  Maka  dari  itu,  perlu  dilakukan  analisis sentimen  berbasis  aspek,  yaitu  analisis  sentimen  yang  tidak  terbatas  pada  satu  dokumen
Terakreditasi Nomor 204/E/KPT/2022 | Vol. 4, No. 4, Oktober (2023), pp. 977-987
ulasan,  namun  juga  pada  aspek-  aspek  yang  terkandung  di  dalamnya,  dan  mampu menampilkan seluruh aspek yang dibahas [5].
Hasil  dari  analisis  sentiment  berbasis  aspek  ini  diharapkan  dapat  membantu  PT Pegadaian  untuk  mengambil  tindakan  yang  tepat  untuk  meningkatkan  kualitas  layanan atau produknya, serta memperkuat aspek-aspek yang telah mendapatkan tanggapan positif dari pelanggan. Salah satu algoritma yang bisa digunakan untuk membantu PT Pegadaian adalah  algoritma  Support  Vector  Machine  dengan  penerapan  hyperparameter  tunning untuk menghasilkan performa model klasifikasi yang lebih baik.

## 2. Metodologi Penelitian

## 2.1. Pengumpulan Data
Data  yang  diperlukan  dalam  penulisan  ini  meliputi  teks  ulasan  pengguna  aplikasi Pegadaian  Digital  pada  google  play  store.  Data  ini  diperoleh  menggunakan  teknik scraping  dengan  jumlah  total  ulasan  sebanyak  23.326  data  pada  tanggal  13  maret  2023 dan hasil ini merupakan data ulasan Pegadaian Digital dari versi 1.0 hingga versi tebaru yakni  5.4.0.  Pada  penulisan  ini  hanya  berfokus  pada  ulasan  dari  versi  5.0  hingga  5.4.0 karena  pada  versi  aplikasi  5.0.0  terdapat  pembaharuan  besar,  termasuk  dalam  hal antarmuka  pengguna  (UI),  perbaikan  kesalahan,  dan  penambahan  beberapa  fitur.  Semua perubahan ini membuat data yang ada menjadi lebih relevan untuk dipertimbangkan oleh perusahaan saat melakukan pengembangan aplikasi selanjutnya. Karena alasan ini, jumlah data  yang  dikumpulkan  untuk  penelitian  ini  mencapai  3.547  data.  Untuk  melakukan scraping,  digunakan  tools  python  dengan  menjalankan  konfigurasi  pada  google  colab. Setelah  proses  scraping  selesai,  data  tersebut  dapat  disimpan  dalam  format  CSV  atau Excel.

## 2.2. Pemilihan Data
Data yang diperoleh dari laman google play store terdiri dari beberapa atribut, yaitu id, username  (nama  pengguna),  URL  foto  pengguna,  konten  (teks  ulasan),  nilai  kepuasan pengguna, thumbs up (jumlah pengguna lain yang menyukai ulasan), appVersion, waktu relatif pengguna menuliskan ulasan. Namun tidak semua atribut di atas digunakan dalam penulisan ini. Beberapa atribut yang digunakan yaitu konten (teks ulasan), versi aplikasi dan waktu penulisan ulasan.

## 2.3. Labelling
Dalam  melakukan  analisis  sentimen  berbasis  aspek  diperlukan  data  labelling  atau pelabelan  data  pada  data  yang  sudah  didapatkan,  proses  pelabelan  ini  dilakukan  secara manual  agar  didapatkan hasil  yang  lebih  akurat dan lebih  mudah  dipahami.  Label aspek yang  digunakan  yaitu  sebagai  berikut:  Learnability  (kemudahan  aplikasi  saat  dipelajari oleh  user),  Efficiency  (produktivitas  aplikasi  ketika  digunakan  oleh  user),  Memorability (kemudahan  aplikasi  untuk  diingat  oleh  user),  Errors  (rendahnya  tingkat  error  atau kesalahan dalam aplikasi) dan Satisfaction (kepuasan user ketika menggunakan aplikasi). Sehingga dapat diketahui bahwa aspek learnability dan memorability sebagai aspek yang sama karena kemudahan dalam mempelajari aplikasi maupun mengingat cara penggunaan aplikasi  merupakan  hal  yang  sama  [6].  Label  sentimen  yang  diberikan  pada  masing- masing data adalah positif (1), negatif (2), dan netral atau tidak beraspek (0).

## 2.4. Text Preprocessing
Setelah melakukan pelabelan pada dataset, langkah selanjutnya adalah melakukan text preprocessing.  Data  yang  sudah  dilakukan  pelabelan  masih  banyak  mengandung  ikon, tanda baca dan kata-kata yang tidak diperlukan. Oleh karena itu, tahap text preprocessing diperlukan untuk memastikan bahwa data yang digunakan memiliki kualitas tinggi, bebas dari nilai kosong, dan format yang sesuai dengan kebutuhan algoritma yang digunakan.
Tujuan  dari  tahap  ini  adalah  memudahkan  pemodelan  dan  analisis  sehingga menghasilkan  model  yang  berkualitas.  Berikut  adalah  langkah-langkah  dalam  text  pre- processing:
a) Analisis  Data  secara  singkat  merupakan  tahap  untuk  menyiapkan  dataset  yang telah  dikumpulkan  agar  layak  untuk  diolah  dan  dianalisis  lebih  lanjut.  Pada dataset  tersebut  nilai  data  (kalimat)  pada  kolom  “text”  Pada  dataset  yang  telah dikumpulkan,  tidak  semua  kolom  digunakan  dalam  penulisan  ini  dikarenakan banyak  kolom  yang  tidak  berkaitan  dengan  tujuan  penulisan  sehingga  dengan mempertimbangkan ketersediaan data yang berhasil terkumpul.
b) Data  Cleaning  adalah  proses  menghapus  dan  memperbaiki  kesalahan, ketidakkonsistenan,  serta  informasi  yang  tidak  relevan  dari  data  teks  sebelum dilakukan  analisis  atau  pemodelan.  Tujuan  utama  dari  proses  ini  adalah  untuk memastikan  bahwa  data  teks  memiliki  kualitas  yang  tinggi  dan  bebas  dari ketidakakuratan  yang  dapat  mempengaruhi  kinerja  dan  hasil  dari  model  yang akan  dibuat.  Adapun  langkah-langkah  yang  dapat  dilakukan  pada  penelitian  ini untuk  tahap  data  cleaning  sebagai  berikut:  remove  column,  mengisi  nilai  null, mengubah  tipe  data,  menghapus  karakter  dan  angka,  whitespace  removal,  dan case folding.
c) Standarisasi Kata merupakan proses mengubah kata-kata ke dalam bentuk standar atau normal. Tujuan dilakukannya yaitu untuk mengatasi variasi dalam penulisan kata dan memudahkan analisis teks secara efisien.
d) Tokenization  adalah  proses  ini  memungkinkan  teks  untuk  dipecah  menjadi bagian-bagian  yang  lebih  terdefinisi,  sehingga  dapat  diproses  dan  digunakan dalam langkah-langkah selanjutnya [7].
e) Stopword  Removal  merupakan  proses  penghilangan  kata-kata  umum  yang dianggap tidak relevan dalam pembentukan model. Tujuan dari proses ini adalah untuk  menyederhanakan  teks  dan  hanya  menggunakan  kata-kata  yang  dianggap memiliki makna penting [7]
f) Steamming  merupakan  proses  penguraian  bentuk  kata  menjadi  bentuk  kata dasarnya dengan menghapus imbuhan pada awalan dan akhiran kata [7]
2.5. Pembobotan TF-IDF ( Term Frequency Inverse Document Frequency ) Metode  ini  beroperasi  dengan  menghitung  tingkat  kepentingan  kata  dalam  suatu dokumen dengan mengalikan frekuensi kata tersebut di dalam dokumen (term frequency) dengan  logaritma  dari  rasio  jumlah  total  dokumen  terhadap  jumlah  dokumen  yang mengandung  kata  tersebut  (inverse  document  frequency).  Hasil  yang  diperoleh  dapat digunakan untuk merepresentasikan dan mengidentifikasi kata-kata yang memiliki tingkat kepentingan tertinggi dalam dokumen tersebut.
(1)
(2)
Di mana:
= Jumlah kata t di dalam d atau jumlah kata dalam dokumen = Inverse frekuensi dokumen = Jumlah kata t di dalam dokumen
= Kata
= Dokumen atau kumpulan dari kata
= Jumlah dari corpus atau jumlah seluruh dokumen

## 2.6. Implementasi Algoritma
Pada  tahap  ini  data  training  yang  telah  melalui  langkah-langkah  sebelumnya  akan digunakan sebagai data latih untuk melatih model. Dalam SVM multiclass dengan kernel
Terakreditasi Nomor 204/E/KPT/2022 | Vol. 4, No. 4, Oktober (2023), pp. 977-987
linier, dapat menggunakan pendekatan One-vs-One (OvO) atau One-vs-All (OvA) untuk menangani  klasifikasi  antara  beberapa  kelas.  Adapun  langkah-langkah  dalam  proses implementasi algoritma SVM sebagai berikut:
Menyiapkan dataset multiclass
Menghitung matriks kernel K:
K[i, j] = * X_j (3) Di mana: K[i, j]  = Elemen pada baris i dan kolom j dari matriks kernel = Tranpose vektor fitur dari data latih ke-i X_j = Vektor fitur dari data latih ke-j. Menghitung matriks Hessian H: H = Y * K * Y (4)
Di mana:
Y = Vector label positif, negatif dan netral K = Nilai kernel Menghitung vector alpha α: α = inv(H) * 1 (5) Di mana: α
= nilai vector yang dicari
inv(H)   = Invers dari matriks H K = Nilai kernel Menghitung vektor bobot w:
w = Σ (α_i * y_i * x_i)
(6) Di mana: w
= vektor bobot yang akan digunakan dalam hiperplane pemisah.
Σ = menjumlahkan kontribusi dari semua sampel pelatihan
α_i = koefisien Lagrange yang terkait dengan sampel pelatihan ke-i
y_i = label kelas dari sampel pelatihan ke-i.
x_i = vektor fitur dari sampel pelatihan ke-i Menghitung nilai bias b: b = y_j - Σ (α_i * y_i * K(x_i, x_j)) (7) Di mana: b = nilai bias atau offset dalam hiperplane pemisah y_j = label kelas dari sampel yang disebut "j" Σ = menjumlahkan kontribusi dari semua sampel pelatihan α_i = koefisien Lagrange yang terkait dengan sampel pelatihan ke-i y_i = label kelas dari sampel pelatihan ke-i.
K(x_i, x_j)
=  fungsi  kernel  yang  menghitung  nilai  kesamaan  antara  dua  vektor fitur
x_i dan x_j.
Menghitung hyperplane:
(8)
Di mana:
f(x) = Hasil prediksi (output) dari fungsi keputusan
= Transpose vector bobot
x = Data input SVM (x1 = index kata, x2 = bobot kata)
b = Parameter hyperplane yang dicari (nilai bias)
sign = Fungsi signum untuk mengembalikan nilai 1 jika argument positif atau nol, dan -1 jika argument negative

## 2.7. Hyperparameter Tuning
Dilakukan  optimasi  model  dengan  mencari  kombinasi  hyperparameter  yang  optimal, model  dapat  mencapai  akurasi  atau  performa  yang  lebih  baik  dalam  tugas  tertentu  [8]. Untuk  parameter  yang  diujikan  yaitu  antara  lain  C,  gamma  dan  kernel  [9],  dengan kombinasi nilai parameter yang digunakan sebagai berikut:
Tabel 1. Kombinasi Hyperparameter Tuning SVM
Parameter  Nilai C [0.1, 1, 10, 100, 1000] gamma [1, 0.1, 0.01, 0.001, 0.0001] kernel ['rbf','linear','poly']

## 2.8. Evaluasi
Setelah  melakukan  pemodelan  dan  menemukan  parameter  terbaik,  selanjutnya  adalah proses  evaluasi  menggunakan  confusion  matrix  untuk  mendapatkan  nilai  akurasi (accuracy),  presisi  (precision),  recall,  dan  f1-score  dengan  label  klasifikasi  yang digunakan untuk kelas prediksi adalah 0 untuk label tidak beraspek, 1 untuk label positif, dan 2 untuk label negatif.

## 3. Hasil dan Pembahasan

## 3.1. Skenario Pengujian Pertama
Pada  skenario  pengujian  pertama,  dilakukan  dengan  menggunakan  dataset  dasar  dan parameter  dasar.  Beberapa  percobaan  juga  dilakukan  dengan  memvariasikan  rasio pembagian  data  latih  dan  data  uji  yang  berbeda-beda,  dengan  menggunakan  rasio  split data tertentu.
Tabel 2. Skenario Pengujian Pertama Skenario 60:40 70:30 80:20 90:10 Skenario 1 ✓ × × × Skenario 2 × ✓ × × Skenario 3 × × ✓ × Skenario 4 × × × ✓
Berdasarkan hasil dari skenario pengujian pertama didapatkan hasil yang berbeda-beda. Masing-masing skenario memiliki nilai presisi, recall, F1-Score dan akurasi yang berbeda. Hasil skenario dapat dilihat berikut.
Gambar 1. Hasil Skenario Pengujian Pertama
86% 86%
87% 85% 75% 76%
77%
77%
79%
79% 81% 80%
85% 85% 86% 86% 65% 70% 75% 80% 85% 90% Skenario 1 Skenario 2 Skenario 3
Skenario 4 Presisi Recall F1-Score Akurasi
Terakreditasi Nomor 204/E/KPT/2022 | Vol. 4, No. 4, Oktober (2023), pp. 977-987
Dari  gambar  diketahui  bahwa  Skenario  3  dengan  rasio  split  data  80:20  memiliki performansi terbaik secara keseluruhan pada semua aspek yang digunakan. Pada skenario 3  memiliki  nilai  akurasi,  recall  dan  f1  score  terbaik  dibandingkan  skenario  lainnya, dengan nilai akurasi sebesar 86%, recall 77%, f1 score 81% dan presisi sebesar 87%.
Gambar 2. Perbandingan Akurasi K-Fold Validation Skenario Pengujian Pertama
Selanjutnya  dilakukan  evaluasi  menggunakan  k-fold  cross  validation.  Untuk  hasil  pada perbandingan akurasi  menggunakan  k-fold  cross  validation  pada  keempat skenario tidak mengalami overfitting karena perbedaan hasil dari akurasi yang tidak terlalu signifikan.

## 3.2. Skenario Pengujian Kedua
Pada  skenario  pengujian  kedua,  menggunakan  split  data  dari  skenario  pengujian pertama  berdasarkan  parameter  dasar  dan  model  yang  sudah  dilakukan  hyperparameter tuning.  Skenario  pengujian  dilakukan  dengan  menggunakan  rasio  dengan  hasil  terbaik pada skenario sebelumnya. Berikut merupakan skenario pengujian kedua.
Tabel 3. Skenario Pengujian Kedua Skenario Skenario Parameter Dasar Hyperparameter tuning Skenario 1 ✓ × Skenario 2 × ✓
Pada skenario kedua menggunakan rasio terbaik yang didapat pada skenario sebelumnya yaitu 80:20 menggunakan hyperparameter tuning dengan parameter c, gamma dan kernel [9], didapatkan hasil parameter terbaik sebagai berikut.
Tabel 4. Hasil Parameter Berdasarkan Skenario Pengujian Kedua
Parameter Nilai tiap Parameter C 10 gamma 0.1 kernel RBF
Dapat dilihat dari tabel setelah melakukan proses grid search didapatkan nilai parameter terbaik untuk masing-masing yaitu C = 10, gamma = 0.1 dan kernel = RBF
Tabel 5. Tabel per Aspek Average Metode Avg. Akurasi Avg. F1-score Avg. Presisi Avg. Recall SVM 86% 81% 87% 77% SVM Tunned 86% 82% 83% 81%
85%
85% 86% 86% 84% 85% 85% 86% 83% 84% 85% 86% 87% Skenario 1 Skenario 2 Skenario 3
Skenario 4 Akurasi Akurasi K-Fold
Terakreditasi Nomor 204/E/KPT/2022 | Vol. 4, No. 4, Oktober (2023), pp. 977-987
Berdasarkan  hasil  rata-rata  dari  table,  untuk  SVM  tanpa  menggunakan  hyperparameter tuning  diperoleh  sebesar  86%  akurasi,  81%  F1-score,  87%  presisi  dan  77%  recall. Sedangkan hasil dari rata-rata metode SVM dengan menggunakan hyperparameter tuning sebesar 86% akurasi, 82% F1-score, 83% presisi dan 81% recall.
Gambar 3. Confusion Matrix menggunakan hyperparameter tuning
Gambar 4. Confusion Matrix tanpa menggunakan hyperparameter tuning
Dapat  diketahui  bahwa  untuk  confusion  matrix  tanpa  menggunakan  hyperparameter tuning memberikan prediksi untuk label netral lebih baik dibandingkan dengan Confusion Matrix  yang  menggunakan  hyperparameter  tuning  dikarenakan  memiliki  nilai  true positive  untuk  label  0  (tidak  beraspek)  sebesar  1715  data,  sedangkan  untuk  label  positif dan  negatif  Confusion  Matrix  yang  menggunakan  hyperparameter  tuning  memberikan nilai lebih baik dikarenakan memiliki nilai true positive dibandingkan dengan yang tidak menggunakan  hyperparameter  tuning  yaitu  sebesar  500  data  untuk  label  positif  dan  292 untuk label negatif.
Gambar 5. Perbandingan Akurasi K-Fold Validation Skenario Pengujian Kedua
Selanjutnya  dilakukan  evaluasi  menggunakan  k-fold  cross  validation.  Untuk perbandingan  akurasi  K-Fold  Validation  pada  skenario  pengujian  kedua  tidak menunjukan adanya overfitting dikarenakan hasil rata-rata untuk svm tanpa menggunakan hyperparameter  tuning  tidak  terlalu  signifikan  yaitu  hanya  memiliki  perbedaan  sebesar 1%. Sedangkan untuk svm yang  menggunakan hyperparameter tuning untuk kedua hasil memiliki nilai rata-rata akurasi yang sama yaitu 86%.
86% 86% 85% 86% 84% 85% 85% 86% 86% 87% SVM SVM Tunned Average
Avg. Akurasi Avg. K-Fold

## KESATRIA: Jurnal Penerapan Sistem Informasi (Komputer & Manajemen)
Terakreditasi Nomor 204/E/KPT/2022 | Vol. 4, No. 4, Oktober (2023), pp. 977-987

## 3.3. Evaluasi Aspek
Setelah membangun setiap model sebelumnya, dilakukan analisis klasifikasi pada setiap aspek yang relevan dalam skenario ini. Proses analisis mencakup evaluasi kinerja model dengan metrik akurasi, presisi, recall, dan f1-score.
a) Learnability
Gambar 6. Hasil Evaluasi Aspek Learnability
Dapat  dilihat  pada  gambar  untuk  hasil  evaluasi  dari  aspek  Learnability  dengan  metode SVM  tanpa  menggunakan  hyperparameter  tuning  memiliki  nilai  akurasi,  f1-score  dan presisi  lebih  baik  dibandingkan  dengan  hasil  metode  SVM  yang  menggunakan hyperparameter  tuning  yaitu  dengan  nilai  akurasi  sebesar  91%,  f1-score  79%,  presisi 84%. Sedangkan untuk nilai recall kedua metode tersebut memiliki nilai yang sama yaitu sebesar 75%.
b) Efficiency
Gambar 7. Hasil Evaluasi Aspek Efficiency
Untuk  aspek  Efficiency  dengan  metode  SVM  menggunakan  hyperparameter  tuning memiliki  nilai  f1-score  dan  recall  lebih  baik  dibandingkan  dengan  metode  SVM  tanpa menggunakan  hyperparameter  tuning  yaitu  sebesar  79%  f1-score  dan  recall  74%. Sedangkan untuk nilai akurasi keduanya memiliki nilai yang sama yaitu 89%. Untuk nilai presisi metode SVM tanpa menggunakan hyperparameter tuning memiliki nilai lebih baik yaitu sebesar 87%.
91% 90% 79% 77% 84% 80% 75% 75% 0% 20% 40% 60% 80% 100% SVM SVM Tunned Learnability
Avg. Akurasi Avg. F1-Score Avg. Presisi Avg. Recall 89% 89%
78% 79%
87%
86% 72% 74% 0% 20% 40% 60% 80% 100% SVM SVM Tunned Efficiency
Avg. Akurasi Avg. F1-Score Avg. Presisi Avg. Recall
c) Errors
Gambar 8. Hasil Evaluasi Aspek Errors
Berdasarkan  hasil  evaluasi  aspek  Errors  untuk  model  dengan  SVM  menggunakan hyperparameter  tuning  dan  SVM  tanpa  menggunakan  hyperparameter  tuning  memiliki nilai  evaluasi  yang  sama  untuk  akuasi,  f1-score,  presisi  dan  recall  yaitu  sebesar  85% akurasi, 86% f1-score, 86% presisi dan 87% recall.
d) Satisfaction
Gambar 9. Hasil Evaluasi Aspek Satisfaction
Dan  untuk  aspek  terakhir  yaitu  menampilkan  hasil  evaluasi  aspek  Satisfaction  kedua metode  tersebut  baik  yang  menggunakan  hyperparameter  tuning  maupun  tidak  memiliki nilai  sebesar  80%  akurasi,  76%  recall  dan  f1-score  sebesar  77%  dan  untuk  nilai  presisi SVM tanpa menggunakan  hyperparameter tuning memiliki nilai lebih baik yaitu sebesar 79%.

## 4. Kesimpulan
Algoritma  Support  vector  machine  dapat  digunakan  dalam  studi  kasus  analisis sentimen  berbasis  aspek  ulasan  pada  aplikasi  “Pegadaian  Digital”  yang  diambil  dari Google Play Store. Dilanjutkan dengan hasil rasio terbaik yang didapatkan pada skenario 1 adalah 80:20 dengan performa rata-rata untuk nilai akurasi, recall, f1-score dan presisi lebih baik dibandingkan dengan skenario lainnya, yaitu presisi sebesar 87%, akurasi 86%, recall 77% dan f1 score sebesar 81%. Sedangkan untuk hasil pada skenario 2 yaitu SVM tanpa menggunakan hyperparameter tuning memiliki nilai presisi lebih baik dibandingkan dengan  SVM  yang  menggunakan  hyerparameter  tuning  yaitu  sebesar  87%.  Dan selanjutnya  yaitu  kombinasi  metode  terbaik  yaitu  dengan  menggunakan  rasio  split  data 80:20 dan menggunakan SVM dengan parameter dasar atau default. Dengan mendapatkan hasil performansi akurasi sebesar 86%, recall 77%, f1-score 81% dan presisi sebesar 87%.
85% 85% 86% 86% 86% 86% 87% 87% 84% 85% 86% 87% 88% SVM SVM Tunned Errors
Avg. Akurasi Avg. F1-Score Avg. Presisi Avg. Recall
79% 78% 76% 76% 77% 77% 80% 80% 72% 74% 76% 78% 80% 82% SVM SVM Tunned Avg. Presisi
Avg. Recall Avg. F1-Score Avg. Akurasi

## Daftar Pustaka
[1] Humaira  Aliya,  “Pegadaian:  Pengertian,  Sejarah,  Manfaat,  dan  Produk  yang Digadaikan,” Feb. 10, 2023. https://glints.com/id/lowongan/pegadaian- adalah/#.Y2EeO3bP3rc (accessed Dec. 10, 2022).
[2] humas,  “OJK  Pedia.”  https://www.ojk.go.id/id/ojk-pedia/default.aspx  (accessed Dec. 11, 2022).
[3] cermati.com, “Apa itu Pegadaian Digital?,” May 12, 2021. https://www.cermati.com/artikel/gokil-pakai-aplikasi-pegadaian-digital-bisa- dapat-rumah-rp-125-m-begini-caranya (accessed Dec. 05, 2022). [4] Pegadaian, “Pegadaian Digital,” play.google.com, Mar. 24, 2023.
https://play.google.com/store/apps/details?id=com.pegadaiandigital&hl=id
(accessed Oct. 11, 2022).
[5] B.  Liu,  “Sentiment  Analysis  and  Opinion  Mining,”  in  Synthesis  Lectures  On Human Language Technologies, Morgan & Claypool Publishers, 2012. Accessed: Jul. 21, 2023. [Online]. Available: liub@cs.uic.edu
[6] J. Nielsen, Usability Engineering. California: Academic Press, 1993.
[7] C.  D.  Manning,  P.  Raghavan,  and  H.  Schütze,  An  Introduction  to  Information
Retreival. 2009. Accessed: Oct. 14, 2022. [Online]. Available:
https://nlp.stanford.edu/IR-book/pdf/irbookonlinereading.pdf
[8] K.  Duan,  S.  Sathiya  Keerthi,  and  A.  Neow  Poo,  “Evaluation  of  simple performance measures for tuning SVM hyperparameters,” Neurocomputing, vol. 51, pp. 41–59, Mar. 2003, [Online]. Available: www.elsevier.com/locate/neucom
[9] I.  Ihsan,  D.  Nurjanah,  and  H.  Nurrahmi,  “Sentiment  Analysis  RKUHP  Pada Twitter  Menggunakan  Metode  Support  Vector  Machine,”  e-Proceeding  of
Engineering, vol. 8, no. 2, pp. 1–17, Jan. 2021.