## Analisis Sentimen terhadap Penggunaan Aplikasi MySAPK BKN di Google Play Store
Raksaka Indra Alhaqq 1 , I Made Kurniawan Putra 2 , Yova Ruldeviyani 3
Intisari—Dalam mewujudkan kebijakan Sistem Pemerintahan Berbasis  Elektronik  (SPBE)  dan  Satu  Data  ASN  di  Indonesia, Badan Kepegawaian Negara (BKN) sebagai instansi pemerintah pembina  Aparatur  Sipil  Negara  (ASN)  perlu  melakukan pengelolaan data secara akurat, terkini, dan terintegrasi melalui aplikasi MySAPK berbasis Android. Seiring berjalannya waktu, pengguna  mengalami  berbagai  kendala  dalam  menggunakan aplikasi dan menuliskan ulasannya pada fitur Rating & Review di Google  Play  Store.  Dalam  rentang  waktu  9  Mei  2017  hingga  18 Oktober  2021,  terdapat  4.778  ulasan  yang  dituliskan  oleh pengguna.  Makalah  ini  menganalisis  sentimen  pada  ulasan pengguna  aplikasi  MySAPK.  Tahapan-tahapan  yang  dilakukan dimulai  dari  pengumpulan  data,  pelabelan  data  (anotasi), prapemrosesan data, ekstraksi fitur kata, pemodelan klasifikasi, evaluasi  pemodelan,  analisis  sentimen,  hingga  penyusunan  hasil rekomendasi.  Dari  hasil  pemodelan  klasifikasi  sentimen menggunakan  naïve  Bayes  dan  support  vector  machine  (SVM), didapatkan  tingkat  akurasi  masing-masing  sebesar  92,47%  dan 94,14%.  Hasil  pengukuran  sentimen  menunjukkan  bahwa pengguna memberikan ulasan bersentimen positif sebanyak 2.118 (44,3%) dan ulasan bersentimen negatif sebanyak 2.660 (55,7%). Di  antara  faktor  penyebab  pengguna  menuliskan  ulasan bersentimen  positif  adalah  aplikasi  yang  sangat  bagus,  dapat memberikan  manfaat,  mempermudah  dalam  mengisi  dan menyimpan  data  ASN,  serta  ucapan  terima  kasih  kepada  BKN. Sebaliknya,  faktor  penyebab  pengguna  menuliskan  ulasan bersentimen  negatif  di  antaranya  adalah  meminta  tolong  agar aplikasi  diperbaiki,  kesulitan  dalam  mengakses,  gagal  dalam mengisi  dan  melakukan  pemutakhiran  data,  serta  terjadi kesalahan  pada  server.  Untuk  mengatasi  kendala  tersebut, makalah ini merekomendasikan agar kapasitas server pendukung dapat ditingkatkan dan pemutakhiran versi terbaru diluncurkan untuk memperbaiki bug aplikasi. Hasil penelitian ini diharapkan dapat menjadi acuan BKN dalam mengevaluasi dan meningkatkan  kualitas  pelayanan  ASN  melalui  aplikasi MySAPK.
Kata  Kunci—ASN,  PNS,  Analisis  Sentimen,  MySAPK,  BKN, Google Play Store, Naïve Bayes, Support Vector Machine (SVM).

## I. P ENDAHULUAN
Perkembangan  teknologi  informasi  dan  komunikasi  (TIK) yang  pesat  dapat  meningkatkan  kinerja  menjadi  lebih  efektif dan efisien dalam berbagai  sektor  [1].  Salah satu sektor yang memanfaatkan  perkembangan  TIK  adalah  pemerintahan. Pemerintah  Indonesia  telah  mengeluarkan  kebijakan  untuk
mengimplementasikan  TIK  pada  instansi  pusat  dan  daerah melalui  peraturan  Sistem  Pemerintahan  Berbasis  Elektronik (SPBE)  guna  mewujudkan  tata  kelola  pemerintahan  yang bersih,  efektif,  transparan,  dan  akuntabel  [2].  Untuk memperkuat  tujuan  tata  kelola  pemerintahan  tersebut, dibutuhkan  data  yang  akurat,  mutakhir,  terpadu,  mudah diakses,  dan  dapat  dipertanggungjawabkan.  Oleh  karena  itu, pemerintah menerbitkan kebijakan Satu Data Indonesia (SDI) [3].
Hingga 30 Juni 2021, jumlah Aparatur Sipil Negara (ASN) yang  terdiri  atas  Pegawai  Negeri  Sipil  (PNS)  dan  Pegawai Pemerintah dengan Perjanjian Kerja (PPPK) dari instansi pusat dan daerah mencapai 4.131.705 pegawai [4]. Data ASN yang berjumlah jutaan tersebut memerlukan pengelolaan data yang baik  agar  kualitas  layanan  terkait  manajemen  kepegawaian, seperti kenaikan pangkat, mutasi, dan pensiun, dapat meningkat [5].
Untuk menerapkan kebijakan pemerintah terkait SPBE dan SDI,  Badan  Kepegawaian  Negara  (BKN),  selaku  instansi pembina ASN di Indonesia, perlu melakukan pengelolaan data ASN secara akurat, terkini, dan terintegrasi guna mewujudkan kualitas  dan  integrasi  Satu  Data  ASN  dalam  manajemen kepegawaian  negara.  Dengan  memanfaatkan  kemajuan teknologi informasi,  BKN merilis aplikasi MySAPK berbasis gawai  ( mobile )  dan  web.  MySAPK  merupakan  aplikasi  yang digunakan  ASN  untuk  memutakhirkan  data  secara  mandiri, yang  meliputi  data  personal,  riwayat  jabatan,  riwayat pendidikan,  riwayat  sasaran  kerja  pegawai  (SKP),  riwayat penghargaan,  riwayat  pangkat  dan  golongan  ruang,  riwayat keluarga,  riwayat  peninjauan  masa  kerja,  riwayat  pindah instansi,  riwayat  cuti  di  luar  tanggungan  negara  (CLTN), riwayat CPNS/PNS, dan riwayat organisasi [6].
Aplikasi MySAPK dapat diakses melalui peramban web dan aplikasi  ponsel  pintar  berbasis  Android.  Para  pengguna, khususnya  ASN,  dapat  mengunduh  aplikasi  MySAPK  secara gratis di Google Play Store. Pengguna yang telah menggunakan aplikasi  MySAPK  dapat  memberikan rating (skor  berbintang 1–5)  disertai  ulasan  atau  komentar  mengenai  pengalaman penggunaan  melalui  fitur Ratings  &  Reviews .  Hingga pertengahan  Oktober  2021,  tercatat  aplikasi  MySAPK  di Google Play Store memiliki nilai rating 2,6. Nilai rating yang mendominasi  adalah rating berbintang  dengan  skor  1, kemudian disusul rating berbintang dengan skor 5 [7]. Semakin kecil nilai skor rating berbintang menunjukkan kinerja aplikasi yang tidak maksimal ketika digunakan pengguna.
Makalah  ini  berfokus  pada  ulasan  pengguna  aplikasi MySAPK di Google Play Store. BKN telah menyediakan portal web  berisi  panduan  dan  tiket  bantuan  untuk  ASN  ketika menjumpai kendala saat mengisi data mandiri melalui aplikasi MySAPK. Namun, fitur tiket bantuan pada portal web tersebut
1,2,3 Program Studi Magister Teknologi Informasi, Fakultas Ilmu Komputer,  Universitas  Indonesia,  Jl.  Salemba  Raya  No.4,  DKI Jakarta, Indonesia, 10430 (tlp: 021-3106014; fax: 021-3102774; e- mail: 1 raksaka.indra@ui.ac.id,
2 i.made111@ui.ac.id,
3 yova@cs.ui.ac.id)
[Diterima: 16 Maret 2022, Revisi: 26 Maret 2022]
tidak  dapat  diakses  [8].  Akibatnya,  para  pengguna  yang mengalami  berbagai  kendala  selama  menggunakan  aplikasi MySAPK  menuliskan  ulasan  yang  bersifat  negatif  di  Google Play Store. BKN sebagai instansi pemerintah pengelola aplikasi MySAPK  perlu  mengevaluasi  layanan,  salah  satunya  dengan menganalisis sentimen terhadap ulasan pengguna.
Analisis  sentimen  terhadap  suatu  isu  atau  topik  di  media sosial,  ulasan  suatu  produk,  dan  layanan  aplikasi  dapat diterapkan  menggunakan  pendekatan  algoritme machine learning ,  seperti naïve  Bayes dan support  vector  machine (SVM). Naïve  Bayes dan  SVM  merupakan  algoritme pemodelan  yang  paling  banyak  digunakan  dalam  klasifikasi teks  dengan  kinerja  yang  beragam,  tergantung  pada  jumlah varian,  fitur,  dan  banyaknya  data  yang  dikumpulkan. Naïve Bayes sangat  baik  dalam  mengklasifikasikan  teks  dengan jumlah  data  dan  potongan  dokumen  yang  sedikit,  sedangkan SVM  sangat  baik  dalam  mengklasifikasikan  teks  dengan jumlah  data  yang  relatif  banyak  atau  dokumen  yang  lengkap [9].
Penelitian  ini  bertujuan  untuk  menganalisis  sentimen pengguna  aplikasi  MySAPK  melalui  ulasan  di  Google  Play Store.  Hasil  analisis  tersebut  diproses  kembali  untuk memperoleh  faktor-faktor  yang  dirasakan  pengguna.  Dari penelitian ini dapat dihasilkan model klasifikasi yang terbaik, sehingga  dapat  dijadikan  sebagai  bahan  evaluasi  BKN  agar kualitas  pelayanan  kepada  ASN  tetap  konsisten,  bahkan meningkat, dalam mewujudkan Satu Data ASN di Indonesia.

## II. A NALISIS S ENTIMEN

## A. Penelitian Terkait
Penelitian mengenai analisis sentimen terhadap suatu ulasan atau  topik  di  media  sosial  sudah  banyak  dilakukan.  Sebuah penelitian  dilakukan  dengan  tujuan  mengetahui  sentimen penumpang transportasi KAI Commuter Jabodetabek terhadap penyebaran  COVID-19  melalui  media  Twitter  [10].  Analisis dilakukan menggunakan naïve Bayes dan decision tree . Hasil penelitian menunjukkan ada 135 sentimen positif, 152 sentimen negatif,  dan  53  sentimen  netral.  Algoritme naïve  Bayes mengungguli decision  tree dengan  tingkat  akurasi  73,59% berbanding 56,83%.
Penelitian  lain  menganalisis sentimen masyarakat terhadap tokoh influencer Fiersa  Besari  (@fiersabesari)  dan  Keanu (@aglkeanu) di media sosial Twitter [11]. Sebanyak 3.243 data tweet diambil  menggunakan  fitur  Twitter  API  kemudian dilakukan  pelabelan  sentimen  secara  manual.  Terdapat  1.282 sentimen  positif  dan  1.312  sentimen  negatif  pada  data tweet Fiersa  Besari  serta  321  sentimen  positif  dan  328  sentimen negatif pada data tweet Keanu. Pada penelitian ini, dilakukan perbandingan  tingkat  akurasi  sentimen  dengan  menggunakan algoritme naïve Bayes , SVM, logistic regression , dan decision tree . Hasil menunjukkan bahwa algoritme naïve Bayes meraih F 1 -score tertinggi  dengan  81,56%  untuk  Fiersa  Besari  dan 70,78%  untuk  Keanu.  Penelitian  ini  bermanfaat  untuk mengidentifikasi  tokoh influencer yang  memiliki  citra  positif dalam pemasaran digital suatu produk.
Analisis  sentimen  juga  dilakukan  untuk  mengidentifikasi kualitas  film  di  Twitter.  Penelitian  ini  menggunakan  metode
supervised learning SVM dengan 10- fold cross validation dan memperoleh  tingkat  akurasi  sebesar  71,87%.  Selanjutnya, dilakukan  peningkatan  parameter  menggunakan particle swarm optimization (PSO), yang menghasilkan tingkat akurasi lebih baik, yaitu 77% [12].
Penelitian  terkait  analisis  sentimen  juga  dilakukan  untuk mengetahui kepuasan pelanggan penyedia jasa telekomunikasi by.U melalui ulasan pengguna  aplikasi di Google Play Store. Pada  penelitian  tersebut,  diperoleh  8.925  data  ulasan.  Ulasan dengan rating 4 dan 5 dilabeli sebagai sentimen positif, rating 1 dan 2 sebagai sentimen negatif, dan rating 3 sebagai netral secara  manual.  Didapatkan  data  ulasan  dengan  label  4.874 sentimen positif dan 4.051 sentimen negatif.  Algoritme SVM dengan 5 -fold validation digunakan dan diperoleh hasil akurasi paling tinggi sebesar 86,1% pada nilai validasi fold 2 [13].

## B. Analisis Sentimen
Analisis sentimen merupakan bidang studi yang menganalisis  pendapat,  penilaian,  sikap,  dan  emosi  terhadap suatu  entitas  seperti  layanan,  produk,  isu,  atau  peristiwa tertentu. Analisis sentimen diterapkan di berbagai ranah bisnis dan sosial  karena  opini dapat memengaruhi perilaku  individu hingga  pengambilan  keputusan  suatu  organisasi.  Pentingnya analisis  sentimen  berkaitan  dengan  pesatnya  perkembangan opini di media sosial, seperti ulasan suatu produk atau layanan dan berbagai diskusi di forum blog, Twitter, dan jejaring sosial [14].

## C. Text Mining
Text  mining atau  penambangan  teks  telah  menjadi pendekatan yang paling banyak digunakan untuk mengidentifikasi  dan  mengekstrak  informasi  dari  teks  yang tidak  terstruktur.  Penambangan  teks  digunakan  untuk mengekstrak fakta dan hubungan dalam bentuk terstruktur yang dapat  digunakan  untuk  membuat  anotasi  pada  basis  data khusus,  mentransfer  pengetahuan  antar  domain,  dan  secara lebih  umum  dalam  intelijen  bisnis  untuk  mendukung pengambilan  keputusan  operasional  dan  strategis  dari  suatu organisasi [15].

## D. Naïve Bayes Classifier
Naïve  Bayes classifier bekerja  berdasarkan  teorema  Bayes yang  ditemukan  oleh  ahli  statistika  berkebangsaan  Inggris, Thomas  Bayes  di  tahun  1763  [16].  Salah  satu  keunggulan klasifikasi naïve Bayes adalah kemampuannya mengklasifikasi dengan  data  pelatihan  yang  sedikit.  Klasifikasi naïve  Bayes menggunakan rating dan teks ulasan untuk melatih klasifikasi yang dapat membantu memahami ulasan yang bersifat positif atau  negatif.  Klasifikasi  tersebut  merupakan  aritmetika  yang mengorelasikan masukan data berupa vektor menjadi keluaran berupa kelas label [17].

## E. Support Vector Machine (SVM)
SVM adalah model supervised learning yang implementasinya membutuhkan tahap pelatihan menggunakan sequential  training SVM  dan  diikuti  proses  pengujian. Klasifikasi SVM mencoba memisah ruang data menggunakan klasifikasi  nonlinier  atau  linier  antara  kelas  yang  berbeda.

## ID-106
Konsep  klasifikasi  SVM  adalah  sebagai hyperplane yang berperan  menjadi  pemisah  dua kelas  data (hal  positif  dan  hal negatif)  [18].  Pada  Gbr.  1  [19]  terdapat  dua  kelas x , o ,  dan terdapat hyperplane A,  B,  dan  C. Hyperplane A  merupakan pemisah terbaik antar kelas karena memiliki jarak terlebar dari setiap  titik  data  yang  menggambarkan  batas  maksimum pemisahan [19].

## III. M ETODOLOGI
Penelitian  ini  secara  umum  terdiri  atas  beberapa  tahapan yang dimulai dari pengumpulan data, pelabelan data (anotasi), prapemrosesan data, ekstraksi fitur kata, pemodelan klasifikasi, evaluasi pemodelan klasifikasi, analisis sentimen, dan terakhir penyusunan  rekomendasi.  Tahapan  penelitian  diilustrasikan pada Gbr. 2.

## A. Pengumpulan Data
Pada  tahapan  ini  dilakukan  pengambilan  data  dari  ulasan pengguna  aplikasi  MySAPK  di  Google  Play  Store  dengan metode scraping menggunakan pustaka pemrograman Python bernama Google-Play-Scraper [20]. Fitur Rating & Review di Google  Play  Store  dapat  menunjukkan  tingkat  kinerja  suatu aplikasi. Rating berbintang dengan skor 1 menunjukkan sangat buruk, skor 2 menunjukkan buruk, skor 3 menunjukkan cukup, skor  4  menunjukkan  bagus,  dan  skor  5  menunjukkan  sangat bagus  [21].  Kategori  ulasan  yang  dipilih  pada  penelitian  ini
adalah most relevant dengan rating berbintang dengan skor 1, 2, 4, dan 5. Data ulasan yang berhasil dikumpulkan kemudian disimpan ke format dokumen comma separated values (CSV).

## B. Pelabelan Data (Anotasi)
Pada  tahapan  ini  dilakukan  pelabelan  data  (anotasi)  ulasan pengguna  aplikasi  MySAPK  menggunakan  metode  manual. Anotasi dilakukan oleh dua anotator , yaitu penulis dengan latar belakang studi teknologi informasi. Ulasan pengguna dilabeli positif  dan  negatif,  yang  kemudian  disimpan  ke  dalam dokumen CSV.

## C. Prapemrosesan Data
Prapemrosesan  data  merupakan  tahapan  pertama  dalam mengklasifikasi  suatu  teks.  Prapemrosesan  data  memiliki beberapa tahap sebagai berikut [22].
1) Case Folding: Proses ini mengubah semua karakter teks menjadi huruf kecil atau lowercase .
2) Remove Punctuations: Proses ini menghilangkan semua karakter teks yang mengandung tanda baca, angka, URL, kode ASCII, dan emoji.
3) Remove Stopwords: Proses ini menghilangkan kata-kata yang sering muncul dalam teks yang dianggap tidak memiliki makna  dengan  menggunakan  759  basis  data stopwords berbahasa Indonesia [23].
4) Stemming: Proses stemming mencari  kata  dasar  dengan cara  menghilangkan  awalan  dan  akhiran  suatu  kata.  Proses stemming dilakukan  menggunakan  pustaka  pemrograman Python bernama Sastrawi  [24] berdasarkan algoritme Adriani [25].
5) Tokenizing: Proses  ini  membagi  teks  menjadi  bagian- bagian  kata  yang  terstruktur  sehingga  dapat  dihitung  jumlah frekuensi kata yang muncul [26].

## D. Ekstraksi Fitur Kata
Tahapan  selanjutnya  merupakan  ekstraksi  fitur  dari  suatu kata menggunakan term frequency–inverse document frequency (TF–IDF).  TF–IDF  merupakan  algoritme  yang umum  digunakan  dalam  menghitung  bobot  kata  pada  suatu dokumen. Term frequency (TF) mewakili banyaknya frekuensi kata  yang  sering  muncul  dalam  suatu  dokumen.  Seringkali suatu  kata  yang  kerap  muncul  akan  mengganggu  proses pencarian kata yang bersifat unik. Inverse document frequency (IDF) berperan untuk mengurangi bobot suatu kata yang sering muncul  dan  dapat  mengukur  pentingnya  makna  suatu  kata dalam  suatu  dokumen.  Persamaan  (1)  menunjukkan perhitungan  TF. TF(t,d) mewakili  frekuensi  kata  dari  kata t dalam  dokumen d , N(t,d) merupakan  banyaknya  kata t yang muncul dalam dokumen d , dan T merupakan total kata dalam dokumen.  Persamaan  (2)  digunakan  untuk  menghitung  IDF, dengan IDF(t) mewakili  jarangnya  frekuensi  kata  dalam dokumen, N mewakili  jumlah  dokumen,  dan N(t) mewakili jumlah dokumen dengan kata t . Maka, untuk menghitung TF– IDF digunakan (3), yang merupakan perkalian dari TF dan IDF [27].
Gbr. 1 SVM dalam pemecahan klasifikasi.
Gbr. 2 Tahapan penelitian.
𝑇𝐹(𝑡, 𝑑) = 𝑁(𝑡,𝑑) 𝑇 (1) 𝐼𝐷𝐹(𝑡) = 𝑙𝑜𝑔𝑁/(𝑁(𝑡)) (2) 𝑇𝐹 − 𝐼𝐷𝐹 = 𝑇𝐹 ∗ 𝐼𝐷𝐹 (3)

## E. Pemodelan Klasifikasi
Setelah  melalui  tahapan  ekstraksi  fitur  kata,  tahapan selanjutnya  menerapkan  pemodelan  klasifikasi  dengan  dua algoritme machine  learning ,  yakni naïve  Bayes dan  SVM menggunakan  pustaka  pemrograman  Python  yang  dinamakan scikit-learn [28]. Tahapan pemodelan klasifikasi ini dilakukan secara  terpisah  untuk  mendapatkan  hasil  akurasi  terbaik  di antara  dua  pemodelan  klasifikasi  yang  digunakan.  Untuk melakukan  pemodelan  klasifikasi,  dibutuhkan  data  latih  yang berasal  dari dataset [29].  Data  latih  yang  digunakan  pada penelitian ini sebanyak 90% dari total dataset .

## F. Evaluasi Pemodelan Klasifikasi
Tahapan  terakhir  pada  penelitian  ini  adalah  mengukur evaluasi pada kinerja pemodelan klasifikasi machine learning yang  telah  dilakukan  pada  tahapan  sebelumnya.  Tujuan digunakannya  pengukuran  evaluasi  ini  adalah  untuk membandingkan  kinerja  dan  keefektifan  kedua  pemodelan klasifikasi machine learning yang digunakan. Di antara teknik yang  digunakan  untuk  mengevaluasi  dan  merangkum  kinerja dari pemodelan klasifikasi machine learning adalah confusion matrix . Confusion  matrix merupakan  matriks  2  ×  2  yang merangkum total hasil klasifikasi yang benar dan salah seperti terlihat pada  Tabel I. Dari kombinasi nilai true positive (TP), false positive (FP), false negative (FN), dan true negative (TN), dihasilkan  empat  variabel  pengukuran  [30].  Nilai  akurasi didapatkan menggunakan (4), precision didapatkan menggunakan (5), recall didapatkan menggunakan (6), dan F 1 - score didapatkan menggunakan (7).
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = 𝑇𝑃 + 𝑇𝑁 𝑇𝑃 + 𝐹𝑃 + 𝐹𝑁 + 𝑇𝑁 (4) 𝑃𝑟𝑒𝑐𝑖𝑠𝑠𝑖𝑜𝑛 = 𝑇𝑃 𝑇𝑃 + 𝐹𝑃 (5) 𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃
𝑇𝑃 + 𝐹𝑁 (6) 𝐹1 − 𝑠𝑐𝑜𝑟𝑒 = 2 .  𝑟𝑒𝑐𝑎𝑙𝑙 .  𝑝𝑟𝑒𝑐𝑖𝑠𝑠𝑖𝑜𝑛 𝑟𝑒𝑐𝑎𝑙𝑙 + 𝑝𝑟𝑒𝑐𝑖𝑠𝑠𝑖𝑜𝑛 (7)

## G. Analisis Sentimen
Selanjutnya dilakukan analisis sentimen menggunakan word cloud . Word  cloud merupakan  gambar  yang  dapat merepresentasikan  kata-kata  yang  digunakan  pada  kumpulan data tertentu. Kata-kata dengan ukuran huruf yang lebih besar
berarti lebih sering muncul dibanding dengan kata-kata dengan ukuran huruf yang lebih kecil [31].

## IV. H ASIL DAN P EMBAHASAN

## A. Hasil Anotasi
Sebanyak 4.778 data ulasan pengguna aplikasi MySAPK di Google Play Store yang didapatkan dalam rentang waktu 9 Mei 2017  hingga  18  Oktober  2021  diperoleh  dengan  metode scraping menggunakan  Google-Play-Scraper.  Data  ulasan yang  diambil  merupakan  ulasan  yang  memiliki rating berbintang  1,  2,  4,  dan  5,  dengan  rincian  seperti  ditunjukkan pada  Gbr.  3.  Anotasi  dilakukan  secara  manual  oleh  dua anotator dengan  latar  belakang  studi  teknologi  informasi. Kemudian,  sentimen  dikelompokkan  ke  dalam  dua  kategori, yaitu positif dan negatif. Hasil anotasi pada 4.778 data ulasan menunjukkan  bahwa  sebanyak  2.118  pengguna  memberikan ulasan bersentimen positif (44,3%), sedangkan sebanyak 2.660 pengguna  memberikan  ulasan  bersentimen  negatif  (55,7%). Gbr.  4  menunjukkan  persentase  hasil  anotasi  sentimen pengguna  aplikasi  MySAPK  dengan  ulasan  bersentimen negatif  lebih  banyak  dibanding  positif.  Data  hasil  anotasi  ini
T ABEL I
C ONFUSION M ATRIX
Klasifikasi Aktual Positif Negatif Klasifikasi Prediksi Positif True positive (TP) False positive (FP) Negatif False negative
(FN)
True negative (TN) Gbr. 3 Sebaran data skor rating aplikasi MySAPK.
Gbr. 4 Hasil anotasi sentimen pengguna aplikasi MySAPK.
selanjutnya disimpan ke dalam dokumen CSV sebagai dataset untuk diolah pada tahapan berikutnya.
Jika  dibandingkan,  terlihat  bahwa rating aplikasi  tidak sesuai dengan sentimen yang dihasilkan melalui anotasi. Rating aplikasi  menunjukkan  bahwa  pengguna  lebih  banyak memberikan  penilaian  dengan  skor  4  (bagus)  dan  5  (sangat bagus)  dibandingkan  penilaian  dengan  skor  1  (sangat  buruk) dan 2 (buruk). Sebanyak 2.454 pengguna memberikan  skor 4 dan  5,  dengan  pembagian  masing-masing  sebanyak  414  dan 2.040, sedangkan sebanyak 2.324 pengguna memberikan skor 1 dan 2, dengan pembagian masing-masing sebanyak 2.000 dan 324. Ketidaksesuaian ini terjadi karena pengguna memberikan sentimen yang bertentangan dengan skor. Ditemukan beberapa pengguna  memberikan  skor 4  atau  5,  tetapi  ulasan  yang dituliskan bersentimen negatif.

## B. Hasil Prapemrosesan Data
Terhadap dataset ulasan  pengguna  MySAPK  yang  telah dianotasi selanjutnya dilakukan prapemrosesan data sebanyak lima tahap. Hasil dari masing-masing tahap prapemrosesan data ditunjukkan pada Tabel II.

## C. Pembagian Dataset untuk Pemodelan Klasifikasi
Pemodelan klasifikasi naïve Bayes dan SVM masing-masing dilakukan menggunakan data latih untuk menghasilkan model prediksi  sentimen.  Untuk  mengevaluasi  hasil  prediksi  yang dilakukan  oleh  model  klasifikasi,  digunakan  data  uji  yang diambil  dari dataset .  Pada  penelitian  ini,  perbandingan  data
latih dan data uji adalah 90:10, yang pembagiannya dihasilkan melalui scikit-learn. Pembagian data latih dan data uji dari total 4.778 dataset ulasan  aplikasi  MySAPK  disajikan  pada  Tabel III.

## D. Hasil Evaluasi Pemodelan Klasifikasi
Pemodelan  klasifikasi naïve  Bayes dan  SVM  yang  telah dilakukan  perlu  dievaluasi  dengan confusion  matrix untuk mendapatkan  nilai  akurasi, precision , recall ,  dan F 1 -score terbaik  di  antara  dua  algoritme  pemodelan  tersebut.  Gbr.  5 merupakan confusion  matrix dari naïve  Bayes . Actual  values merupakan data ulasan aktual dan predicted values merupakan data prediksi ulasan. Dari 478 data ulasan yang diujikan untuk kedua  sentimen,  dihasilkan  empat  nilai  kombinasi  sebagai berikut.
• True positive menghasilkan angka 39,75%, yang artinya sebanyak  190  data  uji  ulasan  berlabel  positif  mampu diprediksi dengan benar sebagai label positif oleh naïve Bayes .
• False positive menghasilkan angka 1,46%, yang artinya sebanyak  tujuh  data  uji  ulasan  berlabel  negatif diprediksi salah sebagai label positif oleh naïve Bayes .
• False negative menghasilkan angka 6,07%, yang artinya sebanyak  29  data  uji  ulasan  berlabel  positif  diprediksi salah sebagai label negatif oleh naïve Bayes .
• True  negative menghasilkan  angka  52,72%,  yang artinya  sebanyak  252  data  uji  ulasan  berlabel  negatif mampu  diprediksi  dengan  benar  sebagai  label  negatif oleh naïve Bayes .
Gbr.  6  menunjukkan confusion  matrix dari  pengujian  509 data  ulasan  menggunakan  SVM,  yang  menghasilkan  empat nilai kombinasi berikut.
T ABEL II H ASIL P RAPEMROSESAN D ATA
Tahapan Hasil Ulasan pengguna Kepada admin BKN!!!, tolong perbaiki server MySapk, kalian yg sebagai lembaga
kepegawaian tolong jangan mempersulit ASN 😡😡😡 , deadline pengisian tinggal beberapa hari lagi dan berkas sudah hampir selesai server malah error. Gimana sih ???.
Case folding kepada admin bkn!!!, tolong perbaiki server mysapk, kalian yg sebagai lembaga kepegawaian tolong jangan mempersulit asn
😡😡😡 , deadline pengisian tinggal beberapa hari lagi dan berkas sudah hampir selesai server malah error. gimana sih ???.
Remove punctuations
kepada admin bkn tolong perbaiki server mysapk kalian yg sebagai lembaga kepegawaian tolong jangan mempersulit asn deadline pengisian tinggal beberapa hari lagi dan berkas sudah hampir selesai server malah error gimana sih Remove stopwords admin bkn tolong perbaiki server mysapk lembaga kepegawaian tolong mempersulit asn deadline pengisian tinggal berkas selesai server error Stemming admin bkn tolong baik server mysapk lembaga pegawai tolong sulit asn deadline isi tinggal berkas selesai server error Tokenizing admin | bkn | tolong | baik | server | mysapk | lembaga | pegawai | tolong | sulit | asn | deadline | isi | tinggal | berkas | selesai | server | error
Gbr. 5 Confusion matrix dari naïve Bayes .
T ABEL III P EMBAGIAN D ATA L ATIH DAN D ATA U JI Label Sentimen Data Latih Data Uji Negatif 2.401 259 Positif 1.899 219 Jumlah 4.300 478
• True positive menghasilkan angka 43,72%, yang berarti sebanyak  209  data  uji  ulasan  berlabel  positif  mampu diprediksi dengan benar sebagai label positif oleh SVM.
• False positive menghasilkan angka 3,77%, yang artinya sebanyak delapan belas data uji ulasan berlabel negatif diprediksi salah sebagai label positif oleh SVM.
• False negative menghasilkan angka 2,09%, yang artinya sebanyak  sepuluh  data  uji  ulasan  berlabel  positif diprediksi salah sebagai label negatif oleh SVM.
• True negative menghasilkan angka 50,42%, yang berarti sebanyak  241  data  uji  ulasan  berlabel  negatif  mampu diprediksi dengan benar sebagai label negatif oleh SVM.
Pengukuran  evaluasi  pemodelan  dengan confusion  matrix menunjukkan  bahwa  pemodelan  klasifikasi naïve  Bayes mampu memprediksi dengan benar sebanyak  442 data ulasan yang  terdiri  atas  190  data ulasan bersentimen positif dan  252 data ulasan bersentimen negatif. Sebaliknya, sebanyak 36 data ulasan diprediksi salah oleh naïve Bayes , yang meliputi  tujuh data ulasan bersentimen negatif dan 29 data ulasan bersentimen positif.  Pada  pemodelan  klasifikasi  SVM,  sebanyak  450  data ulasan mampu diprediksi dengan benar. Data ini terdiri atas 209 data  ulasan  bersentimen  positif  dan  241  data  ulasan bersentimen  negatif.  Sebaliknya,  sebanyak  28  data  ulasan diprediksi salah oleh SVM, yang meliputi delapan data ulasan bersentimen  negatif  dan  sepuluh  data  ulasan  bersentimen positif.
Dari  hasil  pengukuran  evaluasi  pemodelan,  diperoleh  nilai precision , recall ,  dan F 1 -score pada  masing-masing pemodelan klasifikasi, seperti yang ditunjukkan pada Tabel IV. Mengacu  pada  (4),  nilai  akurasi  yang  dihasilkan  melalui pemodelan  klasifikasi naïve  Bayes (NB)  adalah  0,9247  atau 92,47%, sedangkan SVM sebesar 0,9414 atau 94,14%. Maka, nilai  akurasi  terbaik  dalam  pemodelan  klasifikasi  ulasan pengguna  aplikasi  MySAPK  menggunakan  algoritme  SVM adalah 94,14%.
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 𝑁𝐵 = 0,3975  +  0,5272 0,3975  +  0,0146  +  0,0607  +  0,5272 = 0,9247  ≈ 92,47% 𝐴𝑘𝑢𝑟𝑎𝑠𝑖 𝑆𝑉𝑀 = 0,4372  +  0,5042 0,4372  +  0,0377  +  0,0209  +  0,5042
= 0,9414  ≈ 94,14% .

## E. Analisis Hasil Sentimen
Hasil  sentimen  aplikasi  MySAPK  menunjukkan  bahwa pengguna lebih banyak menuliskan ulasan bersentimen negatif dibanding  ulasan  bersentimen  positif,  dengan  persentase masing-masing  sebesar  55,7%  dan  44,3%.  Selanjutnya, dilakukan  analisis  sentimen  ulasan  positif  maupun  negatif dengan menggunakan word cloud . Penyajian word cloud dapat digunakan  sebagai  gambaran  dalam  memahami  maksud  dari ulasan yang dituliskan pengguna aplikasi MySAPK.
Gbr.  7 dan Gbr. 8  menunjukkan word  cloud dan  frekuensi kata  dari  sentimen  positif.  Terdapat  banyak  kata  yang bersentimen positif, seperti “bagus”, “ok”, “mantap”, “bantu”, “good”, “mudah”, “moga”, “manfaat”, “terima”, dan “kasih”. Kata  “data”,  “aplikasi”,  “asn”,  dan  “bkn”  merupakan  empat kata benda yang paling sering muncul pada ulasan bersentimen positif.  Kata  benda  tersebut  merupakan  objek  yang mendapatkan sentimen positif dari pengguna. Beberapa ulasan yang  mengandung  kata-kata  bersentimen  positif  tersebut seperti:  “aplikasi  sangat  bagus  (good)”,  “aplikasi  ok  dan mantap”,  “membantu  dalam  menyimpan  data-data  ASN”, “mempermudah  dalam  mengisi  data”,  “semoga  memberi manfaat untuk ASN”, dan “ucapan terima kasih kepada BKN”. Hal  ini  menunjukkan  bahwa  pengguna  merasakan  dampak positif ketika menggunakan aplikasi MySAPK.
Sebaliknya, pada Gbr. 9 dan Gbr. 10 ditunjukkan word cloud dan  frekuensi  kata  dari  sentimen  negatif.  Kata  “aplikasi”, “data”,  dan  “server”  merupakan  tiga  kata  yang  paling  sering muncul  pada  sentimen  negatif.  Tiga  kata  yang  muncul  pada
Gbr. 6 Confusion matrix dari SVM. Gbr. 7 Word cloud sentimen positif. T ABEL IV H ASIL P RECISION , R ECALL , DAN F 1 -S CORE Pemodelan Klasifikasi Label Sentimen Precision Recall F1- Score Naïve Bayes Negatif 0,90 0,97 0,93 Positif 0,96 0,87 0,91 SVM Negatif 0,96 0,93 0,95 Positif 0,92 0,95 0,94
sentimen negatif tersebut disertai dengan kata-kata selanjutnya, seperti  “baik”,  “update”,  “login”,  “tolong”,  “buka”,  “email”, “isi”,  “susah”,  “password”,  “salah”,  “coba”,  dan  “error”. Beberapa  ulasan  yang  mengandung  kata-kata  bersentimen negatif  tersebut  seperti:  meminta  tolong  untuk  memperbaiki aplikasi,  tidak  bisa  melakukan update data,  kesulitan login padahal email dan password sudah  benar,  mengalami kesusahan  dalam  membuka  aplikasi,  gagal  mengisi  data dikarenakan  terjadi error ,  serta  muncul  pemberitahuan mengenai kesalahan server dan silakan coba beberapa saat lagi. Hal  ini  menunjukkan  keluhan  dan  kendala  yang  dijumpai pengguna ketika menggunakan aplikasi MySAPK.
Kendala-kendala  yang  muncul  pada  ulasan  bersentimen negatif  menunjukkan  kinerja server pendukung  dan  aplikasi
MySAPK yang kurang optimal. Untuk mengatasi kendala dan dalam  rangka  peningkatan  pelayanan  terhadap  ASN, direkomendasikan  agar  BKN  meningkatkan  kapasitas  server pendukung  sehingga  mampu  diakses  oleh  banyak  pengguna pada waktu bersamaan. BKN juga perlu memperbaiki aplikasi MySAPK berbasis Android, dengan meluncurkan update versi terbaru  untuk  mengatasi  permasalahan error atau bug yang dialami para pengguna.
Pada  Gbr.  10  terdapat  kata  “baik”,  yang  dilihat  dari maknanya  merupakan  kata  dasar  bersentimen  positif,  tetapi dalam klasifikasi masuk ke dalam kata bersentimen negatif. Hal ini  terjadi  karena  kata  “baik”  tersebut  berasal  dari  kata “memperbaiki”  atau  “diperbaiki”,  yang  dalam  klasifikasi banyak ditemukan pada ulasan bersentimen negatif. Kata dasar yang  muncul  pada  klasifikasi  sentimen  merupakan  hasil  dari proses stemming pada  tahapan  prapemrosesan  data,  sehingga kata  “memperbaiki”  atau  “diperbaiki”  akan  menjadi  “baik” setelah melalui proses stemming .

## V. K ESIMPULAN DAN S ARAN
Dalam  rentang  waktu  dari  9  Mei  2017  hingga  18  Oktober 2021, ulasan pengguna aplikasi MySAPK di Google Play Store telah  mencapai  4.778  ulasan.  Hasil  pengukuran  sentimen menunjukkan  bahwa  pengguna  lebih  banyak  memberikan ulasan bersentimen negatif, sebanyak 2.660 (55,7%), dibanding ulasan  bersentimen  positif,  sebanyak  2.118  (44,3%).  Dalam melakukan  pemodelan  klasifikasi  sentimen,  diperoleh  hasil akurasi  menggunakan naïve Bayes sebesar  92,47%  dan  SVM sebesar 94,14%.
Gbr. 8 Frekuensi kata sentimen positif.
Gbr. 9 Word cloud sentimen negatif.
Penelitian  ini  juga  menghasilkan  faktor-faktor  penyebab yang memengaruhi pengguna dalam memberikan ulasan positif maupun  negatif.  Di  antara  faktor  penyebab  pengguna memberikan  ulasan  bersentimen  positif  adalah  aplikasi  yang sangat  bagus,  dapat  memberikan  manfaat,  mempermudah dalam mengisi dan menyimpan data ASN, serta ucapan terima kasih  kepada  BKN.  Sebaliknya,  di  antara  faktor  penyebab pengguna  menuliskan  ulasan  bersentimen  negatif  adalah meminta  tolong  agar  aplikasi  diperbaiki,  kesulitan  dalam mengakses, gagal dalam mengisi dan melakukan pemutakhiran data, serta terjadi kesalahan pada server. Untuk meningkatkan kualitas  pelayanan,  BKN  perlu  mengatasi  kendala  tersebut dengan meningkatkan kapasitas server pendukung dan merilis versi update aplikasi untuk mengatasi error atau bug .
Sebagai saran untuk penelitian yang akan datang, diharapkan kinerja  algoritme stemming pada  tahap  prapemrosesan  data dapat  ditingkatkan,  sehingga  kata-kata  yang  secara  maknawi bersentimen  positif  tidak  tertukar  menjadi  kata  bersentimen negatif  ketika  dilakukan  klasifikasi  sentimen,  begitu  juga sebaliknya.

## K ONFLIK K EPENTINGAN
Semua  penulis  menyatakan  bahwa  tidak  terdapat  konflik kepentingan dalam penelitian ini.

## K ONTRIBUSI P ENULIS
Konseptualisasi,  Raksaka  Indra  Alhaqq  dan  I  Made Kurniawan  Putra;  metodologi,  Raksaka  Indra  Alhaqq; penulisan—penyusunan  draf  asli,  Raksaka  Indra  Alhaqq;
peninjauan  dan  penyuntingan,  Raksaka  Indra  Alhaqq,  Yova Ruldeviyani, dan I Made Kurniawan Putra.

## U CAPAN T ERIMA K ASIH
Penelitian  ini  dapat  terlaksana  dengan  bantuan  dari Kementerian Komunikasi dan Informatika Republik Indonesia melalui  program  Beasiswa  S2  Dalam  Negeri  yang  diperoleh penulis.

## R EFERENSI
[1]  A.  Arief  dan  M.Y.  Abbas,  “Kajian  Literatur  (Systematic  Literature Review):  Kendala  Penerapan  Sistem  Pemerintahan  Berbasis  Elektronik (SPBE),” PROtek: J. Ilm. Tek. Elektro , Vol. 8, No. 1, hal. 1–6, 2021.
[2]  “Sistem Pemerintahan Berbasis Elektronik,” Peraturan Presiden Republik Indonesia, No. 95, 2018.
[3]  “Satu Data Indonesia,” Peraturan Presiden Republik Indonesia, No. 39, 2019.
[4]  Badan  Kepegawaian  Negara, Buku  Statistik  ASN  Juni  2021 .  Jakarta, Indonesia: Badan Kepegawaian Negara, 2021.
[5]  (2020)  “Enam  Tujuan  Integrasi  Data  dalam  Mewujudkan  Satu  Data ASN,” [Online], https://bkd.papua.go.id/2020/11/03/enam-tujuan- integrasi-data-dalam-mewujudkan-satu-data-asn, tanggal akses: 28-Nov- 2021.
[6]  “Pemutakhiran Data Mandiri Aparatur Sipil Negara dan Pejabat Pimpinan Tinggi  Non  Aparatur  Sipil  Negara  Secara  Elektronik  Tahun  2021,” Keputusan Kepala Kepegawaian Negara RI, No. 87, 2021.
[7]  (2021)  “MySAPK  BKN  -  Aplikasi  di  Google  Play,”  [Online], https://play.google.com/store/apps/details?id=com.nudi.bkn.sapk, tanggal akses: 18-Okt-2021.
[8]  (2021)  “PDM  ASN  dan  PPT  Non  ASN,”  [Online],  https://tiket- pdm.bkn.go.id/, tanggal akses: 28-Nov-2021.
[9]  A.N. Muhammad, S. Bukhori, dan P. Pandunata, “Sentiment Analysis of Positive  and  Negative  of  YouTube  Comments  Using  Naïve  Bayes-
Gbr. 10 Frekuensi kata sentimen negatif.
Support Vector Machine (NBSVM) Classifier,” 2019 Int. Conf. Comput. Sci. Inf. Technol., Elect. Eng. (ICOMITEE) , 2019, hal. 199–205.
[10]  I.C. Sari dan Y. Ruldeviyani, “Sentiment Analysis of the Covid-19 Virus Infection  in  Indonesian  Public  Transportation  on  Twitter  Data:  A  Case Study of Commuter Line Passengers,” 2020 Int. Workshop Big Data, Inf. Secur. (IWBIS) , 2020, hal. 23–28.
[11]  S.M.  Tauhid  dan  Y.  Ruldeviyani,  “Sentiment  Analysis  of  Indonesians Response  to  Influencer  in  Social  Media,” 2020  7th  Int.  Conf.  Inf. Technol., Comput., Elect. Eng. (ICITACEE) , 2020, hal. 90–95.
[12]  A.S.H.  Basari,  B.  Hussin,  I.G.P.  Ananta,  dan  J.  Zeniarja,  “Opinion Mining  of  Movie  Review  Using  Hybrid  Method  of  Support  Vector Machine and Particle Swarm Optimization,” Procedia Engineering , Vol.
53, hal. 453–462, 2013.
[13]  S.  Fransiska  dan  A.I.  Gufroni,  “Sentiment  Analysis  Provider  by.U  on Google  Play  Store  Reviews  with  TF-IDF  and  Support  Vector  Machine (SVM) Method,” Sci. J. Inform. , Vol. 7, No. 2, hal. 203–212, 2020.
[14]  B. Liu, Sentiment Analysis and Opinion Mining . London, Inggris: Morgan & Claypool Publishers, 2012.
[15]  D. Westergaard, dkk., “A Comprehensive and Quantitative Comparison of  Text-Mining  in  15  Million  Full-Text  Articles  Versus  Their Corresponding Abstracts,” PLOS Comput. Biol. , Vol. 14, No. 2, hal. 1– 16, 2018.
[16]  A.I. Dale, “Thomas Bayes’s Work on Infinite Series,” Hist. Math. , Vol. 18, No. 4, hal. 312–327, 1991.
[17]  M.P. Geetha  dan  D.K. Renuka, “Improving the  Performance  of  Aspect based Sentiment Analysis Using Fine-Tuned Bert Base Uncased Model,” Int. J. Intell. Netw. , Vol. 2, hal. 64–69, 2021.
[18]  V.  Kevin,  S.  Que,  A.  Iriani,  dan  H.D.  Purnomo,  “Analisis  Sentimen Transportasi  Online  Menggunakan  Support  Vector  Machine  Berbasis Particle Swarm Optimization,” J.  Nas.  Tek.  Elekt.,  Teknol.  Inf. ,  Vol.  9, No. 2, hal. 162–170, 2020.
[19]  W. Medhat, A. Hassan, dan H. Korashy, “Sentiment Analysis Algorithms and Applications: A Survey,” Ain Shams Eng. J. , Vol. 5, No. 4, hal. 1093– 1113, 2014.
[20]  JoMingyu  (2021)  “google-play-scraper:  Google  Play  Scraper  for Python,”  [Online],  https://github.com/JoMingyu/google-play-scraper, tanggal akses: 14-Okt-2021.
[21] Star  Ratings  Calculation  Methodology ,  Press  Ganey  Associates,  Inc., South Bend, AS, 2015.
[22]  D. Effrosynidis, S. Symeonidis,  dan  A. Arampatzis, “A Comparison of Pre-processing Techniques for Twitter Sentiment Analysis,” dalam Res.,
Adv. Technol. Digit. Libraries. TPDL 2017. Lecture Notes in Computer Science , Vol. 10450, J. Kamps, dkk., Eds., Cham, Swiss: Springer, 2017, hal. 394–406.
[23]  F.Z.  Tala,  “A  Study  of  Stemming  Effects  on  Information  Retrieval  in Bahasa  Indonesia,”  Institute  for  Logic,  Language,  and  Computation, Universiteit  van  Amsterdam,  Amsterdam,  Belanda,  Laporan  Penelitian, 2003.
[24]  H.A.  Robbani  (2018)  “PySastrawi:  Indonesian  Stemmer,”  [Online], https://github.com/har07/PySastrawi, tanggal akses: 01-Nov-2021.
[25]  M. Adriani, dkk., “Stemming Indonesian,” ACM Trans. Asian Lang. Inf. Process. , Vol. 6, No. 4, hal. 1–33, 2007.
[26]  R.  Kusumawati,  A.  D’arofah,  dan  P.A.  Pramana,  “Comparison Performance  of  Naive  Bayes  Classifier  and  Support  Vector  Machine Algorithm for Twitter’s Classification of Tokopedia Services,” J. Phys.: Conf. Ser. , Vol. 1320, No. 1, hal. 1–10, 2019.
[27]  A.S.  Neogi,  K.A.  Garg,  R.K.  Mishra,  dan  Y.K.  Dwivedi,  “Sentiment Analysis  and  Classification  of  Indian  Farmers’  Protest  Using  Twitter Data,” Int. J. Inf. Manage. Data Insights , Vol. 1, No. 2, hal. 1–11, 2021.
[28]  scikit-learn,  “scikit-learn:  Machine  Learning  in  Python,”  [Online], https://scikit-learn.org/stable, tanggal akses: 24-Nov-2021.
[29]  S. Al-Saqqa, G. Al-Naymat, dan A. Awajan, “A Large-Scale Sentiment Data Classification for Online Reviews Under Apache Spark,” Procedia Comput. Sci. , Vol. 141, hal. 183–189, 2018.
[30]  M. Birjali, M. Kasri, dan A. Beni-Hssane, “A Comprehensive Survey on Sentiment Analysis: Approaches, Challenges and Trends,” Knowl-Based Syst. , Vol. 226, hal. 1–26, 2021.
[31]  F. Heimerl, S. Lohmann, S. Lange, dan T. Ertl, “Word Cloud Explorer: Text Analytics Based on Word Clouds,” 2014 47th Hawaii Int. Conf. Syst. Sci. , 2014, hal. 1833–1842.