## Journal of Information System Research (JOSH)
Volume 4, No. 4, Juli 2023, pp 142 3− 1430 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v4i4.3943

## Analisis Sentimen Ulasan Aplikasi Info BMKG di Google Play Menggunakan TF-IDF dan Support Vector Machine
Ichwanul Muslim Karo Karo 1,* , Justaman Arifin Karo Karo 2 , Yunianto 2 , Hariyanto 2 , Miftahul Falah 2 Manan Ginting 2
1 Fakultas MIPA, Ilmu Komputer, Universitas Negeri Medan, Medan Jl. William Iskandar Ps. V, Kenangan Baru, Kec. Percut Sei Tuan, Kabupaten Deli Serdang, Sumatera Utara, Indonesia
2 Teknik Mekanika, Politeknik Teknologi Kimia Industri, Medan Jalan Medan Tenggara No. VII, Medan Tenggara, Kec. Medan Denai, Kota Medan, Sumatera Utara, Indonesia Email: 1 ichwanul@unimed.ac.id, 2 justaman.karo@gmail.com, 3 yunianto.mt.ir@gmail.com, 4 hariyanto.ptki@gmail.com,
5 miftahulfalahlubis@gmail.com, 6 manan.ginting@ptki.ac.id Email Penulis Korespondensi: ichwanul@unimed.ac.id Submitted: 26/07/2023; Accepted: 31/07/2023; Published: 31/07/2023
Abstrak −Postingan ulasan secara online telah menjadi salah satu menjadi cara populer untuk mengungkapkan pendapat dan sentimen  terhadap  aplikasi  layanan.  Aplikasi  Info  Badan  Meteorologi  Klimatologi  dan  Geofisika  (BMKG)  adalah  sebuah aplikasi mobile berbasis Android dan iOS dengan menyajikan informasi mengenai cuaca, iklim, kualitas udara, dan gempa bumi yang terjadi di berbagai wilayah di Indonesia. Informasi yang termuat diaplikasi ini sangat penting namun memiliki nilai memiliki lebih buruk dibandingkan dengan aplikasi peramalan yang lain. Analisis sentimen merupakan proses klasifikasi text ke  dalam  beberapa  kelas  seperti  sentimen  positif,  negatif  atau  tidak  memuat  keduanya.  Penelitian  ini  bertujuan  untuk menganalisa ulasan pengguna pada aplikasi Info BMKG dari situs Google Play. Adapun manfaat yang didapat ialah sebagai bahan pertimbangan pengembang untuk memperbaiki kekurangan aplikasi. Proses klasifikasi menggunakan Term Frequency- Invers Document Frequency (TF-IDF) dan algoritma Support Vector Machine (SVM). Penelitian ini berhasil mengumpulkan 2500 ulasan dari pengguna aplikasi Info BMKG di situs Google PlayStore dengan metode web scraping. Pra-proses text (text preprocessing)  ulasan  menggunakan  case  folding,  symbolic  and  stopword  removal,  tokenisasi,  normalisasi,  dan  stemming. Penilaian pengguna (rating) membantu dalam mengidentifikasi label sentiment sebuah ulasan, 66% ulasan bersentimen positif sedangkan  sisanya  negatif.  Adapun  topik  yang  paling  sering  diulas  dan  bernilai  sentimen  ialah  “aplikasi”,  “informasi”, “update”. Penelitian ini melakukan tiga kali skenario percobaan berdasarkan komposisi data latih dan data uji. Berdasarkan model prediksi yang dilakukan, skenario dengan data split 75%:25% memiliki tingkat akurasi tertinggi yaitu 79%.
Kata Kunci: Info BMKG; TF-IDF; SVM; Analisis Sentimen; Text Preprocessing
Abstract −Posting online reviews has become one of the most popular ways to express opinions and sentiments towards service applications. The Meteorology, Climatology and Geophysics Agency (BMKG) Info application is an Android and iOS-based mobile application that provides information on weather, climate, air quality, and earthquakes that occur in various regions in Indonesia.  The  information  contained  in  this  application  is  very  important  but  has  a  worse  value  than  other  forecasting applications. Sentiment analysis is the process of classifying text into several classes such as positive sentiment, negative or not containing both. This research aims to analyze user reviews on the BMKG Info application from the Google Play website. The benefits obtained are as consideration for developers to improve the shortcomings of the application. The classification process uses Term Frequency-Inverse Document Frequency (TF-IDF) and the Support Vector Machine (SVM) algorithm. This research successfully collected 2500 reviews from users of the BMKG Info application on the Google PlayStore website using the web scraping method. Text preprocessing of the reviews used case folding, symbolic and stopword removal, tokenization, normalization, and stemming. User ratings help in identifying the sentiment label of a review, 66% of reviews are positive while  the  rest  are  negative.  The  most  frequently  reviewed  topics  with  sentiment  value  are  "application",  "information", "update". This research conducted three experimental scenarios based on the composition of training data and test data. Based on the prediction model, the scenario with 75%:25% split data has the highest accuracy rate of 79%.
Keywords : Info BMKG; TF-IDF; SVM; Sentiment Analysis; Text Preprocessing

## 1. PENDAHULUAN
Postingan  ulasan  secara  online  telah  menjadi  cara  yang  semakin  populer  bagi  orang  untuk  mengungkapkan pendapat dan sentimen terhadap produk yang dibeli atau layanan yang diterima. Menganalisis nilai ulasan online akan menghasilkan pengetahuan yang bermanfaat yang dapat  ditindaklanjuti  yang dapat menjadi nilai ekonomi bagi vendor dan pihak berkepentingan lainnya. Secara umum, analisis sentimen bertujuan untuk menentukan sikap seorang  pembicara  atau  penulis  sehubungan  dengan  beberapa  topik  atau  keseluruhan  polaritas  kontekstual  dari sebuah  dokumen[1].  Sikap  itu  mungkin  penilaian  atau  evaluasinya,  keadaan  afektif  yaitu,  keadaan  emosional penulis saat menulis, atau komunikasi emosional yang dimaksud yaitu, efek emosional yang ingin dimiliki penulis pada pembaca [2].
Analisis sentimen merupakan proses pengelompokan dokumen tekstual ke dalam beberapa kelas, seperti sentimen  positif  dan  negatif,  serta  besarnya  pengaruh  dan  manfaat  dari  analisis  sentimen  tersebut  [3].  Analisis sentimen digunakan untuk identifikasi kecenderungan hal-hal di pasar ataupun untuk melihat pendapat terhadap sebuah  masalah[4].  Besarnya  pengaruh  dan  manfaat  dari  analisis  sentimen  menyebabkan  penelitian  ataupun aplikasi  mengenai  analisis  sentimen  berkembang  pesat.  Saat  ini  review  komentar  pada  Google  Playstore merupakan  sebuah  indikator  yang  baik  untuk  memberikan  pengaruh  dalam  penelitian  analisis  sentimen.  Hal

## Journal of Information System Research (JOSH)
Volume 4, No. 4, Juli 2023, pp 142 3− 1430 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v4i4.3943
tersebut akan membantu para pengembang aplikasi untuk selalu memperbarui aplikasi. Review pengguna berisi dua bagian, yaitu komentar tekstual dan nilai rating. Komentar tekstual berupa positif dan negatif seperti keluhan, kritik, atau saran dan nilai rating menunjukkan evaluasi keseluruhan pengalaman pengguna menggunakan skala numerik [5].
Info  BMKG  adalah  sebuah  aplikasi  mobile  yang  berbasis  Android  dan  iOS  yang  menyajikan  informasi mengenai  cuaca,  iklim,  kualitas  udara,  dan  gempa  bumi  yang  terjadi  di  berbagai  wilayah  di  Indonesia[6]. Berdasarkan data di situs Google Play store pada tanggal 15 November 2022, Info BMKG telah di unduh lebih lebih dari 5 juta kali dan memiliki rating 4,5. Pada situs google play juga tercatat 71 ribu ulasan pengguna di kolom komentar Info BMKG. Aplikasi Info BMKG dipilih karena ratingnya lebih rendah dibandingkan dengan aplikasi peramalan yang lain seperti Windy.com – Perkiraan Cuaca.
Terdapat dua penelitian yang mengalisis sentiment dengan objek BMKG. Sebuah penelitian menganalisis sentimen  data  BMKG  nasional  melalui  tweet  dan  komentar  di  Twitter  [7].  Penelitian tersebut  mengklasifikasn tweet  ke  kelas  positif,  netral  atau  negative  dengan  algoritma  naive  bayes.  Hasil  ujinya  menunjukan  akurasi algoritma naive bayes untuk menganalisis sentimen ialah 69.97%. Penelitian [8] mengumpulkan 1000 tweet dari akun  twitter  @infoBMKG  dengan  menggunakan  metode  crawling  untuk  dianalisis  sentimennya.  Algoritma machine learning yang digunakan untuk menganalisis sentiment meliputi Naïve Bayes, Naïve Bayes + Adaboost, SVM + TF-IDF, dan SVM+ PSO.  Hasilnya algoritma SVM + TF-IDF memiliki nilai Akurasi, Recall, dan AUC yang lebih tinggi dibandingkan metode lainnya akurasi sebesar 74%, precision sebesar 75%, recall sebesar 92% dan F1-Score sebesar 83%.
Disisi lain, terdapat beberapa penelitian yang menganalisis ulasan bersumberkan google play store. Sebuah penelitian menganalisis review pengguna aplikasi Grab pada Google Play Store menggunakan algoritma SVM[9]. Performansi  algoritma  SVM  untuk  menganalisis  sentimen  dari  ulasan  tersebut  ialah  85,54%.  Penelitian  [10] menggunakan algoritma yang sama dengan penelitian sebelumnya untuk mengalisis sentimen pengguna aplikasi MOLA di google play store. Data yang digunakan adalah review aplikasi MOLA sebanyak 520 data yang terdiri dari  312  review  positif  dan  208 review  negatif. Hasil  terbaik  diperoleh  pada  skenario  1  (90:10) menggunakan kernel RBF (Radial Basis Function) yang menghasilkan akurasi 92,31%, presisi 96,3%, recall 89,66%, dan skor f1 92,86%. Adapun aplikasi lain yang pernah dianalisis sentiment ulasanya di google play store ialah aplikasi tiket online. Penelitian oleh [11] menganalisis sentimen terhadap aplikasi tiket online pada google play store dengan menggunakan algoritma SVM. Aplikasi tiket online yang dianalsis antara lain Pegipegi, Agoda, Traveloka, Mister Aladin dan Tiket.com. Ada 1500 ulasan komentar yang bersalah di diperoleh dengan menggunakan web scraping. Hasil yang didapatkan yaitu nilai akurasi aplikasi tertinggi adalah Pegipegi dengan nilai akurasi 78,21%, kedua yaitu aplikasi Agoda dengan nilai akurasi 77,00%, ketiga yaitu aplikasi Traveloka dengan nilai akurasi 75,03%, keempat  yaitu  aplikasi  Mister  Aladin  dengan  nilai  akurasi  64,00%,  dan  nilai  akurasi  terendah  yaitu  aplikasi Tiket.com dengan nilai akurasi 58,68%. Berdasarkan informasi review diatas, algoritma SVM umum digunakan untuk menganalisis sentimen sebuah ulasan aplikasi bersumberkan google play store.
Penelitian ini bertujuan untuk menganalisa ulasan pengguna aplikasi Info BMKG di situs Google PlayStore dengan  menggunakan  algoritma  Support  Vector  Machine  (SVM).  Algorima  ini  mampu  mengkomputasi  data dengan  dimensi  tinggi  serta  multi  variabel  [12].  Selain  itu,  algoritma  SVM  memiliki  performansi  lebih  baik dibandingkan dengan algoritma machine learning lainnya untuk beberapa studi kasus [8].

## 2. METODOLOGI PENELITIAN
Penelitian ini menganalisis ulasan pengguna terhadap aplikasi Info BMKG pada kolom review Google Playstore. Pendekatan  yang  dilakukan  ialah  Text  Mining  dengan  algoritma  algoritma  SVM.  Adapun  tahapan  penelitan meliputi proses pengumpulan data, text pre-processing, Ekstraksi fitur, split data, klasifikasi menggunakan SVM, dan evaluasi, alur keseluruhan kegiatan penelitian dapat dilihat pada Gambar 1 .
Gambar 1 . Flowchart Penelitian

## 2.1 Pengumpulan Data
Proses pengumpulan data pada penelitian ini menggunakan 2500 ulasan pengguna pada aplikasi Info BMKG di situs  Google  PlayStore  dengan  metode  pegambilan  data  web  scraping.  Web  scraping  adalah  teknik  untuk mendapatkan informasi dari website secara otomatis tanpa harus menyalinnya secara manual [13].

## Journal of Information System Research (JOSH)
Volume 4, No. 4, Juli 2023, pp 142 3− 1430 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v4i4.3943

## 2.2 Text Preprocessing
Text preprocessing merupakan langkah awal dan sangat kritikal dari penambangan teks (text mining)[14], [15]. Luaran text preprocessing ialah memperoleh data dengan format yang sesuai sehingga dapat diproses lebih lanjut. Selain itu proses ini juga bertujuan untuk menghindarkan dari data yang mengganggu (noise) atau data yang tidak konsisten  serta  mampu  meningkatkan  performansi  model  yang  dihasilkan[16].  Adapun  proses  yang  dilakukan dalam text preprocessing pada penelitian ini antara lain:
a. Case folding, merupakan proses merubah kalimat data teks menjadi seragam [17]
b. Cleansing,  yaitu  proses  membersihkan  dokumen  dan  menyeleksi  kata  yang  tidak  diperlukan  seperti html,emoticon, hashtag, mention dan url[17].
c. Tokenisasi,  merupakan  proses  seleksi  pemotongan  kata  dalam  kalimat.  Diberikan  pemisah  seperti  tanda koma (,), titik (.), dan tanda pemisah lainnya [17].
d. Normalisasi  yaitu  mengubah  kata-kata  slank  words  yang  masih  berantakan  menjadi  kata  Indonesia  yang benar.
e. Stopword  Removal,  yaitu  menghilangkan  kata  yang  kurang  efektif  menggunakan  library  NLTK  untuk filtering terhadap dataframe.
f. Steaming, yaitu proses untuk menyaring kata dasar dari sebuah kata dan menghapus kata imbuhan.

## 2.3 Ekstrasi Fitur TF-IDF
Penelitian ini menggunakan Term Frequency-Inverse Document Frequency (TF-IDF) untuk mengekstrak fitur dari ulasan-ulasan. Metode TF-IDF memiliki representasi lebih baik dibandingkan dengan metode fitur ekstraksi lainnya  untuk  beberapa  kasus  analisis  sentiment[12],  [15],  [18].Adapun  konsep  dan  teknisnya  merujuk  ke penelitian sebelumnya[18], [19]. Teknisnya dari TF-IDF ialah dokumen dipecah menjadi satu kata atau unigram. Proses  menghitung  Term  Frequency  (TF)  dan  Inverse  Document  Frequency  (IDF)  adalah  bagian dari  proses pemberian  bobot  pada  kata  dengan  TF-IDF.  Proses  scaling  diperlukan  agar  nilai  TF  tidak  terlalu  berbeda. Persamaan (1) TF dengan proses scaling diberikan di sini.
Wtd = { 0                          if TF td = 0 1+log(TF td ) if TF td > 0
(1)
TF td menyatakan jumlah berapa banyak suatu kata dalam suatu dokumen. Setelah menemukan nilai W td , Langkah selanjutnya adalah mencari nilai IDF. Persamaan (2) merupakan formula untuk mencari nilai IDF.
IDFt = log ( 1+n 1+dft ) + 1
(2)
N  menyatakan  total  jumlah  dataset.  Df t jumlah  dokumen  yang  mengandung  suatu  kata.  Setelah menemukan nilai IDF t , Langkah  selanjutnya adalah mengalikan nilai W td dengan IDF t sehingga nilai  TF-IDF dapat diperoleh dengan persamaan (3).
TF IDF t = W td ×   IDF t (3)

## 2.4 Data Splitting
Proses  data  splitting  bertujuan  untuk  membagi  dataset  menjadi  dua  bagian  :  data  latih  dan  data  uji.  Data  latih ditujukan  untuk  membangun  model  sentiment  sedangkan  data  uji  untuk  mengevaluasi  performansi  model sentiment  yang  dihasilkan.  Terdapat  tiga  skenario  eksperimen  berdasarkan  splitting  data  yang  dilakukan  oleh penelitian sebelumnya, skenario 1 dengan komposisi 70% data latih[20], skenario 2 dengan komposisi 75% data latih sedangkan skenario 3 dengan komposisi 80% data latih [12].

## 2.5 Algoritma SVM
Support  Vector  Machine  (SVM)  merupakan  salah  satu  algoritma  pembelajaran  mesin  yang  efektif  untuk mengakomodasi banyak variabel dan banyak kelas[21]. Ide algoritma SVM adalah menciptakan hyperplane yang mampu memisahkan datase[22]. Hyperplane berupa sebuah fungsi dengan 𝑵 𝒊𝒏 -1 variabel independen. Adapun algoritma SVM yang digunakan mengikuti panduan sebagaimana pada Tabel 1. Pada tabel tersebut terdapat enam variabel input: jumlah vektor, jumlah dan array dari support vektor, atribut di support vektor, serta bias. Sedangkan luarannya  ialah  hyperplane  yang  berupa  fungsi.  Fungsi  ini  lah  yang  nantinya  mengidentifikasi  sebuah  ulasan bersentimen positif atau negative atau disebut dengan model sentiment.
Tabel 1 Algoritma SVM [21]
Algoritma
Masukan:
𝑁 𝑖𝑛 (Jumlah vektor) 𝑁 𝑠𝑣 (Jumlah support vector) 𝑁 𝑓𝑡 (Jumlah atribut di support)
𝑆𝑉[𝑁 𝑠𝑣 ] (Array support vector)

## Journal of Information System Research (JOSH)
Volume 4, No. 4, Juli 2023, pp 142 3− 1430 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v4i4.3943
𝐼𝑁[𝑁 𝑖𝑛 ] (masukan array vektor) 𝑏 ∗ (bias) Luaran: F (Fungsi hyperplane) 𝒇𝒐𝒓 𝑖  ← 1 𝒕𝒐 𝑁 𝑖𝑛 𝒃𝒚 1 𝒅𝒐 F = 0 𝒇𝒐𝒓 𝑗  ← 1 𝒕𝒐 𝑁 𝑠𝑣 𝒃𝒚 1 𝒅𝒐 dist = 0 𝒇𝒐𝒓 𝑘  ← 1 𝒕𝒐 𝑁 𝑓𝑡 𝒃𝒚 1 𝒅𝒐 dist += (𝑆𝑉[𝑗]. 𝑣𝑎𝑟𝑖𝑎𝑏𝑒𝑙[𝑘] −
𝐼𝑁[𝑖]. 𝑣𝑎𝑟𝑖𝑎𝑏𝑒𝑙[𝑘]) 2
end 𝑘 = 𝑒𝑥𝑝 (−𝛾  × 𝑑𝑖𝑠𝑡) 𝐹+= 𝑆𝑉[𝑗]. 𝑎 ∗ × 𝑘 e nd 𝐹 = 𝐹  + 𝑏 ∗) end
2.6 Evaluasi
Model  sentimen  yang  dihasilkan  oleh  algoritma  SVM  dapat  dievaluasi  dengan  metrik  performansi  akurasi (persamaan (4)) , precision (persamaan (5)), recall (persamaan (6)) dan F1 (persamaan (7)). Pengukuran tersebut berdasarkan confusion matrix (Tabel 2)[23].
Tabel 2. Confusion matrix Prediksi Positif Negatif Aktual Positif True Positive (TP) False Negative (FN) Negatif False Positive (FP) True Negative (TN) 𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = 𝑇𝑃+𝑇𝑁 𝑇𝑃+𝑇𝑁+𝐹𝑃+𝐹𝑁 . 100% (4) 𝑃 = 𝑇𝑃 𝑇𝑃+𝐹𝑃 . 100% (5)
𝑅𝑒𝑐𝑎𝑙𝑙(𝑅) = 𝑇𝑃 𝑇𝑃+𝐹𝑁 . 100% (6) 𝐹1 𝑠𝑐𝑜𝑟𝑒 = 2𝑃𝑅 𝑃+𝑅 (7)

## 3. HASIL DAN PEMBAHASAN

## 3.1 Data Driven
Dari  hasil  pengumpulan  data  diperoleh  2500  ulasan  pengguna  aplikasi  Info  BMKG  yang  paling relevan,  Hasil pengumpulan data dapat dilihat pada Tabel 3. Setiap ulasan dari pengguna diserta dengan rating. Nilai rating dalam rentang 1-5. Gradasi nilai 1 merupakan mengindikasi sangat buruk hingga nilai 5 sangat bagus.
Tabel 3. Contoh data ulasan
No. Rating Ulasan 1 4 Sudah baik  tapi mohon  diperbaiki lagi untuk  notifikasi  dan sesuaikan dengan lokasi.. saya tidak  mendapat  notifikasi  peringatan  dini  cuaca  lokasi  saya  harus  membuka  aplikasi  baru terlihat.. tapi tiba" muncul notifikasi gempa yang jaraknya beda pulau dengan saya..padahal peringatan dini cuaca sangat penting seperti merencanakan rute pulang untuk menghindari lokasi" rawan banjir
2 5 Aplikasi ini sangat membatu, terutama bagi kita yang ingin melakukan perjalanan sehingga tau kemungkinan hujan atau tidak, bagi petanipun sangat membatu karna apa harus dilakukan bisa dipredisi. Semoga aplikasi ini terus berkembang. Maju teruus... BMKG. 3
2 Informasi Cuaca di beranda tidak menunjukkan lokasi yg sudah di atur di pengaturan, jadi harus  buka  menu  cuaca  dan  pilih  kabupaten  dulu.  UI  nya  susah  untuk  navigasi  di  bagian cuaca, bayangkan mau scroll prakiraan cuaca kebawah aja susahnya minta ampun, tolong lah diperbaiki, sudah berapa kali

## Journal of Information System Research (JOSH)
Volume 4, No. 4, Juli 2023, pp 142 3− 1430 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v4i4.3943
No. Rating Ulasan update belum ada perbaikan. . .
. . . .
. . . 2500 2
Lemot tdk semua gempa ada pemberitahuannya klau bisaaaa terupdate trusss dong biar orang pada tau klau gempa dan cuaca ekstrem itt trjadi d'mna sja
Ulasan dari Tabel 3 di proses dengan menggunakan beberapa metode text preprocessing. Adapun contoh hasil  text  preprocessing  dapat  dilihat  pada  tabel  4.  Ulasan  sebagai  data  awal  diproses  dengan  case  folding  dan cleansing.  Hasil  dari  proses  case  folding  dan  cleansing  dilanjutkan  dengan  proses  tokenisasi.  Setiap  term  hasil tokenisasi dianalisis menggunakan stopword removal dan stemming.
Tabel 4. Contoh hasil text preprocessing Data awal Case folding dan cleansing Tokenisasi Normalisasi kata Stopword removal Steaming Sudah  baik tapi  mohon diperbaiki lagi untuk notifikasi dan sesuaikan dengan lokasi. sudah baik tapi  mohon diperbaiki lagi untuk notifikasi dan sesuaikan dengan lokasi ['sudah', 'baik',  'tapi', 'mohon', 'diperbaiki', 'lagi', 'untuk', 'notifikasi', 'dan', 'sesuaikan', 'dengan', 'lokasi'] ['sudah', 'baik', 'tapi', 'mohon', 'diperbaiki', 'rekomendasi', 'untuk', 'notifikasi', 'dan', 'sesuaikan', 'dengan', 'lokasi'] ['sudah', 'baik', 'tapi', 'mohon', 'diperbaiki', 'rekomendasi', 'untuk', 'notifikasi', 'sesuaikan', 'lokasi'] ['sudah', 'baik', 'tapi', 'mohon', 'rekomendasi', ‘baik’ 'notifikasi', 'sesuai', 'lokasi']
Tahapan berikutnya ialah ekstraksi fitur dari hasil stemming. Proses ekstraski fitur menggunakan TF-IDF. Adapun contoh hasil fitur ekstrasi dari ulasan yang ada di Tabel 4 dapat diihat pada Tabel 5. Setiap term yang unik hasil  text  processing  merupakan  variabel  sedangkan  ulasan  merupakan  recordnya.  Pada  penelitian  ini  terdapat 2500 record dan 2071 variabel darin kata kata yang unik.
Tabel 5. Contoh hasil ekstraksi fitur dengan TF-IDF
Ulasan sudah baik tapi mohon  rekomendasi  notifikasi  sesuai  lokasi Sudah  baik  tapi  mohon diperbaiki lagi untuk notifikasi  dan  sesuaikan dengan lokasi. 0.013 0.026  0.013  0.013 0.013 0.013 0.013 0.013

## 3.2 Analisis Sentimen Berdasarkan Rating
Penelitian ini menyajikan informasi distribusi rating dari semua ulasan pengguna aplikasi. Data distribusi rating score ini didapatkan dari kolom data skor. Penilaian pengguna memberikan penelitian berupa rating dalam rentang 1-5. Nilai 1 merupakan penelian sangat  buruk terhadap aplikasi  Info BMKG  berating  angka 2 dengan persepsi buruk, angka 3 untuk persepsi nilai tengah (Netral), angka 4 untuk persepsi nilai tinggi (positif) dan nilai 5 (lima) dengan persepsi nilai tertinggi (Sangat Positif). Distribusi penilaian terhadap aplikasi Info BMKG dipresentasikan pada  Gambar  2.  Penilaian  pengguna  dihasilkan  rating  5  (sangat  positif)  dengan  ulasan  sebanyak  1264  ulasan dimana  berbanding  terbalik  dengan  rating  score  1(sangat  kritis)  dengan  ulasan  sebanyak  348  ulasan.  Hal  ini merupakan indikator yang baik bahwa pengguna aplikasi Info BMKG memiliki pengalaman cukup baik.

## Gambar 2 Distribusi rating aplikasi Info BMKG
Ulasan dengan rating 1-3 menjadi ulasan dengan label negatif sedangkan ulasan dengan rating 4-5 menjadi label positif. Dengan demikian, dari 2500 ulasan pengguna pada aplikasi Info BMKG di situs Google PlayStore didapatkan 1659 ulasan positif, dan 841 ulasan negatif. Perbandingan distribusi kedua ulasan dapat dilihat pada Gambar 3. Informasi label ini digunakan sebagian komposisi dataset pada proses klasifikasi.

## Journal of Information System Research (JOSH)
Volume 4, No. 4, Juli 2023, pp 142 3− 1430 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v4i4.3943
Gambar 3 Persentase perbandingan ulasan berlabel positif dan negatif

## 3.3 Analisis Topik Ulasan
Penelitian ini menyajikan hasil identifikasi topik yang sering diulas. Berdasarkan. Didapatkan beberapa kata yang paling sering muncul yaitu “aplikasi” dengan frequensi kemunculan 1093, “gempa” dengan 1000 kali kemunculan, “informasi” dengan 843 kemunculan, “cuaca” dengan 558 kemunculan, “bantu” dengan 489 kemunculan, “bagus” dengan  444  kemunculan,  “bmkg”  dengan  363  kemunculan,  “rekomendasi”  dengan  354  kemunculan,  “update” dengan  310  kemunculan  dan  seterusnya.  Informasi  tersebut  mengindikasikan  topik  yang  menjadi  sorotan pengguna aplikasi meliputi tentang aplikasi Info BMKG, informasi  gempa bumi, cuaca dan bencana serta saran saran pengguna yang meliputi rekomendasi, update dan sebagainya.
Gambar 4. Frequensi kemunculan kata-kata

## 3.4 Performansi SVM dan TF-IDF
Bagian ini menyajikan  performasi algoritma SVM  dan TF-IDF. Proses pengukuran performansi  dilakukan tiga kali  berdasarkan  skenario  percobaan  yang  telah  di  bahas  pada  bagian  2.4.  Adapun  hasil  prediksi  dari  masing masing skenario dapat dilihat pada tabel 6. Sedangkan performansi model sentimen yang dihasilkan dari masing- masing skenario dapat dilihat pada gambar 5.
Tabel 6 Hasil prediksi Skenario Hasil Prediksi TP TN FN FP Skenario 1 430 68 148 104 Skenario 2 362 53 129 81 Skenario 3 287 45 101 67
Berdasarkan  informasi  dari  Tabel  5,  hasil  prediksi  algoritma  SVM  dengan  data  latih  sebanyak  75% memiliki jumlah benar tertinggi yaitu sebanyak 491  dari 625 ulasan dan data latih  70%  memiliki jumlah benar terendah yaitu sebanyak 578 dari 750 ulasan. Gambar 5 mempresentasikan hasil akurasi algoritma SVM dengan variasi  jumlah  data  sesuai  distribusi  yang  telah  ditentukan.  Berdasarkan  model  prediksi  yang  dilakukan  oleh peneliti, didapatkan juga bahwa data split 75:25 memiliki tingkat  performasi tertinggi dari keempat metrik  dan data split 70:30 memiliki performansi terendah. Dengan kata lain, 75% data latih menjadi pilihan terbaik untuk menghasilkan model terbaik. Untuk mendapat model sentiment terbaik.

## Journal of Information System Research (JOSH)
Volume 4, No. 4, Juli 2023, pp 142 3− 1430 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v4i4.3943

## 4. KESIMPULAN
Penilaian  pengguna  dihasilkan  rating  score  5  (sangat  positif)  dengan  ulasan  sebanyak  1264  ulasan  dimana berbanding terbalik dengan rating score 1(sangat kritis) dengan ulasan sebanyak 348 ulasan. Hal ini merupakan indikator yang baik bahwa pengguna aplikasi Info BMKG memiliki pengalaman cukup baik. Berdasarkan Gambar 3 di simpulkan lima kata serupa yang paling sering muncul pada kedua label, yaitu aplikasi, gempa, informasi, cuaca dan bmkg. Lima kata yang berbeda pada label  positif yaitu bantu, bagus, rekomendasi, akurat  dan cepat, sedangkan lima kata yang berbeda pada label negative yaitu update, lokasi, tolong, notifikasi dan baik. Berdasarkan model  prediksi  yang  dilakukan  oleh  peneliti  dengan  menggunakan  metode  Support  Vector  Machine,  diperoleh yaitu data split  75:25  memiliki tingkat akurasi  tertinggi  sebanyak 79% dilanjut dengan data split  80:20  dengan tingkat  akurasi  sebanyak  78%  dan  data  split  70:30  memiliki  jumlah  benar  terendah  yaitu  sebanyak  77%. Berdasarkan hasil kajian dapat dikemukakan beberapa rekomendasi yang diharapkan dapat menjadi masukan bagi pengembangan sistem ke depan. Diperlukannya kamus khusus untuk  menangani  kasus penggunaan data ulasan Google Playstore yang seringkali menggunakan bahasa yang tidak baku, dapat menggunakan pendekatan dengan deteksi emoticon untuk mendeteksi emoticon serta dapat membandingkan dengan metode klasifikasi lainnya

## REFERENCES
[1]  Q.  A.  Chairunnisa,  Y.  Herdiyeni,  M.  K.  D.  Hardhienata,  and  J.  Adisantoso,  “Analisis  Sentimen  Pengguna  Twitter Terhadap  Program  Vaksinasi  Covid-19  di  Indonesia  Menggunakan  Algoritme  Support  Vector  Machine,”  Jurnal  Ilmu Komputer dan Agri-Informatika, vol. 9, no. 1, 2022, doi: 10.29244/jika.9.1.79-89.
[2]  J. A. Septian, T. M. Fachrudin, and A. Nugroho, “Analisis Sentimen Pengguna Twitter Terhadap Polemik Persepakbolaan Indonesia Menggunakan Pembobotan TF-IDF dan K-Nearest Neighbor,” Journal of Intelligent System and Computation, vol. 1, no. 1, 2019, doi: 10.52985/insyst.v1i1.36.
[3]  Y. Cahyono, “Analisis Sentiment Tweets Berbahasa Sunda Menggunakan Naive Bayes Classifier dengan Seleksi Feature Chi Squared Statistic,” vol. 4, no. 3, 2019, [Online]. Available: http://openjournal.unpam.ac.id/index.php/informatika
[4]  K. Sailunaz and R. Alhajj, “Emotion and sentiment analysis from Twitter text,” J Comput Sci, vol. 36, p. 101003, Sep. 2019, doi: 10.1016/j.jocs.2019.05.009.
[5]  A.  Novantirani,  M.  K.  Sabariah,  and  V.  Effendy,  “Analisis  Sentimen  pada  Twitter  untuk  Mengenai  Penggunaan Transportasi Umum Darat Dalam Kota dengan Metode Support Vector Machine,” e-Proceeeding of Engineering, vol. 2, no. 1, 2015.
[6]  P. A. Fajriyah, “PENGARUH PENGGUNAAN APLIKASI INFO BMKG TERHADAP SIKAP TANGGAP BENCANA MAHASISWA UNIVERSITAS MATARAM PASCA GEMPA BUMI LOMBOK 2018,” JCommsci - Journal of Media and Communication Science, vol. 2, no. 1, 2019, doi: 10.29303/jcommsci.v2i1.23.
[7]  D.  Darwis,  N.  Siskawati,  and  Z.  Abidin,  “PENERAPAN  ALGORITMA  NAIVE  BAYES  UNTUK  ANALISIS SENTIMEN  REVIEW  DATA  TWITTER  BMKG  NASIONAL,”  Jurnal  Tekno  Kompak,  vol.  15,  no.  1,  2021,  doi: 10.33365/jtk.v15i1.744.
[8]  M.  Yusuf  Hidayatulloh,  A.  Sunanto,  M.  Farrell  Afelino  Gevin,  and  D.  Dwi  Saputra,  “Optimasi  Sentimen  Analisis Informatif  dan  Tidak  Informatif  dari  Tweet  di  BMKG  Menggunakan  Algoritma  Naive  Bayes  dan  Metode  Teknik Pengambilan Sampel Minoritas Sintetis,” Jurnal Sains Komputer & Informatika (J-SAKTI, vol. 7, no. 1, pp. 1–12, 2023.
[9]  R. Wahyudi and G. Kusumawardana, “Analisis Sentimen pada Aplikasi Grab di Google Play Store Menggunakan Support Vector Machine,” Jurnal Informatika, vol. 8, no. 2, 2021, doi: 10.31294/ji.v8i2.9681.
[10] M.  D.  Hendriyanto,  A.  A.  Ridha,  and  U.  Enri,  “Analisis  Sentimen  Ulasan  Aplikasi  Mola  Pada  Google  Play  Store Menggunakan  Algoritma  Support  Vector  Machine,”  INTECOMS:  Journal  of  Information  Technology  and  Computer Science, vol. 5, no. 1, 2022, doi: 10.31539/intecoms.v5i1.3708.
[11] F.  Bei  and  S.  Sudin,  “Analisis  Sentimen  Aplikasi  Tiket  Online  Di  Play  Store  Menggunakan  Metode  Support  Vector Machine (Svm),” Sismatik, vol. 01, no. 01, 2021.
[12] I. M. Karo Karo, M. F. M. Fudzee, S. Kasim, and A. A. Ramli, “Sentiment Analysis in Karonese Tweet using Machine Learning,” Indonesian Journal of Electrical Engineering and Informatics, vol. 10, no. 1, pp. 219–231, Mar. 2022, doi: 10.52549/ijeei.v10i1.3565.
[13] S. vanden Broucke and B. Baesens, Practical Web Scraping for Data Science. 2018. doi: 10.1007/978-1-4842-3582-9.
[14] F.  Alghifari  and  D.  Juardi,  “PENERAPAN  DATA  MINING  PADA  PENJUALAN  MAKANAN  DAN  MINUMAN MENGGUNAKAN METODE ALGORITMA NAÏVE BAYES,” JURNAL ILMIAH INFORMATIKA, vol. 9, no. 02, 2021, doi: 10.33884/jif.v9i02.3755.
[15] I. M. Karo Karo, M. Farhan, M. Fudzee, S. Kasim, and A. A. Ramli, “Karonese Sentiment Analysis: A New Dataset and Preliminary  Result,”  JOIV:  International  Journal  on  Informatics  Visualization,  vol.  6,  no.  2–2,  pp.  523–530,  2022, [Online]. Available: www.joiv.org/index.php/joiv
[16] S. Cheng, B. Liu, Y. Shi, Y. Jun, and B. Li, Data Mining and Big Data. 2015. doi: 10.1007/978-3-319-40973-3.
[17] Yuyun,  Nurul  Hidayah,  and  Supriadi  Sahibu,  “Algoritma  Multinomial  Naïve  Bayes  Untuk  Klasifikasi  Sentimen Pemerintah Terhadap Penanganan Covid-19 Menggunakan Data Twitter,” Jurnal RESTI (Rekayasa Sistem dan Teknologi Informasi), vol. 5, no. 4, 2021, doi: 10.29207/resti.v5i4.3146.
[18] A. Fauzi, E. B. Setiawan, and Z. K. A. Baizal, “Hoax News Detection on Twitter using Term Frequency Inverse Document Frequency and Support Vector Machine Method,” in Journal of Physics: Conference Series, 2019. doi: 10.1088/1742- 6596/1192/1/012025.
[19] I.  M.  Karo  Karo,  R.  Romia,  S.  Dewi,  and  P.  M.  Fadilah,  “Hoax  Detection  on  Indonesian  Tweets  using  Naïve  Bayes Classifier with TF-IDF,” Journal of Information System Research (JOSH), vol. 4, no. 3, pp. 914–919, Apr. 2023, doi: 10.47065/josh.v4i3.3317.

## Journal of Information System Research (JOSH)
Volume 4, No. 4, Juli 2023, pp 142 3− 1430 ISSN 2686-228X (media online) https://ejurnal.seminar-id.com/index.php/josh/ DOI 10.47065/josh.v4i4.3943
[20] E. Muningsih, “KOMBINASI METODE K-MEANS DAN DECISION TREE DENGAN PERBANDINGAN KRITERIA DAN SPLIT DATA,” Jurnal Teknoinfo, vol. 16, no. 1, 2022, doi: 10.33365/jti.v16i1.1561.
[21] I. M. Karo Karo and H. Hendriyana, “Klasifikasi Penderita Diabetes menggunakan Algoritma Machine Learning dan Z- Score,” Jurnal Teknologi Terpadu, vol. 8, no. 2, pp. 94–99, 2022.
[22] T. Joachims, Learning to Classify Text Using Support Vector Machines. 2002. doi: 10.1007/978-1-4615-0907-3.
[23] I. M. K. Karo, R. Ramdhani, A. W. Ramadhelza, and B. Z. Aufa, “A Hybrid Classification Based on Machine Learning Classifiers  to  Predict  Smart  Indonesia  Program,”  in  Proceeding  -  2020  3rd  International  Conference  on  Vocational Education  and Electrical  Engineering:  Strengthening  the  framework of  Society  5.0  through  Innovations  in Education, Electrical, Engineering and Informatics Engineering, ICVEE 2020, 2020. doi: 10.1109/ICVEE50212.2020.9243195.