Jurnal Teknik Informatika (JUTIF) DOI: https://doi.org/10.52436/1.jutif.2024.5.3.1784
Vol. 5, No. 3, June 2024, pp. 709-719
p-ISSN: 2723-3863
e-ISSN: 2723-3871

## SENTIMENT ANALYSIS OF ICT SERVICE USER USING NAIVE BAYES CLASSIFIER AND SVM METHODS WITH TF-IDF TEXT WEIGHTING
Wulan Trisnawati *1 , Arief Wibowo 2
1,2 Master of Computer Science, Faculty of Information Technology, Universitas Budi Luhur, Indonesia Email: 1 2111601361@student.budiluhur.ac.id , 2 arief.wibowo@budiluhur.ac.id
(Article received: January 25, 2024; Revision: February 10, 2024; published: May 27, 2024)

## Abstract
Pusintek is one of the government units in Indonesia responsible for managing Information and Communication Technology (ICT), providing various ICT services to users in central and regional offices through the ICT Service Catalog. The level of service fulfillment in Pusintek's IT Service Catalog significantly influences the effectiveness and efficiency in meeting service agreements, providing accurate information, and handling disruptions promptly. User  satisfaction  is  measured  through  surveys  to  plan  improvements  to  ICT  services,  but  there  is  currently  no method to classify sentiment from survey comment data. This research aims to classify sentiment and understand customer opinions and satisfaction trends regarding ICT services. The study applies the Naïve Bayes Classifier and  Support  Vector  Machine  (SVM)  methods  to  classify  positive  and  negative  comments  in  user  satisfaction surveys of ICT services. The data used consists of comments from the 2022 ICT user satisfaction survey results. Based on the test results, it is observed that the SVM algorithm provides higher accuracy compared to the Naïve Bayes  algorithm.  Utilizing  the  existing  dataset  with  established  opinion  values,  classification  modeling  using Naïve Bayes Classifier and Support Vector Machine (SVM) proves capable of classifying ICT user sentiment into 3 sentiment classes: Positive, Neutral, and Negative. From the data above, it is concluded that the SVM algorithm achieves  the  highest  accuracy  of  88.76%,  highest  precision  of  89.68%,  recall  of  88.76%,  and  an  f1-score  of 89.12%.
Keywords : Data Mining, Naïve Bayes Classifier, Sentiment Analysis, Services, Support Vector Machine.

## ANALISIS SENTIMEN PENGGUNA LAYANAN TIK MENGGUNAKAN METODE NAIVE BAYES CLASSIFIER DAN SVM DENGAN PEMBOBOTAN TEKS TF-IDF

## Abstrak
Pusintek adalah salah satu unit pemerintahan di Indonesia yang bertanggung jawab atas pengelolaan Teknologi Informasi dan Komunikasi (TIK), menyediakan beragam layanan TIK kepada pengguna di kantor pusat maupun daerah  melalui  Katalog  Layanan  TIK.  Tingkat  pemenuhan  layanan  di  IT Service  Catalog Pusintek  sangat berpengaruh  pada  efektivitas  dan  efisiensi  dalam  memenuhi  perjanjian  layanan,  memberikan  informasi  yang akurat, serta menangani gangguan dengan tepat waktu. Tingkat kepuasan pengguna diukur melalui survei untuk merencanakan peningkatan layanan TIK, namun belum ada metode untuk mengklasifikasikan sentimen dari data komentar  survei.  Penelitian  ini  bertujuan  untuk  mengklasifikasikan  sentimen  serta  mengetahui  kencendrungan pendapat serta kepuasan pelanggan akan layanan TIK. Penelitian ini menerapkan metode Naïve Bayes Classifier (NBC) dan Support  Vector  Machine (SVM)  dengan  mengklasifikasikan  komentar  positif  dan  negatif  pada komentar pada survei pengguna layanan TIK. Data yang digunakan adalah komentar yang ada pada hasil survei layanan pengguna TIK tahun 2022. Berdasarkan hasil uji coba, dapat diketahui bahwa algoritma SVM memberikan nilai  akurasi  lebih tinggi  jika dibandingkan dengan algoritma Naïve Bayes . Dengan  menggunakan dataset  yang ada dan telah memiliki nilai opini, pemodelan klasifikasi menggunakan Naïve Bayes Clasifier dan SVM terbukti mampu  mengklasifikasikan  sentimen  pangguna  TIK    kedalam  3  kelas  klasifikasi,  yaitu  kelas  sentimen  Positif, Netral  dan  Negatif.  Dari  data  diatas  didapat  hasil  bahwa  algoritma  SVM  memiliki  nilai  akurasi  tertinggi  yang didapatkan  sebesar 88,76%, nilai presisi tertinggi  sebesar 89,68%, recall sebesar 88,76%, dan f1-score sebesar 89,12%.
Kata kunci : Analisis Sentimen, Data Mining, Layanan, Naïve Bayes Classifier, Support Vector Machine.

## 1. PENDAHULUAN
Layanan Teknologi Informasi dan  Komunikasi (TIK) memainkan peran utama bagi Pusat Informasi dan  Teknologi  Keuangan,  Sekretariat  Jenderal, Kementerian Keuangan (Pusintek Kemenkeu) selaku Pusat Unit Pengelolaan TIK. IT service catalog yang senantiasa dimuthakirkan dengan mengikuti perkembangan  teknologi  informasi  dan  berfokus pada  kebutuhan  pengguna.  Pada  saat  ini  terdapat pertumbuhan  pesat  dalam  literatur  ilmiah  yang didedikasikan  untuk  memprediksi  tingkat  kepuasan layanan  TIK  menggunakan  teknik Data  Mining [1]. Saat  ini Big  Data menjadi  isu  yang  relevan  bagi dunia,  minat  terhadap Data  Science dan Machine Learning semakin berkembang [2].
Kepuasan  merujuk  pada  tanggapan  pengguna terhadap  pemenuhan  layanan  [3].  Jika  ada  keluhan dari pengguna terkait pelayanan yang diterima, hal ini mengindikasikan  adanya  masalah  dalam  kualitas pelayanan  dari  penyedia  yang  bersangkutan  [4]. Dalam  penelitian  ini,  fokus  utama  adalah  pada indikator kualitas layanan, yaitu kepuasan pengguna dan  persepsi  pengguna.  Suatu  kebijakan  untuk peningkatan  kualitas  layanan  secara  menyeluruh diperoleh  salah  satunya  dari  hasil  pengukuran kualitas layanan [5]. Text mining adalah cabang dari data mining yang melibatkan analisis data teks, baik yang terstruktur maupun tidak, dengan tujuan untuk menghasilkan informasi yang berharga [6][7].
Tingkat kepuasan pengguna sangat penting bagi Pusat Unit Pengelolaan TIK sebagai evaluasi, acuan dan rencana peningkatan  mutu serta layanan TIK di Pusintek Kemenkeu. Tujuan utama pengelola layanan TIK  adalah  untuk  memberikan  efektifitas  dan efisiensi dalam pemenuhan layanan, hal ini mencakup kepatuhan  perjanjian  tingkat  layanan,  menyediakan informasi  yang  tepat,  dan  merespon  permintaan layanan  serta  menangani  gangguan  dengan  tepat waktu.  Diperlukan tools untuk  dapat  mengukur kualitas layanan yang diberikan untuk mengevaluasi dan  sebagai  rencana  peningkatan  layanan,  para pengguna layanan memberikan umpan balik terhadap layanan TIK dengan mengisi survei kepuasan layanan TIK.
Hasil survei penggunan layanan TIK tahun 2022 pada service desk sebesar 4,62  mengalami penurunan jika dibandingkan dengan hasil survei yang dilakukan pada tahun 2021 yaitu 4,69. Dalam hasil survey berisi banyak  tanggapan,  diantaranya  berbagai  komentar [8]. Banyak komentar yang bersifat kritik dan saran, namun tidak sedikit pula ulasan atau komentar negatif pada  layanan  TIK  yang  diberikan  karena  kualitas yang belum memenuhi harapan pengguna. Pada hasil survei  yang  dilakukan  data  yang  berisi  berbagai komentar  tersebut  belum  dapat  menunjukkan informasi  yang  lebih  spesifik,  sehingga  pemilik layanan  kesulitan  dalam  memantau  sentimen pengguna terhadap layanan TIK yang diberikan.
Dengan adanya ulasan yang dituliskan oleh para pengguna, dampak yang ditimbulkan cukup signifikan untuk keputusan penggunaan layanan TIK bagi  pegawai  [9].  Ulasan  juga  akan  mempengaruhi reputasi  suatu  layanan,  hingga  apabila  ulasan dan/atau  rating  yang  diberikan  buruk,  maka  akan berdampak  buruk  bagi  penyedia  layanan  [10]. Komentar  negatif  dari  pengguna  layanan  memiliki dampak buruk bagi penyedia layanan [11][12]. Oleh karena  itu,  pengumpulan  dan  analisis  data  ulasan survei  yang  efisien  diperlukan  untuk  membantu penyedia  layanan  TIK  meningkatkan  layanan mereka.  Studi  empiris  menunjukkan  bahwa  ulasan panjang  yang  mudah  dibaca,  terutama  yang mencerminkan  ketidakpuasan,  dapat  mendorong perbaikan layanan di masa depan [13].
Melakukan analisis sentimen merupakan sebuah tantangan  karena  bahasa  memiliki  ranah  pengartian yang  cukup  luas  [14].  Perbedaan  penggunaan semiotika  berupa  penanda  misalnya,  dapat  merubah arti  kata  baik  secara  semantik  maupun  pragmatik. Penggunaan  sarkasme  dalam  berkomunikasi  bisa menjadi  batasan,  suatu  kalimat  bisa  mendapatkan label sentimen yang berbanding terbalik dengan yang dimaksudkan  jika  tidak  disertai  dengan  konteks  dan pengartian sesungguhnya [15].
Penelitian  yang  membahas  topik  opini  atau sentimen  terhadap  sesuatu,  dikenal  dengan  Analisis Sentimen.  Sebuah  studi  analisis  sentimen  telah dilakukan  pada  ulasan  pengguna  di  bidang  e- commerce pangan,  dengan  fokus  pada  aplikasi Google  Play yaitu Review Sayurbox  dan  Tanihub. Metode yang dipakai dalam analisa ini ialah Support Vector  Machine dengan  pembobotan  TF-IDF ( Term Frequency-Invers  Document  Frequency )  dan  kernel linear. Data ulasan yang dianalisis mencakup periode Februari 2020 hingga Januari 2021.
Hasil dari analisis menunjukkan bahwa akurasi tertinggi  yang  dicapai  adalah  sebesar  91,4%  untuk data Review Sayurbox,  dengan  mayoritas  sentimen yang  diekspresikan  yaitu  sentimen  positif  sejumlah 738  (70%).  Sementara  itu,  akurasi  total  yang diperoleh  pada  data  review  Tanihub  senilai  88,8% dengan  mayoritas  sentimen  positif  yang  mencapai 348  (65%)  [16].  Penelitian  oleh  [17]  membahas pemakaian E-Wallet selama  pandemi  dengan menerapkan Naïve Bayes Classifier dan Information Gain sebagai fitur untuk meningkatkan akurasi.
Hasil  analisis  menunjukkan  bahwa  pendekatan mencapai tingkat precision senilai 92%, recall senilai 100%,  dan  akurasi  senilai  92%.  Sementara  itu, penelitian  oleh  [18]  berfokus  pada  analisa  sentimen tingkat kepuasan pemakai jasa telekomunikasi seluler melalui Twitter di Indonesia. Penelitian ini bertujuan untuk  membandingkan  metode Support  Vector Machine dengan Naïve  Bayes  Classifier serta mengevaluasi  tingkat  kepuasan  pemakai  terhadap penyedia  pelayanan  telekomunikasi  seluler.  Dalam penelitian  ini,  juga  digunakan Lexicon  Based
Wulan Trisnawati, et al., SENTIMENT ANALYSIS OF ICT SERVICE … 711
Features sebagai  tambahan  dalam  metode Support Vector Machine . Hasil dari penelitian menyimpulkan bahwa  penggunaan Lexicon  Based  Features dalam metode Support Vector Machine dapat meningkatkan akurasi,  dengan  nilai  akurasi  mencapai  79%, f- measure senilai 78%, presisi senilai 65%, dan recall senilai 97%.
Penggunaan  metode Naive  Bayes  Classifier (NBC)  dan  SVM  dengan  pembobotan  TF-IDF diharapkan  dapat  membantu  membaca  komentar pada  hasil  survei  kepuasan  pengguna  layanan  TIK Pusintek  Kemenkeu  yang  selama  ini  belum dikorelasikan  dengan  hasil  survei  yang  telah dilakukan sebelumnya. Pengukuran tingkat kepuasan pengguna  sebelumnya  dilakukan  secara  kuantitatif menggunakan skala likert .

## 2. METODE PENELITIAN
Idenfikasi Masalah Studi Pustaka Pengumpulan Data Data Preprocessing Pembobotan TF-IDF Klasifikasi Evaluasi dan Validasi Deploymen t
(Prototyping)
Gambar 1. Tahapan Penelitian
Berikut  ini  merupakan  penjelasan  merupakan penjelasan tahapan penelitian pada Gambar 1.
1. Identifikasi Masalah
Penulis  mengadakan research  experiment bagaimana mengevaluasi kinerja metode Naïve Bayes Classifier dan  SVM  dengan  pembobotan  TF-IDF dalam penelitian analisis sentimen terhadap kepuasan pengguna layanan TIK.
2. Studi Pustaka
Penelitian  ini  melakukan  tinjauan  pustaka terhadap  penelitian-penelitian  sebelumnya  yang terdapat  dalam  buku,  jurnal,  dan  literatur  terkait analisis  sentimen.  Tujuannya  adalah  untuk  mencari topik-topik  yang berkaitan dengan analisis  sentimen dan kajian literatur serupa.
3. Pengumpulan Data
Penelitian  ini  melakukan  pengumpulan  data berupa komentar dari hasil survei kepuasan pengguna
layanan TIK. Data yang dipergunakan adalah survei yang dilakukan pada tahun 2022.
4. Data Preprocessing
Penelitian  ini  melakukan  tahapan  dari  proses preprosessing sebagai berikut:
a. Case folding Tahap  ini  bertujuan  merubah  setiap  kalimat yang  terkandung  huruf  kapital  menjadi  huruf kecil seperti “Sudah” menjadi “sudah”.
b. Cleansing
Tahap  ini diadakan guna  menghilangkan tanda baca  yang  tidak  dibutuhkan  dalam  teks  seperti [%^^%*&^#*>/”{}[=@],  dan  sebagainya.  Ini bertujuan  agar  dataset  dapat  diolah  dan mengurangi data noise yang terdapat didalamnya.
c. Text Transformation Tahap  ini  untuk  memperbaiki  kata  singkatan atau  kata  yang  penulisannya  tidak  tepat/ typo , tahap  ini  juga  merubah  kata  yang  tidak  baku menjadi  bentuk  kata  dasar.  Pada  kalimat  yang tidak  terstruktur  biasanya  banyak  kata  yang disingkat  dan/atau  tidak  baku,  serta  kesalahan saat  pengetikan (typo),  text  transformation adalah tahap memperbaiki kata tersebut.
d. Stop Removal Proses  pemeriksaan  kata  per  kata,  tahap  ini dilakukan pada kata yang mempunyai imbuhan seperti  kata  ganti,  kata  sambung,  kata  depan, yang tidak  berkaitan dengan analisis  sentiment akan  dihilangkan.  Pada  penelitian  ini,  penulis menggunakan  kamus stopward Sastrawi  yang telah banyak digunakan untuk membuang kata- kata tidak penting pada Bahasa Indonesia.
e. Tokenization
Tahap  ini  adah  proses  memecah  kalimat  yang terdapat  pada  dataset  menjadi  kata-perkata. Pada text  mining proses  ini  berperan  penting dalam melakukan penilaian terhadap kata yang terdapat pada dataset, setelah proses tokenizing kita  dapat  menghitung  frekuensi  distribusinya. Frekuensi distribusi adalah jumlah kemunculan setiap  kata  dalam  teks  atau  dokumen  sehingga dengan mengetahui frekuensi tersebut kita dapat menghitung  seberapa  sering  kata  tersebut muncul dlaam teks.
f. Stemming
Proses  yang  diadakan  pada  tahap  ini  ialah pengubahan  kata  menjadi  kata  dasar  atau  root dari tiap kata hasil stopward removal
g. Pelabelan
Setelah tahap preprocessing selesai, data diberi label secara otomatis menggunakan kamus InSet Lexicon ,  yang  mengandung  kata-kata  dan bobotnya untuk menentukan arah kata tersebut. Polaritas dihitung dengan menjumlahkan bobot kata  dalam  setiap  ulasan,  lalu  hasilnya digunakan sebagai penanda positif atau negatif untuk  tiap  ulasan.  Ulasan  dianggap  positif
apabila  polaritasnya  positif,  dan  negatif  jika polaritasnya negatif.
5. Pembobotan TF-IDF
TF-IDF  ( Term  Frequency  Inverse  Document Frequency )  adalah  teknik  yang  digunakan  untuk mengukur  seberapa  sering  suatu  kata  muncul  dalam suatu dokumen atau artikel, serta seberapa umum kata tersebut dalam seluruh koleksi dokumen. Metode ini membantu menilai relevansi sebuah kata dalam suatu dokumen [19]. TF-IDF adalah algoritma yang sering digunakan  dalam  analisis  data  besar.  Algoritma  ini memberikan  bobot  pada  setiap  kata  kunci  dalam setiap  kategori  untuk  menemukan  kesesuaian  antara kata  kunci  dan  kategori  yang  ada.  Sebelum memberikan bobot, dilakukan lima langkah preprocessing teks,  termasuk  pemecahan  kalimat, penurunan  huruf  besar  ke  kecil,  tokenisasi, penyaringan,  dan  stemming.  Setelah  itu,  dilakukan perhitungan  18  bobot  TF-IDF,  serta  bobot relevansi query dan kesamaan[20].
6. Klasifikasi
Dalam  penelitian  ini,  penulis  menggunakan metode  Naïve  Bayes Classifier dan  SVM  untuk
menemukan probabilitas tertinggi dalam mengklasifikasikan  dataset.  Persamaan  teorema Bayes bisa diamati pada persamaan berikut:
(𝐴|𝐵) = (𝐵|𝐴).(𝐴) (𝐵) (1)
Dimana:
P(A) : Probabilitas hipotesis A.
B
: Data klasifikasi yang belum diketahui.
A : Kelas spesifik pada data hipotesis P(A|B)  : Probabilitas hipotesis A menurut keadaan B. P(B) : Probabilitas B.
P(B|A)  : Probabilitas B atas dasar keadaan hipotesis A.
7. Evaluasi dan Validasi
Tahapan  ini  diadakan  penilaian  dan  validasi dengan  memanfaatkan  bahasa phyton sehingga didapatkan nilai hasil akurasi dari pengujian.
8. Deployment (Prototyping)
Langkah  akhir  dari  metodologi Naïve  Bayes Classifier dan SVM adalah tahap Deployment . Dalam tahapan  ini,  menyusun  laporan  hasil  dari  seluruh kegiatan  yang  sudah  dilaksanakan.  Hasil  ini diharapkan  bisa  diperoleh  model  dengan  angka akurasi yang baik sehingga diimplementasikan dalam bentuk prototype yang selanjutnya dapat memberikan rekomendasi  kepada  organisasi  dalam  rangka menyusun improvement plan layanan TIK.

## 3. HASIL DAN PEMBAHASAN
Bab ini menjelaskan langkah-langkah ekstraksi data yang digunakan untuk mengklasifikasi kata-kata sebagai positif, negatif, atau netral. Studi kasus dalam penelitian ini menggunakan data yang diambil adalah opini  pengguna  layanan  TIK  pada  Pusat  Unit Pengelolaan  TIK  Sekretariat  Jenderal,  Kementerian
Keuangan  (Pusintek  Kemenkeu).  Dengan  kerangka konsep sebagai mana pada Gambar 2.
Permasalahan Bagaimana melakukan analisis sentimen terhadap kepuasan pengguna layanan TIK Pengumpulan Data 1. Studi literatur 2. Pengumpulan Data Analisis dan Pengolahan Data Analisa klasifikasi menggunakan metode NBC dan SVM Pembobotan TF-IDF Hasil Klasifikasi opini dari komentar yang diberikan oleh pengguna layanan TIK dengan algoritma NBC dan SVM dengan pembobotan teks TF-IDF Pengujian

## Gambar 2 Kerangka Konsep Penelitian

## 3.1. Pengumpulan Data
Pengumpulan  data  dilakukan  dengan  cara mengambil  pada  hasil  survei  kepuasaan  layanan pengguna  layanan  TIK.  Survei  kepuasan  pengguna layanan TIK dilakukan dengan pendekatan kuantitatif dan  kualitatif  yang  dilaksanakan  melalui  kuisioner onlin e,  dataset  diambil  dalam  rentang  waktu  tahun 2022 sebanyak 1.244 data ulasan.
Tabel 1. Data
No sd_saran 1. Service  desk  diharapkan  secara  berkala  memberikan status  atas  permasalahan  pegawai  yang  dimintakan layanan ke pusintek service desk
2. Secara  umum  layanan  Service  Desk  sudah  bagus. Semoga  ke  depannya  semakin  bagus  lagi  dengan mengedepankan aspek kemudahan, aspek kecepatan dan aspek keamanan. Terima kasih
3. dipertahankan  dan  kalau  bisa  ditingkatkan  lagi layanannya
4. Sangat  terbantu  dengan  profesionalitas  petugas  dalam melayanani
5. sejauh ini layanan service desk kemenkeu sudah sangat baik
6. secara umum sudah baik, namun terkadang kurang cepat menanggapi keluhan, mohon ditingkatkan lagi
7. Mungkin  untuk  semua  penanganan  masalah  terkait semua  aplikasi  kemenkeu  dapat  dijadikan  satu  pintu, sehingga pegawai tidak bingung harus konsultasi kemana dan harus kirim tiket lewat mana
8. sangat  responsif,  perlu  dijaga  dan  terus  dtingkatkan kualitas pelayanannya
9. service desk telah bagus, dapat dihubungi kapan pun,
10. sejauh ini layanan service desk kemenkeu sudah sangat baik
Pada  Tabel  1  diketahui  data  yang  diperoleh masih  lengkap  dengan  beragam  karakter,  sehingga perlu  diolah  untuk  menghilangkan  karakter  yang tidak  diperlukan.  Hal  ini  bertujuan  agar  data  yang diolah  menjadi  lebih  bersih  dan  siap  diproses  pada tahap selanjutnya.

## 3.1.1. Proprocessing
Tahap pengolahan data asli yang sudah diakusisi berupa  data text dari  sentimen  layanan  TIK. Preprocessing bertujuan untuk mengurangi gangguan, memperjelas ciri-ciri, serta menyesuaikan data  asli  dengan  kebutuhan.  Berikut  ini  adalah tahapan dalam preprocessing :

## a. Cleansing
Pada  langkah  ini,  data  yang  diperoleh  akan disaring  untuk  menghapus  karakter-karakter  seperti tanda  baca  dan  karakter  khusus  ("!"#$%&()*+- ./:;<=>?@[]^_`{|}~\n,).  Tujuan  dari  cleansing  ini adalah mengurangi noise dengan dilakukan pembersihan ( cleansing ) dari karakter-karakter yang tidak diperlukan. Pada Tabel 2 merupakan hasil data yang telah memalalui tahap cleansing .
Tabel 2 . Cleansing Dokumen No Kalimat
1. Service  desk  diharapkan  secara  berkala  memberikan status  atas  permasalahan  pegawai  yang  dimintakan layanan ke pusintek service desk
2. Secara  umum  layanan  Service  Desk  sudah  bagus Semoga  ke  depannya  semakin  bagus  lagi  dengan mengedepankan aspek kemudahan  aspek kecepatan dan aspek keamanan  Terima kasih
3. dipertahankan  dan  kalau  bisa  ditingkatkan  lagi layanannya
4. Sangat  terbantu  dengan  profesionalitas  petugas  dalam melayanani
5. sejauh ini layanan service desk  kemenkeu sudah sangat baik
6. secara umum sudah baik  namun terkadang kurang cepat menanggapi keluhan  mohon ditingkatkan lagi
7. Mungkin  untuk  semua  penanganan  masalah  terkait semua  aplikasi  kemenkeu  dapat  dijadikan  satu  pintu sehingga pegawai tidak bingung harus konsultasi kemana dan harus kirim tiket lewat mana
8. sangat  responsif    perlu  dijaga  dan  terus  dtingkatkan kualitas pelayanannya
9. service desk telah bagus  dapat dihubungi kapan pun
10. sejauh ini layanan service desk kemenkeu sudah sangat baik
b. Case Folding Tahap case  folding ini  mencakup  standarisasi huruf  dalam  dokumen  di  mana  huruf  kapital  akan diubah  menjadi  huruf  kecil,  dan  seluruh  karakter selain  huruf  akan  dihapus  karena  dianggap  sebagai pembatas. Pada Tabel 3. dapat dilihat data-data dalam dokumen sudah diproses case folding sehingga huruf- huruf sudah diseragamkan.
Tabel 3. Proses Case Folding
No Kalimat
1. service  desk  diharapkan  secara  berkala  memberikan status  atas  permasalahan  pegawai  yang  dimintakan layanan ke pusintek service desk
2. secara umum layanan service desk sudah bagus  semoga ke depannya semakin bagus lagi dengan mengedepankan aspek kemudahan  aspek kecepatan dan aspek keamanan terima kasih
3. dipertahankan  dan  kalau  bisa  ditingkatkan  lagi layanannya
4. sangat  terbantu  dengan  profesionalitas  petugas  dalam melayanani
5. sejauh ini layanan service desk kemenkeu sudah sangat baik
6. secara umum sudah baik  namun terkadang kurang cepat menanggapi keluhan  mohon ditingkatkan lagi
7. mungkin  untuk  semua  penanganan  masalah  terkait semua  aplikasi  kemenkeu  dapat  dijadikan  satu  pintu sehingga pegawai tidak bingung harus konsultasi kemana dan harus kirim tiket lewat mana
8. sangat  responsif    perlu  dijaga  dan  terus  dtingkatkan kualitas pelayanannya
9. service desk telah bagus  dapat dihubungi kapan pun
10. sejauh ini layanan service desk kemenkeu sudah sangat baik
c. Normalisasi Kalimat
Normalisasi kalimat bertujuan untuk mengubah kalimat  informal  menjadi kalimat  formal. Proses ini melibatkan penggantian kata-kata slang dan penghapusan huruf yang berulang, misalnya mengubah "adaaa" menjadi "ada". Pada Tabel 4 dapat dilihat  data-data  dalam  dokumen  sudah  dilakukan normalisasi  kalimat  sehingga  kalimat  gaul  telah diproses menjadi kalimat normal.

## Tabel 4. Proses Normalisasi Kalimat
No Kalimat
1. service  desk  diharapkan  secara  berkala  memberikan status  atas  permasalahan  pegawai  yang  dimintakan layanan ke pusintek service desk
2. secara umum layanan service desk sudah bagus semoga ke depannya semakin bagus lagi dengan mengedepankan aspek kemudahan aspek kecepatan dan aspek keamanan terima kasih
3. dipertahankan  dan  kalau  bisa  ditingkatkan  lagi layanannya
4. sangat  terbantu  dengan  profesionalitas  petugas  dalam melayanani
5. sejauh ini layanan service desk kemenkeu sudah sangat baik
6. secara umum sudah baik namun terkadang kurang cepat menanggapi keluhan mohon ditingkatkan lagi
7. mungkin  untuk  semua  penanganan  masalah  terkait semua  aplikasi  kemenkeu  dapat  dijadikan  satu  pintu sehingga pegawai tidak bingung harus konsultasi kemana dan harus kirim tiket lewat mana
8. sangat  responsif  perlu  dijaga  dan  terus  dtingkatkan kualitas pelayanannya
9. service desk telah bagus dapat dihubungi kapan pun
10. sejauh ini layanan service desk kemenkeu sudah sangat baik
d. Tokenizing
Pada langkah tokenizing ini, dilakukan pemisahan string masukan  menjadi  potongan- potongan
berdasarkan kata-kata yang membentuknya.  Intinya,  proses  ini  adalah  membagi setiap kata yang membentuk sebuah dokumen. Pada Tabel 5 dapat dilihat kalimat dalam dokumen telah di pecah  menjadi  kata-kata  kemudian  menganalisa kumpulan data dengan memisahkan kata tersebut.
Tabel 5. Proses Tokenizing
No Kalimat
1. ['service', 'desk', 'diharapkan', 'secara', 'berkala',
'memberikan',  'status',  'atas',  'permasalahan',  'pegawai', 'yang',  'dimintakan',  'layanan',  'ke',  'pusintek',  'service', 'desk'] 2. ['secara',  'umum',  'layanan',  'service',  'desk',  'sudah', 'bagus',  'semoga',  'ke',  'depannya',  'semakin',  'bagus', 'lagi',  'dengan',  'mengedepankan',  'aspek',  'kemudahan', 'aspek',  'kecepatan',  'dan',  'aspek',  'keamanan',  'terima', 'kasih']
3. ['dipertahankan', 'dan', 'kalau', 'bisa', 'ditingkatkan', 'lagi',
'layanannya']
4. ['sangat',  'terbantu',  'dengan',  'profesionalitas',  'petugas',
'dalam', 'melayanani']
5. ['sejauh',  'ini',  'layanan',  'service',  'desk',  'kemenkeu',
'sudah', 'sangat', 'baik']
6. ['secara',  'umum',  'sudah',  'baik',  'namun',  'terkadang', 'kurang',  'cepat',  'menanggapi',  'keluhan',  'mohon', 'ditingkatkan', 'lagi']
7. ['mungkin',  'untuk',  'semua',  'penanganan',  'masalah', 'terkait', 'semua', 'aplikasi', 'kemenkeu', 'dapat',
'dijadikan',  'satu',  'pintu',  'sehingga',  'pegawai',  'tidak', 'bingung',  'harus',  'konsultasi',  'kemana',  'dan',  'harus',
'kirim', 'tiket', 'lewat', 'mana']
8. ['sangat',  'responsif',  'perlu',  'dijaga',  'dan',  'terus',
'dtingkatkan', 'kualitas', 'pelayanannya']
9. ['service',  'desk',  'telah',  'bagus',  'dapat',  'dihubungi',
'kapan', 'pun']
10. ['sejauh',  'ini',  'layanan',  'service',  'desk',  'kemenkeu', 'sudah', 'sangat', 'baik'] e. Filtering
Pada langkah filtering ini, dilakukan pengambilan  kata-kata  penting  dari  hasil  tokenisasi dengan menggunakan algoritma stoplist. Stoplist atau stopword adalah  kata-kata  non-deskriptif  yang diabaikan  dalam  pendekatan bag-of-words ,  seperti "di",  "yang",  dan  "dan".  Pada  tabel  6  dapat  dilihat proses  menghilangkan  kata-kata  yang  tidak  penting berdasarkan kamus stopword bahasa indonesia.
Tabel 6. Proses Filtering No Kalimat 1. ['service',  'desk',  'diharapkan',  'berkala',  'memberikan', 'status',  'atas',  'permasalahan',  'pegawai',  'dimintakan', 'layanan', 'pusintek', 'service', 'desk'] 2. ['umum',  'layanan',  'service',  'desk',  'bagus',  'semoga', 'depannya', 'semakin', 'bagus',
'dengan', 'mengedepankan', 'aspek', 'kemudahan', 'aspek', 'kecepatan', 'aspek', 'keamanan', 'terima', 'kasih'] 3. ['dipertahankan', 'kalau', 'ditingkatkan', 'layanannya']
4. ['sangat', 'terbantu', 'profesionalitas', 'petugas', 'melayanani']
5. ['sejauh', 'layanan', 'service', 'desk', 'kemenkeu',  'sangat',
'baik']
6. ['umum', 'baik', 'terkadang', 'kurang', 'cepat', 'menanggapi', 'keluhan', 'mohon', 'ditingkatkan']
7. ['mungkin',  'semua',  'penanganan',  'masalah',  'terkait', 'semua',  'aplikasi',  'kemenkeu',  'dijadikan',  'satu',  'pintu',
'pegawai',  'bingung',  'konsultasi',  'dan',  'kirim',  'tiket',
'lewat', 'mana']
8. ['sangat', 'responsif', 'perlu', 'dijaga', 'terus', 'dtingkatkan',
'kualitas', 'pelayanannya']
9. ['service', 'desk', 'bagus', 'dihubungi', 'kapan']
10. ['sejauh', 'layanan', 'service', 'desk',  'kemenkeu',  'sangat', 'baik']
f. Pelabelan Data Lexicon
Setelah  pra-pengolahan  selesai,  dilanjutkan  ke tahap  analisis  sentimen  untuk  mengklasifikasikan data  dari  survei  pengguna  layanan  TIK.  Metode pendekatan  berbasis  leksikal  menggunakan  kamus sebagai  sumber  bahasa.  Tahap  ini  terdiri  dari  3 proses:  mengimpor  kamus  kata  leksikon  positif  dan negatif,  memecah  teks  menjadi  bagian  kata  untuk memudahkan  penilaian  skor  positif,  negatif,  dan netral,  serta  menghitung  skor  sentimen  dengan menggunakan  metode  berbasis  leksikon.  Dari  total 1.244  data  dalam  dataset,  akan  diberi  label menggunakan  metode berbasis  leksikon dengan tiga kelas  atribut:  positif,  negatif,  dan  netral.  Berikut contoh hasil pelabelan sebagaimana Tabel 7.
Pada Gambar 3 merupakan hasil pelabelan data berdasarkan proses filtering .
Tabel 7. Proses Pelabelan
No Kalimat Label 1. ['service',  'desk',  'diharapkan',  'berkala', 'memberikan',  'status',  'atas',  'permasalahan', 'pegawai',  'dimintakan',  'layanan',  'pusintek', 'service', 'desk'] Negatif 2. ['umum',  'layanan',  'service',  'desk',  'bagus', 'semoga',  'depannya',  'semakin',  'bagus', 'dengan', 'mengedepankan', 'aspek', 'kemudahan',  'aspek',  'kecepatan',  'aspek', 'keamanan', 'terima', 'kasih'] Positif 3. ['dipertahankan', 'kalau', 'ditingkatkan', 'layanannya'] Negatif 4. ['sangat', 'terbantu', 'profesionalitas', 'petugas', 'melayanani'] Positif 5. ['sejauh', 'layanan', 'service', 'desk', 'kemenkeu', 'sangat', 'baik'] Positif 6. ['umum',  'baik',  'terkadang',  'kurang',  'cepat', 'menanggapi', 'keluhan', 'mohon',
'ditingkatkan'] Netral
7.
['mungkin',  'semua',  'penanganan',  'masalah', 'terkait', 'semua', 'aplikasi', 'kemenkeu', 'dijadikan', 'satu', 'pintu', 'pegawai', 'bingung', 'konsultasi',  'dan',  'kirim',  'tiket',  'lewat', 'mana'] Negatif 8. ['sangat',  'responsif',  'perlu',  'dijaga',  'terus', 'dtingkatkan', 'kualitas', 'pelayanannya'] Positif 9. ['service', 'desk', 'bagus', 'dihubungi', 'kapan'] Positif 10. ['sejauh', 'layanan', 'service', 'desk',
'kemenkeu', 'sangat', 'baik']
Positif Gambar 3. Pelabelan Lexicon Based 3.1.2. Feature Extraction
Tahapan feature extraction ini  bertujuan untuk mengekstraksi  data  teks  ke  dalam  matiks  data numerik,  karena  beberapa  algoritma machine learning tidak  dapat  memproses  data  berupa  teks secara  langsung.  Dalam  penelitian  ini,  peneliti menggunakan library TfidfVectorizer dari modul sci- kit learn untuk melakukan proses ekstraksi fitur dan pembobotan. Term  Frequency-Inverse  Document Frequency  (TF-IDF) adalah  suatu  pendekatan menghitung  seberapa  penting  sebuah  kata  dalam suatu  dokumen  atau  korpus  berdasarkan  seberapa sering kata muncul dan seberapa umum kata tersebut dalam  keseluruhan  dokumen  atau  korpus.  Tujuan utama  TF-IDF  adalah  menemukan  kata-kata  yang paling penting dalam suatu dokumen. TF-IDF adalah hasil kombinasi dari proses TF yang mengutamakan kata-kata  yang  sering  muncul  dalam  dokumen tertentu dengan memberikan bobot yang lebih tinggi, dan  IDF  yang  memberikan  bobot  yang  lebih  tinggi pada  kata-kata  yang  jarang  muncul  dalam  seluruh dokumen.
Setelah dilakukan pembobotan dengan TF-IDF , dataset  yang  awalnya  berupa text  message diubah menjadi matriks data numerik seperti pada Gambar 4.
Gambar 4. Data Tabular Setelah Proses Pembobotan dengan TF- IDF
Dalam  matriks  data  numerik  hasil TF-IDF , dapat dilihat bahwa setiap kata (term) telah memiliki skor, dimana skor tertinggi diberikan pada kata (term) yang jarang muncul di seluruh dokumen tetapi sering muncul  pada  satu  dokumen  tertentu,  sehingga membantu  mengidentifikasi  kata  yang  lebih  penting dalam dokumen-dokumen tersebut. Tabel 8 merupakan  tabel  peringkat  skor TF-IDF dari  setiap kata.
Tabel 8. Peringkat skor TF-IDF Kata (term) Skor TF-IDF Bantu 2,888768 Terima 2,268851 Kasih 2,265949 Mohon 1,667443 Layan 1,39645 Selesai 1,199689 Respon 0,908025 Admin 0,809657 … … Profesional 0,173702 Baik 0,173702 Perintah 0,173702
Dari tabel skor TF-IDF pada Tabel 8, setiap kata (term) telah memiliki skor masing-masing. Kata yang memiliki skor tertinggi merupakan kata yang penting dalam  proses  identifikasi  sebuah  kalimat.  Kata “bantu”  memiliki  skor  paling  tinggi  yakni  sebesar 2,888768  dan  kata  “perintah”  memiliki  skor  paling rendah  yakni  sebesar  0,173702.  Skor  inilah  yang berikutnya  akan  dipakai  untuk  mengidentifikasi sebuah kalimat masukan baru.

## 3.2. Pemodelan
Dalam  tahap  ini,  sebuah  model machine learning dibuat dari dataset sampel yang telah dipilih dan diproses sebelumnya. Metode pemilihan sampel menggunakan  pengambilan  data  langsung  dari sumber  asli.  Total  sampel  yang  digunakan  adalah 1.244  data  sentimen  dengan  rating  yang  telah tersedia, dengan sebaran data pada Tabel 9.
Tabel 9. Sebaran Data Sampel Sentimen Sentimen Jumlah 2 (negatif) 366 0 (netral) 85 1 (positif) 793 Jumlah Total 1.244
Selanjutnya,  terhadap  data  sampel  tersebut dilakukan  proses text  prepocessing berupa case folding,  word  normalization,  stopwords  removal, stemming , pembobotan TF-IDF dan feature selection dengan SelectKBest .  Kemudian,  dataset  yang  telah melalui  proses text  processing ,  dilakukan  uji  coba pembuatan model klasifikasi menggunakan algoritma Naïve Bayes dan SVM menggunakan aplikasi python streamlit .  Data  sampel  tersebut  dibagi  menjadi  data training dan data testing dengan beberapa kombinasi. Hal  ini  dilakukan  untuk  memilih  algoritma  mana yang dapat menghasilkan nilai akurasi tertinggi.
Hasil  dari  tahap  ujicoba  dua  algoritma klasifikasi  menggunakan  aplikasi python  streamlit , dapat dilihat pada tabel 10 berikut:
Tabel 10. Perbandingan Akurasi Algoritma NBC dan SVM
Kombinasi Data Training: Testing Akurasi Naïve Bayes SVM 90:10 81.45% 88.00% 80:20 79.84% 88.76% 70:30 80.38% 88.24%
Berdasarkan  data  pada  tabel  akurasi  algoritma tersebut  dapat  dilihat  bahwa,  algoritma SVM memperoleh  nilai  akurasi  tertinggi  dari  algoritma NBC  yang  dipakai  dalam  uji  coba,  yakni  88,00%. Untuk  kombinasi  pembagian  data training dan  data testing diperoleh  kombinasi  yang  mendapatkan akurasi tertinggi adalah 90% data training dan 10% data testing .
Tahap  selanjutnya  adalah  pembuatan  model machine learning klasifikasi menggunakan algoritma SVM yang terpilih, karena mendapatkan nilai akurasi tertinggi. Langkah-langkah pembuatan model menggunakan  bahasa  pemrograman python adalah sebagai berikut:
a. Persiapan Data
Langkah  awal  adalah  menyiapkan  data  untuk proses  klasifikasi.  Dalam  penelitian  ini,  data dimuat  ke  dalam Python menggunakan library Pandas dan Numpy .  Selanjutnya,  dataset  teks dibersihkan,  dipilih  fitur-fitur  terbaik,  diubah menjadi  matriks  numerik,  dan  dibagi  menjadi data fitur dan data label.
b. Pemilihan Algoritma Langkah  selanjutnya  adalah  pembuatan  model machine  learning klasifikasi  menggunakan algoritma  SVM.  Dalam  penelitian  ini,  peneliti menggunakan  library  model  SVM  dari  modul sci-kit learn dengan kernel linear .
c. Pembagian Data Langkah  selanjutnya  adalah  membagi  data menjadi  data  training  dan  data  testing.  Data training  digunakan  untuk  melatih  model klasifikasi  yang  telah  dibuat,  sementara  data
testing digunakan untuk menguji kinerja model yang  telah  dibuat.  Dalam  penelitian  ini,  data training  dan  data  testing  dibagi  dengan  rasio 90:10,  80:20,  dan  70:30.  Pembagian  data dilakukan  menggunakan  fungsi train_test_split dari modul sci-kit learn . d. Evaluasi Model Pada  tahap  evaluasi  model  menggunakan  data uji,  nilai  akurasi,  presisi, recall ,  dan f1-score dibandingkan.  Metrik-metrik ini  dihitung
menggunakan fungsi-fungsi seperti
accuracy_score, precision_score, recall_score , dan f1_score dari library scikit-learn .
e. Prediksi
Pada  langkah  ini,  setelah  model  dilatih  dan dikonfigurasi  dengan  baik,  model  digunakan untuk  melakukan  prediksi  pada  data  baru.
Metode predict digunakan untuk memproyeksikan label berdasarkan ciri-ciri dari data yang belum diketahui.
f. Validasi Silang ( Cross-validation )
Untuk  memastikan  keandalan  model  pada langkah  ini  dilakukan  validasi  silang  dengan membagi dataset menjadi  beberapa  lipatan dan melatih serta menguji model pada setiap lipatan. Hal ini dilakukan untuk membantu menghindari overfitting dan  memberikan  perkiraan  yang lebih realistis tentang performa model pada data baru.
g. Interpretasi Hasil Setelah melakukan prediksi langkah selanjutnya
adalah menginterpretasikan hasilnya dan mengambil  tindakan  yang  sesuai  berdasarkan kebutuhan.
Pada  tahapan  pemodelan  ini  dilakukan  inisiasi terhadap  dua  algoritma  klasifikasi  yaitu  NBC  dan SVM.  Dataset  yang  digunakan  sejumlah  1.244 setelah melalui tahapan preprocessing text . Selanjutnya dataset dipisah antara data latih dan data uji  dengan  uji  coba  perbandingan  90:10;  80:20,  dan 70:30 untuk setiap algoritma.
Pada gambar 5 di bawah adalah visualisasi hasil klasifikasi sentiment dengan metode NBC, yang telah diberikan label positif, negatif dan netral.

## Gambar 5. Pemodelan Algoritma NBC
Pada  gambar  6  berikut  adalah  visualisasi  hasil klasifikasi sentimen dengan metode SVM, yang telah diberikan label positif, negatif dan netral.

## Gambar 6. Pemodelan Algoritma SVM

## 3.3. Evaluasi
3.3.1. Pengujian dengan Confusion Matrix
Pada  tahap  ini,  dilakukan  eksperimen  dengan membagi  data  menjadi  dua  subset:  data  untuk pembelajaran  dan  data  untuk  validasi.  Di  bawah  ini adalah  tabel  hasil  dari  data  pembelajaran  yang  akan diklasifikasikan  menggunakan  NBC  dan  SVM, dengan total 1.244 data. Eksperimen ini menggunakan beberapa perbandingan komposisi data untuk mencari nilai perbandingan terbaik antara data latih  dan  data  uji,  dengan  tujuan  mencapai  akurasi tertinggi untuk penelitian yang dilakukan. 1. Pengujian dengan komposisi 90:10
a. Metode NBC
Pada  Tabel  11  merupakan  hasil  pengujian menggunakan  metode  NBC  dengan  komposisi  data latih dan data uji 90:10.
Tabel 11. Confusion Matrix NBC 90:10 Confusion Matrix
0 1 2 Aktual Negatif Negatif (0) 6 3 0 Netral (1) 5 26 4 Positif (2) 5 6 69
Pada Tabel 12 merupakan nilai akurasi, presisi, recall, dan f1-score .
Tabel 12. Nilai Akurasi NBC 90:10
Precision Recall F1-Score Support Negatif 37.50% 66.67% 48.00% 9 Netral 74.29% 74.29% 74.29% 35 Positif 94.52% 86.25% 90.20% 80 Accuracy 81.45% 124 Macro avg 68.77% 75.73% 70.83% Weighted avg 84.67% 81.45% 82.64% b. Metode SVM Pada Tabel 13 merupakan pengujian
menggunakan  metode  SVM  dengan  komposisi  data latih dan data uji 90:10.
Tabel 13. Confusion Matrix SVM 90:10
Confusion Matrix 0 1 2 Aktual Negatif Negatif (0) 3 1 1 Netral (1) 4 29 4 Positif (2) 0 5 78
Pada Tabel 14 meruapakan nilai akurasi, presisi, recall, dan f1-score .
Tabel 14. Nilai Akurasi SVM 90:10 Precision Recall F1-Score Support Negatif 42.86% 60.00% 50.00% 5 Netral 82.86% 78.38% 80.56% 37 Positif 93.98% 93.98% 93.98% 83 Accuracy 88.00% 125 Macro avg 73.23% 77.45% 74.84% Weighted avg 88.64% 88.00% 88.24%
Hasil  percobaan  pertama  dengan  komposisi 90:10  diperoleh  hasil  bahwa  untuk  tingkat  akurasi yang tertinggi dihasilkan oleh algoritma SVM dengan nilai  akurasi  sebesar  88,00%,  yang  kedua  adalah algoritma NBC dengan nilai akurasi sebesar 81,45%. 2. Pengujian dengan komposisi 80:20
a. Metode NBC
Pada  Tabel  15  merupakan  hasil  pengujian menggunakan  metode  NBC  dengan  komposisi  data latih dan data uji 80:20.
Tabel 15. Confusion Matrix NBC 80:20
Confusion Matrix
0 1 2 Aktual Negatif Negatif (0) 13 5 0 Netral (1) 9 46 12 Positif (2) 10 14 139
Pada Tabel 16 merupakan nilai akurasi, presisi, recall, dan f1-score dari NBC dengan data uji 80:20.
Tabel 16. Nilai Akurasi NBC 80:20
Precision Recall F1-Score Support Negatif 40.63% 72.22% 52.00% 18 Netral 70.77% 68.66% 69.70% 67 Positif 92.05% 85.28% 88.54% 163 Accuracy 79.84% 248 Macro avg 67.82% 75.39% 70.08% Weighted avg 82.57% 79.84% 80.79%
b. Metode SVM
Pada  Tabel  17  merupakan  hasil  pengujian metode SVM dengan komposisi data latih dan data uji 80:20.
Tabel 17. Confusion Matrix SVM 80:20 Confusion Matrix 0 1 2 Aktual Negatif Negatif (0) 9 3 1 Netral (1) 8 61 5 Positif (2) 1 10 151
Pada Tabel 18 merupakan nilai akurasi, presisi, recall, dan f1-score .
Tabel 18. Nilai Akurasi SVM 80:20
Precision Recall F1-Score Support Negatif 50.00% 69.23% 58.06% 13 Netral 82.43% 82.43% 82.43% 74 Positif 96.18% 93.21% 94.67% 162 Accuracy 88.76% 249 Macro avg 76.20% 81.62% 78.39% Weighted avg 89.68% 88.76% 89.12%
Hasil percobaan kedua dengan komposisi 80:20 diperoleh  hasil  bahwa  untuk  tingkat  akurasi  yang tertinggi dihasilkan oleh algoritma SVM dengan nilai akurasi sebesar 88,76%, yang kedua adalah algoritma NBC dengan nilai akurasi sebesar 79,84%.
3. Pengujian dengan komposisi 70:30
a. Metode NBC
Pada  Tahel  19  merupakan  pengujian  metode NBC dengan komposisi data latih dan data uji 70:30.
Tabel 19. Confusion Matrix NBC 70:30 Confusion Matrix 0 1 2 Aktual Negatif Negatif (0) 20 7 0 Netral (1) 12 70 21 Positif (2) 14 19 209
Pada Tabel 20 merupakan nilai akurasi, presisi, recall, dan f1-score .
Tabel 20. Nilai Akurasi NBC 70:30
Precision Recall F1-Score Support Negatif 43.48% 74.07% 54.79% 27 Netral 72.92% 67.96% 70.35% 103 Positif 90.87% 86.36% 88.56% 242 Accuracy 80.38% 372 Macro avg 69.09% 76.13% 71.24% Weighted avg 82.46% 80.38% 81.07%

## b. Metode SVM
Pada  Tabel  21  merupakan  hasil  pengujian menggunakan  metode  SVM  dengan  komposisi  data latih dan data uji 70:30.
Tabel 21. Confusion Matrix SVM 70:30 Confusion Matrix 0 1 2 Aktual Negatif Negatif (0) 16 4 2 Netral (1) 13 92 5 Positif (2) 2 18 222
Pada Tabel 22 merupakan nilai akurasi, presisi, recall, dan f1-score .
Tabel 22. Nilai Akurasi SVM 70:30
Precision Recall F1-Score Support Negatif 51.61% 72.73% 60.38% 22 Netral 80.70% 83.64% 82.14% 110 Positif 96.94% 91.74% 94.27% 242 Accuracy 88.24% 374 Macro avg 76.42% 82.70% 78.93% Weighted avg 89.50% 88.24% 88.71%
Hasil percobaan kedua dengan komposisi 70:30 diperoleh  hasil  bahwa  untuk  tingkat  akurasi  yang tertinggi dihasilkan oleh algoritma SVM dengan nilai akurasi sebesar 88,24%, yang kedua adalah algoritma NBC dengan nilai akurasi sebesar 80,38%.

## 4. DISKUSI

## 4.1. Analisis Hasil Pengujian
Pada  Tabel  23  merupakan  hasil  eksperimen perbandingan komposisi antara data latih dan data uji tersebut, terlihat bahwa algoritma SVM memberikan tingkat  akurasi  yang  lebih  tinggi  daripada  algoritma NBC dan Decsion Tree.
Tabel 23. Hasil Percobaan Perbandingan Data
Percobaan Perbandingan Data Nilai Akurasi Naïve Bayes SVM 90:10 81.45% 88.00% 80:20 79.84% 88.76%
70:30 80.38% 88.24%
Dari  ketiga  pengujian  diatas  dapat  diketahui bahwa  algoritma  yang  terbaik  adalah  SVM  dengan komposisi  data  latih  dan  data  uji  80:20.  Pada  Tabel 24  merupakan  hasil  perbandingan  dilihat  dari  nilai presisi , recall , dan f1-score .
Tabel 24. Hasil Pengujian Terbaik Algoritma Percobaan Perbandingan Data 90:10 80:20 70:30 Naïve Bayes Precision 84.67% 82.57% 82.46% Recall 81.45% 79.84% 80.38% F1-Score 82.64% 80.79% 81.07% SVM Precision 88.64% 89.68% 89.50% Recall 88.00% 88.76% 88.24% F1-Score 88.24% 89.12% 88.71%
Dari  hasil  pengujian  pada  Tabel  24,  didapat hasil  bahwa  algoritma  SVM  memiliki  nilai  akurasi tertinggi  sebesar  88,76%,  nilai  presisi  tertinggi sebesar 89,68%, recall sebesar 88,76%, dan f1-score sebesar 89,12%. Jika hasil dari studi ini dibandingkan dengan  penelitian  sebelumnya  yang  dilakukan  oleh Cahyana  dan  Siregar  (2023),  NBC  menghasilkan akurasi 86,94% dengan nilai presisi rata-rata 96,24% dan recall 86,66%.  Di  sisi  lain,  penggunaan  SVM menghasilkan  akurasi  lebih  tinggi  sebesar  90,81% [21].  Hermanto,  dkk  (2020)  mempelajari  algoritma klasifikasi Naïve Bayes dan SVM dalam menangani Keluhan  Mahasiswa,  dengan  akurasi  mencapai 69,75% untuk NBC dan lebih tinggi sebesar 84,45% untuk  SVM  [22].  Dari  kedua  penelitian  tersebut memperoleh hasil yang sama dengan yang dilakukan oleh peneliti bahwa algoritma SVM lebih baik untuk mengklasifikasi objek yang diteliti.

## 5. KESIMPULAN
Dengan menggunakan dataset yang tersedia dan telah  memiliki  penilaian,  pemodelan  klasifikasi menggunakan NBC dan SVM telah terbukti  mampu mengklasifikasikan sentimen pengguna TIK menjadi tiga  kelas:  positif,  netral,  dan  negatif.  Selanjutnya, model  klasifikasi  yang  dihasilkan  dapat  digunakan sebagai  masukan  bagi  pengambil  keputusan. Berdasarkan hasl percobaan dengan menggunakan 3 model  perbandingan  data  training  dan  data  testing, diperoleh  nilai  akurasi  SVM  lebih  baik  dari  pada Naïve Bayes.

## DAFTAR PUSTAKA
[1] F. Valentinus, F. Sujono, I. Ariansyah, and D.
A.  H.  Capah,  “Implementation  Of  Data
Mining With Classification And Forecasting
Method  Use  Model  Gaussian  Naïve  Bayes For  Building  Store  (Studi  Case:  TB  Sinar Jaya),” J. Tek. Inform. , vol. 4, no. 2, pp. 413–
420, 2023, doi: 10.52436/1.jutif.2023.4.2.701. [2]
M. I. P. Hant and H. Hendry, “Data Mining
Technique Using Naïve Bayes Algorithm To
Predict Shopee Consumer Satisfaction Among  Millennial  Generation,” J.  Tek. Inform. , vol. 3, no. 4, pp. 829–838, 2022, doi: 10.20884/1.jutif.2022.3.4.295.
[3] Y.  Jumaryadi,  M.  Fajri,  and  B.  Priambodo, “Evaluasi Kualitas Sistem Informasi Akademik Dengan Webqual dan IPA,” J. Inf.
Syst. ,  vol.  7,  no.  2,  pp.  99–106,  2022,  doi: 10.33633/joins.v7i2.6187.
[4] M. P. Cendana, H. Syafwan, and Rohminatin, “Application  of  Customer  Relationship Management (CRM) To Increase Sales at UD
Ulong Pian,” J. Tek. Inform. , vol. 3, no. 3, pp. 543–552, 2022, doi: 10.20884/1.jutif.2022.3.3.238.
[5] D. Fatmawati, W. Trisnawati, Y. Jumaryadi, and  G.  Triyono,  “Klasifikasi  Tingkat Kepuasan  Penggunaan  Layanan  Teknologi Informasi  Menggunakan  Decision  Tree,” KLIK Kaji. Ilm. Inform. dan Komput. , vol. 3, no. 6, pp. 1056–1062, 2023, doi: 10.30865/klik.v3i6.803.
[6] V. K. S. Que, A. Iriani, and H. D. Purnomo, “Analisis  Sentimen  Transportasi  Online Menggunakan  Support  Vector  Machine Berbasis  Particle  Swarm  Optimization,” J. Nas. Tek. Elektro dan Teknol. Inf. , vol. 9, no.
2, pp. 162–170, 2020, doi: 10.22146/jnteti.v9i2.102.
[7] A.  Nursalim  and  R.  Novita,  “Sentiment Analysis of Comments on Google Play Store,
Twitter  and  Youtube  To  the  Mypertamina Application With Support Vector Machine,”
J. Tek. Inform. , vol. 4, no. 6, pp. 1305–1312, 2023, doi: 10.52436/1.jutif.2023.4.4.801.
[8] D.  Taluke,  R.  S.  M.  Lakat,  A.  Sembel,  E. Mangrove,  and  M.  Bahwa,  “Analisis
Preferensi  Masyarakat  Dalam  Pengelolaan
Ekosistem  Mangrove  Di  Pesisir  Pantai Kecamatan  Loloda  Kabupaten  Halmahera Barat,” Spasial ,  vol.  6,  no.  2,  pp.  531–540,
2019.
[9] M. Ramzy and B. Ibrahim, “User satisfaction with  Arabic  COVID-19  apps:  Sentiment analysis  of  users’  reviews  using  machine learning  techniques,” Inf.  Process.  Manag. , vol.  61,  no.  3,  p.  103644,  2024,  doi: 10.1016/j.ipm.2024.103644.
[10] M.  P.  Yuliani  and  I.  N.  Suarmanayasa, “Pengaruh  Harga  Dan  Online  Consumer Review  terhadap  Keputusan  Pembelian Poduk  pada  Marketplace  Tokopedia,”
Prospek  J.  Manaj.  dan  Bisnis ,  vol.  3,  no.  2, pp. 146–154, 2021.
[11] R.  Puspitasari,  Y.  Findawati,  and  M.  A. Rosid,  “Sentiment  Analysis  Of  Post-Covid- 19 Inflation Based On Twitter Using The K- Nearest  Neighbor  And  Support  Vector
Wulan Trisnawati, et al., SENTIMENT ANALYSIS OF ICT SERVICE … 719
Machine  Classification  Methods,” J.  Tek.
Inform. ,  vol.  4,  no.  4,  pp.  1–11,  2023,  doi:
10.52436/1.jutif.2023.4.4.801.
[12] L.  N.  K.  Pasi  and  B.  Sudaryanto,  “Analisis Pengaruh  Online  Customer  Reivews  Dan Kualitas  Pelayanan  Terhadap  Keputusan Pembelian  Dengan  Kepercayaan  Sebagai Variabel Intervening (Studi Pada Konsumen Shopee Di Kota Semarang),” Diponegoro J. Manag. , vol. 10, no. 3, pp. 1–12, 2021.
[13] N. Colmekcioglu, R. Marvi, P. Foroudi, and F.  Okumus,  “Generation,  susceptibility,  and response  regarding  negativity:  An  in-depth analysis on negative online reviews,” J. Bus. Res. ,  vol.  153,  no.  August,  pp.  235–250, 2022, doi: 10.1016/j.jbusres.2022.08.033.
[14] A.  Muzaki  and  A.  Witanti,  “Sentiment Analysis of the Community in the Twitter To the 2020 Election in Pandemic Covid-19 By Method  Naive  Bayes  Classifier,” J.  Tek. Inform. , vol. 2, no. 2, pp. 101–107, 2021, doi: 10.20884/1.jutif.2021.2.2.51.
[15] Y.  Yunitasari,  A.  Musdholifah,  and  A.  K. Sari,  “Sarcasm  Detection  For  Sentiment Analysis  in  Indonesian  Tweets,” IJCCS (Indonesian  J.  Comput.  Cybern.  Syst. ,  vol. 13, no. 1, p. 53, 2019, doi:
10.22146/ijccs.41136.
[16] G.  Manik,  I.  Ernawati,  and  I.  Nurlaili, “Analisis  Sentimen  Pada  Review  Pengguna E-Commerce  Bidang  Pangan  Menggunakan
Metode  Support  Vector  Machine  (Studi Kasus:  Review  Sayurbox  dan  Tanihub  pada Google  Play),”  in Prosiding  Seminar Nasional Mahasiswa Bidang Ilmu Komputer dan Aplikasinya , 2021, vol. 2, no. 2, pp. 64– 74.
[17] A.  Isnanda,  Y.  Umaidah,  and  J.  H.  Jaman, “Implementasi  Naïve  Bayes  Classifier  Dan Information  Gain  Pada  Analisis  Sentimen
Penggunaan  E-Wallet  Saat  Pandemi,” J. Teknol.  Inform.  dan  Komput. ,  vol.  7,  no.  2,
pp.
144–153,
2021,
doi: 10.37012/jtik.v7i2.648.
[18] R.  Kusnadi,  Y.  Yusuf,  A.  Andriantony,  R. Ardian  Yaputra,  and  M.  Caintan,  “Analisis Sentimen  Terhadap  Game  Genshin  Impact
Menggunakan  Bert,” Rabit    J.  Teknol.  dan Sist. Inf. Univrab , vol. 6, no. 2, pp. 122–129, 2021, doi: 10.36341/rabit.v6i2.1765.
[19] D.  Septiani  and  I.  Isabela,  “Analisis  Term Frequency Inverse Document Frequency (Tf-
Idf)  Dalam  Temu  Kembali  Informasi  Pada Dokumen  Teks,” SINTESIA    J.  Sist.  dan Teknol. Inf. Indones. , vol. 1, no. 2, pp. 81–88,
2022.
[20] S.  M.  Fani,  R.  Santoso,  and  S.  Suparti,
“Penerapan  Text  Mining  Untuk  Melakukan
Clustering  Data  Tweet  Akun  Blibli  Pada Media  Sosial  Twitter  Menggunakan  K- Means Clustering,” J. Gaussian , vol. 10, no. 4, pp. 583–593, 2021, doi: 10.14710/j.gauss.v10i4.30409.
[21] Y. Cahyana and  A. Mutoi Siregar, “Analisis Sentimen  Pindah  Ibu  Kota  Negara  (IKN) Baru  pada  Twitter  Menggunakan  Algoritma Naive  Bayes  dan  Support  Vector  Machine (SVM),” Fakt.  Exacta ,  vol.  16,  no.  3,  pp. 1979–276, 2023, doi: 10.30998/faktorexacta.v16i3.16703.
[22] H.  Hermanto,  A.  Mustopa,  and  A.  Y. Kuntoro, “Algoritma Klasifikasi Naive Bayes Dan  Support  Vector  Machine  Dalam Layanan  Komplain  Mahasiswa,” JITK (Jurnal Ilmu Pengetah. dan Teknol. Komputer) , vol. 5, no. 2, pp. 211–220, 2020, doi: 10.33480/jitk.v5i2.1181.