KLIK: Kajian Ilmiah Informatika dan Komputer ISSN 2723-3898 (Media Online) Vol 4, No 3, Desember 2023, Hal 1788-1798 DOI 10.30865/klik.v4i3.1517 https://djournals.com/klik

## Klasifikasi Sentimen Terhadap Aplikasi Identitas Kependudukan Digital Menggunakan Algoritma Naïve Bayes dan SVM
Faisal Parsakh Nursyamsyi, Firman Noor Hasan *
FakultasTeknologi Industri dan Informatika, Teknik Informatika, Universitas Muhammadiyah Prof. DR. Hamka, Jakarta,Indonesia Email: 1 denfaisal.270@gmail.com, 2,* firman.noorhasan@uhamka.ac.id Email Penulis Korespondensi: firman.noorhasan@uhamka.ac.id
Abstrak− Kementerian  Dalam  Negeri  mengumumkan  penerapan  sebuah  aplikasi  untuk  mengikuti  perkembangan  teknologi  dan informasi sekaligus memanfaatkan digitalisasi dalam upaya meningkatkan efisiensi pelayanan publik kepada masyarakat dalam  hal data  kependudukan  dengan  nama  Identitas  Kependudukan  Digital  (IKD).  Aplikasi  Identitas  Kependudukan  Digital  akan merepresentasikan informasi data identitas dalam bentuk digital. Sudah ada 5 juta pengguna yang telah mengunduh aplikasi dan sekitar 33 ribu orang yang memberikan ulasan mereka terhadap kepuasan setelah menggunakan aplikasi. Namun, penerapan aplikasi Identitas Kependudukan Digital masih menjadi pro dan kontra. Beragam sekali sentimen pengguna yang diberikan berdasarkan ulasan terhadap kepuasan mereka setelah menggunakan aplikasi tersebut. Dari permasalahan tersebut. peneliti mencoba melakukan penelitian sentimen klasifikasi dengan algoritma Naïve Bayes dan Support Vector Machine menggunakan RapidMiner Studio untuk mengetahui respon masyarakat  terhadap  kepuasan  mereka  pada  aplikasi  Identitas  Kependudukan  Digital  dengan  menarik  data  ulasan  pada  aplikasi Identitas Kependudukan Digital. Sentimen pada data ulasan akan terbagi menjadi sentimen positif dan sentimen negatif. Tahapan yang dilakukan pada proses penelitian yaitu pengumpulan data, pelabelan data, pembersihan data, pembobotan kata dengan TF-IDF, SMOTE Upsampling, dan Cross Validation untuk menampung kedua algoritma klasifikasi, apply model, dan performance. Hasil proses analisis yang telah dilakukan, algoritma Support Vector Machine memiliki performa cukup baik dengan nilai akurasi 80,46%, presisi 0,73, dan recall 0,96%. Sedangkan Naïve Bayes memiliki nilai akurasi 80,22%, presisi 0,73 dan recall 0.94. Kedua algoritma dapat melakukan proses pengklasifikasian dengan baik terhadap proses analisis pada aplikasi Identitas Kependudukan Digital.
Kata Kunci: Naïve Bayes; SVM; Identitas Kependudukan Digital; Klasifikasi Sentimen; Aplikasi
Abstract− The  Ministry  of  Home  Affairs  announced  the  implementation  of  an  application  to  keep  up  with  technological  and information developments while utilizing digitalization in an effort to increase the efficiency of public services to the community in terms of population data under the name Digital Population Identity (IKD). The Digital Population Identity Application will represent identity data information in digital form. There have been 5 million users who have downloaded the application and around 33 thousand people have provided reviews regarding their satisfaction after using the application. However, implementing the Digital Population Identity application still has pros and cons. There are various user sentiments given based on reviews regarding their satisfaction after using  the  application.  From  this  problem.  The  researcher  tried  to  conduct  sentiment  classification  research  using  the  Naïve  Bayes algorithm and Support Vector Machine using RapidMiner Studio to determine the public's response to their satisfaction with the Digital Population Identity application by pulling review data on the Digital Population Identity application. Sentiment in review data will be divided into positive sentiment and negative sentiment. The stages carried out in the research process are data collection, data labeling, data  cleaning,  word  weighting  with  TF-IDF,  SMOTE  Upsampling,  and  Cross  Validation  to  accommodate  the  two  classification algorithms, apply model, and performance. As a result of the analysis process that has been carried out, the Support Vector Machine algorithm has quite good performance with an accuracy value of 80.46%, precision of 0.73, and recall of 0.96%. Meanwhile, Naïve Bayes has an accuracy value of 80.22%, precision of 0.73 and recall of 0.94. Both algorithms can carry out the classification process well in the analysis process in the Digital Population Identity application.
Keywords : Naïve Bayes; SVM; Identitas Kependudukan Digital; Sentiment Clasification; Application

## 1. PENDAHULUAN
Dengan  kemajuan  teknologi  informasi  saat  ini  telah  merubah  kebiasaan-kebiasaan  yang  dilakukan  manusia  di  setiap harinya. Perkembangan dari teknologi informasi dan komunikasi menjadikan aktivitas yang dilakukan manusia menjadi semakin  efektif  dan  efisien  [1][2].  Teknologi  informasi  juga  telah  menjadi  bagian  dari  berbagai  macam  aspek  seperti aspek  sosial  budaya,  pertahanan,  eknomoni,  maupun  kemasyarakatan.  Pada  sektor  pemerintahan,  teknologi  informasi tidak bisa terpisahkan. Hal ini  menjadi pendorong pemerintah untuk membuat sebuah inovasi, termasuk dalam proses administrasi kependudukan secara digitalisasi [3].
Dalam  upaya  digitalisasi  proses  administrasi  data  kependudukan,  Direktorat  Jenderal  Kependudukan  dan Pencatatan  Sipil  membangun  sebuah  aplikasi mobile yang  dapat  membantu  memudahkan  masyarakat  dalam  mencari informasi  kependudukan  dengan  nama  Identitas  Kependudukan  Digital  (IKD)  [4].  Aplikasi  Identitas  Kependudukan Digital bertujuan untuk menerapkan perkembangan teknologi informasi dan komunikasi saat ini menuju era digitalisasi terhadap  data  kependudukan  masyarakat.  Aplikasi  Identitas  Kependudukan  Digital  dibangun  dengan  pendekatan teknologi  digital  dan  terintegrasi  dengan  sistem  mekanisasi  pengolahan  data.  Pemerintah  berharap  dapat  memberikan pelayanan publik yang mudah, cepat, dan tepat sasaran pada proses administrasi kependudukan di masyarakat [5]. Pro dan  kontra  terhadap  aplikasi  Identitas  Kependudukan  Digital  masih  menjadi  perbincangan  di  kalangan  masyarakat. Adapun,  faktor  lain  yang  bisa  mempengaruhi  aplikasi  Identitas  Kependudukan  Digital  yaitu  tingkat  keamanan  data pribadi masyarakat Indonesia masih tergolong minim karena di tahun 2022 terjadi isu kebocoran data  pendaftar kartu identitas ponsel atau kartu sim dengan total kebocoran sekitar 1,3 milliar data. Hal tersebut membuat beberapa masyarakat indonesia masih merasa takut untuk memulai mendigitalisasi identitas miliknya [6].
Faisal  Parsakh  Nursyamsyi,  Klasifikasi  Sentimen  Terhadap  Aplikasi  Identitas  Kependudukan  Digital  Menggunakan

## Algoritma Naïve Bayes dan SVM
Berdasarkan informasi yang ada pada aplikasi Google Playstore , sudah ada 5 juta pengunduh aplikasi Identitas Kependudukan  Digital  dan  hampir  33  ribu  ulasan  diberikan  oleh  pengguna  terhadap  kepuasan  mereka  dalam menggunakan aplikasi Identitas Kependudukan Digital ini. Banyak sekali ulasan yang diberikan oleh pengguna aplikasi IKD  baik  sentimen  positif  ataupun  negatif  setelah  mereka  mencoba  menggunakan  aplikasi  Identitas  Kependudukan Digital.
Analisis  Sentimen  adalah  suatu  proses  analisis  dengan  melakukan  ekstraksi,  memahami  dan  memproses  data terhadap kalimat pada sebuah teks data berdasarkan opini untuk memahami makna dan informasi yang terkandung pada teks data. Analisis sentimen dilakukan untuk mengetahui kecenderungan dari suatu opini atau pendapat terhadap sebuah objek  permasalahan  berdasarkan  sudut  pandang  orang  lain  dengan  mempertimbangkan  apakah  pandangan  tersebut bersifat positif atau negatif dari suatu permasalahan [7].
Naïve Bayes dan Support Vector Machine (SVM) adalah kedua metode machine learning yang sangat populer digunakan  dalam  proses  analisis  dengan  keunggulan  pada  masing-masing  metode  [8][9].  Klasifikasi  Naïve  Bayes memiliki konsep model dengan menghitung probabilitas pada suatu parameter dan menentukan nilai yang paling baik menggunakan  nilai  dari  parameter  lain  [10][11][8]. Support  Vector  Machine memiliki  model  mencari  garis  batas hyperplane (batas  keputusan)  terbaik  yang  berfungsi  untuk  memisahkan  menjadi  dua  kelas  yaitu  negatif  dan  positif [12][13].
Berdasarkan penelitian terdahulu, Algoritma Naïve Bayes dan Support Vector Machine (SVM) telah digunakan sebagai metode klasifikasi pada analisis sentimen. Penelitian [14] yang dilakukan Yerik Afrianto Singgalen melakukan proses analisis sentimen dengan melakukan scraping data menggunakan webharvy dengan total data 3850 data dan diolah menggunakan software RapidMiner dengan melakukan pre-processing ( tokenize, transform cases, stopwords, dan Stem) , processing (Naïve Bayes), dan performance evaluation (accuracy,  recall,  precision,  area under curve) dengan output akurasi sebesar 96,36%, precision sebesar 93,23%, dan recall 100% [14]. Adapun penelitian [15] yang dilakukan oleh peneliti  Dianati  Duei  Putri,  dkk.  melakukan  proses  analisis  sentimen  dengan  melakukan crawling data tweet menggunakan python dengan  hasil  total crawling sebesar  1546  data . Peneliti  mulai  melakukan pre-processing data, labelling , dan processing Naïve Bayes) didapat hasil tingkat akurasi sebesar 80% dengan nilai rata-rata precision positif 75%, netral 79%, dan negatif 82% [15]. Selain itu, dari penelitian [16] yang dilakukan oleh peneliti Herwinsyah dan Arita Witanti, peneliti melakukan crawling data sebesar 14.000 data dan dilakukan pre-processing (cleansing,  case folding, tokenizing, filtering stopword, stemming) , labelling , dan penerapan Support Vector Machine (SVM) dengan perbandingan 80% untuk data training dan 20% untuk data testing dengan hasil akurasi 89%, fl-score 93%, precision score 88%, dan recall 99% [16].
Dalam  penelitian  ini,  metode  klasifikasi  Naïve  Bayes  dan Support  Vector  Machine (SVM)  akan  digunakan terhadap  proses  analisis  sentimen  pada  aplikasi  Identitas  Kependudukan  Digital.  Seluruh  penarikan  data  ulasan  pada aplikasi Identitas Kependudukan Digital dilakukan dengan metode web scraping dengan menggunakan Google Colab yang kemudian disimpan kedalam dokumen Microsoft Excel dengan format .csv . Total data yang berhasil ditarik pada ulasan aplikasi Identitas Kependudukan Digital yaitu 2000 data dengan rentang waktu Bulan Juli 2023 hingga Oktober 2023.  Seluruh  data  tersebut  akan  dilakukan  proses labelling , cleaning , pre-processing ,  pembobotan TF-IDF ,  dan penerapan algoritma klasifikasi Naïve Bayes dan Support Vector Machine (SVM). Penelitian ini dilakukan dengan tujuan untuk mendapatkan informasi persepsi yang muncul dari pengguna aplikasi Identitias Kependudukan Digital berdasarkan kepuasan mereka setelah menggunakan aplikasi IKD. Pembagian terhadap sentimen dibagi menjadi sentimen positif dan negatif . Adapun tujuan lain yaitu sebagai pengujian terhadap tingkat akurasi, precision , dan recall dari algoritma Naïve Bayes dan Support Vector Machine (SVM) terhadap data ulasan aplikasi Identitas Kependudukan Digital.

## 2. METODOLOGI PENELITIAN
Proses yang dilakukan peneliti pada penelitian ini adalah menerapkan algoritma Naïve Bayes dan SVM ( Support Vector Machine )  untuk  mengklasifikasi  opini  kepuasaan  pengguna  aplikasi  berdasarkan  ulasan  yang  diberikan  dari  aplikasi Identitas Kependudukan Digital sehingga mendapatkan hasil tingkat akurasi dari sentimen berdasarkan kedua algoritma tersebut. Dalam proses pengumpulan data, data ulasan didapat dengan melakukan Web Scraping melalui website Google Colab dan proses klasifikasi data menggunakan tools RapidMiner Adapun alur penelitian yang dilakukan peneliti dapat dijelaskan melalui diagram alir pada Gambar 1.
Faisal  Parsakh  Nursyamsyi,  Klasifikasi  Sentimen  Terhadap  Aplikasi  Identitas  Kependudukan  Digital  Menggunakan Algoritma Naïve Bayes dan SVM
Gambar 1. Diagram Alir Penelitian

## 2.1 Pengumpulan Data
Proses yang dilakukan dalam pengumpulan data ulasan dikumpulkan dengan menggunakan proses Web Scraping . Proses Web Scaping dilakukan melalui website Google Colab dengan memasukkan apps id dari aplikasi Identitas Kependudukan Digital di Google Playstore dan menentukan jumlah data yang akan dikumpulkan sesuai yang diingikan. Seluruh data yang telah dikumpulkan dalam proses Web Scrapping kemudian disimpan dengan format dokumen csv untuk dilakukan ke tahap proses selanjutnya.
Gambar 2 . Proses pengumpulan data ulasan

## 2.2 Labelling Data
Setelah  proses  pengumpulan dataset  telah  berhasil  dilakukan,  seluruh  dataset dari  proses  sebelumnya harus dilakukan proses  pelabelan  dengan  menganalisis  setiap  ulasan  dan  diproses  secara  manual  pada  file .csv menggunakan Google Spreadsheet . Proses labelling akan dibagi menjadi dua sentimen pada setiap ulasan yaitu sentimen positif dan negatif. Proses ini dilakukan untuk merepresentasi suatu objek data dan membantu mempelajari pola identifikasi data [17].

## 2.3 Pre-Processing Data
Tahap pre-processing adalah tahapan untuk menyiapkan suatu dataset dengan cara melakukan pembersihan dan mengatur suatu  isi  data  dari  dataset  mentah  menjadi  dataset bersih  dan  teratur. Pre-Processing dilakukan  dengan  menggunakan dataset yang sebelumnya telah diberi label menggunakan software RapidMiner . Proses ini dilakukan dengan tujuan agar dataset  dapat  diproses  dengan  baik  pada  saat  proses  pengklasifikasian  [18].  Pada  proses pre-processing terdiri  dari beberapa tahap diantaranya cleansing , case folding, tokenize , spelling normalization , filter stopwords , filter tokens (by length) , dan stemming . Cleansing merupakan tahap untuk membersihkan kata yang tidak dibutuhkan pada dataset seperti emoji , simbol tanda baca, angka [9]. Case folding adalah tahapan untuk merubah keseluruhan huruf pada dataset menjadi huruf kecil [17]. Tokenize yang merupakan tahap untuk memecah sebuah kalimat teks menjadi kata per-kata [19]. Spelling Normalization adalah tahapan untuk merubah kata-kata singkat, salah penulisan kata, maupun kata yang memiliki huruf berlebih  pada  suatu  text  data  menjadi  kata  yang  sebenarnya.  Contoh  “yg”,  ”tdk”,  ”penyembabnya”,  ”bagussssssss” menjadi “yang”, ”tidak”, ”penyebabnya”, ”bagus” [6]. Filter stopwords adalah tahapan untuk menghapus kata-kata yang kurang memiliki arti berdasarkan kamus list stopwords bahasa Indonesia [20]. Filter tokens (by length) merupakan proses membatasi kata yang digunakan dengan ketentuan minimal dan maksimal dari jumlah kata [17]. Stemming adalah tahap untuk mengubah suatu kata imbuhan menjadi kata dasar [7].

## 2.4 Implementasi Algoritma Naïve Bayes
Klasifikasi  Naïve  Bayes  sebuah  proses  pengklasifikasi  dengan  konsep  model  menghitung  probabilitas  pada  suatu parameter dan menentukan nilai yang paling baik menggunakan nilai dari parameter lain. Pada metode klasifikasi Naïve
Faisal  Parsakh  Nursyamsyi,  Klasifikasi  Sentimen  Terhadap  Aplikasi  Identitas  Kependudukan  Digital  Menggunakan Algoritma Naïve Bayes dan SVM
Bayes, seluruh parameter nilai akan memberikan kontribusi dalam pengambilan keputusan karena Naïve Bayes memiliki asumsi  indepedensi  yang  kuat  pada  masing-masing  parameter  [10][11][8].  Penerapan  Naïve  Bayes  dilakukan  untuk melakukan pembobotan pada setiap ulasan yang ada pada dataset setelah proses pre-processing [17].

## 2.5 Implementasi Algoritma Support Vector Machine (SVM)
Support Vector Machine adalah salah satu supervised learning terhadap teks dengan melakukan pengklasifikasian data dengan  performa  akurasi  yang  cukup  baik  [21].  SVM  merupakan  salah  satu  model  pengklasifikasian  dengan  konsep mencari hyperplane yang fungsi memisahkan antar kelas sehingga dapat mengoptimalkan margin antar kelas data [21], [22].  Algoritma  SVM  merupakan  algoritma machine  learning yang  banyak  digunakan  pada  suatu  penelitian  analisis seperti analisis sentimen dan menjadi algoritma yang populer oleh para peneliti [23].

## 2.6 Evaluasi
Tahap evaluasi adalah tahap terakhir untuk mengetahui apakah hasil proses analisis data terhadap setiap algoritma telah mencapai hasil yang baik. Pada tahap evaluasi, dilakukan pengukuran terhadap accuracy , recall , dan precision dengan melakukan perhitungan. Proses perhitungan pada accuracy , recall , dan precision dihitung berdasarkan hasil confusion matrix .
Gambar 3 . Confusion Matrix
Accuracy merupakan  proses  menghitung  dan  mengukur  tingkat  keakuratan  pada  model  klasifikasi  terhadap prediksi yang benar. Recall adalah proses menghitung dan mengukur banyaknya kelas positif yang berhasil di klasifikasi oleh model. Precision yaitu proses menghitung dan mengukur banyaknya prediksi yang sebenarnya benar [17][24].
Accuracy = ( 𝑇𝑃+𝑇𝑁) ( 𝑇𝑃+𝑇𝑁+𝐹𝑃+𝐹𝑁 ) (1) Recall = 𝑇𝑃 ( 𝑇𝑃+𝐹𝑃 ) (2) Precision = 𝑇𝑃 ( 𝑇𝑃+𝐹𝑁 ) (3)

## 3. HASIL DAN PEMBAHASAN

## 3.1 Pengumpulan Data
Sebelum  melakukan  analisis,  perlu  dilakukan  pengumpulan  dataset.  Proses  pengumpulan  dataset  dilakukan  dengan metode web scrapping menggunakan Google Collab . Hasil dataset yang terkumpul pada proses web scrapping sejumlah 2000  data  dengan  rentang  bulan  Juli  2023  hingga  Oktober  2023.  Gambar.  4  merupakan  proses  dalam  melakukan pengumpulan data menggunakan metode web scrapping pada Google Collab .
Faisal  Parsakh  Nursyamsyi,  Klasifikasi  Sentimen  Terhadap  Aplikasi  Identitas  Kependudukan  Digital  Menggunakan Algoritma Naïve Bayes dan SVM

## 3.2 Labelling Data
Dari hasil proses penarikan data yang dilakukan pada tahap sebelumnya, proses selanjutnya yaitu proses pelabelan pada dataset.  Proses  labelling  data  dilakukan  secara  manual  dan  dilakukan  oleh  tiga  orang.  Proses  pelabelan  pada  dataset terbagi menjadi dua sentimen yaitu sentimen positif dan sentiment negatif dengan penulisan label “ Positive ” untuk positif dan  “ Negative ”  untuk  negatif.  Proses  pelabelan  dilakukan  menggunakan Spreadsheet dengan  memahami  makna  dan maksud pada setiap ulasan untuk mengetahui apakah ulasan tersebut termasuk sentimen positif atau sentimen negatif. Hasil proses pelabelan yang telah dilakukan, sentimen negatif memiliki total 1049 dan sentimen positif 913. Gambar. 5 adalah hasil proses labelling yang dilakukan pada dataset
Gambar 5 . Hasil proses labelling data

## 3.3 Pre-Processing Data
Tahapan pre-processing data  dilakukan  menggunakan software yaitu RapidMiner  Studio untuk  menyiapkan  dataset dengan dilakukan beberapa tahapan. Tahap pertama diawali dengan melakukan cleansing pada dataset. Pada Gambar.6 proses cleansing dilakukan  dengan  tujuan  untuk  membersihkan  setiap  teks  ulasan yang memiliki  em oji ,  simbol  tanda baca, angka, membersihkan whitespace berlebih, dan membersihkan teks ulasan berulang supaya dapat mengoptimalkan proses pengklasifikasian.
Gambar 6 . Proses cleamsing pada dataset
Tabel 1. Hasil Cleansing
Sebelum C leansing
Setelah C leansing
Susah amat buka nya .... Trus buat apa di buat... Kalau gak bisa di buka... Tak ada manfaatnya 🤦🤦🤦
Susah amat bukanya Trus buat apa di buat Kalau gak bisa di buka Tak ada manfaatnya
Proses nya cepat dan pelayanannya pun sangat baik sekali. Saya sangat terbantu sekali dengan Aplikasi IKD ini. Terima kasih... 🙏🙏🙏
Proses  nya  cepat  dan  pelayanannya  pun  sangat  baik sekali Saya sangat terbantu sekali dengan Aplikasi IKD ini Terima kasih
Proses  Login  atau  masuk  ke  menu  Lama  sekali,  bahkan sudah  pakai  jaringan  internet  yg  kencang  saja  tetap  lama, notgod 😔
Proses Login atau masuk ke menu Lama sekali bahkan sudah  pakai  jaringan  internet  yg  kencang  saja  tetap lama notgod
Adapun  beberapa  tahapan  yang  dilakukan  pada  pre-processing  yaitu  tahap Case  Folding,  Tokenize , Spelling Normalization , Filter Stopwords , Filter Tokens (by Length) , dan Stemming . Pada proses ini, seluruh tahapan dikumpulkan pada  satu  operator  yaitu process  document  from  data. Gambar  7.  merupakan  seluruh  tahapan  yang  dilakukan  untuk menyiapkan sebuah dataset.
Faisal  Parsakh  Nursyamsyi,  Klasifikasi  Sentimen  Terhadap  Aplikasi  Identitas  Kependudukan  Digital  Menggunakan Algoritma Naïve Bayes dan SVM
Gambar 7 . Operator pada pre-processing
Tabel 2. Hasil Case Folding
Sebelum Case Folding Setelah Case Folding Susah amat bukanya Trus buat apa di buat Kalau gak bisa di buka Tak ada manfaatnya susah amat bukanya trus buat apa di buat kalau gak bisa di buka tak ada manfaatnya Proses nya cepat dan pelayanannya pun sangat baik sekali Saya  sangat  terbantu  sekali  dengan  Aplikasi  IKD  ini Terima kasih proses nya cepat dan pelayanannya pun sangat baik sekali saya sangat terbantu sekali dengan aplikasi ikd ini terima kasih Proses  Login  atau  masuk  ke  menu  Lama  sekali  bahkan sudah pakai jaringan internet yg kencang saja tetap lama notgod proses  login  atau  masuk  ke  menu  lama  sekali  bahkan sudah pakai jaringan internet yg kencang saja tetap lama notgod
Case folding merupakan tahap untuk merubah keseluruhan huruf pada dataset menjadi huruf kecil [17]. Proses ini dilakukan agar memudahkan proses pencarian pada setiap kata pada tahap tokenize . Tabel 2. Adalah contoh dari hasil proses case folding sebelum dan sesudah dari proses yang sudah dilakukan.
Tabel 3. Hasil Tokenize Sebelum Tokenize Setelah Tokenize semoga bermanfaat dan aplikasi lebih baik [‘semoga’, ‘bermanfaat’, ‘dan’, ‘aplikasi’, ‘lebih’, ‘baik’] gak bisa membuka dokumen muter terus tolong diperbaiki lagi [‘gak’,  ‘bisa’,  ‘membuka’,  ‘dokumen’,  ‘muter’,  ‘terus’, ‘tolong’, ‘diperbaiki’, ‘lagi’] aplikasi  aneh  mau  di  pake  malah  ga  kebuka  force  close terus [‘aplikasi’,  ‘aneh’,  ‘mau’,  ‘di’,  ‘pake’,  ‘malah’,  ‘ga’, ‘kebuka’, ‘force’, ‘close’, ‘terus’]
Setelah melewati tahap case folding , dilanjutkan pada tahap tokenize . Tokenize yaitu tahap untuk memecah sebuah kalimat  teks  menjadi  kata  per-kata  [19].  Pada  tokenize  pertama,  proses  ini  dilakukan  guna  memecah  kata  yang sebelumnya  telah  di  proses  pada  tahap case  folding sehingga  mempermudah  proses  yang  akan  dilakukan  pada  tahap selanjutnya. Berikut Tabel 3. merupakan contoh dari hasil proses tokenize sebelum dan sesudah pada penelitian ini.
Tabel 4. Hasil Spelling Normalization
Sebelum Spelling Normalization
Setelah Spelling Normalization tolong apknya di fix lagi karna ada masalah stelah selesai daftar dan mengecek dokumen loading nya sangat lama sekalipun  pake  wifi  hingga  saat  ini  saya  blm  bisa membuka dokumen ktp saya tolong untuk develover nya
tolong  aplikasinya  di  fix  lagi karena  ada  masalah  setelah selesai daftar dan mengecek dokumen loading nya sangat lama sekalipun pake wifi hingga saat ini saya belum bisa membuka dokumen ktp saya tolong untuk developer nya mohon  tingkatkan  lagi  scan  barcode  tdk  bsa  lihat dokumen tdk bisa gagal bsa d blg apk gak guna
mohon  tingkatkan  lagi  scan  barcode  tidak  bisa  lihat dokumen  tidak  bisa  gagal  bisa  di  bilang  aplikasi  gak berguna
skrg sering terjadi error dokument seperti ktp dan kk tdk bisa di lihat sama tambahan sedikit coba tambahkan fitur cetak pdf cetak dokumen sekarang  sering  terjadi  error dokumen  seperti  ktp  dan  kk tidak bisa di lihat sama tambahan sedikit coba tambahkan fitur cetak pdf cetak dokumen
Tahap  selanjutnya  yaitu  tahap spelling  normalization . Spelling  Normalization dilakukan  dengan  menggunakan operator Replace Tokens pada RapidMiner tujuan untuk merubah kata-kata singkat, salah penulisan kata, maupun kata yang memiliki huruf berlebih pada suatu text data menjadi kata yang sebenarnya  [6]. Tabel 4. merupakan contoh dari hasil proses spelling normalization sebelum dan sesudah pada penelitian ini.
Tabel 5. Hasil Filter Stopwords
Sebelum Filter Stopwords
Setelah Filter Stopwords alhamdulillah  sangat  ngebantu  untuk  aplikasinya  terima kasih alhamdulillah ngebantu aplikasinya terima kasih seharusnya  membuat  aplikasi  yang  memudahkan  masa untuk  membuat  akun  harus  scan  kode  qr  ke  kantor dukcapil
aplikasi memudahkan akun scan kode qr kantor dukcapil
Faisal  Parsakh  Nursyamsyi,  Klasifikasi  Sentimen  Terhadap  Aplikasi  Identitas  Kependudukan  Digital  Menggunakan Algoritma Naïve Bayes dan SVM
katanya  serba  online  tapi  tetap  aja  ribet  kalau  harus mendatangi dukcapil setempat gimana dengan orang yang kerja diluar kota
serba online aja ribet dukcapil gimana orang kerja diluar kota
Selanjutnya,  dilakukan tokenize kembali  dengan  tujuan untuk  memperbaharui pemecahan  kata per-kata  setelah dilakukan spelling  normalization .  Setelah  dilakukan  tahap tokenize kedua,  dilanjutkan  tahap filter  stopwords dengan tujuan untuk menghapus kata-kata yang kurang memiliki arti berdasarkan kamus list stopwords bahasa Indonesia [20]. Proses filter stopwords menggunakan sebuah file kamus bahasa indonesia yang didapat pada website www.kaggle.com. Tabel 5. adalah beberapa contoh hasil proses filter stopwords yang dilakukan pada penelitian ini.
Tabel 6. Hasil Filter Tokens (by Length)
Sebelum Filter Tokens (by Length) Setelah Filter Tokens (by Length) proses nya cepat pelayanannya terbantu aplikasi ikd terima kasih Proses cepat pelayanannya terbantu aplikasi terima kasih bagus  cuman  ditingkatkan  kk  ktp  semoga  kedepannya didownload bagus cuman ditingkatkan semoga kedepannya didownload daftar cek nik ktp repot suruh scan barcode dukcapil scan barcode nya bingung darimana dah
daftar  repot  suruh  scan  barcode  dukcapil  scan  barcode bingung darimana
Setelah tahap filter stopwords telah dilakukan, selanjutnya akan dilakukan proses filter tokens (by Length). Proses ini dilakukan untuk membatasi kata yang digunakan dengan ketentuan minimal dan maksimal dari jumlah kata [17]. Pada penelitian ini, jumlah kata yang akan digunakan yaitu 4 kata untuk ketentuan minimal kata dan 25 kata untuk ketentuan maksimal. Berikut Tabel 6. adalah beberapa contoh hasil dari proses filter tokens (by length) yang dilakukan di penelitian ini.
Tabel 7. Hasil Filter Stemming Sebelum Stemming Setelah Stemming dokumen dibuka harap diperbaiki dokumen buka harap perbaiki aplikasi bagus mempermudah aplikasi bagus mudah
mengapresiasi  aplikasi  bagus  bermanfaat  data  kependudukan terima  kasih  dukcapil  membantu  mempermudah  urusan  data kependudukan apresiasi  aplikasi  bagus  manfaat  data  penduduk terima  kasih  dukcapil  bantu  mudah  urus  data penduduk
Data  yang  sudah  di  proses  pada  filter  stopwords,  akan  dilakukan  proses  yaitu stemming .  Steaming  dilakukan dengan tujuan untuk mengubah kata-kata yang memiliki sebelumnya berbentuk imbuhan menjadi bentuk kata dasar [7]. Proses ini memerlukan file dengan ekstensi .txt untuk membuat formula Regex agar dapat menjalankan proses stemming . Berikut Tabel 7. adalah beberapa contoh hasil pada proses stemming yang dilakukan pada penelitian ini.

## 3.4 Pembobotan TF-IDF
Setelah seluruh proses pre-processing dilakukan, seluruh kata yang ada pada  dataset akan dilakukan pembobotan oleh TF-IDF . TF-IDF memiliki fungsi diantaranya TF ( Term Frequency ) untuk menghitung seberapa sering kemunculan pada suatu kata berdasarkan bobot kata tersebut dan IDF ( Inverse Document Frequency ) untuk mengukur bobot pada seluruh kata dimana jika kata tersebut jarang muncul maka bobot kata tersebut tinggi dan jika kata tersebut sering muncul maka bobot kata tersebut rendah [7][17].
Faisal  Parsakh  Nursyamsyi,  Klasifikasi  Sentimen  Terhadap  Aplikasi  Identitas  Kependudukan  Digital  Menggunakan Algoritma Naïve Bayes dan SVM

## 3.5 Implementasi Algoritma
Setelah  dataset  telah  berhasil  diproses  pada  tahap pre-processing ,  maka  proses  selanjutnya  yaitu  proses  implementasi algoritma. Namun, sebelum memasuki proses implementasi algoritma, perlu  menambahkan salah satu proses  sebelum melakukan klasifikasi yaitu Synthethic Minority Oversampling Technique (SMOTE Upsampling). SMOTE Upsampling adalah salah satu proses dengan tujuan untuk memodifikasi ketidakseimbang pada dataset dengan melakukan pembuatan sintetik  baru  dari  minoritas  kelas  supaya  meningkatkan  kinerja  pada  model  klasifikasi  [14].  Lalu  pada  penelitian  ini, proses penerapan klasifikasi menggunakan operator Cross Validation dengan nilai k-fold yaitu 10.
Gambar 9 . Penggunaan operator SMOTE Upsampling dan Cross Validation
Operator Cross  Validation akan  menampung  beberapa  operator  lainnya  yakni  Naïve  Bayes  dan  SVM, Apply Model , dan Performance . Apply Model bertujuan untuk membuat pengklasifikasian baru terhadap sebuah data yang belum dipelajari oleh metode klasifikasi yang digunakan. Apply Model akan melakukan input data, kemudian akan memperoleh sebuah ouput dari hasil prediksi terhadap metode klasifikasi. Performance digunakan untuk mengetahui seberapa baik proses yang dilakukan pada model klasifikasi.
Gambar 10 . Cross Validation pada Naïve Bayes dan SVM

## 3.6 Evaluasi
Proses evaluasi adalah proses untuk menghitung hasil pada setiap proses pengklasifikasian yakni Naïve Bayes dan SVM. Pada  proses  klasifikasi  Naïve  Bayes,  berdasarkan  hasil confusion  matrix didapat  tingkat accuracy mencapai  80,22%. dengan hasil 978 pada True Positive , 689 pada True Negative , 350 pada False Positive , dan 61 pada False Negative .
Tabel 8. Hasil klasifikasi Naïve Bayes accuracy :  80.22% +/- 3.10%
true Positive true Negative class precision pred. Positive 978 350 73,64% pred. Negative 61 689 91,87% class recall 94,13% 66,31%
Adapun hasil perhitungan yang dilakukan untuk menghitung nilai accuracy , recall , dan precision dari nilai yang dihasilkan berdasarkan confusion matrix pada klasifikasi Naïve Bayes.
Accuracy = ( 𝑇𝑃+𝑇𝑁) ( 𝑇𝑃+𝑇𝑁+𝐹𝑃+𝐹𝑁 )
= ( 978+689)
( 978+689+350+61 ) = 1667 2078 = 0,8
Recall
= 𝑇𝑃 ( 𝑇𝑃+𝐹𝑁 )
= 978 ( 978+61 ) = 978 1039 = 0,94
Precision = 𝑇𝑃 ( 𝑇𝑃+𝐹𝑃 )
= 978 ( 978+350 ) = 978 1328 = 0,73
Pada  proses  klasifikasi Support  Vector  Machine (SVM),  berdasarkan  hasil confusion  matrix didapat  tingkat accuracy mencapai 80,46%. dengan hasil 1001 pada True Positive , 671 pada True Negative , 368 pada False Positive , dan 38 pada False Negative
Faisal  Parsakh  Nursyamsyi,  Klasifikasi  Sentimen  Terhadap  Aplikasi  Identitas  Kependudukan  Digital  Menggunakan Algoritma Naïve Bayes dan SVM
Tabel 9. Hasil klasifikasi SVM
accuracy : 80.46% +/- 2.79%
true Positive true Negative class precision pred. Positive 1001 368 73,12% pred. Negative 38 671 94,64% class recall 96,34% 64,58%
Adapun hasil perhitungan untuk menghitung nilai accuracy , recall , dan precision dengan nilai yang dihasilkan berdasarkan confusion matrix pada klasifikasi Support Vector Machine (SVM).
Accuracy = ( 𝑇𝑃+𝑇𝑁) ( 𝑇𝑃+𝑇𝑁+𝐹𝑃+𝐹𝑁 )
= ( 1001+671) ( 1001+671+368+38 ) = 1672 2078 = 0,8 Recall =
𝑇𝑃
( 𝑇𝑃+𝐹𝑁 ) = 1001 ( 1001+38 ) = 1001 1039 = 0,96
Precision = 𝑇𝑃 ( 𝑇𝑃+𝐹𝑃 )
= 1001 ( 1001+368 ) = 1001 1369 = 0,73
Berdasarkan  proses  pengklasifikasian  terhadap  ulasan  aplikasi  Identitas  Kependudukan  Digital,  didapat  bahwa diantara kedua algoritma memiliki selisih persentase accuracy yang tidak jauh. Support Vector Machine mendapatkan nilai accuracy yaitu 81,01% dan algoritma Naïve Bayes mendapatkan nilai accuracy yaitu 80,81%. Adapun hasil nilai perhitungan untuk accuracy , recall , precision pada algoritma Naïve Bayes yaitu accuracy 0,8, recall 0,93, precision 0,74. Pada algoritma Support Vector Machine didapat yaitu accuracy 0,81, recall 0,93, precision 0,73.

## 3.7 Visualisasi WordCloud
Visualisasi WordCloud adalah sebuah hasil visual yang sudah dilakukan pada proses pengklasifikasian pada algoritma Naïve  Bayes  dan Suppor  Vector  Machine dengan  tujuan  untuk  memperlihatkan  kata  yang  sering  muncul pada  ulasan aplikasi Identitas Kependudukan Digital. Dari hasil visualisasi wordcloud , kata ‘aplikasi’ adalah kata yang paling sering digunakan pada ulasan aplikasi Identitas Kependudukan Digital karena memiliki total frekuensi yaitu 670. Adapun kata lainnya yang memiliki kaitan terhadap aplikasi Identitas Kependudukan Digital yaitu ‘dukcapil’, ‘digital’ dan ‘dokumen’.
Gambar 12 . Visualisasi WordCloud

## 4. KESIMPULAN
Dari proses analisis yang sudah dilakukan pada penelitian aplikasi Identitas Kependudukan Digital dapat disimpulkan bahwa  aplikasi  Identitas  Kependudukan  Digital  masih  tergolong  belum  cukup  optimal  dan  masyarakat  masih  merasa kesulitan untuk menggunakan aplikasi tersebut. Ada sekitar 1049 sentimen negatif atau 53,46% dan 913 sentimen positif atau 46,54% terhadap ulasan aplikasi IKD. Dari hal tersebut, perlu adanya perbaikan untuk aplikasi IKD supaya bisa lebih optimal dan efisien dalam kinerja pelayanan data kependudukan masyarakat sehingga masyarakat mendapatkan kepuasan lebih terhadap penggunaan aplikasi IKD. Adapun hal lainnya yaitu dari total data 2000 data yang berhasil dikumpulkan, dilakukan proses pelabelan pada setiap ulasan, dan dilanjutkan pada proses cleansing , diperoleh 1601 dataset bersih yang akan digunakan pada tahap proses klasifikasi. Setelah dilakukan proses pembobotan TF-IDF , SMOTE Upsampling , dan Cross Validation untuk menjalankan proses klasifikasi terhadap kedua algoritma yaitu Naïve Bayes dan Support Vector Machine ,  didapat hasil  akhir bahwa Support  Vector  Machine memiliki performa  cukup baik  dalam  melakukan  proses
Faisal  Parsakh  Nursyamsyi,  Klasifikasi  Sentimen  Terhadap  Aplikasi  Identitas  Kependudukan  Digital  Menggunakan

## Algoritma Naïve Bayes dan SVM
klasifikasi dibanding Naïve Bayes. Support Vector Machine mendapatkan nilai accuracy yaitu 80,46% dan Naïve Bayes mendapatkan  nilai accuracy 80,22%.  Adapun  perhitungan accuracy , recall ,  dan precision diantara  kedua  algoritma klasifikasi. Support  Vector  Machine memiliki  hasil accuracy yaitu  0,81, recall yaitu  0,93,  dan precision yaitu  0,73. Sedangkan  Naïve  Bayes  memiliki  hasil accuracy yaitu  0,8, recall yaitu  0,93, precision yaitu  0,74.  Namun  dari  hasil accuracy diantara kedua algoritma, performa antara kedua algoritma memiliki selisih yang tidak begitu jauh. Saran dari peneliti  untuk  mengembangkan  penelitian  yaitu  menambahkan  jumlah  data  dan  melakukan  proses  analisis  dengan menerapkan  metode klasifikasi lainnya seperti Deep Learning, Logistic Regression, K-NN, dan lainnya dengan tujuan mengetahui perbandingan hasil terhadap masing-masing metode klasifikasi.

## REFERENCES
[1] E. P. Primawanti and H. Ali, “Pengaruh Teknologi Informasi, Sistem Informasi Berbasis Web Dan Knowledge Management Terhadap Kinerja Karyawan (Literature Review Executive Support Sistem (ESS) For Business),” Jurnal Ekonomi Manajemen Sistem Informasi, vol. 3, no. 3, pp. 267–285, 2022, doi: 10.31933/jemsi.v3i3.
[2] U.  Yudatama  et  al.,  Memahami  Teknologi  Informasi.  Kaizen  Media  Publishing,  2023.  Accessed:  Dec.  02,  2023.  [Online]. Available:
https://books.google.co.id/books?hl=en&lr=&id=P1HcEAAAQBAJ&oi=fnd&pg=PA67&dq=info:6NeX_NUA6lAJ:scholar.go ogle.com&ots=IbIdD19YUk&sig=EGXKHwoIb3aJ34SOc-ylMoXg7V8&redir_esc=y#v=onepage&q&f=false
[3] A. Widiyarta and I. Humaidah, “Implementasi Aktivasi Identitas Kependudukan Digital (Ikd) Dalam Mendorong Digitalisasi Di Kelurahan  Jepara  Kota  Surabaya,”  Jurnal  Ilmiah  Wahana  Pendidikan,  vol.  9,  no.  18,  pp.  43–51,  2023,  doi: 10.5281/zenodo.8310255.
[4] Y.  W.  S.  Putra  et  al.,  Pengantar  Aplikasi  Mobile.  Penerbit  Widina,  2023.  Accessed:  Dec.  02,  2023.  [Online].  Available: https://books.google.co.id/books?hl=en&lr=&id=2tLcEAAAQBAJ&oi=fnd&pg=PA35&dq=info:oBah_CrQrcMJ:scholar.goog le.com&ots=6KrSlckjQC&sig=FdtXsu57pAYoU4-hUDqedKEILWM&redir_esc=y#v=onepage&q&f=false
[5] G. Fachrul Farlian and A. History, “The Method User Experience Questionnaire Analysis of Identitas Kependudukan Digital Application,” PARADIGMA, vol. 25, no. 2, pp. 128–134, 2023, doi: 10.31294/paradigma.v25i2.
[6] M. I. Amal, E. S. Rahmasita, E. Suryaputra, and N. A. Rakhmawati, “Analisis Klasifikasi Sentimen Terhadap Isu Kebocoran Data Kartu Identitas Ponsel di Twitter,” Jurnal Teknik Informatika dan Sistem Informasi, vol. 8, no. 3, pp. 645–660, Dec. 2022, doi: 10.28932/jutisi.v8i3.5483.
[7] F. Sidik, I. Suhada, A. H. Anwar, and F. N. Hasan, “Analisis Sentimen Terhadap Pembelajaran Daring Dengan Algoritma Naive Bayes Classifier,” Jurnal Linguistik Komputasional (JLK), vol. 5, no. 1, p. 34, Apr. 2022, doi: 10.26418/jlk.v5i1.79.
[8] T. A. Sari, E. Sinduningrum, and F. Noor Hasan, “Analisis Sentimen Ulasan Pelanggan Pada Aplikasi Fore Coffee Menggunakan Metode  Naïve  Bayes,”  KLIK:  Kajian  Ilmiah  Informatika  dan  Komputer,  vol.  3,  no.  6,  pp.  773–779,  2023,  doi: 10.30865/klik.v3i6.884.
[9] M. Dwijayanti, F. Noor Hasan, and R. Zein Adam, “Analisis Sentimen Pada Ulasan Pelanggan Menggunakan Metode Naïve Bayes  Classifier  (Studi  Kasus:  Grab  Indonesia),”  Prosiding  Seminar  Nasional  Teknoka,  vol.  6,  pp.  93–99,  Jan.  2022,  doi: 10.22236/teknoka.v6i1.441.
[10]  N. Salmi and Z. Rustam, “Naïve Bayes Classifier Models for Predicting the Colon Cancer,” IOP Conf Ser Mater Sci Eng, vol. 546, no. 5, Jun. 2019, doi: 10.1088/1757-899X/546/5/052068.
[11]  I. Parlina et al., “Naive Bayes Algorithm Analysis to Determine the Percentage Level of visitors the Most Dominant Zoo Visit by Age Category,” J Phys Conf Ser, vol. 1255, no. 1, Aug. 2019, doi: 10.1088/1742-6596/1255/1/012031.
[12]  R.  Wahyudi  and  G.  Kusumawardhana,  “Analisis  Sentimen  Pada  Review  Aplikasi  Grab  di  Google  Play  Store  Menggunakan Support  Vector  Machine,”  JURNAL  INFORMATIKA,  vol.  8,  no.  2,  pp.  200–207,  2021,  [Online].  Available: http://ejournal.bsi.ac.id/ejurnal/index.php/ji
[13]  I. P. Rahayu, A. Fauzi, and J. Indra, “Analisis Sentimen Terhadap Program Kampus Merdeka Menggunakan Naive Bayes Dan Support  Vector  Machine,”  Jurnal  Sistem  Komputer  dan  Informatika  (JSON),  vol.  4,  no.  2,  pp.  296–301,  Dec.  2022,  doi: 10.30865/json.v4i2.5381.
[14]  Y. A. Singgalen, “Analisis Sentimen Wisatawan Melalui Data Ulasan Candi Borobudur di Tripadvisor Menggunakan Algoritma Naïve Bayes Classifier,” Building of Informatics, Technology and Science (BITS), vol. 4, no. 3, pp. 1343–1352, Dec. 2022, doi: 10.47065/bits.v4i3.2486.
[15]  D. Duei Putri, G. F. Nama, and W. E. Sulistiono, “Analisis Sentimen Kinerja Dewan Perwakilan Rakyat (DPR) Pada Twitter Menggunakan Metode Naive Bayes Classifier,” Jurnal Informatika dan Teknik Elektro Terapan, vol. 10, no. 1, pp. 34–40, Jan. 2022, doi: 10.23960/jitet.v10i1.2262.
[16]  Herwinsyah  and  A.  Witanti,  “Analisis  Sentimen  Masyarakt  Terhadap  Vaksinasi  Covid-19  Pada  Media  Sosial  Twitter Menggunakan Algoritma Support Vector Machine (SVM),” Jurnal Sistem Informasi dan Informatika (Simika) P-ISSN, vol. 5, no. 1, pp. 59–57, 2022, doi: https://doi.org/10.47080/simika.v5i1.1411.
[17]  F.  Setya  Ananto  and  F.  N.  Hasan,  “Implementasi  Algoritma  Naïve  Bayes  Terhadap  Analisis  Sentimen  Ulasan  Aplikasi MyPertamina pada Google Play Store,” Jurnal ICT : Information Communication & Technology, vol. 23, no. 1, pp. 75–80, 2023, [Online]. Available: https://ejournal.ikmi.ac.id/index.php/jict-ikmi
[18]  F. Septianingrum, J. H. Jaman, and U. Enri, “Analisis Sentimen Pada Isu Vaksin Covid-19 di Indonesia dengan Metode Naive Bayes  Classifier,”  JURNAL  MEDIA  INFORMATIKA  BUDIDARMA,  vol.  5,  no.  4,  pp.  1431–1437,  Oct.  2021,  doi: 10.30865/mib.v5i4.3260.
[19]  A. Wibowo, F. Noor Hasan, L. Akbar Ramadhan, R. Nurhayati, and A. Wibowo, “Analisis Sentimen Opini Masyarakat Terhadap Keefektifan Pembelajaran Daring Selama Pandemi COVID-19 Menggunakan Naïve Bayes Classifier,” Jurnal Asiimetrik: Jurnal Ilmiah Rekayasa Dan Inovasi , vol. 4, no. 2, pp. 239–248, 2022, doi: https://doi.org/10.35814/asiimetrik.v4i1.3577.
[20]  Mujahidin.  Syamsul,  B.  Prasetio,  and  M.  Chandra  Cahyo  Utomo,  “Implementasi  Analisis  Sentimen  Masyarakat  Mengenai Kenaikan Harga BBM Pada Komentar Youtube Dengan Metode Gaussian naïve bayes,” Jurnal Vocational Teknik Elektronika dan Informatika, vol. 10, no. 3, pp. 17–24, 2022, doi: https://doi.org/10.24036/voteteknika.v10i3.118299.
Faisal  Parsakh  Nursyamsyi,  Klasifikasi  Sentimen  Terhadap  Aplikasi  Identitas  Kependudukan  Digital  Menggunakan

## Algoritma Naïve Bayes dan SVM
[21]  R. W. Pratiwi, S. F. H, Dairoh, D. I. Af’idah, Q. R. A, and A. G. F, “Analisis Sentimen Pada Review Skincare Female Daily Menggunakan Metode Support Vector Machine (SVM),” Journal of Informatics Information System Software Engineering and Applications (INISTA), vol. 4, no. 1, pp. 40–46, 2021, doi: https://doi.org/10.20895/inista.v4i1.387.
[22]  E. Suryati, Styawati, and A. A. Aldino, “Analisis Sentimen Transportasi Online Menggunakan Ekstraksi Fitur Model Word2vec Text Embedding Dan Algoritma Support Vector Machine (SVM),” JURNAL TEKNOLOGI DAN SISTEM INFORMASI, vol. 4, no. 1, pp. 96–106, 2023, doi: 10.33365/jtsi.v4i1.2445.
[23]  I. S. K. Idris, Y. A. Mustofa, and I. A. Salihi, “Analisis Sentimen Terhadap Penggunaan Aplikasi Shopee Mengunakan Algoritma Support Vector Machine (SVM),” Jambura Journal of Electrical and Electronics Engineering, vol. 5, no. 1, pp. 32–35, Jan. 2023, doi: 10.37905/jjeee.v5i1.16830.
[24]  R.  Shafa  Azizah,  M.  Kamayani,  and  K.  Kunci,  “Analisis  Sentimen  Terhadap  Kesehatan  Mental  Selama  Pandemi  Covid-19 Berdasarkan Algoritma Naïve Bayes dan Deep Learning,” Jurnal ICT : Information Communication & Technology, vol. 23, no. 1, pp. 38–43, 2023, [Online]. Available: https://ejournal.ikmi.ac.id/index.php/jict-ikmi