2795 Jurnal Teknik Informatika dan Sistem Informasi ISSN 2407-4322 Vol. 9, No. 4, Desember 2022, Hal. 2795-2803 E- ISSN 2503-2933
Analisis Sentimen Pandangan Netizen Indonesia Terhadap Vaksin COVID-19 Menggunakan Multi-Layer Perceptron
Citra Lestari* 1 , Theresia Ratih Dewi Saputri 2 , Salmon Charles P. T. Siahaan 3 1,2 Program Studi Informatika Universitas Ciputra; BCD Boulevard, CitraRaya, Surabaya, 031- 7451699
3 Program Studi Kedokteran Universitas Ciputra; BCD Boulevard, CitraRaya, Surabaya, 031- 7451699
e-mail: * 1 caecilia.citra@ciputra.ac.id , 2 theresia.ratih@ciputra.ac.id,
3 charles.siahaan@ciputra.ac.id

## Abstrak
Pada  tahun  2021,  pemerintah  Indonesia  melaksanakan  program  vaksinasi  Covid-19. Meskipun program tersebut terbilang sukses berdasarkan tingginya partisipasi masyarakat untk divaksin, namun banyak beredar pendapat negatif tentang vaksinasi Covid-19, terutama dalam bentuk pendapat daring. Penelitian ini bertujuan untuk melakukan analisis sentimen pandangan masyarakat  Indonesia  terhadap  vaksinasi  Covid-19  dengan  melihat  pendapat  mereka  dari media sosial Twiter. Dari 4000 data tweet yang terkumpul, setelah dilakukan pembersihan dan oversampling data untuk keseimbangan jumlah data tiap klas, diperoleh 1685 data. Klasifikasi dilakukan  dengan  algoritma  Multi  Layer  Perceptron  Neural  Network.  Model  klasifikasi  yang dihasilkan memiliki akurasi 68,8% dengan presisi 0,82, dan recall 0,64. Rendahnya nilai recall disebabkan  kurang  maksimalnya  ekstraksi  fitur  kata  negatif  yang  menyebabkan  kerancuan prediksi tweet yang  seharusnya  Positif  menjadi  klas  Negatif.  Hambatan  ekstraksi  fitur  selain dari  segi  penggunaan  beberapa  kata  yang  ternyata  banyak  dipakai  sebagai  kata  positif  dan negatif, juda disinyalir karena tingginya jumlah kata yang disingkat dan kata yang tidak baku yang menyebabkan proses penghapusan stopwords dan stemming menjadi tidak maksimal.
Kata kunci —vaksinasi Covid-19, twitter, analisis sentimen, ekstraksi fitur

## Abstract
In  2021,  Indonesia  government  performed  National  Covid-19  vaccine  program throughput Indonesia. Al though it was considered a successful program, based on the number of  participation,  there  were  also  quite  many  negative  opinion  about  Covid-19  vaccine, especially  online.  The  purpose  of this  research  is  to crate  a  sentiment  analysis on  Indonesian opnion about Covid-19 vaccine based on their tweets on Twitter. We collected 4000 tweets, but after bing preprocessed and oversampling, we gat a dataset consisted of 1685 balanced data of two  classes,  Positive  opinion  and  Negative  opinion.  The  classifier  model  was  built  with Multi Layer  perceptron  Neural  Network  algorithm.  The  model  has  68,8%  accuracy  with  0,82 precision,  and  0,62  recall.  The  low  result  on  recall  was  caused  by  nonoptimal  feature extraction, especially for the Negative class features. There were few features in Negative class that were also a feature in Positive class. Other that that, the high use of abbreviations and non- standard words were also the hindrance for the feature extraction process which are stopwords removal and stemming could perform optimal.
Keywords —Covid-19 vaccine, sentiment analysis, twitter, feature extraction
Jatisi                             ISSN 2407-4322 Vol. 9, No. 3, Desember 2022, Hal. 2795-2803 E-ISSN 2503-2933 2796
Citra , et., al [Analisis Sentimen Pandangan Netizen Indonesia Terhadap Vaksin COVID-19 Menggunakan
IJCCS Vol. x, _page–end_page

## 1. PENDAHULUAN
C OVID-19 adalah pandemi yang tidak saja menjadi masalah di Indonesia, namun juga di selurh dunia. Di Indonesia sendiri, per Januari 2022 sudah lebih dari 18 juta penduduk yang pernah terinfeksi oleh virus ini dengan 144,2 ribu kasus meninggal [1].
Sejak  awal  tahun  2021,  pemerintah  Indonesia  telah  melakukan  program  Gerakan Vaksinasi COVID-19 Nasional. Gerakan ini bertujuan untuk menekan laju penyebaran COVID- 19.  Vaksinasi  COVID-19  diberikan  secara  gratis  pada  seluruh  penduduk  Indonesia.  Vaksinasi dilakukan dua kali secara bertahap.
Gerakan  vaksinasi  COVID-19  yang  diselenggarakan  pemerintah  telah  berhasil memberikan  vaksin  dosis  lengkap  pada  lebih  dari  124,08  juta  penduduk  Indonesia  [2]. Meskipun  Gerakan  ini  bukan  merupakan  paksaan  secara  formal  oleh  pemerintah.  namun sebenarnya paksaan dilakukan oleh pihak-pihak yang punya ‘wewenang’ pada kehidupan sosial maupun  professional  masyarakat.  Adapun  pihak-pihak  tersebut  adalah  perusahaan-perusahaan tempat  masyarkat  bekerja,  serta  mall  dan  gedung  bioskop  tempat  masyarakat,  terutama masyarakat kota, bersosialisasi [3,4]
Adanya  paksaan  sosial  untuk  vaksinasi  di  Indonesia  adalah  hal  yang  menarik  untuk mengetahui  pendapat  atau  opini  masyarakat  Indonesia  terhadap  vaksin  sendiri.  Sebuah  survei nasional yang dilakukan oleh SM Saiful Mujani Research and Consulting (SMRC) menyatakan bahwa 29% responden tidak bersedia untuk divaksin [5]. Selain itu, dengan kemajuan teknologi, telah  terjadi  transformasi  budaya  dimana  masyarakat  kini  menjadi  terbiasa  untuk mengemukakan  pandangan  mereka  secara  terbuka  di  media  sosial  [6],  salah  satunya  adalah Twitter.
Sebenarnya  kasus  penolakan  atau  resistensi  terhadap  vaksinasi  COVID-19  tidak  hanya terjadi  di  Indonesia.  Sebagai  contoh,  penelitian  Hussain  et.al  [7]  terhadap  pandangan  publik terhadap  vaksin  COVID-19  pada  data  Twitter  di  Inggris  dan  Amerika  yang  memperlihatkan bahwa  di  negara-negara  tersebut  juga  terdapat  resistensi  yang  cukup  tinggi,  yaitu  sekitar  40% terhadap vaksinasi COVID-19.
Meskipun  demikaian,  pandangan  yang  dituliskan  di  media  sosial  tidak  secara  tersurat menyatakan kesediaan atau ketidak bersediaan seseorang terhadap suatu topik. Perlu dilakukan ekstraksi  dan  analisis  terhadap  kata-kata  yang  digunakan  dalam  tulisan  pandangan  seseorang tersebut  sebelum  akhirnya  kita  dapat  memutuskan  apakan  pandangan  tersebut  adalah  positif, dalam hal ini bersedia/setuju dengan vaksinasi, atau negatif, dalam hal ini resistan/tidak setuju divaksin.
Dalam  tulisan  ini,  ekstraksi  dan  analisis  pandangan  masyarakat  terkait  dengan  vaksin menggunakan  pendekatan Artificial  Intelligence yang  berbasis  pada Natural  Language Processing ,  khususnya  metode  Analisis  Sentimen.  Metode  ini  sudah  banyak  digunakan  dalam berbagai domain aplikasi termasuk dalam bidang kesehatan.

## 2. METODE PENELITIAN
Gambar  1  meupakan  diagram  yang  menunjukkan  tahap-tahap  metode  penelitian  yang dilakukan.  Tahapan  metode  penelitian  ini  berdasarkan  proses  analisis  sentimen pada  Twitter yang  dibuat  oleh  Nazeer,  I.  [8].  Peneltian  diawali  dengan  pengumpulan  data,  atau Data Collecting . . Dataset  yang  telah  terkumpul  kemudian  diprose  awal  pada  tahap Data Preprocessing yang dilanjutkan dengan Pembentukan Fitur. Dari fitur yang telah dibuat bentuk
2797 Jatisi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 2795-2803 E-ISSN 2503-2933
kemudian  dibuatlah  model  pada  tahap  Klasifikasi.  Tahap  terakhir  adalah  Evaluasi  Performa untuk mengukur performa dari model klasifikasi yang telah dibuat
Gambar 1. Tahapan Metode Penelitian
2.1 Data Collecting
Dataset yang digunakan dalam penelitian ini merupakan kumpulan dari tweet yang dibuat oleh pengguna Twitter. Pengambilan tweet dilakukan dengan bantuan API dari aplikasi Twitter. Tweet yang diambil telah disaring dengan spesifikasi: 1) Terdapat kata “vaksin covid”; dan 2) menggunakan Bahasa Indonesia. Data diambil dari tanggal 1 Septermbr 2021 hingga 1 Oktober 2021 Total data yang terkumpul adalah 4000 tweet .
Data  yang  telah  terkumpul  kemudian  dilakukan  anotasi  atau  pelabelan  secara  manual. Terdapat  tiga  label  yang  digunakan,  yaitu  positif,  negatif,  dan  netral.  Sebuah tweet dilabeli sebagai  positif  jika tweet itu  berisikan  ajakan,  anjuran,  antusiasme,  atau  informasi  postif terhadap  vaksin  COVID-19.  Sebuah tweet dilabeli  sebagai  negatif  jika  berisikan  kekecewaan, kemarahan,  ketakutan,  atau  informasi  negatif  terhadap  vaksin  COVID-19.  Sementara  label netral diberikan pada tweet yang tidak mengemukakan perasaan positif dan negatif, atau bersifat informasi biasa. Tabel 1 adalah beberapa contoh tweet yang telah diberi label secara manual.
Tabel 1. Contoh Tweet yang Telah Diberi Label Secara Manual
Tweet Label Ada  kenalan,  cikgu  prasekolah  di  Tganu  menolak  vaksin.  Segala  nasihat, pujukan dan sekarang perlian dan carutan, masih tegar. Prasekolah akan dibuka tidak lama lagi... Positif Percepatan  vaksinasi  yang  dilakukan  Polda  Papua  bersama  dengan  dinas Pendidikan  yang  melibatkan  siswa/siswi  sekolah  menjadi  duta  vaksin  di  papua sangat diapresiasi oleh KSP #PolriGelorakanVaksinasi Prokes Sambut PON Positif aku  lupa  kalo  abis  vaksin,  terus  mau  tidur  hadep  kiri  rasanya  mak  nyus kemeng.. Negatif @jokowi  nya  dapat  membantu  saya  agar  sertifikat  vaksin  ke  dosis  ke  2  saya muncul  di  aplikasi  Peduli  Lindungi  .  Tetapi  semua  nihil  tidak  ada  yang  mau bantu dan peduli, saya jadi sulit untuk berangkat berlayar dikarenakan harus full vaksin dosis 1 dan dosis 2. Jadi saya mohon kiranya bapak Negatif 684.900 Dosis Vaksin AstraZeneca Mendarat di Bandara Soetta https://t.co/HvlazTe2PX Netral @lqvedoie JAP KAU DH VAKSIN KE BELUM? Netral

## 2.2.   Data Preprocessing
Data Preprocessing adalah tahap mempersiapkan data, dalam hal ini tweet untuk dibentuk fitur-fiturnya.  Pada  tahap  ini  ada  dua  hal  besar  yang  dilakukan  yaitu  proses  pembersihan  data dan proses persiapan tweet .
Pembersihan  data  ini  dilakukan  karena  pada  saat  proses  anotasi  peneliti  mendapati:  1) Banyaknya data yang redundan, yaitu tweet yang sama persis di- post lebih dari sekali; 2) Tweet yang  berlabel  Neutral  tidak  memberikan  pandangan yang  signifikan  terhadap Vaksin  COVID-
Jatisi                             ISSN 2407-4322 Vol. 9, No. 3, Desember 2022, Hal. 2795-2803 E-ISSN 2503-2933 2798
Citra , et., al [Analisis Sentimen Pandangan Netizen Indonesia Terhadap Vaksin COVID-19 Menggunakan
19. Oleh karena itu dilakukan pembersihan data berupa penghapusan baris-baris yang berisikan data  redundan  dan  baris  yang  berlabel  Netral.  Setelah  dilakukan  pembersihan  data,  diperoleh 1394 data.
Dalam tweet preprocessing terdapat sejumlah proses yang berfungsi untuk membersihkan dan menyiapkan tweet seperti halnya mengubah menjadi huruf kecil dan pembersihan tweet dari karakter-karakter tidak perlu seperti angka, ruang kososng, dan tanda baca. Rangkaian proses ini tergambar pada Gambar 2.
Gambar 2. Tahapan Tweet Preprocessing

## 2.3. Feature Generation
Feature Generation atau pembentukan fitur adalah tahap untuk menemukan fithr penting dari sebuah data. Di dalam sebuah tweet sendiri terdapat beragam tipe fitur, seperti [8]: 1. Fitur  Spesifik,  yaitu  fitur-fitur  yang  spesifik  hanya  dimiliki  oleh  sebuah tweet .  Hal  yang termasuk dalam fitur ini adalah hashtag , retweet , nama pengguna, dan URL.
2. Fitur  Tekstual,  adalah  fitur-fitur  yang  berhubungan  dengan  teks  dari tweet ,  seperti  jumlah kata, panjang kata, atau banyaknya tanda baca (tanda tanya, tanda serum dll).
3. Part of Spech , adalah fitur untuk mencari kata benda, kata sifat, kata keterangan.
4. Fitur  berbasi  Lexicon,  yaitu  untuk  mencari  dan  membandingkan  kata  postif  dan  kata negative di dalam sebuah twwet.
Pada penelitian ini fitur yang dibentuk atau diekstrak adalah fitur berbasi Lexicon, sebab sebuah tweet akan  diklasifikasikan  menjadi  pendapat  positif  atau  negatif  bedasarkan perbandingan  pesentase  kata  positif  dan  kata  negative  di  dalam  sebuah tweet .  Tahapan  dari Feature Generation dapat dilihat pada Gambar 3.
Gambar 3. Tahapan Feature Generation
2799 Jatisi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 2795-2803 E-ISSN 2503-2933
Tahap  pertama  adalah  T okenizer . Tokenizer adalah  proses  pemecahan  sebuah  kalimat menjadi kumpulan kata. Penelitian ini menggunakan Pustaka TweetTokenizer untuk melakukan tokenizer .
Setelah dihasilkan kumpulan kata, maka dilakukan penghapusan stopwords . Stopwords adalah  kata-kata  yang  umum  digunakan  di  banyak  teks  dan  tidak  memiliki  makna  yang signifikan. Penghapusan stopwords ini dilakukan Pustaka stopwords Indonesia dari nltk.corpus. Tahap terakhir dari pembentukan fitur adalah Stemming . Stemming adalah pencarian akar atau bentuk dasar dari sebuah kata. Pebngubahan kata menjadi bentuk dasarnya adalah penting untuk  melihat  kemiripan  antar tweet .  Sebagai  contoh,  kata  ‘menyapu’,  ‘disapu’,  atau  ‘sapu- sapu’  sebenarnya  memiliki  bentuk  dasar  yang  sama,  yaitu  ‘sapu’.  apabila  terdapat  tiga  buah tweet masing-masing  dengan  kata  ‘menyapu’,  ‘disapu’,  atau’sapu-sapu’  sebenarnya  ketiganya memiliki kemiripan dalam hal terdapat kata ‘sapu’ di dalamnya.
Pada penelitian ini, Pustaka stemming yang digunakan adalah Sastrawi. Sastrawi  adalah  pustaka Stemming yang  dikhususkan  untuk  Bahasa  Indoneseia.  Pustaka ini  mengkolaborasikan  beberapa  alogritma stemming antara  lain  algoritma  Nazief,  algoritma Asian,  algoritma  Arifin,  dan  algoritma  Tahitoe  [9].  Satrawi  sendiri  telah  diimplementasikan dalam beberapa bahasa pemrograman, yaitu Java, C, Python, Go, dan Ruby.
Tabel 2 menunjukkan hasil dari dilakukannya tahapan feature generation pada salah satu tweet .
Tabel 2. Hasil Per Tahap Proses Feature Generation Tahap Hasil Tweet Setelah Preprocessing nya dapat membantu saya agar sertifikat vaksin ke dosis ke saya muncul di aplikasi peduli lindungi tetapi semua nihil tidak ada yang mau bantu dan peduli saya jadi sulit untuk berangkat berlayar dikarenakan harus full vaksin dosis dan dosis jadi saya mohon kiranya bapak Tokenizer [‘nya’, ‘dapat’, ‘membantu’, ‘saya’, ‘agar’, ‘sertifikat’, ‘vaksin’, ‘ke’,
‘dosis’, ‘ke’, ‘saya’, ‘muncul’, ‘di’, ‘aplikasi’, ‘peduli’, ‘lindungi’, ‘tetapi’, ‘semua’ ‘nihil’, ‘tidak’, ‘ada’, ‘yang’, ‘mau’, ‘bantu’, ‘dan’, ‘peduli’,
‘saya’, ‘jadi’, ‘sulit’, ‘untuk’, ‘berangkat’, ‘berlayar’, ‘dikarenakan’,
‘harus’, ‘full’, ‘vaksin’, ‘dosis’, ‘dan’, ‘dosis’, ‘jadi’, ‘saya’, ‘mohon’, ‘kiranya’, ‘bapak’]
Penghapusan Stopwords [‘dapat’,  ‘membantu’,  ‘agar’,  ‘sertifikat’,  ‘vaksin’,  ‘dosis’,  ‘muncul’, ‘aplikasi’,  ‘peduli’,  ‘lindungi’,  ‘semua’  ‘nihil’,  ‘tidak’,  ‘ada’,  ‘mau’, ‘bantu’,    ‘peduli’,  ‘jadi’,  ‘sulit’,  ‘untuk’,  ‘berangkat’,  ‘berlayar’, ‘dikarenakan’,  ‘harus’,  ‘full’,  ‘vaksin’,  ‘dosis’,  ‘dosis’,  ‘jadi’,    ‘mohon’, ‘kiranya’, ‘bapak’]
Stemming
[‘dapat’, ‘bantu’, ‘agar’, ‘sertifikat’, ‘vaksin’, ‘dosis’, ‘muncul’, ‘aplikasi’, ‘peduli’, ‘lindungi’, ‘semua’ ‘nihil’, ‘tidak’, ‘ada’, ‘mau’, ‘bantu’,  ‘peduli’,
‘jadi’,  ‘sulit’,  ‘untuk’,  ‘berangkat’,  ‘layar’,  ‘karena’,  ‘harus’,  ‘full’, ‘vaksin’, ‘dosis’, ‘dosis’, ‘jadi’,  ‘mohon’, ‘kira’, ‘bapak’]

## 2.4.   Klasifikasi
Pada dataset yang  digunakan  ini  diketahui  bahwa jumlah  data  untuk  klas  Positif  adalah 896 sedangkan jumlah data untuk klas Negatif adalah 498. Karena jumlah data antar clas yang tidak seimbang, maka dilakukan penyeimbangan data sebelum memasuki tahap Klasifikasi.
Klasifikasi  yang  dilakukan  pada dataset yang  tidak  seimbang  akan  menghasilkan performa yang buruk pada klas yang  minoritas. Model akan cenderung memberikan klas yang
Jatisi                             ISSN 2407-4322 Vol. 9, No. 3, Desember 2022, Hal. 2795-2803 E-ISSN 2503-2933 2800
Citra , et., al [Analisis Sentimen Pandangan Netizen Indonesia Terhadap Vaksin COVID-19 Menggunakan
IJCCS Vol. x, _page–end_page
mayoritas  sebagai  hasil  prediksi.  Tentu  saja  hal  ini  sangat  buruk,  terutama  jika  klas  yang minoritas adalah klas yg penting.
Penyeimbangan  data  dilakukan  dengan  teknik oversampling klas  minoritas  secara sintetis,  atau  disingkat  SMOTE  ( Syntetic  Minority  Oversampling  Technique ).  Teknik  ini melakukan augmentasi data pada klas minoritas dengan metode k -tetangga-terdekat [10]. Pada penelitian  ini,  klas  minoritas  adalah  klas  Negatif  yang  kemudian  mendapatkan  291  data  dari Teknik oversampling SMOTE. Setelah proses data balancing ini total data dalam dataset adalah 1685.
Model  klasifikasi  dibuat  dengan  Multilayer  Perceptron  Neural  Network.  Model  yang digunakan  memiliki  100  neuron  pada  lapisan  tersembunyinya,  menggunakan  Relu  sebagai fungsi  aktivasinya,  dan  Adam  sebagai weight  optimizer -nya.  Dataset  dibagi  menjadi  data  latih sebanyak  80%  atau  1406  dan  20%  data  uji  atau  data validasi  (279  data).  Data  latih  kemudian digunakan untuk melatih model klasifikasi dengan learning rate 0,001sebanyak 200 epoch .

## 2.5.   Evaluasi Performa
Evaluasi Performa akan dibahas pada bab 3.
.
3. HASIL DAN PEMBAHASAN
Model  analisis  sentimen  yang  digunakan  pada  penelitian  ini  adalah  Multi  Layer Perceptrons  Neural  Network  Dari  hasil  pelatihan  1406  data,  model  klasifikasi  ini  memiliki akirasi sebesar 68.8%, dengan matriks konfusi seperti Gambar 4.
Gambar 4. Matriks Konfusi Model Klasifikasi
Berdasarkan  matriks  konfusi  terebut,  dapat  dihitung  performa  presisi  ( precision )  dari model adalah 0,82 dan recall adalah 0,64. Presisi 0,82 adalah nilai yang baik, namun recall 0,62 adalah nilai yang kurang baik. Nilai recall yang rendah disebabkan oleh besarnya jumlah False Negative , yaitu tweet yang diprediksi negatif namun ternyata positif.
Faktor  yang  disinyalir  menyebabkan  hal  ini  terjadi  adalah  fitur  yang  dibentuk  untuk merepresentasikan tweet negatif  tidak  cukup  signifikan  atau  kuat  untuk  menggambarkan  hal yang negatif. Hal itu dapat dilihat pada Gambar 5 yang menunjukkan Word Cloud dari dataset baik  berlabel  positif  dan  negatif. Word  Cloud adalah  sebuah  metode  visualisasi  jumlah  kata yang terdapat pada kumpulan dokumen. Semakin banyak  kata tersebut muncul, semakin besar dan jelas kata tersebut akan ditunjukkan.
2801 Jatisi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 2795-2803 E-ISSN 2503-2933
a) b)
Gambar 5. Word Cloud Dataset a) berlabel Positif
Pada Gambar 5.b) kata-kata signifikan yang dianggap negatif adalah ‘dosis’, ‘sertifikat’, ‘sakit’,  dan  ‘takut’.  Secara  makna,  kata  ‘dosis’  dan  ‘sertifikat’  tidaklah  bermakna  negatif.  Hal ini  juga  diperkuat  dengan  adanya  kata  ‘sertifikat’  pada  Gambar  5.a)  yang  merupakan Word Cloud dari tweet berlabel positif.  Di sisi lain,  meskipun  kata  ‘sakit’  dapat  bermakna  ‘negatif’, namun kata ‘sakit’ juga cukup banyak ditemui di tweet berlabel positif hingga kata tersebut juga muncul  di  Gambar  5.a).  Berdasarkan  pengamatan  penulis  saat  melakukan  anotasi  data,  kata ‘sakit’ muncul pada tweet positif saat penulis tweet bermaksud memotivasi orang lain untuk ikut vaksin. Sebagai contoh kalimat dalam tweet tersebut adalah: “tidak sakit kok”.
Sebagai  pembanding,  dibuatlah pula  model  klasifikasi  dengan  empat algoritma berbeda. Empat algoritma tersebut adalah Gaussian Naïve Bayes, K-Nearest Neighbour, Decision Tree, dan Logistic Regression. Tabel 3 menunjukkan perbandingan performa model klasifikasi Multi Layer Perceptron Neural Network dengan ketiga algotimat tersebut
Tabel 3 Perbandingan Model Klasifikasi dengan Algoritma MLP,
Gaussian Naïve Bayes, K-Nearest Neighbour, DecisionTree, dan Logistic Regression Algoritma Akurasi  Presisi Recall Multi Layer Perceptron 68,8% 0,82 0,64 Gaussian Naïve Bayes 62,4% 0,82 0,56 K-Nearest Neighbour 53,76% 0,89 0,31 Decision Tree 62% 0,78 0,61 Logistic Regression 64,15% 0,81 0,565
Berdasarkan perbandingan tersebut diketahui bahwa model terbaik dihasilkan oleh Multi Layer Perceptrop dengan akurasi dan recall yang paling tinggi. K-Nearest Neighbour memiliki presisi  yang  lebih  tinggi  daripada  Multi  Layer  Perceptron,  namun  memiliki  nilai recall yang juga paling rendah, yaitu 0.31.
Selain  fitur  kata  negatif  yang  rancu  dengan  fitur  kata  positif  yang  ditengarai  sebagai penyebab  kurang  baiknya  performa  model,  ada  beberapa  hal  yang  menjadi  hambatan  dalam ekstrasi  fitur  pada tweet Bahasa  Indonesia,  yaitu:  1)  banyaknya  penggunaan  singkatan  pada tweet; 2) banyaknya penggunaan kata/istilah bahasa Indonesia tidak baku.
Masyarakat Indonesia memiliki kebiasaan menyingkat kata dalam penulisan teks. Budaya tersebut  berawal  saat  SMS  mulai  dikenal.  Pengiriman  SMS  yang  memiliki  batasan  jumlah karakter yang dikirim membuat masayarakat Indonesia terbiasa menulis teks dengan singkatan- singkatan  untuk  berhemat.  Sebagai  contoh:  ‘sy’  untuk  saya,  ‘aq’  untuk  aku,  ‘kmu’  atau  ‘km’ untuk  kamu,  ‘plg’  untuk  paling,  ‘sk’  untuk  suka,  dan  sebagainya.  Kebiasaan  ini  dilajutkan hingga saat ini, tidak hanya saat pengiriman teks/ chat namun juga untuk penulisan teks lainnya, termasuk juga tweet . Singkatan-singkatan kata tersebut belum dikenali dan diakomodir dengan baik oleh pustaka stopwords maupun stemming sehingga dapat mempengaruhi pelatihan model.
Jatisi                             ISSN 2407-4322 Vol. 9, No. 3, Desember 2022, Hal. 2795-2803 E-ISSN 2503-2933 2802
Citra , et., al [Analisis Sentimen Pandangan Netizen Indonesia Terhadap Vaksin COVID-19 Menggunakan
Indonesia merupakan bangsa dengan berbagai suku dan bahasa. Terdapat lebih dari seribu bahasa  daerah  di  Indoensia.  Oleh  karena  itu  sangatlah  wajar  jika  masyarakat  menyelipkan bahasa daerah di dalam percakapannya, baik secara lisan maunpun tulisan, termauk tweet . Pada dataset penelitian  ini  sangat  jarang  didapati tweet yang  menggunakan  bahasa  Indonesia  baku. Terdapat banyak kata/istilah tidak baku yang tentunya sulit diidentifikasi apakah termasuk kata stopwords ataupun untuk menentukan bentuk dasar dari kata tersebut ( stemming ).

## 4. KESIMPULAN
Berdasarkan  hasil  uji  coba  dapat  disimpulkan  bahwa sentiment  analysi terhadap pandangan  masyarakat  daring  Indonesia  tentang  vaksinasi  COVID-19  menghasilkan  model klasfikasi  dengan  akurasi  68,8%,  presisi  0,82,  dan recal 0,64.  Rendahnya  nilai recall disebabkan kurang baiknya ekstrasi fitur kata negatif dari daraset sehingga menimbulkan false negative  yang  tinggi.  Hambatan  dalam  ekstrasi  fitu  adalah  banyaknya  jumlah    kata  yang disingkat dan kata yang tidak baku. Kata yang disingkat dan kata yang tidak baku menghambat proses ekstraksi fitur dalam tahap penghapusan stopwords dan stemming .

## 5. SARAN
Untuk  meningkatkan  performa  model  klasifikasi  disarankan  untuk  membuat  algoritma stemming untuk bahasa Indonesia yang tidak baku dan singkatan, serta menambahkan singkatan serta istilah tidak baku pada stopwords .

## UCAPAN TERIMA KASIH
Penulis  mengucapkan  terima  kasih  kepada  Universitas  Ciputra  yang  telah  memberi dukungan financial terhadap penelitian ini.

## DAFTAR PUSTAKA
[1] Bidang Data & IT Satuan Tugas Pengamanan COVID-19, 2022 , Analisis Data COVID- 19 Indonesia Update per 23 Januari 2022, https://covid19.go.id/artikel/2022/01/30/analisis-data-covid-19-indonesia-update-23- januari-2022, diakses tanggal 30 Januari 2022.
[2]    Mahrofi,  Z,  2022, Penerima  Vaksin  Lengkap  Capai  124,08  Juta  Jiwa  Penduduk Indonesia , https://www.antaranews.com/berita/2660429/penerima-vaksin-lengkap-capai- 12408-juta- jiwa-penduduk-indonesia , diakses tanggal 30 Januari 2022.
[3]    Yanwardhana, E., 2021, Perusahaan-perusahaan Mulai Vaksinasi Ribuan  Karyawan, https://www.cnbcindonesia.com/news/20210518204615-4-246496/perusahaan- perusahaan-mulai-vaksinasi-ribuan-karyawan , diakses tanggal 30 Januari 2022.
2803 Jatisi ISSN 2407-4322 Vol. 9, No. 3, September 2022, Hal. 2795-2803 E-ISSN 2503-2933
[4] Prodjo,  W.  A.,  2021, Syarat  Nonton  di  Bioskop  Harus  Sudah  Divaksin , https://megapolitan.kompas.com/read/2021/09/14/18384371/syarat-nonton-di-bioskop- harus-sudah-divaksin , diakses tanggal 30 Januari 2022.
[5] Muljani,  S.,  2021 ,  Satu  Tahun  Covid-19:  Sikap  dan  Perilaku  Warga  Terhadap  Vaksin , https://saifulmujani.com/satu-tahun-covid-19-sikap-dan-perilaku-warga-terhadap- vaksin/ , diakses tanggal 30 Januari 2022.
[6] Nainggolan, Vitri,  Sintje  A.  Rondonuwu,  and  Grace J.  Waleleng,  2018, Peranan  Media Sosial  Instagram  Dalam  Interaksi  Sosial  Antar  Mahasiswa  Fakultas  Ilmu  Sosial  dan Politik Universitas Manado. ACTA DIURNA KOMUNIKASI 7, no. 4.
[7] Hussain, Amir, et al, 2021, Artificial Intelligence–Enabled Analysis of Public Attitudes on Facebook  and  Twitter  Toward  Covid-19  Vaccines  in  The  United  Kingdom  and  The United States: Observational Study . Journal of medical Internet research 23.4: e26627.
[8]   Nazeer,  I.,    Rashid,  M.,  Gupta,  Dr.  S.,  and  Kumar,  A.,  2020, Use  of  Novel  Ensemble Machine  Learning  Approach  for  Social  Media  Sentiment  Analysis ,  N.N  (ed): Analyzing Global Social Media Consumption, IGI Clobal.
[9]   Libraian,  A.,  2017, High  Quality  Stemmer  Library  for  Indonesian  Language  (Bahasa), https://github.com/sastrawi/sastrawi , diakses tanggal 13 Juni 2022.
[10]   Chawla, N., Bowyer, K. Hall, L., Kegelmeyer, W. P., 2021, SMOTE: Synthetic Minority Oversampling Technique , Journal of Artigicial Intelligence Research 16