p-ISSN : 2460-3562 / e-ISSN : 2620-8989
Implementasi Sentimen Masyarakat berdasarkan Tweet terkait Kebijakan Kemendikbud di Masa Pandemi Covid-19
Chavin Lorento a1 , Arif Bijaksana Putra Negara a2 , Rudy Dwi Nyoto a3 a Program Studi Informatika, Fakultas Teknik, Universitas Tanjungpura Jalan Prof. Dr. H. Hadari Nawawi Pontianak, 78124
1 chavinlorento@student.untan.ac.id 2 arifbpn@informatika.untan.ac.id
3 rudydn@informatika.untan.ac.id

## Abstrak
Twitter selalu menyajikan informasi trending sehingga  pengguna selalu update terkait segala sesuatu yang sedang hangat diperbincangkan ( tweet ), contohnya sentimen masyarakat terkait kebijakan kemendikbud di masa pandemi Covid-19. Identifikasi t weets tersebut dapat dilakukan dengan klasifikasi. Sentimen tweets diklasifikasikan ke dalam tiga kelas, yaitu negatif, netral, atau positif. Tujuan penelitian ini adalah menghasilkan model klasifikasi yang memiliki performa terbaik dalam implementasi permasalahan tersebut.  Selain itu, penelitian juga melihat pengaruh tuning hyperparameter dan pendekatan multi class SVM. Metode klasifikasi yang digunakan adalah multi class SVM ( Support Vector Machine ) dengan pendekatan OVO ( One Versus One ) dan OVA ( One Versus All ), serta PSO ( Particle Swarm Optimization ) digunakan sebagai tuning hyperparameter . Pembagian dataset dilakukan menjadi data training sebanyak 5939 data dan data testing sebanyak 660 data dengan rasio 90%:10%. Evaluasi dilakukan menggunakan 10- fold CV terhadap data training dan confusion matrix terhadap data testing . Berdasarkan evaluasi terhadap empat model skenario yang dibangun berupa nilai akurasi training dan testing , model OVO tanpa PSO sebesar 76,86% dan 79,70%, model OVO dengan PSO sebesar 77,94% dan 83,03%, model OVA tanpa PSO sebesar 76,66% dan 79,70%, dan model OVA dengan PSO sebesar 78,62% dan 83,18%. Kemudian, PSO dapat meningkatkan nilai akurasi training dan testing , yaitu OVO sebesar 1,08% dan 3,33%, serta OVA sebesar 1,96% dan 3,48%. Setelah itu, OVA memiliki akurasi training dan testing lebih tinggi dibanding OVO hanya jika menggunakan PSO, yaitu 0,68% dan 0,15%. Sedangkan, OVO memiliki nilai akurasi training lebih tinggi dibanding OVA hanya jika tidak menggunakan PSO, yaitu 0,2% dan keduanya memiliki nilai akurasi testing yang sama. Setelah hasil evaluasi  tersebut, model OVA dengan PSO memberikan performa terbaik dibanding model lainnya dan digunakan sebagai model prediksi machine learning aplikasi generik yang dibangun dalam penelitian ini . Kata kunci: Twitter, klasifikasi, machine learning, PSO, multi class SVM
Implementation of Community Sentiment based on Tweets related to Ministry of Education and Culture Policies during the Covid-19

## Pandemic

## Abstract
Twitter always provides trending information so that users are always updated regarding everything that is being hotly discussed (tweet), for example, public sentiment related to the Ministry of Education and Culture's policies during the Covid-19 pandemic. Identification of these tweets can be done by classification. Sentiment tweets are classified  into three classes, namely negative, neutral, or positive. The purpose of this study is to produce a classification model that has the best performance in implementing these problems. In addition, the study also looks at the effect of hyperparameter tuning  and the multi-class SVM approach. The classification method used is multi-class SVM (Support Vector Machine) with OVO (One Versus One) and OVA (One Versus All) approaches, and PSO (Particle Swarm Optimization) is used as hyperparameter tuning. The dataset was divided into 5939 training data and 660 testing data with a ratio of 90%:10%. The evaluation was carried out using a 10- fold CV for training data and a confusion matrix for testing data. Based on the evaluation of the four scenario models built in the  form of training and testing accuracy values, the OVO model without PSO is 76.86% and 79.70%, the OVO model with PSO is 77.94% and 83.03%, the OVA model without PSO is 77.94% and 83.03%. 76.66% and 79.70%, and the OVA model with PSO was 78.62% and 83.18%, respectively. Then, PSO can increase the value of training and testing accuracy, namely OVO by 1.08% and 3.33%, and OVA by 1.96% and 3.48%,
respectively. After that, OVA has higher training and testing accuracy than OVO only when using PSO, namely 0.68% and 0.15%. Meanwhile, OVO has a higher training accuracy value than OVA only if it does not use PSO, which is 0.2% and both have the same testing accuracy value. After the evaluation results, the OVA model with PSO provides the best performance compared to other  models and is used as a machine learning prediction model for the generic application that was built in this study. Keywords: Twitter, classification, machine learning, PSO, multi-class SVM

## I. P ENDAHULUAN
Di Indonesia, penggunaan media sosial memudahkan masyarakat untuk berteman dan berbagi informasi. Segala sesuatu yang diunggah ke dalam media sosial dapat dilihat dengan mudah dan bisa diikuti oleh orang lain, terutama sesuatu yang diunggah oleh figur publik dan menjadi populer, contohnya di Twitter. Twitter selalu menyajikan informasi trending sehingga pengguna akan selalu update terkait segala sesuatu yang sedang hangat diperbincangkan. Indonesia memperoleh peringkat ke-3 di dunia dengan jumlah pengguna Twitter mencapai 140 juta[1].
Twitter menjadi media sosial  yang sering digunakan oleh masyarakat Indonesia untuk menyampaikan sentimen terhadap topik yang  ada, contohnya terkait kebijakan kemendikbud di masa pandemi Covid-19 ini.  Contoh kebijakan  yang telah dilakukan  oleh  kemendikbud, yaitu kuliah daring, sekolah daring, bantuan UKT (Uang Kuliah Tunggal), pelaksanaan KIP (Kartu Indonesia Pintar), dana BOS (Bantuan Operasional Sekolah), dan bantuan kuota belajar[2]. Kebijakan kemendikbud tersebut tentunya akan menjadi sebuah topik yang menuai berbagai sentimen dari masyarakat.  Sentimen  tersebut berupa kumpulan tweet yang dapat bersifat negatif, netral, ataupun positif.
Identifikasi  terhadap kumpulan tweet tersebut dapat dilakukan dengan teknik klasifikasi walaupun dalam jumlah  data  yang besar  agar dapat mengelompokkan tweets ke dalam sentimen positif, negatif, ataupun netral. Klasifikasi adalah suatu pengelompokan data dimana data yang digunakan tersebut mempunyai kelas label atau target. Dalam melakukan  klasifikasi  terdapat beberapa metode  yang dapat dimanfaatkan, antara lain Support Vector Machine (SVM)[3],[4], Naive Bayes (NB)[5], Artificial Neural Network (ANN)[6], K-Nearest Neighbors (KNN)[7],[8], Convolutional Neural Network (CNN)[9], Logistic Regression [10] , dan lainnya . Terdapat  empat  penelitian terkait telah dilakukan sebelumnya,  pertama  Hakim et al  melakukan penelitian memban-dingkan metode klasifikasi SVM, NB dan KNN. Hasilnya metode SVM memperoleh akurasi sebesar 80,05%,  dibanding  NB  dan  KNN  masing-masing  hanya 66,81% dan 51,45%[11].  Kedua,  Putra et al melakukan penelitian membandingkan kernel RBF, Polynomial dan Linear.  Hasilnya RBF memiliki akurasi sebesar 100%, dibanding dengan Polynomial dan Linear masing- masing hanya 83,117% dan 74,026%[12]. Ketiga, Hayuningtas et al  melakukan penelitian  membandingkan  metode klasifikasi  NB  terhadap  NB berbasis Particle Swarm Optimization (PSO). Hasilnya NB berbasis PSO memiliki akurasi sebesar 94,02%, dibanding  NB  hanya 70%[13]. Keempat,  Alita et al melakukan penelitian memban- dingkan multi class SVM  pendekatan One  Versus One (OVO) dan One Versus All (OVA). Hasilnya pendekatan OVA  sedikit lebih baik  dibanding  pendekatan  OVO dengan akurasi masing-masing 92% dan 91,94%[14].
Oleh  karena itu,  metode klasifikasi yang akan digunakan adalah multi class SVM.  Metode SVM memungkinkan perhitungan untuk masalah linier dengan menerapkan transformasi  matematis untuk ruang belajar menggunakan fungsi kernel, contohnya kernel RBF. SVM mencari hyperplane (sebuah fungsi yang dapat digunakan untuk pemisah antar kelas) terbaik dengan memaksimalkan jarak antar kelas[15]. Multi class SVM ini sendiri adalah pengembangan dari SVM agar dapat melakukan klasifikasi non linier (lebih dari dua  kelas). Multi class SVM memiliki dua pendekatan[16], yaitu One Versus One (OVO) berupa strategi yang terdiri dari satu classifier per kelas, yang dilatih untuk membedakan sampel satu kelas dari sampel kelas lainnya  dan One Versus All (OVA) berupa strategi yang terdiri dari satu classifier per kelas, yang dilatih untuk membedakan sampel  satu kelas dari sampel semua kelas yang tersisa.
Penelitian ini  juga akan menggunakan PSO sebagai tuning  hyperparameter .  PSO merupakan teknik optimasi yang  sangat sederhana untuk menerapkan dan memodifikasi beberapa parameter.  PSO juga terbukti sebagai algoritma yang baik dan efektif untuk permasalahan optimisasi karena kemudahannya dalam penerapan kode dan performanya yang konsisten[17]. Sedangkan, tuning hyperparameter merupakan pemilihan parameter yang optimal pada algoritma pembelajaran. Tuning hyperparameter juga salah satu cara untuk mengatasi overfitting yang merupakan penyebab terbesar buruknya performa model machine learning [18]. Berdasarkan uraian diatas, penelitian ini  akan menggunakan  dua  pendekatan multi class SVM, yaitu OVO dan OVA  dengan  kernel RBF.  Kemudian, diterapkan tuning hyperparameter PSO untuk melihat pengaruhnya terhadap setiap pendekatan multi class SVM tersebut.  Setiap model klasifikasi yang dibangun  akan saling dibandingkan untuk mencari model klasifikasi dengan performa terbaik.  Model klasifikasi dengan performa terbaik digunakan untuk membangun model dalam menentukan klasifikasi sentimen pada aplikasi generik yang dibangun.

## II. M ETODOLOGI
Terdapat delapan tahap metode penelitian ini dan dapat dilihat pada Gambar 1.
A. Pengumpulan Data
Pengumpulan data dilakukan dengan scraping Twitter dengan memanfaatkan  Twitter API. Data yang diambil adalah tweets berupa teks yang dilakukan selama tujuh minggu, yaitu dari tanggal 03 April 2021 sampai dengan 20 Mei 2021. Kata kunci dalam pencarian tweet berbahasa Indonesia antara lain ”sekolah daring”, ”kuliah daring”, ”kuota belajar”, ”dana BOS”, ”UKT”, dan ”KIP”. Sebelum melakukan scraping, diperlukan key dan token  Twiiter API. Key dan token tersebut digunakan
untuk koneksi ke Twitter agar dapat melakukan scraping (lihat pada Gambar 2).
Gambar 1  Metode Penelitian
Gambar 2. Twitter API
Scraping tweets dilakukan selama tujuh minggu, yaitu dari tanggal 03 April 2021 sampai dengan 20 Mei 2021. Kata kunci dalam pencarian tweet berbahasa Indonesia antara lain ”sekolah daring”,  ”kuliah daring”,  ”kuota belajar”, ”dana  BOS”, ”UKT”,  dan ”KIP”. Kemudian. tweets disaring agar tidak terdapat duplikasi  atau lebih didalamnya ( retweets )  dan tweet yang dipakai diseleksi agar sesuai  topik  penelitian yang dilakukan  (lihat pada Gambar 3).
Gambar 3. Scraping
B. Text Preprocessing Dalam penelitian ini, ada delapan tahap text preproces- sing yang dilakukan antara lain:
1) Case  folding , yaitu mengubah setiap bentuk kata dalam teks/dokumen menjadi menjadi lowercase atau huruf kecil secara keseluruhan (lihat Gambar 4).

## Gambar 4. Case Folding
2) Cleaning, yaitu proses pembersihan teks/dokumen yang bertujuan  untuk mengurangi noise . Pembersihan teks yang dilakukan adalah tanda baca/delimeter (koma, titik, kurung, dan sejenisnya), enter , emoji, username , hashtag , URL/link , mention , dan angka (lihat Gambar 5).

## Gambar 5. Cleaning
3) Normalisasi, yaitu proses normalisasi bahasa terhadap kata tidak baku  ke bentuk penulisan yang seharusnya.  Normalisasi juga dilakukan terhadap slang word maupun kata bernuansa bahasa Inggris (lihat Gambar 6).

## Gambar 6. Normalisasi
4) Convert  negation ,  yaitu  proses konversi kata-kata negasi yang terdapat pada suatu kalimat, karena kata negasi mempunyai pengaruh dalam  merubah nilai emosi/sentimen  pada sebuah kalimat.  Kata-kata negasi dalam bahasa Indonesia antara lain ‘tidak’, ‘bukan’, ‘jangan’, dan ‘belum’. Kata negasi tersebut akan digabungkan dengan kata sesudahnya  (lihat Gambar 7).

## Gambar 7. Convert Negation
5) Tokenisasi, yaitu proses untuk memotong dokumen/teks menjadi pecahan kecil yang dapat berupa bab, sub-bab , paragraf, kalimat, dan kata (token) (lihat Gambar 8).

## Gambar 8. Tokenisasi
6) Stopword Removal , yaitu proses menghapus kata umum yang tidak memiliki arti penting dan tidak digunakan  (lihat Gambar  9). Tujuannya untuk mengurangi jumlah kata yang disimpan oleh sistem.
Acuan terhadap kata-kata tersebut (stopword) ada di dalam daftar berupa stoplist yang digunakan.

## Gambar 9. Stopword Removal
7) Stemming , yaitu proses untuk mencari stem (kata dasar) dari kata hasil  stopword removal (filtering).
Terdapat dua aturan dalam melakukan stemming yaitu dengan pendekatan kamus dan pendekatan aturan (lihat Gambar 10).

## Gambar 10. Stemming
8) Rejoin , yaitu penggabungan kembali token-token dalam  teks/dokumen sebelumnya menjadi kalimat- kalimat yang utuh (lihat Gambar 11) .
Gambar 11. Rejoin
C. Pelabelan Data
Dalam penelitian ini, pelabelan otomatis menggunakan VADER (Valence Aware Dictionary and Sentiment Reasoner) merupakan metode analisis lexicon based , yaitu menganalisis teks  berdasarkan lexicon ( library ) yang menghasilkan class sentiment berupa  positif,  negatif dan netral dengan tambahan skor total atau disebut compound score . Nilai compound ini dapat digunakan sebagai satuan standar untuk  mengklasifikasikan kalimat dengan ketentuan positif  untuk compound lebih dari  0, negatif untuk compound kurang dari 0, dan netral untuk compound sama dengan 0 (lihat pada Gambar 12).

## Gambar 12.  Pelabelan Vader
D. Vektorisasi Vektorisasi bertujuan untuk memberikan bobot  pada fitur kata berdasarkan frekuensi kemunculan kata. Fitur kata yang telah diberi bobot dapat digunakan untuk proses klasifikasi.  Vektorisasi yang digunakan adalah Term Frequency-Inverse Document Frequency (TF-IDF). Penelitian ini menggunakan vektorisasi berupa TF-IDF dengan  menggunakan library Scikit-Learn, yaitu fungsi Tfidfvectorizer() dan fit_transform() (lihat Gambar 13).
Gambar 13. TF-IDF
E. Pembagian Dataset Pembagian dataset menjadi dua bagian, yaitu training dataset untuk melatih model klasifikasi  yang dibangun dan testing dataset untuk menguji model klasifikasi yang telah dibangun.
Dalam penelitian ini, pembagian dataset  dilakukan menggunakan bahasa pemrograman Python  yang memanfaatkan library , yaitu Scikit-Learn. Rasio training dataset dan testing dataset yang digunakan adalah 90%:10% (lihat Gambar 14).

## Gambar 14. Pembagian Dataset
F. Tuning Hyperparameter Tuning hyperparameter merupakan  pemilihan hyper- parameter yang optimal pada model klasifikasi yang akan dibuat, yaitu multi class SVM dengan menggunakan PSO ( Particle Swarm Optimization )(lihat Gambar 15). Particle Swarm Optimization (PSO) merupakan teknik optimasi yang sangat sederhana untuk  menerapkan dan memodifikasi beberapa parameter. Dalam PSO terdapat beberapa teknik untuk melakukan pengoptimasian diantaranya meningkatkan bobot atribut (attribute weight) terhadap semua atribut atau variabel yang dipakai, menseleksi atribut ( attribute selection ) dan feature selection .
Gambar 15. Particle Swarm Optimization Berikut rumus dalam meng- update kecepatan dan posisi partikel:
(1) (2)
Keterangan :
=   kecepatan partikel saat ini =   posisi partikel saat ini
=   berat inertia =   koefisien akselerasi =   bilangan acak dengan rentang 0 hingga 1
=   posisi personal best partikel saat ini
=   posisi global best partikel saat ini
Dalam penelitian ini, PSO akan digunakan sebagai tuning hyperparameter terhadap  hyperparameter  gamma dan C  pada multi class SVM dengan kernel RBF. Parameter w , c 1 , dan c 2 adalah bernilai 0.9, 0.5, dan 0.3. Sedangkan, jumlah populasi/partikel yang optimal bernilai 100, sedangkan iterasi dilakukan sebanyak 3 kali sebagai kondisi tercapainya algoritma PSO.

## G. Modelling
Metode SVM memungkinkan perhitungan untuk masalah linear dengan menerapkan transformasi matematis untuk ruang belajar menggunakan fungsi kernel. Metode SVM memiliki konsep sentral dalam mengklasifikasikan data,  yaitu menentukan hyperplane terbaik untuk memberi jarak atau pemisah antara dua kelas yang telah ditentukan. Cara kerja SVM yaitu dengan dengan menemukan hyperplane optimal yang memberi jarak atau pemisah antar dua kelas, yaitu hyperplane yang mempunyai margin maksimum. Jarak antar titik data terdekat  dengan hyperplane diklaim  sebagai margin . Adapun vektor pendukung sebagai titik terdekat dengan hyperplane (lihat Gambar 16).

## Gambar 16  Support Vector Machine (SVM)
Dalam proses klasifikasi, jarang ditemui  kasus klasifikasi linear pada kehidupan nyata, melainkan lebih ke non linear (lebih dari dua kelas). Oleh karena itu, SVM dikembangkan agar dapat melakukan klasifikasi lebih dari dua kelas yang dinamakan multi class SVM. Terdapat dua pendekatan dalam multi  class , yaitu One Versus One (OVO) sebagai strategi yang terdiri dari satu classifier per kelas, yang dilatih untuk membedakan sampel satu kelas dari sampel kelas lainnya  dan One Versus All (OVA) sebagai strategi yang terdiri dari satu classifier per kelas, yang dilatih untuk membedakan sampel  satu kelas dari sampel semua kelas yang tersisa.
Dalam penelitian ini, multi class SVM akan digunakan sebagai metode klasifikasi dengan pendekatan  OVO dan OVA.  Untuk fungsi kernel yang digunakan  adalah  RBF dengan hyperparameter C dan gamma .
H. Evaluasi K-fold cross validation (CV) adalah salah satu metode yang dapat memeriksa overfitting pada suatu model. K- fold CV yang sering digunakan adalah 10- fold CV. Pada 10-fold CV, kumpulan data dibagi menjadi 10 fold . Pada iterasi pertama, fold pertama  sebagai validation fold dan sisanya  berfungsi sebagai train fold . Pada  iterasi kedua, fold kedua  sebagai validation fold dan sisanya berfungsi sebagai train fold . Proses ini  diulangi  sampai setiap fold dari 10 fold telah digunakan sebagai validation fold (lihat Gambar 17).
Confusion  matrix merupakan suatu instrumen yang digunakan untuk mengevaluasi performa dari model klasifikasi yang telah dihasilkan. Pada confusion matrix , hasil kelas prediksi akan dibandingkan dengan kelas data yang sebenarnya. Terdapat empat istilah representasi dari hasil pengukuran pada confusion matrix (lihat Gambar 18), antara lain: True Positive (TP), yaitu data positif yang diprediksi benar, True Negative (TN), yaitu data negatif yang diprediksi benar, False Positive (FP), yaitu data negatif  yang diprediksi salah, dan False Negative (FN), yaitu data positif yang diprediksi salah.
Untuk mengukur performa, terdapat empat  parameter yang dapat digunakan antara lain: accuracy sebagai penggambaran seberapa akurat model dalam mengklasifikasikan dengan benar, precision sebagai penggambaran akurasi antara data yang diminta dengan dengan  hasil prediksi yang diberikan oleh model klasifikasi, r ecall sebagai  penggambaran keberhasilan model klasifikasi dalam menemukan kembali sebuah informasi, dan f1-score sebagai harmonic mean dari nilai recall dan precision untuk  mengetahui seberapa presisi dan handalnya performa model dalam mengklasifikasikan kelas.

## Gambar 17. 10-Fold Cross Validation

## Gambar 18. Confusion Matrix
Berikut adalah rumus dalam mencari empat paramater pengukur performa:
(3) (4) (5) (6)

## I. Arsitektur Sistem
Pada Gambar 19,  disajikan  arsitektur sistem yang dibuat dalam penelitian ini. Pertama, pengumpulan data berupa tweets dilakukan terhadap Twitter dengan cara scraping .  Kemudian, tweets tersebut preprocessing , pelabelan data, vektorisasi, dan pembagian dataset diperoleh dataset bersih yang sudah dilabeli dan terbagi menjadi training serta testing dataset .  Setelah itu,
dilakukan  tuning hyperparameter ataupun modeling terhadap dataset tersebut ke dalam empat skenario model yang dirancang. Setiap skenario model dilakukan evaluasi data training dengan 10- fold CV dan evaluasi data testing dengan confusion matrix .  Tolak ukur yang digunakan pada evaluasi adalah accuracy , precision , recall , dan f1- score . Accuracy sebagai  nilai  pembanding untuk mengecek overfitting pada training terhadap testing , serta sebagai acuan untuk menemukan model dengan performa terbaik.  Model dengan performa terbaik digunakan sebagai model klasifikasi untuk aplikasi generik yang dibangun.  Aplikasi generik tersebut dirancang agar user dapat melakukan percobaan dengan memasukkan teks dan model akan memberikan hasil prediksi berupa kelas sentimen (positif, netral, atau negatif).
Gambar 19. Arsitektur Sistem

## III. H ASIL DAN P EMBAHASAN
A. Pengumpulan Data Pengumpulan data berupa scraping yang telah dilakukan menghasilkan sebesar 7155 data berdasarkan kata kunci pencarian  serta terlampir pada Lampiran 3. Kata kunci ”KIP” berjumlah 3606 data  dengan persentase 50,4%, ”Kuota Belajar” berjumlah 1087 data dengan persentase 15,19%, ”Kuliah  Daring” berjumlah 760 data dengan persentase 10,62%, ”Bantuan UKT” berjumlah 755 data dengan persentase 10,55%, ”Sekolah Daring” berjumlah 723 data dengan persentase 10,11%, dan ’”Dana BOS” berjumlah 224 data dengan persentase 3,13% (lihat Gambar 20).
Gambar 20. Hasil Scraping

## B. Text Preprocessing
Hasil text  preprocessing pada sampel dataset  dapat dilihat pada Tabel I.

## TABEL I H ASIL T EXT P REPROCESSING
Teks Proses b'Mindset kayak gini kok gak pernah berakhir ya. Padahal di masa pandemi ini anak\xc2\xb2 sekolah daring dan orangtua bisa merasakan bukan susahnya mengajari anaknya. Kok guru masih disuruh terima ikhlas aja \xf0\x9f\x98\x92 https://t.co/oYTPOFZdAy' Default b'mindset kayak gini kok gak pernah berakhir ya. padahal di masa pandemi ini anak\xc2\xb2 sekolah daring dan orangtua bisa merasakan bukan susahnya mengajari anaknya. kok guru masih disuruh terima ikhlas aja \xf0\x9f\x98\x92 https://t.co/oytpofzday' Case Folding b mindset kayak gini kok gak pernah berakhir ya padahal di masa pandemi ini anak   sekolah daring dan orangtua bisa merasakan bukan susahnya mengajari anaknya kok guru masih disuruh terima ikhlas aja Cleaning b polapikir seperti begini kok tidak pernah berakhir ya padahal di masa pandemi ini anak sekolah daring dan orangtua bisa merasakan bukan susahnya mengajari anaknya kok guru masih disuruh terima ikhlas aja Normalisasi b polapikir seperti begini kok tidakpernah berakhir ya padahal di masa pandemi ini anak sekolah daring dan orangtua bisa merasakan bukansusahnya mengajari anaknya kok guru masih disuruh terima ikhlas aja Convert Negation ['b', 'polapikir', 'seperti', 'begini', 'kok', 'tidakpernah', 'berakhir', 'ya', 'padahal', 'di', 'masa', 'pandemi', 'ini', 'anak', 'sekolah', 'daring', 'dan', 'orangtua', 'bisa', 'merasakan', 'bukansusahnya', 'mengajari', 'anaknya', 'kok', 'guru', 'masih', 'disuruh', 'terima', 'ikhlas', 'aja'] Tokenisasi ['polapikir', 'tidakpernah', 'pandemi', 'sekolah', 'daring', 'merasakan', 'bukansusahnya', 'mengajari', 'anaknya', 'guru', 'disuruh', 'terima', 'ikhlas'] Stopword Removal ['polapikir', 'tidakpernah', 'pandemi', 'sekolah', 'daring', 'rasa', 'bukansusahnya', 'ajar', 'anak', 'guru', 'suruh', 'terima', 'ikhlas'] Stemming polapikir tidakpernah pandemi sekolah daring rasa bukansusahnya ajar anak guru suruh terima ikhlas Rejoin

## C. Pelabelan Data
Data yang awalnya berjumlah 7155 berubah menjadi 6599 data dikarenakan ditemukan duplikasi data pada hasil text preprocessing berjumlah 556 data. Pelabelan data yang memanfaatkan Vader menghasilkan data berlabel ’netral’ berjumlah 2676  data dengan persentase 40,55%, ’positif’ berjumlah 2046 data dengan persentase 31,01%, dan ’negatif’ berjumlah 1877 data dengan persentase 28,44% (lihat Gambar 21).

## D. Pembagian Dataset
Hasil pembagian datasset dapat dilihat pada Tabel II.
TABEL II H ASIL P EMBAGIAN D ATASET Label Jumlah Data Jumlah Label Training  Testing Netral 2408 268 2676 Positif 1842 204 2046 Negatif  1689 188 1877 Total 5939 660 6599

## E. Vektorisasi
Hasil vektorisasi TF-IDF  terdapat  tiga  penanda didalamnya, yaitu indeks dokumen, indeks kata, dan skor TF-IDF yang diperoleh (lihat Gambar 22).
Gambar 22. TF-IDF
F. Tuning Hyperparameter Hasil tuning hyperparameter PSO dapat dilihat pada Tabel III.
TABEL III H ASIL T UNING H YPERPARAMETER PSO Multi Class SVM Kernel RBF Tuning Hyperparameter PSO gamma C One Versus One (OVO) 0.40740758 2.31662019 One Versus All (OVA) 0.24799216 6.98501535 G. Evaluasi TABEL IV
H ASIL E VALUASI T IAP S KENARIO Tolak Ukur Skenario Hasil Evaluasi Multi Class SVM (Kernel RBF) Gap (Jarak) Train Test Accuracy 1 (OVO) 76,86%  79,70%  +2.84% 2 (OVO+PSO) 77,94%  83,03%  +5.09% 3 (OVA) 76,66%  79,70%  +3.04% 4 (OVA+PSO) 78,62%  83,18%  +4.56% Precision 1 (OVO) 77,06%  80,48%  +3.42% 2 (OVO+PSO) 77,50%  83,04%  +5.54% 3 (OVA) 76,85%  80,50%  +3.65% 4 (OVA+PSO) 78,06%  82,93%  +4.87% Recall 1 (OVO) 74,91%  78,01%  +3.10% 2 (OVO+PSO) 76,26%  81,72%  +5.46% 3 (OVA) 74,67%  77,84%  +3.17% 4 (OVA+PSO) 77,18%  81,91%  +4.73% F1-score 1 (OVO) 75,38%  78,69%  +3.31% 2 (OVO+PSO) 76,57%  82,16%  +5.59% 3 (OVA) 75,14%  78,52%  +3.38% 4 (OVA+PSO) 77,43%  82,27%  +4.84% Pada  Tabel IV, ditampilkan hasil evaluasi  tiap skenario,  baik evaluasi training dengan 10- Fold CV maupun testing dengan confusion matrix . Train adalah
hasil evaluasi data training menggunakan 10- Fold CV dan test adalah hasil evaluasi data testing menggunakan confusion matrix . Sedangkan, gap adalah jarak perbedaan nilai performa train terhadap test . Jika performa training lebih tinggi dibanding testing , maka nilai gap  diberikan tanda (-). Sedangkan, jika performa training lebih rendah dibanding testing , maka nilai gap  diberikan tanda (+). Berdasarkan hasil tersebut, terdapat beberapa poin yang diperoleh antara lain:
1) PSO  dapat meningkatkan  nilai  evaluasi training dan testing terhadap tiap skenario model.  Pada evaluasi training ,  terjadi kenaikan  1,08 hingga 1,96%  pada accuracy , 0,44 hingga 1,21% pada precision ,  1,35 hingga 2,51% pada recall , dan 1,19 hingga  2,29% pada f1-score .  Sedangkan pada evaluasi testing , terjadi kenaikan 3,33 hingga 3,48%  pada  accuracy,
2,43 hingga 2,56% pada precision ,    3,71 hingga 4,07% pada recall , dan 3,47 hingga 3,75% pada f1- score . Dalam multi class SVM (OVO), kenaikan nilai evaluasi training dan testing masing-masing  1,08% dan 3,33%  pada accuracy , 0,44% dan 2,56% pada precision ,  1,35% dan 3,71% pada recall , serta 1,19% dan 3,47% pada f1-score (skenario kedua terhadap skenario  pertama). Dalam multi class SVM (OVA), kenaikan nilai evaluasi training dan testing masing- masing 1,96% dan 3,48% pada accuracy , 1,21% dan 2,43% pada precision , 2,51% dan 4,07% pada recall , serta  2,29% dan 3,75% pada f1-score (skenario keempat terhadap skenario ketiga).
2) Multi class SVM (OVA)  memiliki  beberapa  nilai evaluasi training dan testing lebih  baik  dibanding multi class SVM (OVO)  hanya jika menggunakan PSO. Evaluasi training terjadi kenaikan 0,68%  pada accuracy , 0,56% pada precision ,  0,92% pada recall , dan 0,86% pada f1-score serta evaluasi testing terjadi kenaikan 0,15% pada accuracy , 0,19% pada recall , dan 0,11% pada f1-score dimana precision menurun 0,11%  (skenario keempat terhadap skenario kedua). Sebaliknya, multi class SVM (OVO)  memiliki beberapa nilai evaluasi training dan testing lebih baik dibanding multi class SVM (OVA)  hanya jika  tidak menggunakan PSO. Evaluasi training terjadi kenaikan 0,2% pada accuracy , 0,21% pada precision , 0,24% pada recall , dan 0,24% pada f1-score serta evaluasi testing terjadi kenaikan 0,02% pada recall dan 0,17% pada f1-score dimana precision menurun 0,02% dan accuracy bernilai sama (skenario pertama terhadap skenario ketiga).
3) Semua nilai gap pada setiap tolak ukur model skenario memiliki tanda (+) menandakan keseluruhan skenario model memiliki hasil evaluasi testing lebih baik dibanding training .  Skenario pertama memiliki gap , yaitu +2.84%  pada accuracy ,  +3.42%  pada precision , +3.10% pada recall , dan +3.31% pada f1- score .  Skenario kedua memiliki gap , yaitu +5.09% pada accuracy , +5.54% pada precision , +5.46% pada recall , dan +5.59%  pada f1-score . Skenario ketiga memiliki gap , yaitu +3.04% pada accuracy ,  +3.65% pada precision ,  +3.17%  pada recall , dan +3.38% pada f1-score . Skenario keempat memiliki gap , yaitu
+4.56%  pada accuracy ,  +4.87%  pada precision , +4.73% pada recall , dan +4.84% pada f1-score .
H. Perbandingan Evaluasi Training dan Testing
Gambar 23  Perbandingan Evaluasi Training dan Testing
Ditampilkan hasil perbandingan evaluasi training dan testing tiap skenario dilakukan  dengan acuan  akurasi ( accuracy ).  Akurasi training adalah accuracy rata-rata oleh 10- fold CV dan akurasi testing adalah nilai accuracy oleh confusion matrix .  Berdasarkan hasil perbandingan tersebut  (lihat Gambar  23),  terdapat beberapa poin yang diperoleh antara lain:
1) PSO  dapat meningkatkan  nilai  akurasi training sebesar  1,06  hingga  1,96%, serta akurasi testing sebesar 3,33 hingga 3,48%. Dalam multi class SVM (OVO),  kenaikan  nilai  akurasi training dan testing adalah  1,08%  dan  3,33%  (skenario kedua terhadap skenario pertama). Sedangkan, dalam multi class SVM (OVA)  kenaikan  nilai  akurasi training dan testing adalah 1,96%  dan 3,48% (skenario keempat terhadap skenario ketiga).
2) Multi class SVM (OVA) memiliki  nilai  akurasi training dan testing lebih tinggi dibanding multi class SVM (OVO) hanya jika menggunakan PSO, yaitu 0,68% dan 0,15% (skenario keempat terhadap skenario kedua). Sebaliknya, multi class SVM (OVO) memiliki nilai  akurasi training lebih tinggi dibanding multi class SVM (OVA) hanya jika tidak menggunakan  PSO, yaitu 0,2%  dimana keduanya memiliki nilai akurasi testing yang sama  (skenario pertama terhadap skenario ketiga).
3) Setiap model skenario yang dibangun tidak mengalami overfitting karena  akurasi testing lebih baik  dibanding training .  Skenario pertama mengalami kenaikan sebesar  2,84%, skenario kedua mengalami kenaikan sebesar 5,09%, skenario ketiga mengalami kenaikan sebesar 3,04%, dan skenario keempat mengalami kenaikan sebesar 4,56%.
4) Skenario keempat merupakan model dengan performa terbaik dengan nilai akurasi testing 83,18% diikuti akurasi training 78,62%. Sedangkan, model dengan performa terendah adalah skenario ketiga dengan akurasi testing 79,70% diikuti akurasi training 76,66%.
I. Aplikasi Generik Pada Gambar 24,  ditampilkan  aplikasi generik yang dibangun berdasarkan model skenario  keempat, yaitu model klasifikasi multi class SVM  (OVA).
Hyperparameter gamma bernilai  0.24799216  dan hyperparameter C bernilai  6.98501535  yang  diperoleh dari hasil tuning hyperparameter PSO  sebelumnya. Aplikasi  memberikan hasil  prediksi berupa gambar yang mewakilkan satu kelas sentimen, yaitu negatif, netral, ataukah positif setelah user memberikan input berupa teks dan menekan tombol prediksi untuk menjalankan proses prediksi.
Gambar 24. Aplikasi Generik

## IV. K ESIMPULAN
Berdasarkan  penelitian  yang telah dilakukan sebelumnya,  dapat disimpulkan bahwa model klasifikasi multi class SVM  (OVA)  dengan  PSO memberikan performa terbaik dengan dengan nilai akurasi training dan testing sebesar  78,62%  dan  83,18%.  Sedangkan, model klasifikasi multi class SVM  (OVA)  tanpa  PSO memberikan  nilai  akurasi training dan testing sebesar 76,66% dan 79,70%.
Kemudian. penggunaan tuning  hyperparameter PSO dapat meningkatkan  nilai akurasi training dan testing terhadap multi class SVM, yaitu OVO sebesar 1,08% dan 3,33%, serta OVA sebesar 1,96% dan 3,48%.
Setelah itu, multi class SVM (OVA) memiliki akurasi training dan testing lebih tinggi dibanding multi class SVM (OVO) hanya jika menggunakan PSO, yaitu 0,68% dan 0,15%. Sedangkan, multi class SVM (OVO) memiliki nilai  akurasi training lebih tinggi dibanding multi class SVM (OVA)  hanya jika tidak  menggunakan PSO, yaitu 0,2%  dan  keduanya memiliki nilai akurasi testing yang sama.
D AFTAR P USTAKA
[1] Viva.co.id, “Survei Pendidikan Dunia, Indonesia Peringkat 72 dari 77 Negara,” Kamis, 5 Desember 2019 . p. 1, 2020.
[2] D. A. N. Teknologi, U. Sultan, A. Tirtayasa, and F. Pascasarjana, “Kementerian pendidikan, kebudayaan riset, dan teknologi,” vol. 10. p. 2021, 2021.
[3] W. A. Luqyana, I. Cholissodin, and R. S. Perdana, “Analisis Sentimen Cyberbullying Pada Komentar Instagram dengan Metode Klasifikasi Support Vector Machine,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. Univ. Brawijaya , vol. 2, no. 11, pp. 4704–4713, 2018.
[4] G. A. Buntoro, “Analisis Sentimen Calon Gubernur DKI Jakarta 2017 Di Twitter,” INTEGER J. Inf. Technol. , vol. 1, no. 1, pp. 32–41, 2017, [Online]. Available: https://www.researchgate.net/profile/Ghulam_Buntoro/publica tion/316617194_Analisis_Sentimen_Calon_Gubernur_DKI_Ja karta_2017_Di_Twitter/links/5907eee44585152d2e9ff992/Ana lisis-Sentimen-Calon-Gubernur-DKI-Jakarta-2017-Di- Twitter.pdf.
[5] B. Gunawan, H. S. Pratiwi, and  E. E. Pratama, “Sistem Analisis Sentimen pada Ulasan Produk Menggunakan Metode
Naive Bayes,” J. Edukasi dan Penelit. Inform. , vol. 4, no. 2, p. 113, 2018, doi: 10.26418/jp.v4i2.27526.
[6] V. Chandani, “Komparasi Algoritma Klasifikasi Machine Learning Dan Feature Selection pada Analisis Sentimen Review Film,” J. Intell. Syst. , vol. 1, no. 1, pp. 56–60, 2015.
[7] F. Tempola, M. Muhammad, and A. Khairan, “Perbandingan Klasifikasi Antara KNN dan Naive Bayes pada Penentuan Status Gunung Berapi dengan K-Fold Cross Validation,” J. Teknol. Inf. dan Ilmu Komput. , vol. 5, no. 5, p. 577, 2018, doi: 10.25126/jtiik.201855983.
[8] M. R. A. Nasution and M. Hayaty, “Perbandingan Akurasi dan Waktu Proses Algoritma K-NN dan SVM dalam Analisis Sentimen Twitter,” J. Inform. , vol. 6, no. 2, pp. 226–235, 2019, doi: 10.31311/ji.v6i2.5129.
[9] A. Peryanto, A. Yudhana, and R. Umar, “Klasifikasi Citra Menggunakan Convolutional Neural Network dan K Fold Cross Validation,” J. Appl. Informatics Comput. , vol. 4, no. 1, pp. 45–51, 2020, doi: 10.30871/jaic.v4i1.2017.
[10] P. T. Ahp, “Analisis Kepribadian Melalui Twitter Menggunakan Metode Logistic Regression dengan Pembobotan TF-IDF dan AHP,” Anal. Kepribadian Melalui Twitter Menggunakan Metod. Logist. Regres. dengan , vol. 6, no. 2, pp. 9667–9682, 2019.
[11] I. Hakim,  A. Nugroho, S. H. Sukmana, and W. Gata, “Sentimen Analisis Stay Home menggunakan metode klasifikasi Naive Bayes , Support Vector Machine , dan k- Nearest Neighbor,” vol. 22, no. 2, pp. 169–174, 2020.
[12] A. P. Putra, N. N. Debataraja, and D. Kusnandar,  “Tingkat Akurasi Klasifikasi Jarak Kelahiran Di Kampung Keluarga Berencana ( Kb ) Dengan Metode Support Vector Machine ( Svm ),” Bul. Ilm. Mat. Stat. dan Ter. , vol. 9, no. 3, pp. 361– 370, 2020.
[13] R. Y. Hayuningtyas and R. Sari,  “Analisis Sentimen Opini Publik Bahasa Indonesia Terhadap Wisata Tmii Menggunakan Naïve Bayes Dan Pso,” J. Techno Nusa Mandiri , vol. 16, no. 1, pp. 37–42, 2019, doi: 10.33480/techno.v16i1.115.
[14] D. Alita, Y. Fernando, and H. Sulistiani, “Implementasi Algoritma Multiclass Svm Pada  Opini Publik Berbahasa Indonesia Di Twitter,” J. Tekno Kompak , vol. 14, no. 2, p. 86, 2020, doi: 10.33365/jtk.v14i2.792.
[15] R. Tineges, A. Triayudi, and I. D. Sholihati, “Analisis Sentimen Terhadap Layanan Indihome Berdasarkan Twitter Dengan Metode Klasifikasi Support Vector Machine (SVM),” J. MEDIA Inform. BUDIDARMA , vol. 4, no. 3, 2020, doi: 10.30865/mib.v4i3.2181.
[16] Z. Alhaq, A. Mustopa, S. Mulyatun, and J. D. Santoso, “PENERAPAN METODE SUPPORT VECTOR MACHINE UNTUK ANALISIS Informatika Universitas Amikom Yogyakarta Abstraksi Keywords : Pendahuluan Tinjauan Pustaka,” J. Inf. Syst. Manag. , vol. Vol. 3, no. 2, pp. 44–49, 2021, [Online]. Available: https://jurnal.amikom.ac.id/index.php/joism/article/view/558.
[17] A. Taufik, “Optimasi Particle Swarm  Optimization Sebagai Seleksi Fitur Pada Analisis Sentimen Review Hotel Berbahasa Indonesia Menggunakan Algoritma Naïve Bayes,” J. Tek. Komput. , vol. III, no. 2, pp. 40–47, 2017.
[18] A. B. P. Negara, H. Muhardi, and F. Sajid, “Perbandingan Algoritma Klasifikasi terhadap Emosi Tweet Berbahasa Indonesia,” JEPIN (Jurnal Edukasi dan Penelit. Inform. , vol. 7, no. 2, pp. 242–249, 2021, [Online]. Available: https://jurnal.untan.ac.id/index.php/jepin/article/view/48198.