Halaman jurnal: http://jurnal.yudharta.ac.id/v2/index.php/EXPLORE-IT/
Akreditasi Sinta 5 (S5) – SK No. 36/E/KPT/2019 p-ISSN 2086-3489 (Print)- e-ISSN 2549-354X (Online) DOI https://doi.org/10.35891/explorit
Klasifikasi Ujaran Kebencian di Twitter Menggunakan Fitur Ekstraksi Glove dengan Support Vector Machine (SVM)
Ahmad Ilham 1 , Naufal Azmi Verdikha 2 , Asslia Johar Latipah 3
1,2,3 Teknik Informatika, Universitas Muhammadiyah Kalimantan Timur, Samarinda, Indonesia email: 1 1911102441035@umkt.ac.id, 2 Nav651@umkt.ac.id, 3 ajl722@umkt.ac.id

## INFO ARTIKEL

## ABSTRAK

## Sejarah Artikel:
Diterima 20 Juli 2023 Direvisi 26 Desember 2023 Disetujui 27 Desember 2023 Dipublikasi 28 Desember 2023 Twitter  merupakan  platform  media  sosial  yang  gratis  dan  bebas  dipergunakan.  Kebebasan  tersebut mengakibatkan  tidak  terlepasnya  banyak  pengguna  twitter  yang  membuat  tweet  dengan  kalimat  yang mengandung ujaran kebencian. Penelitian ini menggunakan fitur ekstraksi GloVe dan algoritma SVM untuk membuat  model  machine  learning  yang  dapat  mengidentifikasi  ujaran  kebencian  menggunakan  dataset twitter. Fokus penelitian ini adalah membandingkan kernel SVM, yaitu Sigmoid dan RBF dengan parameter C  =  10  dan  C=1.  Model  dievaluasi  menggunakan  F1  Score  dengan  teknik  cross  validasi  untuk  mengukur performa  model  dalam  klasifikasi  ujaran  kebencian.  Hasil  penelitian  menunjukkan  bahwa  kernel  RBF dengan  parameter  C  =  10  memiliki  nilai  rata-rata  F1  Score  tertinggi  sebesar  0,682,  sementara  kernel sigmoid  dengan  parameter  C  =  10  memiliki  nilai  rata-rata  F1  Score  terendah  sebesar  0,4520.  Hal  ini membuktikan  SVM  dengan  kernel  RBF  lebih  mampu  melakukan  klasifikasi  ujaran  kebencian  dengan  fitur ekstraksi Glove.
Katakunci: Ujaran Kebencian Glove SVM

## ABSTRACT
Keyword: Hate Speech Glove
SVM
Twitter is a free and open-to-use social media platform. This freedom has resulted in many Twitter users posting  tweets  containing  hate  speech.  This  research  utilizes  the  GloVe  feature  extraction  and  SVM algorithm to create a machine learning model capable of identifying hate speech using a Twitter dataset. The focus of this research is to compare SVM kernels, namely Sigmoid and RBF, with parameters C=10 and C=1. The model is evaluated using F1 Score with cross-validation technique to measure its performance in hate speech classification. The research results show that the RBF kernel with parameter C=10 achieves the highest average F1 Score of 0.682, while the Sigmoid kernel with parameter C=10 has the lowest average F1 Score of 0.4520. This proves that SVM with the RBF kernel is more capable of performing hate speech classification using Glove feature extraction.
DOI Artikel: 10.35891/explorit.v15i2.4108 Explore T with CC BY-SA 4.0 license. Copyright © 2023 , the author(s)

## 1. Pendahuluan
Ujaran  kebencian  atau  yang  biasa  dikenal  dengan  hate  speech  dalam  bahasa  inggris  merupakan  suatu  tindakan menyampaikan  pesan  atau  perkataan  yang  bersifat  merendahkan,  melecehkan  atau  menghina.  Melakukan  ujaran kebencian merupakan perbuatan yang menyalahi norma bermasyarakat, sebagaimana yang telah tertulis pada Undang- Undang  Nomor  11  Tahun  2008  tentang  Informasi  dan  Transaksi  Elektronik  (ITE).  Pasal  27  ayat  (3)  UU  ITE menyatakan  bahwa  setiap  orang  yang  dengan  sengaja  dan  tanpa  hak  menyebarkan  informasi  yang  ditujukan  untuk menimbulkan rasa kebencian atau permusuhan individu dan/atau kelompok masyarakat tertentu berdasarkan atas suku, agama, ras, dan antargolongan (SARA) dapat dijerat dengan hukuman pidana [1].
Pada saat ini, media social seperti twitter telah menjadi platform untuk berinteraksi dan berbagi informasi. Twitter adalah  salah  satu  media  sosial  yang  populer  diIndonesia  saat  ini.  Berdasarkan  banyaknya  unduhan  melalui   playstore setelah  facebook  [2].  Dikarenakan  twitter  merupakan  platform  media  sosial  yang  gratis  dan  bebas  dipergunakan, menjadikan  media  sosial  tersebut  digunakan  dari  berbagai  golongan  usia,  ras  dan  agama.  Kebebasan  tersebut mengakibatkan  tidak  terlepasnya  banyak  pengguna  twitter  yang  secara  sengaja  mentweet  kalimat  kalimat  yang mengandung  ujaran  kebencian  [3].  Apalagi  jika  ada  kasus  atau  peristiwa  yang  menarik  dan  menjadi  trending  topik. Bahkan tidak sedikit orang yang terbiasa menyampaikan ujaran kebencian di akun twitter mereka. Hal ini dikarenakan pada aplikasi twitter tidak mengharuskan pengguna untuk menggunakan nama asli. Berdasarkan hal tersebut, pendeteksi
ujaran kebencian pada platform sosial media merupakan hal yang penting guna mencegah dan meminimalisir terjadinya cyber bullying pada sosial media [4].
Adapun  beberapa  penelitian  terdahulu  terkait  dengan  pendeteksian  teks  adalah  Jamaludin  &  Setiawan  pada jurnalnya yang berjudul Deteksi Berita Hoax di Media Sosial Twitter Dengan Ekspansi Fitur Menggunakan Glove telah melakukan  pengembangan  sistem  yang  mampu  mendeteksi  informasi  hoax  di  media  sosial  Twitter  dengan menggunakan metode ekspansi fitur Global Vectors for Word Representation (GloVe) [5]. Metode ekspansi fitur Glove digunakan untuk mengurangi adanya ketidakcocokan kosakata pada sebuah tweet pada Twitter. Proses klasifikasi yang digunakan  beberapa  metode  yaitu,  Support  Vector  Machine  (SVM),  Naive  Bayes  dan  Recurrent  Neural  Network (RNN). Pada hasil penelitian menunjukan bahwa sistem pendeteksi Hoax menggunakan ekspansi fitur memiliki akurasi sebesar 91,92% pada metode klasifikasi SVM dengan menggunakan korpus GloVe. Adapun penelitian lain  [6] dan [7] juga memperoleh evaluasi kinerja terbaik ketika klasifikasi menggunakan SVM.
Ibrohim  &  Budi  pada  penelitiannya  yang  berjudul  Multi-label  Hate  Speech  and  Abusive  Language  Detection  in Indonesian  Twitter  telah  melakukan  deteksi  ujaran  kebencian  dan  kata  kasar  multi-label  di  Twitter  [8].  Penelitian  ini menggunakan dataset yang diklasifikasikan pada 12 kelas kategori yang terdiri dari ujaran kebencian (hate speech), kata kasar (abusive), ujaran kebencian perorangan (hate speech individual), ujaran kebencian kelompok (hate speech group), ujaan kebencian fisik (hate speech physical), ujaran kebencian makian (hate speech other), ujara kebencian agama (hate speech religion), ujaran kebencian jenis kelamin (hate speech gender), ujaran kebencian ras (hate speech race), ujaran kebencian lemah (hate speech weak), ujaran kebencian sedang (hate speech moderate), dan ujaran kebencian kuat (hate speech strong). Hasil klasifikasi  pada penelitian ini  yaitu 5561 data termasuk hatespeech, 5043 abusive, dan non hate speech  sebanyak  7604.    Berdasarkan  kategori  tersebut,  terdapat  beberapa  kelas  yang  memiliki  makna  yang  serupa terhadap kelas lainnya seperti ujaran kebencian agama, ujaran kebencian jenis kelamin, ujaran kebencian ras, dan ujaran kebencian fisik.

## 2. Kajian Teori

## 2.1    Hate Speech
Ujaran kebencian merupakan sebuah perbuatan menyatakan kebencian dalam bentuk verbal yang ditujukan untuk kelompok  atau  individu  tertentu.  Di  indonesia,  pelaku  ujaran  kebencian  akan  dikenakan  hukuman  maksimal  6  tahun penjara atau denda maksimal satu milyar rupiah, sebagaimana tertulis pada UU ITE Nomor 11 tahun 2008 ayat 2 [1].

## 2.2   Feature Extraction Glove
Glove  adalah  algoritma  untuk  mendapatkan  representasi  vektor  dari  kata-kata  dengan  cara  melibatkan  seluruh informasi yang telah diperoleh dari setiap tweet. Representasi vektor tweet tersebut dinamakan word embedding. Global vectors  for  word  representations  (Glove)  merupakan  proses  pembentukan  word  cooccurrence  matrix  dari  suatu  kata. Proses  ini  merupakan  proses  terbaik  untuk  menghasilkan  word  embeddings  [9].  GloVe  menggunakan  metode  global matrix  factorization,  matriks  yang  mewakili  kemunculan  atau  ketiadaan  kata-kata  dalam  suatu  dokumen  [10].  GloVe mempelajari  hubungan  katakata  dengan  menghitung  seberapa  sering  kata-kata  muncul  bersama  satu  sama  lain  dalam sebuah korpus yang diberikan. Rasio probabilitas kemunculan kata-kata memiliki potensi untuk mengkodekan beberapa bentuk  makna  serta  membantu  meningkatkan  kinerja  pada  permasalahan  analogi  kata  [11].  Untuk  merubah  matriks menjadi vector diperlukan rumus sebagai berikut:
𝐹(𝑤 𝑖 , 𝑤 𝑗 , 𝑢 𝑘 ) = 𝑝(𝑖|𝑘) 𝑝(𝑗|𝑘) (1)

## 2.3    Cross Validation
Cross validation merupakan salah satu metode dalam melakukan validasi model terbaik. Teknik ini akan menguji keefektifan dari model yang dibentuk dengan melakukan penyusunan ulang (resampling) pada data untuk membaginya menjadi 2 bagian yaitu data train dan data test. Salah satu metode dari cross validation yang sering digunakan adalah k- fold  cross  validation  karena  metode  ini  secara  umum  akan menghasilkan  model  yang  tidak  bias. Hal  ini  dapat  terjadi karena setiap observasi pada data memiliki kesempatan untuk menjadi data training ataupun data testing. Atau dengan kata lain, kita dapat memiliki 𝑘 subset data untuk melatih dan mengevaluasi kinerja model [12].

## 2.4   Support Vector Machine
SVM  adalah  klasifikasi  supervised  learning  yang  memiliki  kinerja  yang  cukup  baik  dalam  identifikasi  ujaran kebencian (Hana et al., 2020).  SVM memilih titik/vektor ekstrim yang membantu dalam membuat hyperplane. Kasus ekstrim ini disebut sebagai support vector, dan karenanya algoritma ini disebut sebagai Support Vector Machine. SVM bekerja  dengan  membangun hyperplane atau    garis    pembatas    pada ruang  multi  dimensi  yang  bertujuan  untuk
memisahkan masing – masing     kelas berdasarkan  pendekatan  statistika  dengan cara memaksimalkan lebar margin (Ramadhani et al., 2023).
Gambar 1. Ilustrasi SVM Hyperplane [Sumber : Tuhenay & Mailoa [13]] 2.5    F1 Score
F1 Score merupakan confusion matrix untuk mengevaluasi hasil dari klasifikasi sebuah model machine learning. Confusion  matrix  adalah  alat  yang  berguna  untuk  menganalisis  seberapa  baik  klasifikasi  yang  telah  dibuat,  dapat mengenali tuple dari kelas yang berbeda. F1 Score adalah alternatif lain dari akurasi karena akurasi tidak cocok untuk mengukur performa klasifikasi dari data yang tidak seimbang [14].
Table 1. Confusion Matrix Predicted Value
Actual Values 1(Positive) 0(Negative) 1(Positive) TP(True Positive) TN(True Negative) 0(Negative) FP(False Positive) FN(False Negative)
Dalam  metode  ini,  berbagai  hal  dijelaskan  seperti  TP  (True  Positive)  mengacu  pada  situasi  di  mana  nilai  aktual  dan prediksi benar-benar positif, TN (True Negative) menggambarkan situasi di mana nilai aktual dan prediksi benar-benar negatif, FP (False Positive) mengindikasikan ketika nilai aktual sebenarnya negatif tetapi diprediksi sebagai positif, dan FN (False Negative) menggambarkan ketika data aktual sebenarnya positif tetapi diprediksi sebagai negatif [15].

## 3. Metodologi Penelitian
Penelitian ini bertujuan untuk mengetahui hasil nilai evaluasi F1-Score pada klasifikasi ujaran kebencian di sosial media  Twitter  terkait  dengan  data  pada  penelitian  Ibrohim  &  Budi  [8].  Fokus  pada  penelitian  ini  adalah  klasifikasi ujaran  kebencian  menggunakan  feature  extraction  Glove  dan  SVM  dengan  membandingkan  kernel  RBF  dan  sigmoid yang  kemudian  nantinya  akan  disesuaikan  dengan  hasil  model  klasifikasi  yang  akan  menggunakan  nilai  evaluasi  F1 Score. Adapun tahapan yang dilakukan pada penelitian ini adalah sebagai berikut.

## Gambar 2. Alur penelitian

## 3.1 Dataset
Penelitian ini akan menggunakan dataset dari penelitian [8], data di ambil dari website Github  yang bersifat open source. 3.2 Pre Processing Data
Pada tahapan preprocessing akan dilakukan beberapa proses tahapan pada data hingga data siap digunakan. Pada tahapan ini dilakukan penambahan kolom ID, mengubah teks menjadi huruf kecil, menghapus atribut tertentu di dalam tweet,  menghapus  karakter  yang  bukan  huruf  dan  angka,  perbaikan  ejaan,  menghapus  imbuhan,  dan  menghapus  kata sambung. Pada tahapan ini data akan dicek secara teliti agar tidak ada lagi permasalahan data yang dapat mengganggu pemodelan data. 3.3 Feature Extraction Glovr
Pada  tahapan  ini  data  yang  telah  dibersihkan  dengan  pre-processing  akan  dilanjutkan  dengan  tahapan  feature extraksi  Glove  untuk  mengubah  tiap  kata  yang  ada  menjadi  bentuk  vector  representasi  kemuculan  kata  yang  muncul pada korpus.
3.4 Cross Validation
Pada tahapan cross validation akan dilakukan pemisahan data menjadi data train dan data test dengan fungsi Kfold yang ada pada library scikit-learn [16]. 3.5 SVM Classification
Setelah  pre-trained  Vector  glove  telah  dibuat  tahapan  selanjutnya  ialah  klasifikasi  model  dengan  SVM,  dengan menggunakan  library  yang  ada  di  dalam  sklearn  [16].Penelitian  ini  menggunakan  parameter  yang  telah  diuji  pada penelitian [17]. 3.5 Evaluasi F1 Score
Tahapan ini merupakan tahapan untuk mengukur nilai evaluasi pada model yang telah dibuat dengan menghitung kesesuaian antara hasil prediksi dengan nilai yang sebenarnya pada confusion matrix.

## 4. Hasil Uji Coba Dan Pembahasan

## 4.1 Dataset
Dataset  Ibrohim  &  Budi  (2019)  diimpor  dan  dibaca  dari  library  pandas  menggunakan  fungsi  read_csv.  Hasil import  dataset  ditunjukkan  pada  Gambar  3.  Terdapat  beberapa  kolom  yang  terdapat  pada  dataset  dimulai  dari Tweet, HS,  Abusive,  HS_Individual,  HS_Group,  HS_Religion,  HS_Race,  HS_Physical,  HS_Gender,  HS_Other,  HS_Weak, HS_Moderate, HS_Strong.

## Gambar 3. Sebagian isi dataset

## 4.2  Hasil Preprocessing Data
4.2.1 Menambahkan Kolom ID
Pada  tahapan  ini,  kolom  baru  ditambahkan  dengan  nama  "d0001"  menggunakan  fungsi  df.insert()  untuk menyisipkan kolom. Kolom data bertambah satu kolom dari sebelumnya 13 kolom menjadi 14 kolom. 4.2.2 Lower Case
Pada tahapan ini setiap teks pada kolom tweet  diubah menjadi  huruf kecil. Tahapan ini membutuhkan waktu proses selama 0,01 detik.
4.2.3 Remove Atribut
Pada tahapan ini setiap atribut atau karakter yang tidak diperlukan akan dihapus. Adapun atribut atau karakter yang  tidak  diperlukan  seperti  URL,  ‘\n’,  symbol,  username,  emoji,  spaces,  dan  karakter  berulang.  Tahapan  ini memerlukan  durasi  waktu  selama  0,43  detik.  Tahapan  remove  atribut  telah  berhasil  dijalankan,  namun  masih terdapat karakter yang belum terhapus seperti “\n”,”: (“, “(“:”. 4.2.4 Non Aplhanumeric Pada tahapan ini karakter non alphanumeric kecuali angka (0-9), huruf kecil (a-z) dan huruf besar (A-Z) akan dihapus.  Tahapan  ini  membutuhkan  durasi  waktu  selama  0,11  detik.  Tahapan  remove  nonalphanumeric  telah berhasil dijalankan, ditandai dengan karakter seperti “-“, “\”, “?” ,”.”,”(“:”,”:”,”,” yang telah terhapus.
4.2.5 Spell Checker
Pada  tahapan  ini  dilakukan  perbaikan  ejaan  dari  kata-kata  “alay”  menjadi  kata  yang  sesuai  dengann  kamus alay. Tahapan ini  memerlukan durasi waktu selama 0,157 detik 4.2.6 Stemming
Pada  tahapan  ini  setiap  kata  pada  data  diubah  menjadi  kata  dasar  (menghilangkan  imbuhan).  Tahapan  ini membutuhkan waktu selama 1109,37 detik atau sekitar 18 menit. Dari tahapan tersebut beberapa kata sudah berhasil diubah  menjadi  kata  dasar,  seperti  “berfikir”  menjadi  “fikir”,  “keliatan”  menjadi  “lihat”,  “terdeteksi”  menjadi “deteksi”, “memberi” menjadi “beri”.
4.2.7 Stopword
Pada  tahapan  ini  kata-kata  umum  yang  sering  muncul  dalam  teks  tetapi  tidak  memiliki  kontribusi  signifikan terhadap  konteks  akan  dihapus  (penghapusan  kata  yang  tidak  penting  dalam  kalimat).  Dari  tahapan  tersebut  dapat dilihat bahwa beberapa kata sambung seperti “aku”, “di”,”saat” dll telah berhasil dihapus.
4.2.8 Menghapus data yang hanya spasi
Pada tahapan ini data yang hanya berisi spasi akan dihapus. Pada dataframe terdapat 57 baris data yang hanya berisi  spasi.  Baris  data  tersebut  dihapus  untuk  mengoptimalkan  proses  pembersihan  data.  Setelah  dihapus  data mengalami perubahan jumlah, dimana data awal memliki jumlah 13169  berubah menjadi 13112. 4.2.9 Visualisas Data
Setelah  mendapatkan  hasil  dari  preprocessing,  selanjutnya  dilakukan  pencarian  50  kata  yang  sering  muncul didalam dataset. Hal ini untuk mengecek  hasil dari seluruh tahapan preproses. Kata yang paling sering muncul pada dataset yaitu Indonesia sebanyak 1678 kata.
4.3 Hasil Ekstraksi Fitur
Glove mengunakan model pre-trained vector dari  data korpus  Wikipedia bahasa Indonesia. Wikipedia  merupakan sumber korpus multibahasa yang besar dan dapat diakses secara bebas. Wikipedia menyediakan fasilitas interlanguage links  yang  bisa  dimanfaatkan  untuk  menemukan  pasangan  artikel  yang  memiliki  keterkaitan  topik  [18].  Wikipedia sebagai  ensiklopedia  online  memiliki  kalimat  bahasa  yang  terstruktur  dengan  baik  dan  bermakna.  Penggunaan wikipedia  sebagai  korpus  juga  karena  belum  adanya  model  pre-trained  Global  Vector  dalam  Bahasa  Indonesia  [19]. Korpus ini diambil pada tanggal 20 Juni 2023 dengan format XML yang kemudian diubah menjadi format teks. Setelah diubah ke format teks, article dibuat ke dalam model pre-trained vector glove dengan sistem operasi linux dalam format BASH ditunjukkan pada gambar 4.
Gambar 4. Hasil pembuatan model pre-trained vector Glove
Kemudian  model  glove  di  load  kedalam  python  agar  dapat  digunakan  pada  dataset.  Setelah  itu  dilakukan pengubahan teks menjadi  fitur glove, dimana hasil dari  proses ini dimasukkan kedalam kolom baru “glove_features” dan  ditambahkan  kedalam  dataframe.  Adapun  output  yang  dihasilkan  dari  kolom  baru  tersebut    ditunjukkan  pada gambar 5.

## Gambar 5. Tampilan kolom baru glove_features
Pada gambar 5 menunjukkan bahwa kolom glove_features telah berhasil dibuat. Kolom tersebut berisi vector dari kata yang ada didalam kolom Tweet_Clean.

## 4.4 Hasil Cross Validation
Pada tahapan ini data train dan data test. Digunakan nilai fold sebanyak sebanyak 10 dengan menggunakan fungsi KFold  yang  terdapat  di  library  sklearn  [16].  Tampilan  data  train  dan  data  test  yang  sudah  dibagi  pada  index  fold pertama pada gambar 6.

## Gambar 6. Pembagian data pada fold 1
Pada gambar 6 dapat dilihat index fold 1 dengan jumlah data train sebanyak 11800 yang berisi data dari urutan 1312 sampai  13111,  dan  data  test  berjumlah  1312  yang  berisi  data  dari  urutan  0  sampai  urutan  1311.  Tahapan  cross validation dilakukan dengan berurutan sesuai dengan jumlah foldnya yaitu dari 1 sampai 10.

## 4.5 Hasil Klasifikasi SVM dan F1 Score
Pada tahapan klasifikasi  SVM dilakukan dengan mencoba dua kernel  yaitu kernel RBF dan kernel  Sigmoid  untuk mencari  yang  lebih  baik  diantara  kernel  tersebut.  Kemudian  pada  setiap  percobaan    kernel,  dilakukan  uji  coba  juga dengan dua nilai parameter C, yaitu C=10 dan C=1. Hasil evalauasi dengan F1 Score dari klasifikasi SVM dari masing- masing percobaan ada pada tabel 2.
Tabel 2. Perbandingan hasil F1 Score pada tiap fold
Nilai Fold F1 Score RBF Sigmoid C=10 C=1 C=10 C=1 Fold 1 0.677 0.644 0.450 0.450 Fold 2 0.674 0.650 0.426 0.430 Fold 3 0.671 0.653 0.459 0.462 Fold 4 0.674 0.648 0.445 0.446 Fold 5 0.668 0.647 0.459 0.457 Fold 6 0.704 0.675 0.421 0.430 Fold 7 0.680 0.645 0.470 0.467 Fold 8 0.676 0.661 0. 45 0.451 Fold 9 0.691 0.653 0.438 0.436 Fold 10 0.687 0.650 0.494 0.488 Mean F1 Score 0.680 0.653 0.451 0.452
Pada tabel 2 dapat dilihat bahwa nilai rata-rata F1 Score tertinggi didapatkan oleh kernel  RBF dengan parameter C=10 yaitu sebesar 0,680 dan nilai rata-rata f1 score terendah didapatkan oleh kernel sigmoid dengan parameter C = 10 dengan nilai rata-rata F1 Score sebesar 0,451.
Sedangkan  nilai  tertinggi  pada  seluruh  fold  didapatkan  oleh  fold  6  pada  kernel  RBF  dengan  parameter  C  =  10 dengan nilai f1 score 0,704 dan yang terendah didapatkan oleh kernel Sigmoid dengan parameter C=10 dengan nilai f1 score 0,421. Dengan grafik perbandingan F1 Score antar kernel dan nilai C pada tiap fold ditunjukkan pada gambar 7.

## Gambar 7. Grafik perbandingan F1 Score
Parameter C yang semakin tinggi nilainya cukup berpengaruh dalam peningkatan performa pada kernel RBF. Namun, tidak mengalami perubahan yang signifikan pada kernel Sigmoid. Hal tersebut dapat dilihat pada gambar 7.

## 5     Kesimpulan
Berdasarkan hasil yang telah dibahas pada bab sebelumnya didapatkan kesimpulan bahwa nilai rata-rata F1 Score tertinggi didapatkan oleh kernel RBF dengan parameter C = 10 dengan nilai rata-rata F1 Score sebesar 0.680 dan nilai terendah didapatkan oleh kernel sigmoid dengan parameter C = 10 dengan nilai rata-rata F1 Score sebesar 0.451. Dari hasil tersebut menunjukkan model klasifikasi dengan kernel RBF dan parameter C=10 memiliki performa yang cukup baik daripada parameter lainnya. Namun hasil tersebut juga dapat dipengaruhi oleh jumlah data training yang digunakan karena glove mengandalkan matriks statistik dari co-occurrence. oleh karena itu fitur ektraksi glove lebih memudahkan data training dengan jumlah yang besar [20].

## 6   Daftar Pustaka
[1] Febiana  Anistya  and  Erwin  Budi  Setiawan,  ‘Hate  Speech  Detection  on  Twitter  in  Indonesia  with  Feature Expansion Using GloVe’, J.    RESTI Rekayasa Sist. Dan Teknol. Inf. , vol. 5, no. 6, pp. 1044–1051, Dec. 2021, doi: 10.29207/resti.v5i6.3521.
[2] D. Kusnanda and A. A. Permana, ‘Analisis Sentimen Opini Masyarakat Terhadap Harga Minyak Goreng Pada Twitter’, vol. 12, 2023.
[3] B.  Wijaya  and  V.  C.  Mawardi,  ‘PENDETEKSI  UJARAN  KEBENCIAN  PADA  PLATFORM  MEDIA SOSIAL TWITTER MENGGUNAKAN SUPPORT VECTOR MACHINE’, vol. 1, no. 1, 2023.
[4] A.  Nayla,  C.  Setianingsih,  and  B.  Dirgantoro,  ‘Deteksi  Hate  Speech  Pada  Twitter  Menggunakan  Algoritma BERT’, 2023.
[5] A.  R.  Jamaludin  and  E.  B.  Setiawan,  ‘Deteksi  Berita  Hoax  di  Media  Sosial  Twitter  dengan  Ekspansi  Fitur Menggunakan Glove’, 2022.
[6] C.  Magnolia  and  A.  Nurhopipah,  ‘Penanganan  Imbalanced  Dataset  untuk  Klasifikasi  Komentar  Program Kampus Merdeka Pada Aplikasi Twitter’, 2022.
[7] D. Adiyanto, C. Setianingsih, and F. M. Dirgantara, ‘Deteksi Emosi Berbasis Teks Untuk Menganalisis Kuliah Daring Selama Masa Pandemi Menggunakan Algoritme Support Vector Machine’, 2022.
[8] M. O. Ibrohim and I. Budi, ‘Multi-label Hate Speech and Abusive Language Detection in Indonesian Twitter’, in Proceedings  of  the  Third  Workshop  on  Abusive  Language  Online ,  Florence,  Italy:  Association  for Computational Linguistics, 2019, pp. 46–57. doi: 10.18653/v1/W19-3506.
[9] A. M. Priyatno, M. M. Muttaqi, F. Syuhada, and A. Z. Arifin, ‘Deteksi Bot Spammer Twitter Berbasis Time Interval Entropy dan Global Vectors for Word Representations Tweet’s Hashtag’, Regist. J. Ilm. Teknol. Sist. Inf. , vol. 5, no. 1, p. 37, Jan. 2019, doi: 10.26594/register.v5i1.1382.
[10] J. Pennington, R. Socher, and C. Manning, ‘Glove: Global Vectors for Word Representation’, in Proceedings of  the  2014  Conference  on  Empirical  Methods  in  Natural  Language  Processing  (EMNLP) ,  Doha,  Qatar: Association for Computational Linguistics, 2014, pp. 1532–1543. doi: 10.3115/v1/D14-1162.
[11] A.  Nurdin,  B.  Anggo  Seno  Aji,  A.  Bustamin,  and  Z.  Abidin,  ‘PERBANDINGAN  KINERJA  WORD EMBEDDING WORD2VEC, GLOVE, DAN FASTTEXT PADA KLASIFIKASI TEKS’, J. Tekno Kompak , vol. 14, no. 2, p. 74, Aug. 2020, doi: 10.33365/jtk.v14i2.732.
[12] Y.  Widyaningsih,  G.  P.  Arum,  and  K.  Prawira,  ‘APLIKASI  K-FOLD  CROSS  VALIDATION  DALAM PENENTUAN  MODEL  REGRESI  BINOMIAL  NEGATIF  TERBAIK’, BAREKENG  J.  Ilmu  Mat.  Dan Terap. , vol. 15, no. 2, pp. 315–322, Jun. 2021, doi: 10.30598/barekengvol15iss2pp315-322.
[13] Universitas Kristen Satya Wacana and D. Tuhenay, ‘Perbandingan Klasifikasi Bahasa Menggunakan Metode Naïve Bayes Classifier (NBC) Dan Support  Vector Machine (SVM)’, JIKO  J. Inform.  Dan  Komput. ,  vol.  4, no. 2, pp. 105–111, Aug. 2021, doi: 10.33387/jiko.v4i2.2958.
[14] I. M. A. Agastya, ‘PENGARUH STEMMER BAHASA INDONESIA TERHADAP PEFORMA ANALISIS SENTIMEN  TERJEMAHAN  ULASAN  FILM’, J.  Tekno  Kompak ,  vol.  12,  no.  1,  p.  18,  Feb.  2018,  doi: 10.33365/jtk.v12i1.70.
[15] Muhammad  Zaynurroyhan,  Asriyanik,  and  Agung  Pambudi,  ‘Perbandingan  TF-IDF  dengan  Count Vectorization Dalam Content-Based Filtering  Rekomendasi  Mobil Listrik’, Explore IT J. Keilmuan Dan Apl. Tek. Inform. , vol. 15, no. 1, pp. 8–15, Jun. 2023, doi: 10.35891/explorit.v15i1.3829.
[16] F. Pedregosa et al. , ‘Scikit-learn: Machine Learning in Python’. arXiv, Jun. 05, 2018. Accessed: Jul. 19, 2023. [Online]. Available: http://arxiv.org/abs/1201.0490
[17] K.  M.  Hana,  Adiwijaya,  S.  A.  Faraby,  and  A.  Bramantoro,  ‘Multi-label  Classification  of  Indonesian  Hate Speech on Twitter Using Support Vector Machines’, in 2020 International Conference on Data Science and Its
Applications (ICoDSA) , Bandung, Indonesia: IEEE, Aug. 2020, pp. 1–7. doi:
10.1109/ICoDSA50139.2020.9212992.
[18] I. I. K. Wijaya, A. A. Suryani, and K. N. Ramadhani, “Pembentukan Sentence-Aligned Korpus Paralel untuk Bahasa  Sunda-Bahasa  Indonesia  Berbasis  Wikipedia  dengan  Bootstrapping  dan  EM,” e-Proceeding  of Engineering , vol. 4, no. 1, pp. 1038–1044,Apr. 2017.
[19] D.  W.  Hariyanto  and  W.  Maharani,  “Analisis  Sentimen  pada  Media  Sosial  Twitter  Berbahasa  Indonesia dengan Metode GloVe,” e-Proceeding of Engineering , vol. 7, no. 3, pp. 9711–9720, 2020.
[20] M.  F.  A.  Putro  and  E.  B.  Setiawan,  “Analisis  Sentimen  Terhadap  Kebijakan  Pemerintah  dengan  Feature Expansion Metode GloVe pada Media sosial Twitter,” vol. 9, pp. 54–66, Feb. 2022.