## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i1.5408

## Penerapan Support Vector Machine dan FastText untuk Mendeteksi Hate Speech dan Abusive pada Twitter
Afhdal Zikri * , Surya Agustian
Fakultas Sains and Teknologi, Teknik Informatika, Universitas Islam Negeri Sultan Syarif Kasim Riau, Pekanbaru, Indonesia Email: 1,* 11651103678@Students.uin-suska.ac.id, 2 surya.agustian@uin-suska.ac.id Email Penulis Korespondensi: 1 11651103678@Students.uin-suska.ac.id
Abstrak− Ujaran kebencian (hate speech) dan Bahasa kasar (abusive language) adalah salah satu kecenderungan negatif yang sering muncul di media sosial. Selain itu, karena kemajuan teknologi dan penggunaan internet yang pesat, siapa pun kini dapat terlibat  dalam  melontarkan  ujaran  kebencian  atau  bahkan  bahasa  kasar,  seperti  pada  Twitter,  yang  akhirnya  menyebabkan pertengkaran di platform media sosial tersebut. Deteksi otomatis kandungan bahasa kasar dan ujaran kebencian baik untuk diterapkan khususnya di sisi aplikasi user, untuk memfilter isi tweet yang dapat merusak tatanan kehidupan sosial di dunia nyata.  Tujuan  penelitian  ini  adalah  membuat  model  klasifikasi  menggunakan  Support  vector  machine  dengan  fitur  word embeddings FastText dengan menggunakan suatu benchmark dataset, untuk mengidentifikasi apakah suatu tweet mengandung ujaran kebencian dan/atau bahasa kasar. Kontribusi penelitian ini adalah meningkatkan performa dari metode baseline SVM (support vector machine) dengan fitur input word embeddings FastText. Hasil eksperimen diukur berdasarkan akurasi yang akan dibandingkan dengan beberapa metode machine learning lainnya menggunakan dataset yang sama, yaitu 13.167 tweet. Hasil pengujian dengan model SVM yang paling optimal, mendapatkan akurasi rata-rata 82,65%, dengan akurasi pada kelas hate speech, abusive language dan level hate speech secara berturut-turut adalah 84.92%, 86.60%, dan 76.43%. Hasil ini lebih baik dibandingkan beberapa metode machine learning konvensional, namun belum dapat melampaui hasil yang dicapai oleh metode berbasis deep learning.
Kata Kunci: Bahasa Kasar; Ujaran Kebencian; Support Vector Machine; Fasttext; Klasifikasi Teks
Abstract− Hate speech and abusive language are negative tendencies that often appear on social media recently. In addition, due to the advancement of technology and the rapid  growth of the internet, anyone can now engage in hate speech or even offensive expression such as in Twitter, which eventually leads to fights on that social media platforms. Automatic detection of offensive contents and hate speech is recommended to be applied, especially on the user application’s side, to filter tweet contents  which  destruct  social life in the  real  world. The  purpose  of this  research is to  create  a  classification  model using Support Vector Machine with FastText word embeddings features, to classify if a tweet contains hate speech and/or offensive language. Our contribution in this research is an improvement in performance from the baseline SVM (support vector machine) with FastText word embeddings features input. The experiment results will also be compared with several machine learning method that have been reported using the same dataset of 13,167 tweets. The experiment using the most optimal SVM model, yields an average accuracy of 82.65%, with the accuracies of the hate speech class, abusive language class and hate speech level, are 84.92%, 86.60% and 76.43% respectively. These results are better than conventional machine learning, but cannot exceed the results achieved by deep learning.
Keywords : Abusive Language; Hate Speech; Support Vector Machine; Fasttext; Text Classification

## 1. PENDAHULUAN
Perkembangan  teknologi  informasi  telah  menciptakan  banyak  peluang  baru  untuk  pertukaran  informasi, pengetahuan,  kabar,  berita,  meskipun  dibatasi  oleh  jarak,  waktu  dan  tempat.  Secara  informal  dan  tidak  resmi (unofficial),  pertukaran  informasi  dapat  terjadi  secara  masif  melalui  jejaring  media  sosial[1].  Di  samping  itu, jejaring  sosial  membuka  kesempatan  tidak  terbatas  dalam  berpendapat  memungkinkan  munculnya  interaksi, komunikasi dan kerja sama antar penggunanya secara efektif, cepat, akurat dan relatif ekonomis.
Media sosial menawarkan banyak kemudahan dan kebebasan bagi penggunanya, yang kemudian banyak memunculkan penyalahgunaan dalam pemakaian, seperti hal-hal yang melanggar norma, kebiasaan masyakarat, dan hukum yang berlaku di negara. Penyebaran berita bohong, promosi barang dan jasa yang menyalahi aturan dan norma, menghasut terjadinya permusuhan, makin mudah ditemukan dalam berbagai postingan media sosial. Selain  itu,  menyebarkan  ujaran  kebencian  dan  bahasa  yang  menyinggung  merupakan  bentuk  penyalahgunaan fungsi media sosial [2]. Ujaran kebencian adalah suatu tindakan yang dilakukan oleh kelompok atau individu yang bertujuan untuk  memprovokasi kelompok atau individu lain. Fitnah, provokasi, dan atribusi merupakan bentuk ujaran kebencian. Ujaran kebencian di media sosial seringkali dikaitkan dengan konteks jenis kelamin, warna kulit, agama, ras, dan lainnya [3].
Bahasa kasar merupakan sebuah  perkataan  yang memiliki makna atau ungkapan yang menyinggung atau kasar, baik yang berkaitan dengan pelecehan seksual yang vulgar, lelucon, dan menghina individu. Namun, yang sering terjadi di dalam konteks bahasa yang menyinggung seringkali menyebabkan ujaran kebencian dan dilarang di tempat umum seperti jejaring sosial [4].
Salah  satu  contoh  penyalahgunaan  media  sosial  dapat  dilihat  pada  kasus  Muhammad  Said  Didu  yang dipolisikan terkait ujaran kebencian terhadap Presiden Joko Widodo dan Menteri Agama Yaqut Cholil Qoumas. Didalam kasus yang terjadi di platform Twitter Said Didu menyatakan sebuah tweet yang berisi ‘Terima kasih atas penjelasan mas Qodari. Akhirnya kami tahu bahwa Bpk Presiden inginkan Menag utk "menggebuk" islam. Sekali lagi terima kasih’, setelah itu pada bulan Desember 2020 Wawan selaku ketua PAC Ansor Jagakarsa melaporkan

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i1.5408
Said Didu ke Bareskrim dan diterima dengan nomor LP/B/0719/XII/2020/BARESKRIM dengan dugaan tindak pidana merujuk pada golongan sara bagian ujaran kebencian sesuai dengan pasal 45A ayat (2) Jo pasal 28 ayat (2) dan/atau pasal 207 KUHP.
Berbagai penelitian telah dilakukan untuk mendeteksi secara otomatis adanya ujaran kebencian di dalam media  sosial,  khususnya  twitter.  Metode  support  vector  machine  (SVM)  digunakan  pada  [5]  untuk  klasifikasi sentimen pada teks, dan untuk klasifikasi ujaran kebencian pada media sosial. Selain itu, berbagai metode machine learning lainnya juga pernah dilaporkan untuk tugas klasifikasi sentimen maupun deteksi ujaran kebencian pada twitter, beberapa dibahas di dalam menggunakan Naïve Bayes (NB)[6], Random Forest[7], Decision Tree[8], dan KNN (k-Nearest Neighbor)[9].
SVM digunakan dalam [10] untuk mengklasifikasikan data tweet yang berisi opini, untuk mempermudah penonton untuk melihat opini tentang review film. Dataset terdiri atas 1.027 tweet  dari tweet untuk film-film yang populer tahun 2016. Hasil pemeringkatan opini dibagi menjadi 3 yaitu opini positif, negatif dan netral. Terhadap akurasi klasifikasi menggunakan rata-rata 60, 70, 80, dan 90 persen data latih, secara berturut-turut adalah 76,06 persen, 76,83 persen, 81,07 persen, dan 83,3 persen.
Klasifikasi  biner  pada[11]  membagi  data  menjadi  dua  kelas  yakni  kelas  “positif”  yang  bermakna mendukung dari  wacana pemindahan ibu kota baru dan juga kelas  “negatif” yang memiliki  makna tidak setuju dengan pemindahan ibu kota baru. Data yang digunakan dalam penelitian ini sebanyak 1.236 cuitan yang di ambil dari  twitter.  Hasil  pengujian  akurasi  sebesar  96,68%,  precision  95.82%,  dan  recall  94.04%.  Ensemble  Feature disusun sebagai input untuk SVM pada [5] untuk mengidentifikasi ujaran kebencian pada media sosial facebook. Fungsi  ensembel  (ensemble  function)  menggabungkan  fungsi-fungsi  yang  tidak  selaras  dari  teks  agar memudahkan proses identifikasi.  Sedangkan metode  Support Vector Machine berperan dalam mengidentifikasi teks berdasarkan data fungsi yang diperoleh dari ensemble function. Akurasi  yang didapatkan dalam  pengujian sistem adalah 70% untuk  mengidentifikasi ujaran kebencian di jejaring Facebook dengan benar.
Pada penelitian klasifikasi teks, data yang akan diklasifikasikan harus berbentuk vector. Fasttext adalah salah satu metode word embedding yang ramai digunakan dan merupakan metode terbaru.  Pada penelitian ini[12] yang membandingkan kinerja word embedding word2vec, glove, dan fasttext. Fastext menunjukkan hasil kinerja yang lebih baik menggunakan f-measure dengan dataset 20 newsgroup 0,979 dan dataset 20 reuters news 0.715, untuk hasil kinerja word2vec, glove secara berturut-turut adalah 0.925, 0.958, dan 0.694, 0.688.
Penelitian tentang perbandingan metode Naïve Bayes, SVM dengan fitur bag of word TF-IDF, LSTM dan SVM  dengan  fitur  word  embedding  Word2vec  pada  dataset  yang  tidak  seimbang  yang  diusut  oleh  [13] mendapatkan  hasil  terbaik  pada  metode  SVM  dengan  fitur  word2vec.  Metode  SVM  dengan  word2vec mendapatkan akurasi sebesar 69% dan f1-score 65%.
Rata-rata penelitian terdahulu yang telah disebutkan di atas, hanya memeriksa atau mengklasifikasi 1 kelas saja,  dengan  label  biner  (positif  dan  negatif)[11],  atau  kadang-kadang  juga  menyertakan  data  tanpa  sentimen (netral)[10],  atau  apakah  suatu  tweet  ada/tidak  mengandung  ujaran  kebencian[5].  Penelitian  ini  melakukan klasifikasi  yang  lebih  mendalam  terhadap  suatu  tweet,  yaitu  mendeteksi  adanya  ujaran  kebencian,  mendeteksi penggunaan  bahasa  kasar,  dan  menentukan  level  (strong, medium,  low)  dari  ujaran  kebencian  yang  terdeteksi. Metode  yang  diusulkan  adalah  Support  Vector  Machine  (SVM),  dengan  input  berupa  vektor  word  embedding FastText  dengan  melakukan  optimasi  pemilihan  fitur  dan  penyesuaian  (tuning)  parameter  SVM  untuk mendapatkan hasil akurasi yang terbaik.

## 2. METODOLOGI PENELITIAN
Metodologi penelitian merupakan tahapan pada penelitian, adapun metodologi penelitian dapat dilihat berikut ini:

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i1.5408
Submitted: 26/12/2022 ; Accepted: 29/01/2023 ; Published: 31/01/2023
Penelitian ini terdapat 6 tahapan penelitian secara garis besar, yaitu rumusan masalah, seperti telah dibahas pada bagian  pendahuluan,  kemudian  melakukan  analisa  data,  penerapan  text  preprocessing,  dan  dilanjutkan  dengan mengembangkan model bahasa dengan  Fasttext word embeddings. Setelah itu, pengembangan metode  Support vector  machine  (SVM)  untuk  tugas  klasifikasi,  dalam  penelitian  ini  dilakukan  terhadap  3  kelas  yaitu  abusive language, hate speech dan level dari hate speech. Tahap selanjutnya adalah parameter tuning, yaitu mengoptimasi model machine learning untuk mendapatkan hasil paling optimal. Pengujian dilakukan untuk memvalidasi hasil dari model yang paling optimal, untuk dibandingkan dengan penelitian dengan menggunakan data sejenis.

## 2.1 Analisa Data
Data yang digunakan adalah berasal dari penelitian Ibrahim dan Budi [14] dengan crawling menggunakan twitter Search API dan implementasi  menggunakan Tweepy Library dengan waktu pengerjaan selama 7 bulan dari  20 maret 2018 sampai 10 september 2018. mengenai deteksi multilabel hate speech dan abusive language pada twitter bahasa Indonesia.  Data tersebut  sudah di  proses dalam dua tahapan  anotasi  data, tahapan pertama melabel  data hate speech dan non hate speech dan tahapan kedua tahapan anotasi data yang bersifat abusive, yang memberikan hasil 13.169 tweet, dengan 7.608 tweet  diantaranya bukan ujaran kebencian  dan 5.561 dianggap sebagai ujaran kebencian. Statistik kelas hate speech dan abusive dapat dilihat dalam diagram venn pada gambar 2 di bawah ini. Tidak semua yang dianggap bahasa kasar adalah ujaran kebencian dan tidak semua yang disebutkan dalam ujaran kebencian merupakan bahasa kasar.
Gambar 2. Distribusi Data[14]
Penelitian ini  menggunakan dataset tersebut dengan fokus kepada tiga kelas, yaitu  ujaran kebencian (hate speech), bahasa kasar (abusive language), dan level dari hate speech. Dalam  kelas ujaran  kebencian terdapat dua kategori (bahasa kasar dan bukan bahasa kasar). Dalam kelas bahasa kasar ada dua label (bahasa kasar dan bukan bahasa kasar), dan  kelas level memiliki tiga kategori (kuat, sedang, dan lemah). Salah satu contoh hate speech, abusive,  dan  non  hate  speech  secara  berturut-turut  yaitu  “Kamu  transgender  atau  gmn  anjing”,  “Edan  emang goollnya Fabiano”, “Kadang aku berfikir, kenapa aku tetap percaya pada Tuhan padahal aku selalu jatuh berkali- kali.  Kadang  aku  merasa  Tuhan  itu  ninggalkan  aku  sendirian.  Ketika  orangtuaku  berencana  berpisah,  ketika kakakku lebih memilih jadi Kristen”.

## 2.2 Text Preprocessing
Text preprocessing merupakan proses awal pemilihan teks yang akan disusun melalui serangkaian tahapan agar dapat  digunakan  pada  tahapan  berikutnya.  Penelitian  ini  meliputi  beberapa  tahapan  seperti  Case  folding, Tokenizing, Punctuation dan Stopword removal.
Langkah  pertama  adalah  Case  folding.  Case  folding  merupakan  satu  dari  text  preprocessing  yang  di gunakan mengubah huruf yang berada di dalam dokumen dengan format huruf besar di rubah menjadi huruf kecil. Huruf  dari  "a"  ke  "z"  yang    hanya  digunakan.  Karakter  selain  huruf  akan  dihilangkan  dan  digunakan  sebagai delimiter.
Langkah selanjutnya adalah tokenisasi, yang merupakan proses mengubah teks yang bisa berupa kalimat, paragraf, atau dokumen menjadi token atau potongan teks tertentu. Pemisah antar token biasanya terdiri dari tanda baca dan spasi.[15].
Langkah  selanjutnya  adalah  Punctuation,  yaitu  proses  menghilangkan  tanda  baca,  kalimat,  angka,  dan karakter tambahan selain  alfabet. Karena karakter yang dimaksud berfungsi sebagai pemisah kata (delimiter) dan tidak ada hubungannya dengan penyusunan teks.
Langkah terakhir adalah stopword removal, ini adalah proses menghilangkan kata-kata yang tidak perlu dan kata-kata yang tidak ada hubungannya dengan komentar atau tweet seperti preposisi, kata ganti, kata sambung dengan penelitian ini,sehingga meninggalkan kata-kata yang penting.[16].

## 2.3 FastText
FastText adalah    library    yang  di  kembangkan  oleh  Facebook  yang  dapat  digunakan  untuk  membantu menghasilkan  representasi  kata  secara  efisien  dan  dapat  membantu  mengklasifikasikan  kata  di  luar pustaka[17]. FastText    merupakan  salah  satu  metode  word  embedding,  yang  mana  fasttext  merupakan pengembangan  dari  library  Word2Vec,  fasttext  dikenal  lebih  lama  sebagai  metode  untuk  proses  word embedding[12].

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i1.5408
Submitted: 26/12/2022 ; Accepted: 29/01/2023 ; Published: 31/01/2023
Berbeda dengan Word2Vec, fasttext  menggunakan n-gram  daripada hanya satu  kata cara yang jelas dan ringkas untuk terjemahan. Contoh implementasi n-gram pada kata “bahagia” dengan trigram (n=3) berupa “bah”, “aha”, “hag”, “agi”, “gia”. Keunggulan FastText adalah waktu pemrosesannya yang relatif cepat. FastText dapat menangani kata-kata yang belum pernah muncul di kamus, berbeda dengan Word2Vec, di mana situasi seperti ini akan mengakibatkan error.
FastText adalah metode yang  digunakan untuk  proses pembobotan yang mengubah kata menjadi vektor. Dataset yang besar  mampu memberikan representasi struktur yang tidak muncul dalam data latih. Jika istilah nir muncul,  fasttext    dapat  digunakan  untuk  memecah  sebagai  N-gr  untuk  menerima  vektor.  Fasttext  adalah  fitur bawaan yang mengubah teks menjadi vektor dengan dimensi 128.

## 2.4 Support Vector Machine
Support Vector Machine termasuk algoritma yang memiliki kemampuan klasifikasi dengan fungsi memisahkan data  (hyperplane)  dengan  margin  terbesar,  memungkinkannya  memisahkan  dua  set  data  secara  optimal[18]. Support  Vector  Machine  memiliki  kemampuan  untuk  menganalisis  hyperplane  yang  memaksimalkan  margin antara dua kelas yang beda, tetapi juga memiliki kapasitas untuk gagal karena masalah pemilihan parameter atau fitur yang tepat. Hasil dari algoritma klasifikasi dipengaruhi secara signifikan oleh pemilihan fitur dan pengaturan parameter untuk Support Vector Machine.
Gambar 3. Margin Hyperplane[18]
Support Vector Machine pertama kali diperkenalkan tahun 1992[19] dan di kembangkan pada tahun 1995 [20]  untuk  klasifikasi  data  numerik, tetapi  sekarang  telah  terbukti  sama  sukses  dan  cepatnya  ketika  digunakan untuk masalah data teks. Dimensi data teks yang tinggi, di mana ada beberapa aspek tertentu tidak penting, tetapi cenderung  berkorelasi  dengan  satu  dengan  yang  lain  dan  diklasifikasi  secara  linier,  membuat  metode  Support Vector Machine (SVM) cocok untuk mengklasifikasikan data teks.

## 2.5 Feature Engineering
Feature  engineering  mengacu  pada  metode  menemukan  dan  menggunakan  fitur  baru  untuk  meningkatkan fungsionalitas mesin  yang membantu  meningkatkan akurasi. Kemampuan ini mungkin diintegrasikan ke dalam program yang sudah ada sebelumnya atau dibuat dari awal. Langkah tersebut juga memperhitungkan pemilihan dan transformasi variabel untuk mendapatkan hasil terbaik[15].

## 2.5.1 Scaling MinMax
Pada  penelitian  ini  akan  dilakukan  penambahan  fitur  Scaling,  fitur  Scaling  ditambahkan  untuk  menghasilkan model  yang  lebih  akurat  untuk  menunjang  nilai  akurasi  dibandingkan  dengan  yang  diperoleh  pada  tahap preprocessing.  Di  bagian  ini,  kita  akan  menggunakan  dua  Scaler  MinMax  dan  Robust  untuk  menentukan  fitur terbaik yang melakukan improve terhadap data.
Scaling MinMax termasuk dalam bagian tahapan untuk menormalisasikan nilai vector  dengan melakukan tahapan transformasi  linier  terhadap  vector  awal  dengan  rentang  0-1[21].  Rumus  dari  scaling  MinMax  dapat  dilihat  di bawah ini.
𝑋(𝑠𝑡𝑑) = 𝑋−𝑀𝑖𝑛(𝑋) 𝑀𝑎𝑥(𝑋)−𝑀𝑖𝑛(𝑋) (1) 𝑋(𝑠𝑐𝑎𝑙𝑒) = 𝑋(𝑠𝑡𝑑) × (𝑀𝑎𝑥(𝐹) − 𝑀𝑖𝑛(𝐹)) + 𝑀𝑖𝑛(𝐹) (2)
Dimana X adalah nilai real dari sampel, dan F adalah nilai dari Fitur yang diinginkan. Misalnya max(F) adalah 1, dan min(F) adalah 0 (atau rentang nilai fitur adalah dari 0 sampai 1), sedangkan maksimum dari sampel mungkin  saja  ada  yang  lebih  besar  dari  1,  atau  tidak  ada  yang  bernilai  terendah  0.  Teknik  ini  sangat  cocok

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i1.5408
diterapkan  pada  hasil  vektor  word  embeddings,  di  mana  ada  nilai  komponen  vektor  yang  lebih  besar  dari  1. Sedangkan SVM sangat baik bila menerima input fitur dengan nilai yang ternormalisasi di antara 0 dan 1.

## 2.5.2 Scaling Robust
Scaling  robust  digunakan  untuk  mengubah  vector  dengan  menggunakan  median  dan  quartiles[22].  Rumus  dari scaling robust dapat dilihat di bawah ini.
𝑋(𝑠𝑐𝑎𝑙𝑒) = 𝑋−𝑚𝑒𝑑𝑖𝑎𝑛 𝑝75−𝑝25 (3)
Dengan  X  adalah  nilai  real  dari  sample,  dan  median  adalah  nilai  tengah  dari  sample  (quartil  ke-2), sedangkan p75 dan p25 adalah berturut-turut nilai pada quartil ke-3 (q3) atau 75% dari data nilai terurut, dan nilai pada quartil ke-1 (q1) atau 25% dari data terurut.

## 2.6 Pengujian
Pada  tahap  ini  akan  dilakukan  pengujian  terhadap  model  Support  vector  machine.  Pengujian  dilakukan  setelah mendapatkan  kombinasi  fitur  dan  parameter  terbaik  masing-masing  pencarian  optimal.  Confusion  Matrix berfungsi  untuk  menampilkan  hasil  klasifikasi  dengan  memberikan  representasi  visual  dari  data  yang diklasifikasikan dengan benar atau salah.[15]. Confusion  matrix  biasanya untuk  mencari  akurasi, precision  dan recall,  namun  pada  penelitian  ini  confusion  matrix  yang  digunakan  hanya  fungsi  akurasinya  saja.  Rumus  dari akurasi dapat dilihat di bawah ini.
𝑎𝑘𝑢𝑟𝑎𝑠𝑖  = 𝑇𝑃+𝑇𝑁 𝑗𝑢𝑚𝑙𝑎ℎ 𝑠𝑒𝑙𝑢𝑟𝑢ℎ 𝑠𝑎𝑚𝑝𝑒𝑙 𝑑𝑎𝑡𝑎 𝑥100 (4)
dengan TP adalah jumlah data kelas positif yang benar  diprediksi sebagai positif (misalnya mengandung hate speech atau abusive language), dan TN adalah jumlah data kelas negatif yang benar diprediksi sebagai negatif (misalnya tidak mengandung hate speech dan abusive language).

## 3. HASIL DAN PEMBAHASAN

## 3.1 Pencarian Kombinasi Teks Preprocessing
Pada tahap ini dilakukan pencarian kombinasi fitur dari text preprocessing yaitu case folding, stopword removal, punctuation  removal,  filtering  special  character  dan  angka.  Selain  untuk  menyeleksi  data,  kombinasi  berbagai teknik text preprocessing dilakukan untuk mencari hasil akurasi terbaik. Dalam penelitian ini, baseline model SVM yang dikembangkan mengikuti teknik preprocessing pada [19, 20], yaitu menghapus angka dan karakter spesial. Selanjutnya,  komposisi  penerapan  case  folding,  stopword  removal  dan  punctuation  removal  dilakukan  sesuai dengan skema eksperimen seperti pada Tabel 1 berikut. C1 adalah ID eksperimen baseline dari peneltian ini, yaitu tanpa melakukan pemrosesan (pre-processing) pada teks asli dari tweet.
Tabel 1. Eksperimen Preprocessing Case Folding Stopword Punctuation Id Eksperimen Tidak Tidak Tidak C1 Ya Tidak Tidak C2 Tidak Ya Tidak C3 Tidak Tidak Ya C4 Tidak Ya Ya C5 Ya Tidak Ya C6 Ya Ya Tidak C7 Ya Ya Ya C8

## 3.2 Pencarian model Optimal
Untuk  mendapatkan  model  optimal,  yaitu  nilai  akurasi  tertinggi,  dilakukan  pengujian  menggunakan  Support Vector Machine terhadap masing-masing kombinasi text preprocessing dan feature engineering, secara grid search. Parameter SVM yang digunakan dalam grid search adalah nilai C= {0.1, 1, 10}, dan gamma={1, 0.1, 0.001}. Hasil terbaik  dari  grid  search  terhadap  data  training  80%  dan  data  uji  20%,  untuk  setiap  kombinasi  eksperimen, dilaporkan dalam Tabel 2 di bawah ini. ID eksperimen C1 dengan fitur Non-Scaling adalah metode baseline yang menjadi kondisi awal sistem sebelum dioptimasi.
Tabel 2. Hasil Akurasi dari Pencarian Model Optimal untuk Kelas HS, AB dan Level
Id Eksperimen  Feature Kelas Akurasi Rata-rata HS AB Level C1 Non Scaling  80.05 % 84.08 % 73.63 % 79.25 %

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i1.5408
Id Eksperimen  Feature Kelas Akurasi Rata-rata HS AB Level MinMax 81.84 % 85.19 % 72.37 % 79.80 % Robust 79.86 % 83.82 % 73.90 % 79.19 % C2 Non Scaling  82.52 % 85.95 % 74.53 % 81.00 % MinMax 82.86 % 86.37 % 72.82 % 80.68 % Robust 81.65 % 85.45 % 74.26 % 80.45 % C3 Non Scaling  80.27 % 84.84 % 72.73 % 79.28 % MinMax 81.99 % 85.26 % 72.28 % 79.84 % Robust 79.59 % 84.39 % 72.91 % 78.96% C4 Non Scaling  80.62 % 84.04 % 72.73 % 79.13 % MinMax 81.91 % 84.29 % 72.64 % 79.82 % Robust 80.05 % 83.59 % 72.64 % 78.76 % C5 Non Scaling  80.58 % 84.88 % 72.73 % 79.40 % MinMax 81.42 % 85.34 % 72.64 % 79.80 % Robust 80.16 % 83.59 % 72.37 % 78.70 % C6 Non Scaling  81.91 % 85.68 % 73.90 % 80.50 % MinMax 83.13 % 87.24 % 74.71 % 81.69 % Robust 81.26 % 85.30 % 73.63  % 80.06 % C7 Non Scaling  82.44 % 86.37 % 74.17 % 80.99 % MinMax 83.63 %  87.40 % 73.90 % 81.64 % Robust 81.80 % 85.53 % 73.45 % 80.26 % C8 Non Scaling  82.03 % 86.37 % 73.45 % 80.61 % MinMax 83.09 % 86.94 % 73.72 % 81.25 % Robust 81.30 % 85.64 % 73.54 % 80.16 %
Dari hasil di atas, model optimal untuk masing-masing kelas sebagai berikut:
1. kelas hate speech  (HS) dan abusive (AB) memiliki akurasi  sebesar 83.63% dan 87.40%, dengan komposisi MinMax+C7 (menerapkan case folding dan penghapusan stopword) dengan parameter terbaik nilai c = 10 dan gamma = 1.
2. kelas level memiliki akurasi sebesar 74.71%  dan memiliki akurasi rata-rata tertinggi sebesar 81.69% dengan menerapkan  komposisi  MinMax  +  C6  (menerapkan  case  folding  dan  punctuation  removal,  tetapi  tidak membuang stopword) dengan parameter terbaik nilai c = 10 dan gamma = 1.
Berdasarkan  hasil  tersebut,  model  C6  yang  memiliki  akurasi  rata-rata  tertinggi  akan  digunakan  untuk pengujian akhir, yaitu pengujian dengan komposisi dataset 90% data latih dan 10% data uji. Hasil ini dibandingkan dengan  baseline  (kombinasi  C1  non-scaling),  telah  menunjukkan  peningkatan  yang  cukup  baik,  yaitu  sekitar 3.58%, 3.32%, dan 1.08% berturut-turut untuk kelas HS, AB dan level.

## 3.3 Hasil Pengujian dan Pembahasan
Setelah memperoleh model final untuk masing-masing kelas, kemudian dilakukan pengujian final, agar hasilnya bisa dibandingkan dengan hasil akurasi penelitian sejenis dengan dataset dan skema pengujian yang sama. Hasil pengujian model SVM optimal terhadap 10% data test, setelah di training kembali dengan 90% data, dapat dilihat pada tabel berikut:
Tabel 3. Hasil Pengujian Id Eksperimen  Feature Kelas HS AB Level C6 Non Scaling 82.34 % 85.31 % 73.16 % MinMax 84.52 %  87.02 %  76.40 % Robust 80.92 % 84.46 % 72.31 % Tabel 4. Hasil Perbandingan Metode Akurasi (%) HS AB Level Decision Tree[8] 71.25  77.38  63.28 KNN[9] 79.13  83.54  72.18 Random Forest[7] 77.29  80.30  68.55 Logistic Regression[23]  75.86  80.05  70.86 Naïve Bayes [6] 82.99  86.48  71.87 BERT[24] 88.88  92.71  85.80 SVM (metode ini) 84.52  87.02  76.43

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i1.5408
Submitted: 26/12/2022 ; Accepted: 29/01/2023 ; Published: 31/01/2023
Dari hasil yang diperoleh, model SVM pada ekperimen C6 dengan MinMax mendapatkan akurasi paling tinggi untuk tiga kelas dibanding tanpa scaling dan Robust. Model ini juga memiliki akurasi yang paling tinggi untuk ketiga kelas yang diujikan di antara model machine learning konvensional yang lain (decision tree, random forest, k-NN, Naïve bayes, dan logistic regression), yaitu 84.52%, 87.02%, dan 76.43% untuk kelas HS, AB dan Level, namun belum dapat melampaui hasil yang diperoleh dari metode deep learning menggunakan BERT.
Model  deep  learning  masih  menunjukkan  hasil  terbaik  untuk  ketiga  kelas  yang  diklasifikasikan. Dibandingkan dengan BERT, maka SVM dapat dikatakan adalah metode yang cukup optimal untuk dataset yang kecil, sehingga tidak memerlukan resource komputasi yang tinggi, bila dibandingkan dengan kebutuhan komputasi deep learning.

## 4. KESIMPULAN
Algoritma SVM mendapatkan hasil terbaik dibanding metode machine learning konvensional lainya seperti pada tabel  4  yang  melakukan  penelitian  binary  classification  (seperti  kasus  klasifikasi  HS  dan  AB),  pada  penelitian multi-label  classification  konvensional  (kelas  level  dengan  3  label)  juga  mendapatkan  hasil  terbaik  dibanding metode  machine  learning  konvensional  lainya.  Akurasi  tertinggi  pada  kelas  HS,  AB  dan  level  dari  HS  sebesar 84.52%,  87.02%  dan  76,43%  diperoleh  dengan  menerapkan  MinMax  scaling  untuk  input  vektor  sentence embeddings FastText. Scaling MinMax untuk seluruh klasifikasi, lebih baik hasilnya dibandingkan menggunakan scaling robust atau tanpa scaling. Hasil yang telah dicapai melalui skema optimasi metode yang telah dilakukan dalam penelitian ini, menunjukkan peningkatan yang signifikan (lebih dari 3%) untuk kelas HS dan AB (binary classification),  dan  peningkatan  1%  untuk  kelas  level  dari  HS  (multilabel  classification).  Metode  SVM  masih belum  mampu  melampaui  hasil  yang  dicapai  oleh  metode  BERT,  disebabkan  oleh  sumber  pelatihan  word embeddings Fasttext hanya pada dataset yang kecil (data tweet ini saja), sedangkan BERT dilatih pada korpus teks yang sangat besar yang berasal dari dokumen dan artikel di internet. Saran yang dapat diberikan terhadap penelitian selanjutnya adalah penggunaan word embeddings yang berasal dari data latih yang lebih besar, atau menggunakan pre-trained  word  embeddings,  baik  menggunakan  FastText,  Glove  maupun  Word2vec,  untuk  diterapkan  pada input tweet SVM untuk meningkatkan akurasinya.

## REFERENCES
[1]  R.  A.  Kusuma,  “Dampak  Perkembangan  Teknologi  Informasi  dan  Komunikasi  terhadap  Perilaku  Intoleransi  dan Antisosial di Indonesia,”  MAWA’IZH: JURNAL DAKWAH DAN PENGEMBANGAN SOSIAL KEMANUSIAAN, vol. 10, no. 2, hlm. 273–290, Des 2019, doi: 10.32923/maw.v10i2.932.
[2]  J.  M.  Teknologi  dan  S.  Assegaff,  “Evaluasi  Pemanfaatan  Media  Sosial  sebagai  Sarana  Knowledge  Sharing,”  Jurnal Manajemen Teknologi, vol. 16, no. 3, hlm. 271–293, 2017, doi: 10.12695/jmt.2017.16.3.4.
[3]  R.  Bagus  Triadi,  “Penggunaan  Makian  Bahasa  Indonesia  pada  Media  Sosial  (Kajian  Sosiolinguisik),”  Jurnal  Sasindo Unpam, vol. 5, no. 2, Des 2017.
[4]  Luh Putu Ary Sri Tjahyanti, “Pendeteksian Bahasa Kasar (Abusive Language) dan Ujaran Kebencian (Hate Speech) dari Komentar di Jejaring Sosial,” Daiwi Widya : Jurnal Pendidikan, vol. 07, no. 01, 2020.
[5]  A. Kresna, B. A. Putra, M. A. Fauzi, B. D. Setiawan, dan E. Setiawati, “Identifikasi Ujaran Kebencian Pada Facebook Dengan Metode Ensemble Feature Dan Support Vector Machine,” Jurnal Pengembangan Teknologi Informasį dan Ilmu Komputer, vol. 2, no. 12, hlm. 2548–964, 2018, [Daring]. Available: http://j-ptiik.ub.ac.id
[6]  T.  Ghassani  Saskia,  “Klasifikasi  Hate  Speech  dan  Abusive  Language  pada  Twitter  Bahasa  Indonesia  dengan Metode Naive Bayes Classifier,” Universitas Islam Negeri Sultan Syarif Kasim Riau, Pekanbaru, 2021.
[7]  A. Amri, “Implementasi Algoritma Random Forest untuk  Mendeteksi Hate Speech dan Abusive Language pada Twitter Bahasa Indonesia,” Universitas Islam Negeri Sultan Syarif Kasim Riau, Pekanbaru, 2020.
[8]  F. Ihsan, I. Iskandar, N. S. Harahap, dan S. Agustian, “Decision tree algorithm for multi-label hate speech and abusive language detection in Indonesian Twitter,” Jurnal Teknologi dan Sistem Komputer, vol. 9, no. 4, hlm. 199–204, Okt 2021, doi: 10.14710/jtsiskom.2021.13907.
[9]  A.  Fadilah,  “Penerapan  Algoritma  K-Nearest  Neighbor  untuk   Mendeteksi  Ujaran  Kebencian  dan  Bahasa  Kasar  pada Twitter Bahasa Indonesia,” Universitas Islam Negeri Sultan Syarif Kasim Riau, Pekanbaru, 2021.
[10] F. Rahutomo, P. Yoga Saputra, dan M. Fidyawan Agtamas, “Implementasi Twitter Sentiment Analysis  untuk  Review Film Menggunakan Algoritma Support  Vector Machine,” Jurnal Informatika Polinema , vol. 4, no. 2, hlm. 93–100, 2018.
[11] P. Arsi dan R. Waluyo, “Analisis Sentimen Wacana Pemindahan Ibu Kota Indonesia Menggunakan Algoritma Support Vector Machine (SVM),” Jurnal Teknologi Informasi dan Ilmu Komputer (JTIIK), vol. 8, no. 1, hlm. 147–156, 2021, doi: 10.25126/jtiik.202183944.
[12] A. Nurdin, B. Anggo, S. Aji, A. Bustamin, dan Z. Abidin, “Perbandingan Kinerja Word Embedding Word2vec, Glove, dan Fasttext Pada Klasifikasi Teks,” Jurnal TEKNOKOMPAK, vol. 14, no. 2, hlm. 74, 2020.
[13] M.  Sahbuddin  dan  S.  Agustian,  “Support  Vector  Machine  Method  with  Word2vec  for  Covid-19  Vaccine  Sentiment Classification on Twitter,” JOURNAL OF INFORMATICS AND TELECOMMUNICATION ENGINEERING, vol. 6, no. 1, hlm. 288–297, Jul 2022, doi: 10.31289/jite.v6i1.7534.
[14] M.  O.  Ibrohim  dan  I.  Budi,  “Multi-label  Hate  Speech  and  Abusive  Language  Detection  in  Indonesian  Twitter,” Proceedings of the Third Workshop on Abusive Language Online, hlm. 46–57, 2019.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i1.5408
Submitted: 26/12/2022 ; Accepted: 29/01/2023 ; Published: 31/01/2023
[15] F.  Astuti,  R.  M.  Candra,  S.  Agustian,  dan  D.  S.  Ramadhani,  “Klasifikasi  Sentimen  Masyarakat  Terhadap  Pemerintah Terkait Penerapan Kebijakan New Normal Menggunakan Metode K-Nearest Neighbor,” Jurnal Nasional Komputasi dan Teknologi Informasi, vol. 5, no. 3, 2022.
[16] H. Najjichah, A. Syukur, dan H. Subagyo, “Pengaruh Text Preprocessing  dan Kombinasinya pada Peringkas Dokumen Otomatis  Teks  Berbahasa  Indonesia,”  Jurnal  Teknologi  Informasi,  vol.  15,  no.  1,  2019,  [Daring].  Available: http://research.
[17] R. Tineges, A. Triayudi, dan I. D. Sholihati, “Analisis Sentimen Terhadap Layanan Indihome Berdasarkan Twitter Dengan Metode Klasifikasi Support Vector Machine (SVM),” JURNAL MEDIA INFORMATIKA BUDIDARMA, vol. 4, no. 3, hlm. 650, Jul 2020, doi: 10.30865/mib.v4i3.2181.
[18] R.  Achmad  Rizal,  I.  Sanjaya  Girsang,  dan  S.  Apriyadi  Prasetiyo,  “Klasifikasi  Wajah  Menggunakan  Support  Vector Machine (SVM),” Riset dan E-Jurnal Manajemen Informatika Komputer, vol. 3, no. 2, 2019.
[19] E.  H.  Harahap,  L.  Muflikhah,  dan  B.  Rahayudi,  “Implementasi  Algoritma  Support  Vector  Machine  (SVM)  Untuk Penentuan Seleksi Atlet Pencak Silat,” Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, vol. 2, no. 10, hlm. 3843–3848, 2018, [Daring]. Available: http://j-ptiik.ub.ac.id
[20] F. Fauzi, M. Y. Darsyah, dan T. W. Utami, “Smooth Support Vector Machine (Ssvm)  untuk Pengklasifikasian Indeks Pembangunan Manusia Kabupaten/Kota Se-Indonesia,” Statistika, vol. 5, no. 2, 2017.
[21] Y.  E.  Ardiningtyas,  P.  Heruningsih,  dan  P.  Rosa,  “Analisis  Balancing  Data  untuk  Meningkatkan  Akurasi  Dalam Klasifikasi,” Prosiding Seminar Nasional Aplikasi Sains & Teknologi (SNAST) 2021 , vol. 2021, no. Prosiding SNAST 2021, hlm. A24–A28, Mar 2021.
[22] D. Bertsimas, J. Dunn, C. Pawlowski, dan Y. D. Zhuo, “Robust Classification,” INFORMS Journal on Optimization, vol. 1, no. 1, hlm. 2–34, Jan 2019, doi: 10.1287/ijoo.2018.0001.
[23] A.  Fransiska,  S.  Agustian,  dan  Fitri  Insani,  dan  M.  Fikry,  “Algoritme  Logistic  Regression  untuk  Mendeteksi  Ujaran Kebencian dan Bahasa Kasar Multilabel pada Twitter Berbahasa Indonesia,” Jurnal Nasional Komputasi dan Teknologi Informasi, vol. 5, no. 4, 2022.
[24] R.  Saputra,  “Implementasi  Bidirectional  Encoder  Representations  From  Transformers  (Bert)  untuk  Mendeteksi Hatespeech  dan Abusive Language pada Twitter Bahasa Indonesia Jurusan Teknik Informatika Uin Suska Riau Tugas Akhir,” Universitas Islam Negeri Sultan Syarif Kasim Riau, Pekanbaru, 2022.