## Analisis Komentar Cyberbullying Terhadap Kata yang Mengandung Toksisitas dan Agresi
Menggunakan Bag of Words dan TF-IDF dengan Klasifikasi SVM
Dwi Krisnandi 1 , Rini Novi Ambarwati 2 , Anggun Yuli Asih 3 , Angga Ardiansyah 4 , Hilman Ferdinandus Pardede 5
# Ilmu Komputer, Universitas Nusa Mandiri Jalan Jatiwaringin Raya, Jakarta 13620, Indonesia
1 14207023@nusamandiri.ac.id
2 14207079@nusamandiri.ac.id
3 14207070@nusamandiri.ac.id
4 14207054@nusamandiri.ac.id
5 hilman@nusamandiri.ac.id
Abstrak—  Masyarakat  menjadi  orang  yang  anti  sosial  tidak banyak berkomunikasi dengan lingkungan dan mereka lebih menyukai  komunikasi  melalui  internet  atau  social  media. dengan internet atau social media orang bisa menyembunyikan  identitas  aslinya  dan  bisa  mengakibatkan keburukan  saat  berkomunikasi  atau  memberi  sebuah komentar  di  social  media  dengan  menggunakan  kata-kata yang  buruk,  menghina,  tidak  sopan  mempermalukan, mengancam, mengganggu menghina, mengucilkan, merusak reputasi  orang  melalui  internet  atau  teknologi  digital.  Hal seperti  ini  termasuk  dalam  tindak  kejahatan  yang dinamakan  cyberbullying.  Cyberbullying berdampak  buruk bagi korbannya seperti mengakibatkan depresi, hingga yang terburuk  hingga  mengakibatkan  seseorang  melakukan bunuh  diri.  Cyberbullying  sering  menjadi  masalah  besar baik  di  tingkat  nasional  maupun  global.  Pada  penilitian  ini akan  dibahas  mengenai  text  mining  alisis  sentiment cyberbullying  dengan  menentukan  kata  yang  mengandung toxicity  dan  aggression.  Metode  yang  digunakan  pada penelitian  ini  memakai  model  Bag  of  Word  dan  TF-IDF dengan  klasifikasi  SVM.  Hasil  dari  penelitian  ini  didapat akurasi  tertinggi  dengan  menggunakan  model  Bag of  Word dengan  akurasi  sebesar  65,2%  di  banding  dengan pemodelan  menggunakan  TF-IDF  dengan  akurasi  sebesar 64,7% Hal ini menunjukkan bahwa penerapan Bag of Word mampu menghasilkan tingkat akurasi yang lebih baik dalam memprediksi  kata  yang  mengandung  cyberbullying  dari penelitian ini dibandingkan dengan model TF-IDF.
Kata kunci — Text mining, Cyberbullying, Toksisitas, Agresi, Bag of word, TF-IDF, SVM

## I. P ENDAHULUAN
Perkembangan teknologi dan Maraknya penggunaan terhadap  teknologi  membuat  orang  lebih  mudah
mengakses  segala  sesuatu,  seperti  mendapat  informasi atau  berbagi  pesan  secara  online,  serta  dengan  teknologi kita bisa saling berinteraksi dengan pengguna internet lain seperti di media sosial, blog, portal berita. Kita bisa saling memberi  pujian,  masukan,  kritikan  di  kolom  komentar, bahkan  dapat  menyebabkan  komentar  yang  buruk  seperti menghina,  melecehkan,  agresi,  beracun,  dan  lain-lain. Dengan  komentar  yang  buruk  dapat  diartikan  sebagai cyberbullying  dan  pelecehan online [1].  Menurut  Rudi, Cyberbullying  merupakan  tindakan  intimidasi  yang digunakan untuk mempermalukan, mengancam, mengganggu  menghina,  mengucilkan,  merusak  reputasi orang  melalui  internet  atau  teknologi  digital.  Pelaku cyberbullying biasanya menggunakan nama samaran agar tidak  diketahui  identitas  aslinya.  Cara  ini  bisa  dilakukan karena  tidak  ada  batasan  waktu  dan  ruang  didunia  maya. Pelaku  cyberbullying  biasanya  menggunakan  foto  atau video  yang  diunggah  di  internet  dan  yang  paling  sering yaitu  dengan  tulisan  seperti  komentar  dengan  kata-kata buruk [2].
Istilah  komentar  beracun  digunakan  untuk  mewakili komentar  yang  tidak  pantas  dalam  tulisan    ini.  Menurut Satriawan,  toxic  disinhibition  online  effect  merupakan perilaku  negatif  kurangnya  pengendalian  diri  untuk berkomunikasi dan bersikap agresif secara online daripada berkomunikasi secara langsung [3].
Text  mining  merupakan  pemrosesan  data  berbentuk teks  dengan  bantuan  perangkat  lunak  untuk  memperoleh informasi  berkualitas  tinggi.  permintaan  terhadap  text mining  semakin  meningkat  dan  berkembang  dengan analitik  data  besar  [4].  Dalam  text  mining  ada  istilah analisis sentimen yang digunakan untuk menganalisis data teks  yang  mengandung  sentimen  terhadap  komentar
sebuah  jejaring  sosial,  email,  atau  sumber  data  lainnya yang  mengarah  pada  penilaian  positif  atau  negatif  dari suatu komentar[5]. Dalam tulisan ini akan dibahas tentang analisis  sentimen  yang  mengandung  toxicity  dan  agresi dengan  dataset  yang  diambil  memiliki  data  dengan  kata netral, kata mengandung toksisitas, dan kata mengandung agresi, sedangkan  eksplorasi fitur teks menggunakan Bag of words dan TF-IDF dengan klasifikasinya yaitu SVM
Beberapa penelitian terkait cyberbullying dan SVM ini diantaranya,  “Cyberbullying  comment  classification  on Indonesian  Selebgram  using  support  vector  machine method”[6],  “Sentimen  Analisis  Informasi  Covid-19 menggunakan  Support  Vector  Machine  dan  Naïve Bayes”[7],  “Analisis  Sentimen  Masyarakat  Terhadap Pembatasan Sosial Berksala Besar Menggunakan Algoritma  Support  Vector  Machine”[8],  “KLASIFIKASI TEKS  SOSIAL  MEDIA  TWITTER  MENGGUNAKAN SUPPORT VECTOR MACHINE”[9].

## II. METODE
Machine learning salah satu kecerdasan buatan yang dapat menganalisis data secara otomatis yang meminimalkan campur tangan manusia. Machine learning juga  memiliki  kemampuan  menganalisis  data  yang tersedia sebelumnya, menentukan pola dan distribusi data, serta menghitung keputusan. Penggunaan data pemrosesan bahasa  alami  (NLP),  yang  menggunakan  prinsip-prinsip linguistik komputasional untuk membaca dan menafsirkan kumpulan  data  sehingga  mereka  dapat  dikenai  analisis kualitatif  dan  kuantitatif,  merupakan  salah  satu  fase  awal dalam proses penambangan teks [5].

## A. Bag Of Word (BoW)
Pendekatan bag  of  word (BoW)  merupakan  salah satu  pemodelan machine  learning yang  digunakan  untuk mengektrasi  fitur  teks  [10].  Menurut  Sivic  &  Zisserman, pada pendekatan ini histogram dibuat untuk merepresentasikan  setiap  gambar,  histogram  yang  dibuat diambil dari frekuensi kata dalam kamus. Pengelompokkan fitur visual sejenis yang diekstraksi dari sebagian  besar  gambar  digunakan  untuk  membuat  kamus offline [11].
Model bag-of-words telah banyak digunakan dengan hasil  yang  baik  untuk  prediksi  pemodelan  Bahasa  dan klasifikasi  dokumen  karena  pemodelan  ini  sangat sederhana  untuk  dipahami  serta  penerapan  yang  fleksibel terhadap  data  teks  yang  spesifik.  Pemodelan  ini  juga memiliki kekurangan, seperti [10]:
1. Vocabulary :  Kosakata  membutuhkan  desain  yang cermat,  terutama  untuk  mengatur  ukuran,  yang berdampak pada jarangnya representasi dokumen.
2. Sparsity :  Representasi  yang  jarang  lebih  sulit  untuk dimodelkan baik untuk alasan komputasi (ruang dan kompleksitas  waktu)  dan  juga  untuk  alasan informasi, di mana tantangannya adalah model untuk
memanfaatkan  begitu  sedikit  informasi  dalam  ruang representasi yang besar.
3. Meaning :  Pembuangan  urutan  kata  mengabaikan konteks,  dan  pada  gilirannya  arti  kata  dalam dokumen  (semantik).  Konteks  dan  makna  dapat menawarkan  banyak  hal  pada  model,  bahwa  jika dimodelkan  dapat  membedakan  antara  kata-kata yang  sama  yang  disusun  secara  berbeda  ("ini menarik" vs "apakah ini menarik"), sinonim ("sepeda tua" vs "sepeda bekas") , dan banyak lagi

## B. TF-IDF
Menurut  Hakim,  etc,  TF-IDF  terdiri  dari  dua  kata yang  digabung  yaitu Term  Frequency (TF)  dan Inverse Document  Frequency (IDF).  TF  digunakan  untuk mengukur rasio berapa kali suatu kata muncul dalam suatu dokumen  dibandingkan  dengan  jumlah  total  kata  dalam dokumen itu [12] [13].
Rumus TF sebagai berikut [13]:
Inverse  Data  Frequency (IDF):  Digunakan  untuk perhitungan  bobot  kata  unik  dalam  korpus  diseluruh dokumen, dan biasanya skor IDF yang tinggi berdasar dari ucapan  yang  jarang  muncul  di  korpus.  Rumus  IDF  bisa ditulis sebagai berikut [13]:
Penggabungan  dari  TF  dan  IDF  menjadi  TF-IDF, rumusnya yaitu [13]:
tf i,j = jumlah kemunculan i dalam j df i = jumlah dokumen yang mengandung i N = jumlah total dokumen

## C. SVM
Menurut  Noble,  SVM  adalah  metode  yang  kuat untuk  membangun classifier [14].  Dibandingkan  dengan algoritma  klasifikasi  lainnya,  SVM  memiliki  konsep matematis yang lebih sederhana dan dapat menyelesaikan masalah  klasifikasi  dan  regresi linier dan non-linier . Dengan  memaksimalkan  jarak  antar  kelas,  SVM digunakan  untuk  mengidentifikasi  hyperplane  yang optimal. Hyperplane adalah  fungsi  yang dapat  digunakan sebagai pemisah kelas  [15].
Gambar 1 Hyperplane yang memisahkan dua kelas positif (+1) dan negatif (-1) Sumber: (Samsudiney, 2019) Hyperplane terletak di tengah-tengah dua kelas, dan jarak  antara hyperplane dan  item  data  berbeda.  Super vektor  merupakan  objek  data  luar  yang  paling  dekat jaraknya
dengan
hyperlane .
SVM hanya memperhitungkan  super  vektor  untuk  menemukan hyperlane yang paling optimal, karena posisi super vektor yang hampir overlap dan sulit untuk diklasifikasikan [15].

## III. DATASET DAN KRITERIA EVALUASI

## A. Dataset
Data  yang  digunakan  dalam  penelitian  ini  adalah data sekunder, artinya dikumpulkan dari sumber lain yaitu data  publik  yang  diambil  dari  dataset cyberbullying Repository dengan link: https://data.mendeley.com/datasets/jf4pzyvnpj/1. Beberapa  proses  atau  tahapan  penelitian  akan  dilakukan dalam penelitian ini, seperti gambar 2.
1. Input comments Comments text Sending data to server 2. Data Preprocessing Server 3. Feature Selection Features/Model comments Data search and match Classification 4. Show comment detection results Dataset

## Gambar 2 Rancangan Sistem Deteksi Komentar Cyberbullying
Rangkaian  sistem  secara  keseluruhan  yang  telah dibuat  dijelaskan  pada  bagian  selanjutnya.  Dalam mengidentifikasi  komentar cyberbullying ,  ada  4  (empat) tahap yang harus diikuti yaitu:
1. Langkah  pertama  adalah  menulis  pernyataan komentar dalam format teks komentar.
2. Pemrosesan  data  komentar,  juga  dikenal  sebagai Data  Preprocessing ,  adalah  transformasi  bahasa tidak terstruktur menjadi bahasa terstruktur.
3. Teknik  mengekstrak  data  dokumen  teks  ke  dalam matriks  dengan  tujuan  untuk mendapatkan  fitur  dari setiap  kata  yang  muncul  dikenal  dengan  istilah Feature selection . 4. Tahap  terakhir  adalah  mengenali  atau  memutuskan konten komentar yang telah dimasukkan sebelumnya. SVM  dengan  Bag  of  Word  Model  dan  TF-IDF digunakan  sebagai  metode  klasifikasi.  Berdasarkan
nilai  probabilitas  tertinggi,  hasil  keluaran  berupa komentar identifikasi kata-kata yang tidak mengandung cyberbullying, toksisitas, dan kekerasan.
B. Preprocessing
Preprocessing merupakan  tahap  awal  dari  analisis sentimen text mining setelah mendapatkan dataset. Proses ini  digunakan  untuk  merestrukturisasi  data  yang  tidak terstruktur  yang  biasanya  berisi  dengan  kata  yang  tidak perlu,  seperti  kata-kata  yang  berulang,  tanda  baca,  tag html, emoticon , angka, iklan, singkatan, salah eja dan lain sebagainya menjadi data yang terstruktur. Data teks yang tidak  terstruktur  akan  membuat  pembaca  bingung  dan membutuhkan  banyak  waktu,  sehingga  dengan text preprocessing dapat  meningkatkan  dan  mempercepat kinerja pengklasifikasian [16].
Gambar 3 Tahap Pre-processing Secara Umum
Diagram  di  atas  menggambarkan  proses  pengolahan teks  komentar,  dimulai  dengan  input  dokumen  teks, tokenizing, case folding, stopword removal, dan stemming . Proses  ini  biasa  disebut  dengan text  preprocessing ,  dan akan  dilanjutkan  pada  proses  selanjutnya. Text  pre- processing juga  dapat  membantu  dalam  membuat  pilihan yang  sangat  baik  berdasarkan  pemrosesan  sebelumnya, dengan tahapan yang tercantum di bawah ini:
1. Tokenisasi  dapat  didefinisikan  sebagai  pemisahan teks  menjadi  potongan-potongan  disebut  token seperti:  kata,  frasa,  simbol,  atau  satuan  lain  atau bahkan  seluruh  kalimat  agar  pengerjaan  teks  lebih efektif.  Pada  proses  ini  akan  membaca  spasi,  tanda
baca,  dan  terkadang  jeda  baris  untuk  mendapatkan token [16].
2. Case-folding merupakan  proses  perubahan  semua huruf  menjadi  huruf  kecil.  Proses    ini    mengubah data  menjadi  huruf  kecil semua   dan   membuang delimeter  dimana  merupakan  urutan  karakter  yang digunakan untuk menentukan batas pemisah. [17] 3. Stopword Removal adalah dalam menghitung indeks kata,  langkah-langkah  untuk  menghilangkan  kata- kata  yang  tidak  perlu  seperti  kata  bantu  'adalah', 'yang', 'untuk', 'akan', 'dan', 'juga', 'dari', 'di', 'kanan' ', dan seterusnya diambil  [18].
4. Stemming merupakan      tahapan  dalam  teks preprocessing yang  bertujuan  untuk  mengubah  kata ke  bentuk  dasar  dan  membuang  imbuhan  (awalan dan akhiran) dari kata ini [17].

## C. Kriteria Evaluasi
Dalam  penelitian  ini,  eksperimen  dengan  algoritma menggunakan  Bag  of  words  dan  TF-IDF  klasifikasi mengunakan  SVM.  Algoritma  akan  dibandingkan  dan salah  satu  metode  dengan  hasil  terbaik  akan  diperoleh. Cross  Validation,  Evaluation  menggunakan  Confusion Matrix, dan ROC Curve digunakan untuk menguji model dan menentukan akurasinya. Algoritma tersebut kemudian akan dibandingkan dengan pendekatan untuk menghasilkan  algoritma  yang  akurat  untuk  memprediksi kata-kata cyberbullying .
IV. HASIL DAN PEMBAHASAN
Metode  Eksperimen  dan  Pengujian  Algoritma Klasifikasi  Pada  titik  ini,  para  peneliti  menggunakan berbagai metodologi, termasuk Bag of Words dan TF-ID, untuk  melakukan  pengujian  dan  pengujian.  Penulis menggabungkan  pendekatan  penambangan text  mining yang  dikenal  sebagai Cross  Validation ,  yang  bertujuan untuk  akurasi  maksimum.  Pendekatan  ini  sering digunakan dalam hubungannya dengan SVM. Dataset Dua set data, satu tentang cyberbullying toxicity dan yang lainnya tentang cyberbullying agression , dikumpulkan  dalam  penelitian  ini,  berikut  merupakan hasil penggabungan dari dua dataset tersebut:
Gambar 4 Algoritma Penggabungan Dataset Dari  data  diatas  dihasilkan  banyaknya  data  sebesar 275549  data  teks  dari  dataset  agression  sebesar  115863 dan dataset toxicity sebesar 159685.

## A. Dataset Histogram
Dataset cyberbullying ini  dikelompokan  menjadi  3 yaitu  dengan  index  0  merupakan  kata  yang  tidak mengandung cyberbullying dengan  jumlah  245.406  kata, index  1  merupakan  kata  yang  mengandung aggression sejumlah  14.782  kata  dan  index  2  merupakan  kata  yang mengandung toxicity sejumlah 15.362.

## Gambar 5 Dataset Histogram
B. Cleansing Data
Cleansing data  digunakan  untuk  menjalankan algoritma dengan lebih efisien dan memberikan hasil yang lebih  akurat,  hilangkan  data  yang  salah,  rusak,  tidak akurat, tidak lengkap, atau terformat.
Gambar 6 Algoritma Cleansing Data

## C. Text Preprocessing
Text  Preprocessing merupakan  salah  satu  tahapan menghilangkan  masalah  yang  dapat  mengganggu  hasil dari proses text mining .
Gambar 7 Algoritma Text Preprocessing

## D. Prediksi Model Bag of Word
Proses  algoritma  dapat  ditampilkan  pada  gambar dibawah sebagai prediksi kata cyberbullying menggunakan  model  Bag  of  Word  dengan  nilai  akurasi sebesar 65.2%

## Gambar 4.5 Pengguan Countvectorizer
Gambar 8 Hasil Prediksi Bag of Word

## E. Prediksi Model TF-IDF
Proses  algoritma  dapat  ditampilkan  pada  gambar dibawah sebagai prediksi kata cyberbullying menggunakan model TF-IDF dengan nilai akurasi sebesar 64,7%
Gambar 4.7 Penggunaan Tfidfvectorizer
Gambar 9 Hasil Prediksi TF-IDF.

## V. KESIMPULAN
Text  mining untuk  mendeteksi cyberbullying dengan kata  yang  mengandung  toksisitas  dan  agresi  dengan menggunakan  pendekatan  model  Bag  of  Word  dan  TF- IDF,  dengan  perbandingan  data training dan  data testing sebesar 70% : 30.
Berdasarkan  hasil  penelitian,  algoritma  Bag  of  Word memiliki  nilai  akurasi  yang  lebih  besar  dibandingkan dengan  algoritma  TF-IDF.  Nilai  akurasi  untuk  Bag  of Word  adalah  65,2%,  sedangkan  nilai  akurasi  untuk  TF- IDF  algoritma  adalah  64,7%.  Jadi  dapat  disimpulkan bahwa  penerapan  algoritma  Bag  of  Word  adalah  mampu menghasilkan  tingkat  akurasi  yang  lebih  baik  dalam memprediksi  kata  yang  mengandung  cyberbullying daripada menggunakan algoritma yaitu TF-IDF.
R EFERENSI [1] S. Srivastava, P. Khurana, and V. Tewari, “Identifying Aggression and Toxicity in Comments using Capsule
Network,” Proc. First Work. Trolling, Aggress. Cyberbullying , pp. 98–105, 2018, [Online]. Available: https://www.aclweb.org/anthology/W18-4412.
[2] F. S. Mutma, “DESKRIPSI PEMAHAMAN
CYBERBULLYING DI MEDIA SOSIAL PADA
MAHASISWA,” J. Komun. , vol. 13, no. 2, pp. 165–182, Sep. 2019, doi: 10.21107/KOMUNIKASI.V13I2.5928.
[3] S. K. P. Kurnia Pratiwi and R. S. Kusuma, “Perilaku Cyberbullying Mahasiswa Dengan Teman Sebaya,” Mediat. J. Komun. , vol. 12, no. 2, pp. 165–177, 2019, doi:
10.29313/mediator.v12i2.4793.
[4] A. Gupta, V. Dengre, H. A. Kheruwala, and M. Shah, Comprehensive review of text-mining applications in finance , vol. 6, no. 1. 2020.
[5] U. D. Arni, “Apa Itu Text Mining ?,” Garuda Cyber Indonesia , 2018. .
[6] M. Andriansyah et al. , “Cyberbullying comment classification on Indonesian Selebgram using support vector machine
method,” Proc. 2nd Int. Conf. Informatics Comput. ICIC 2017 , vol. 2018-Janua, pp. 1–5, 2018, doi: 10.1109/IAC.2017.8280617.
[7] Ratino, N. Hafidz, S. Anggraeni, and W. Gata, “Sentimen Analisis Informasi Covid-19 menggunakan Support Vector Machine dan Naïve Bayes,”
J. JUPITER , vol. 12, no. 2, pp. 1– 11, 2020.
[8] H. Tuhuteru and U. Kristen Indonesia Maluku Jl Ot Pattimaipauw, “Analisis Sentimen Masyarakat Terhadap
Pembatasan Sosial Berksala Besar Menggunakan Algoritma Support Vector Machine,” Inf. Syst. Dev. , vol. 5, no. 2, pp. 7– 13, 2020.
[9] L. Mutawalli, M. T. A. Zaen, and W. Bagye, “KLASIFIKASI TEKS SOSIAL MEDIA TWITTER MENGGUNAKAN SUPPORT VECTOR MACHINE (Studi Kasus Penusukan Wiranto),” J. Inform. dan Rekayasa Elektron. , vol. 2, no. 2, p. 43, 2019, doi: 10.36595/jire.v2i2.117.
[10] J. Brownlee, “A Gentle Introduction to the Bag-of-Words Model,” Machine Learning Mastery , 2017. .
[11] N. Kejriwal, S. Kumar, and T. Shibata, “High performance loop closure detection using bag of word pairs,” Rob. Auton. Syst. , vol. 77, pp. 55–65, 2016, doi: 10.1016/j.robot.2015.12.003.
[12] S. Qaiser and R. Ali, “Text Mining: Use of TF-IDF to Examine the Relevance of Words to Documents,” Int. J.
Comput. Appl. , vol. 181, no. 1, pp. 25–29, 2018, doi: 10.5120/ijca2018917395.
[13] M. Tripathi, “How to process textual data using TF-IDF in Python,” freeCodeCamp , 2018. .
[14] S. Huang, C. A. I. Nianguang, P. Penzuti Pacheco, S. Narandes, Y. Wang, and X. U. Wayne, “Applications of support vector machine (SVM) learning in cancer genomics,” Cancer
Genomics and Proteomics , vol. 15, no. 1, pp. 41–51, 2018, doi: 10.21873/cgp.20063.
[15] Samsudiney, “Penjelasan Sederhana tentang Apa Itu SVM?,” Medium , 2019. .
[16] M. Işik and H. Dağ, “The impact of text preprocessing on the prediction of review ratings,” Turkish J. Electr. Eng. Comput. Sci. , vol. 28, no. 3, pp. 1405–1421, 2020, doi: 10.3906/elk- 1907-46.
[17] F. S. Jumeilah, “Penerapan Support Vector Machine (SVM) untuk Pengkategorian Penelitian,” J. RESTI (Rekayasa Sist. dan Teknol. Informasi) , vol. 1, no. 1, pp. 19–25, 2017, doi: 10.29207/resti.v1i1.11.
[18] R. Dwi, W. Santosa, M. A. Bijaksana, and A. Romadhony, “Implementasi Algoritma Long Short-Term Memory ( LSTM ) untuk Mendeteksi Penggunaan Kalimat Abusive Pada Teks Bahasa Indonesia,” J. Tugas Akhir Fak. Inform. , vol. 8, no. 1, pp. 691–702, 2021.