Jurnal Teknik Informatika (JUTIF) DOI: https://doi.org/10.52436/1.jutif.2024.5.2.1922 Vol. 5, No. 2, April 2024, pp. 615-620 p-ISSN: 2723-3863
e-ISSN: 2723-3871

## SENTIMENT ANALYSIS OF CYBERBULLYING USING BIDIRECTIONAL LONG SHORT TERM MEMORY ALGORITHM ON TWITTER
Anisa Ika Safitri *1 , Theopilus Bayu Sasongko 2
1,2 Informatics, Faculty of Computer Science, Universitas Amikom Yogyakarta, Indonesia Email: 1 anisaika0101@students.amikom.ac.id , 2 theopilus.27@amikom.ac.id
(Article received: March 08, 2024; Revision: March 31, 2024; published: April 22, 2024)

## Abstract
Cyberbullying  on  social  media  such  as  Twitter  is  becoming  an  increasing  social  problem  in  today's  society. Cyberbullying has a negative influence on mental health, increasing the risk of anxiety, sadness, and even suicide. The purpose of this research is to develop a model to classify tweets that contain or do not contain cyberbullying by applying the BiLSTM technique to sentiment analysis on Twitter. In this research, Word2Vec is used to weight each  word in  a tweet. The initial  stage in  this research is data  collection  with a total  dataset  of 47,692 tweets generated by Kaggle, preprocessing which consists of data cleaning, removing duplicates, case folding, tokenizing, stopword  removal  and  lemmatization,  classification  and  evaluation.  This  research  uses  the  Bidirectional  Long Short-Term Memory (Bi-LSTM) method and identifies patterns associated with bullying on social media. Testing uses Confusion Matrix and the results on classification show accuracy of 82.29%, precision of 82,04%, recall of 81,95% and F1-Score  81,89%. This sentiment  analysis technique is expected to  be the first step to combat and avoid cyberbullying on the Twitter platform. From several tests of existing reference algorithms, the classification accuracy performed includes having good performance.
Keywords : bi-lstm, cyberbullying, sentiment analysis, twitter, word2vec.

## ANALISIS SENTIMEN PADA MEDIA SOSIAL TWITTER TERHADAP CYBERBULLYING MENGGUNAKAN ALGORITMA BIDIRECTIONAL LONG SHORT TERM MEMORY

## Abstrak
Cyberbullying di media sosial seperti Twitter menjadi masalah sosial yang semakin meningkat di masyarakat saat ini. Cyberbullying memiliki pengaruh negatif pada kesehatan mental, meningkatkan risiko kecemasan, kesedihan, dan bahkan bunuh diri. Tujuan dari penelitian ini adalah untuk mengembangkan model untuk mengklasifikasikan tweet yang mengandung atau tidak mengandung cyberbullying dengan menerapkan teknik BiLSTM pada analisis sentimen di Twitter. Dalam penelitian ini Word2Vec digunakan untuk pembobotan setiap kata pada sebuah tweet. Tahap awal pada penelitian ini dilakukan adalah pengumpulan data dengan jumlah dataset sebanyak 47.692 tweet yang  dihasilkan  oleh  Kaggle, preprocessing yang  terdiri  dari  data  cleaning,  remove  duplicate,  case  folding, tokenizing, stopword removal dan lemmatization, classification dan evaluasi. Penelitian ini menggunakan metode Bidirectional Long Short-Term Memory (Bi-LSTM) dan mengidentifikasi pola-pola yang terkait dengan tindakan bullying  di  media  sosial.  Pengujian  menggunakan Confusion  Matrix dan  hasil  pada  klasifikasi  menunjukkan accuracy  sebesar  82,29%,  presisi  82,04%,  recall  81,95%  dan  F1-Score  81,89%.  Teknik  analisis  sentimen  ini diharapkan  dapat  menjadi  langkah  awal  untuk  memerangi  dan  menghindari  cyberbullying  di  platform  Twitter. Dari  beberapa  pengujian  algoritma  referensi  yang  ada,  akurasi  klasifikasi  yang  dilakukan  termasuk  memiliki performa yang bagus.
Kata kunci : analisis sentiment, bi-lstm, cyberbullying, twitter, word2vec.

## 1. PENDAHULUAN
Cyberbullying di  media  sosial  seperti  Twitter adalah  masalah  sosial  yang  semakin  meningkat  di masyarakat saat ini. Karena media sosial memungkinkan  pengguna  untuk  berinteraksi  dan berkomunikasi secara anonim, hal ini dapat memicu
tindakan bullying atau  pelecehan  online  yang merugikan  bagi  korban.  Selain  itu,  tindakan cyberbullying dapat mempengaruhi kesehatan mental korban dan meningkatkan risiko depresi, kecemasan, dan bahkan bunuh diri.
Perundungan  adalah  tindakan  yang  sengaja menyakiti  seseorang  yang  merasa  tidak  berdaya secara  fisik,  verbal,  atau  psikologis.  Di  Amerika Serikat  dan  banyak  negara  lain  di  seluruh  dunia, perundungan  telah  diakui  sebagai  masalah  sosial yang signifikan. Perundungan siber adalah penggunaan  teknologi  komunikasi  dan  informasi untuk  pelecehan  dan  aktivitas  permusuhan  yang disengaja  atau  terencana  yang  dilakukan  secara berulang dan terstruktur dengan cara yang berpotensi membahayakan  [1].
Oleh  karena  itu,  analisis  sentimen  terhadap cyberbullying di  Twitter  menjadi  sangat  penting untuk  memahami  sentimen  yang  terkait  dengan tindakan bullying di  media  sosial  dan  membantu dalam mengembangkan strategi untuk mencegah atau menangani masalah tersebut.
Bi-LSTM  adalah  jenis  jaringan  saraf  rekurensi (RNN)  yang  dapat  menangani  masalah  analisis  teks yang panjang dan kompleks dengan mempertimbangkan  konteks  kata-kata  sebelumnya dan sesudahnya. Penelitian ini menggunakan metode Bidirectional Long Short-Term Memory (Bi-LSTM) dan  mengidentifikasi  pola-pola  yang  terkait  dengan tindakan bullying di media sosial.
Penelitian  sebelumnya  dengan  sepuluh  kali  uji coba dan nilai akurasi  sebesar 78,67% untuk LSTM dan  80,25%  untuk  BiLSTM  menunjukkan  performa yang  baik  dalam  mengkategorikan  data teks  dengan menggunakan  metode  teknik  LSTM  dan  BiLSTM. Dapat  disimpulkan  bahwa  BiLSTM  lebih  unggul daripada LSTM berdasarkan akurasi yang diperoleh. Dibandingkan  dengan  model  lain,  temuan  ini menunjukkan  seberapa  baik  kinerja  BiLSTM  untuk model data berurutan [2].
Tujuan  dari  penelitian  ini  adalah  untuk mengembangkan  model  untuk  mengklasifikasikan tweet  yang  mengandung  atau  tidak  mengandung cyberbullying dengan  menerapkan  teknik  BiLSTM pada analisis sentimen di Twitter.
Setelah  tahap  preprocessing,  data  dibagi menjadi  set  pelatihan  dan  pengujian.  Model kemudian  dilatih  pada  set  pelatihan,  dan  kinerjanya dievaluasi pada set pengujian menggunakan pendekatan Bi-LSTM, yang memiliki performa lebih ungul dibanding metode-metode sebelumnya.

## 2. METODE PENELITIAN
Dalam  alur  penelitian  pada  gambar  1 pendekatan BiLSTM akan digunakan untuk mengilustrasikan rancangan penelitian. Pengumpulan data,  preprocessing,  modeling,  dan  evaluasi  adalah langkah-langkah dalam proses analisis sentimen.

## Gambar 1. Alur Penelitian

## 2.1. Dataset
Pada  penelitian  ini,  dataset  Twitter  yang dihasilkan oleh Kaggle terdiri dari 47.692 tweet data pengguna.  Terdiri  dari  6  sentiment  yaitu  ethnicity, not_cyberbullying, gender, other_cyberbullying, religion,  age.  Pada  tabel  1  menjelaskan  informasi dataset yang didapat dan gambar 2 adalah visualisasi kelas sentiment.
Tabel 1. Informasi Dataset No Column Count Data Type 0 tweet_text 47.692 object 1 cyberbullying_type
47.692 object
Gambar. 2 Visualisasi Sentiment

## 2.2. Prepocessing
Salah satu tahapan penting dalam proses mining data  adalah preprocessing .  Data  yang  digunakan tidak selalu dalam kondisi yang ideal untuk diproses. Beberapa masalah dengan data ini dapat mengganggu hasil  mining, seperti data  yang tidak  memiliki  nilai, data redundant, outliers, atau format yang tidak sesuai
dengan sistem. Oleh karena itu, tahap preprocessing diperlukan  untuk  menyelesaikan  masalah  tersebut [3].
Preprocessing dilakukan  untuk  menghasilkan data bersih. Preprocessing terdiri dari data cleaning yaitu  proses  pembersihan  data  yang  tidak  akurat berupa  menghapus  tanda  baca,  data  duplikat, stopword dan stemming . Remove duplicate digunakan untuk  menghapus data duplicate. Case  folding  yaitu proses mengubah seluruh karakter teks atau dokumen menjadi  huruf kecil. Stopword removal yaitu proses penghapusan kata-kata yang sering muncul dan tidak relevan dalam teks seperti "dan", "atau", "di", "dari", dan  lain-lain.  Proses  stopwords  removal  dilakukan untuk mengurangi ukuran dataset. Karena lemmatization menggunakan  WordNet  dan  kamus Stop words, lemmatization  menghasilkan kata dasar yang  lebih  akurat  daripada  stemming. Tokenizing yaitu proses memisahkan teks atau dokumen menjadi bagian-bagian  yang  berbeda  yang  terdiri  dari  kata, frasa, tanda baca, atau simbol [4].

## 2.3. Data Balancing
Distribusi  proporsional  dari  berbagai  kelas dalam kumpulan data disebut sebagai data balancing . Sering kali terjadi ketidakseimbangan dalam konteks cyberbullying , dengan jumlah sampel yang jauh lebih sedikit dari kelas  yang dibandingkan. Oversampling dalam kasus cyberbullying , berarti menambah variasi atau  replika  sampel  yang  termasuk  dalam  kelas minoritas.  Dengan  melakukan oversampling ,  dapat memastikan  bahwa  teknik oversampling dilakukan untuk menangani ketidakseimbangan dengan memilih  sampel  secara  acak  dari  kumpulan  data untuk membuat sampel baru [5].

## 2.4. Word Embedding
Word  embedding adalah  salah  satu  cara  yang paling umum untuk menampilkan kosakata dokumen. Teknik  ini  dapat  menangkap  konteks  antara  kata, kesamaan  semantik  dan  tata  bahasa,  dan  informasi lainnya,
Word embedding ,  secara  sederhana  adalah representasi vektor dari kata-kata tertentu. Salah satu metode  yang  paling  banyak  digunakan  untuk mempelajari word embedding adalah Word2Vec . Word2Vec, yang dikembangkan oleh Google adalah salah satu teknik yang paling umum digunakan untuk mempelajari  penerapan  kata. Word2Vec dapat menghasilkan word embedding melalui  teknik Common Bag of Words ( CBOW )  dan Skip Gram, yang  keduanya  termasuk  dalam  Jaringan  Syaraf Tiruan  [6].
Dengan  fokus pada kata-kata yang  berdekatan, Word2Vec  dapat  menentukan  arti  kata-kata  yang mirip  dengan  kata  target.  Karena  manfaatnya, pendekatan  Word2Vec  sangat  populer.  Dimensi matriks  bobot  di  setiap  lapisan  tersembunyi  dapat dihitung  dengan  mengalikan  jumlah  kata  dalam
korpus dengan jumlah neuron tersembunyi yang ada di setiap lapisan.
2.5. Bidirectional Long Short-Term Memory
BiLSTM  adalah  salah  satu  penemuan neural network yang dapat digunakan untuk pemodelan data seri  waktu.  Selain  itu,  dapat  digambarkan  sebagai jaringan  saraf  karena  arsitekturnya  yang  fleksibel, yang  memungkinkan  bentuknya  berubah  sesuai dengan aplikasi yang dibuat [7]. BiLSTM terdiri dari beberapa langkah: mendefinisikan jaringan, membuat jaringan,  menyusun  jaringan,  memeriksa  jaringan, dan  membuat  prediksi.  Dengan  menggunakan BiLSTM,  dapat  menemukan  nilai  yang  akan digunakan  sebagai  keluaran  yang  relevan  dengan masukan yang diberikan.

## 2.6. Evaluation
Tujuan  evaluasi  penelitian  ini  adalah  untuk menentukan  efektivitas  model.  Confusion  matrix digunakan  untuk  evaluasi  penelitian  ini.Tabel confusion matrix berisi informasi tentang bagaimana hasil  klasifikasi  sistem  (prediksi)  dibandingkan dengan  hasil  klasifikasi  yang  sebenarnya.  Jumlah prediksi  yang  benar  (True  Positive  dan  True Negative) dan prediksi salah (False Positive dan False Negative) dari model yang dilatih ditampilkan dalam confusion matrix [8]. Dengan menggunakan confusion  matrix,  penelitian  ini  dapat  menghitung sejumlah  metrik  untuk  mengevaluasi  kinerja  model, termasuk akurasi, presisi, recall, dan skor F1. Gambar 3 adalah gambar Confusion Matrix.

## Gambar 3. Confusion Matrix
TP  =    (True  positive)  jumlah  sampel  yang    secara benar dilabeli sebagai "Positif"
FP = (False positive) jumlah sampel yang secara salah dilabeli sebagai "Positif"
FN  =  (False  negative)  jumlah  sampel  yang  secara salah dilabeli sebagai "Negatif"
TN  =  (True  negative)  jumlah  sampel  yang  secara benar dilabeli sebagai "Negatif"
Accuracy = (𝑇 𝑁 + 𝑇 𝑃)
(𝑇 𝑁 + 𝐹 𝑁 + 𝑇 𝑃 + 𝐹 𝑃) (1) 𝑅𝑒𝑐𝑎𝑙𝑙 = ( 𝑇 𝑃) (𝑇𝑃+𝐹𝑁) (2) 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛  = (𝑇 𝑃) (𝑇 𝑃 + 𝐹 𝑃)
(3)
618 Jurnal Teknik Informatika (JUTIF) , Vol. 5, No. 2, April 2024, pp. 615-620
𝐹 −  𝑠𝑐𝑜𝑟𝑒 = 2 𝑝𝑟𝑒𝑠𝑖𝑠𝑖 𝑥 𝑟𝑒𝑐𝑎𝑙𝑙 𝑝𝑟𝑒𝑠𝑖𝑠𝑖+ 𝑟𝑒𝑐𝑎𝑙𝑙 (4)

## 3. HASIL DAN PEMBAHASAN
3.1. Prepocessing
Model Bidirectional Long Short-Term Memory (BiLSTM)) terbaik untuk analisis sentimen cyberbullying di  Twitter  dihasilkan  oleh  penelitian ini. Temuan dari penelitian ini mungkin berguna bagi para  peneliti  yang  ingin  membuat  aplikasi  yang menganalisis sentimen Twitter seputar cyberbullying .

## 3.1.1. Dataset
Dengan  menggunakan library NLTK  (Natural Language  Toolkit),  prepocessing  dataset  meliputi pengubahan semua karakter dari data twitter menjadi teks  atau  dokumen  menjadi  huruf  kecil,  serta menghilangkan  stop  words,  duplikasi,  emoji, lemmatization,  dan  tokenizing.  Dapat  dilihat  pada tabel  2  yaitu  data  tweet  sebelum  dilakukan Preprocessing dan  tabel  3  data  tweet  yang  telah dilakukan Preprocessing .
Tabel 2. Tweet Sebelum Preprocessing No Tweet Sentiment 1 @batchelorshow @FearDept And  there  have  been  dozens  of witnesses  who  have  seen  the
Russians  target  civilians  for propaganda not_cyberbullying
2 he  got  his  start  with  rape  jokes and  using  gay  slurs  a  lot  so  hes always been trash gender 3 @AngelicPsalms @brassidio Stop  threatening  people  to  get them to do what you want.  That's why people hate religion.
religion
4 can't she just stop bullying me on facebook? i did nothing to her. other_cyberbullying 5 For boys: Did you refuse to go to school  because  of  hyper  toxic male bullies?
age
6 @SteeloBrim @WeRunLA Shut the fuck up you dumb
ethnicity
Tabel 3. Tweet Setelah Preprocessing No Tweet Sentiment 1 dozen witness seen russian target civilian propaganda not_cyberbullying 2 got start rape joke using gay slur lot he always trash gender 3 stop threatening people get want people hate religion religion
4 can  not  stop  bullying  facebook
nothing other_cyberbullying
5 boy refuse go school hyper toxic male bully age 6 fuck up you dumb nigger boy ethnicity

## 3.2. Word Embedding
Penelitian  ini  melakukan  berbagai  percobaan dengan  berbagai  parameter  untuk  mencapai  temuan terbaik. Parameter yang diuji menampilkan Wordcloud sebelum dan sesudah preprocessing , serta Word2Vec embedding . Istilah-istilah ini adalah kata-
kata  yang  ada  di  dalam  wordcloud  pada  gambar  4 yaitu  kata  sebelum prepocessing dan  gambar  5 sesudah prepocessing .
Gambar 4. Wordcloud Sebelum Prepocessing Gambar 5. Wordcloud Setelah prepocessing

## 3.3. Data Balancing
Teknik analisis data yang disebut keseimbangan data  ( data balance )  dengan  pengambilan  sampel berlebih  ( oversampling )  digunakan  untuk  mengatasi ketidakseimbangan  kelas  dalam  kumpulan  data. Ketika  ada  lebih  banyak  sampel  secara  signifikan dalam satu kelas daripada kelas lainnya, maka terjadi ketidakseimbangan kelas. Untuk memastikan  bahwa jumlah sampel antara kelas  mayoritas dan  minoritas seimbang, oversampling menangani  kelas  minoritas dengan  mereplikasi  baris  secara  acak  dari  kelas minoritas tersebut. Tabel 4 menampilkan jumlah dan ketidakseimbangan data di setiap kelas.
Tabel 4. Jumlah Data Setiap Kelas No Sentiment Count Sebelum Oversampling Count Setelah Oversampling 0 ethnicity 4745 5066 1 Not cyberbullying 3882 5066 2 gender 4660 5066 3 other cyberbullying 3157 5066 4 religion 5066 5066 5 age 5002 5066

## 3.4. Modeling
Dengan  menggunakan  arsitektur  BiLSTM untuk  membuat  model  klasifikasi  yang  dapat mengidentifikasi cyberbulyying di Twitter. Arsitektur yang dikenal sebagai BiLSTM terdiri dari dua  komponen  LSTM:  elemen  maju  dan  elemen mundur. Dengan menggunakan data konteks historis, LSTM  maju  menafsirkan  teks  input  dalam  urutan kronologis.
Sebaliknya, LSTM mundur menyimpan informasi  kontekstual  di  masa  depan  sambil membaca teks dalam urutan terbalik. Ada dua vektor keluaran urutan terpisah  yang dihasilkan oleh kedua LSTM ini. Dengan menggabungkan vektor maju dan mundur,  kita  dapat  mengekstrak  vektor  keluaran untuk setiap kata[9]. Tabel 5 adalah parameter yang digunakan pada model Bi-LSTM.
Tabel 5. Parameter Parameter Value Loss Categorical Crossentropy Split Ratio 70:30 Epoch 8 Optimizer Adam Batch size 64 Metrics accuracy, recall, precision, f1-score

## 3.5. Evaluation
Berbagai  teknik  digunakan  selama  evaluasi untuk  mengukur  seberapa  baik  kinerja  model  atau sistem  yang  dikembangkan.  Tujuan  evaluasi  adalah untuk  menentukan  seberapa  berhasil  model  atau sistem  dapat  melaksanakan  tugas  yang  diberikan. Gambar  6  menampilkan  hasil  klasifikasi  model  Bi- LSTM sebagai confusion matrix , tabel 6 adalah hasil Classification model dan tabel 7  menunjukkan  hasil Evaluation Metrics .
Tabel 6. Classification Bi-LSTM precision recall f1-score support age 0.95 0.97 0.96 2384 ethnicity 0.97 0.98 0.98 2515 gender 0.87 0.83 0.55 2367 not bullying 0.59 0.52 0.85 2339 other bullying 0.59 0.68 0.63 2295 religion 0.95 0.93 0.94 2408 accuracy 0.82 0.82 14308 macro avg 0.82 0.82 0.82 0.82 weighted avg 0.82 0.82 0.82 0.82 Tabel 7. Evaluation Metrics Accuracy 82,29 % F1-Score 80,89% Precision 82,04% Recall 81,95%
4. DISKUSI
Dalam penelitian sebelumnya, metode confusion  matrix  digunakan  untuk  mencapai performansi  terbaik  sistem  klasifikasi  sentimen  [10] dengan  algoritma  BiLSTM.  Dari  penelitian  yang dilakukan  ini  menghasilkan  accuracy  sebesar 82,29%, presisi 82,04%, recall 81,95% dan F1-Score 81,89%. Akurasi yang dilakukan termasuk memiliki performa yang bagus.
Dalam  perbandingan  metode,  hasil  pengujian yang telah dilakukan [11] menunjukkan bahwa model Bi-LSTM  memiliki  akurasi  yang  lebih  tinggi daripada  model  CNN  dengan  dimensi  word  vector 300  dalam  penelitian  analisis  sentimen  dan  emosi. Model  Bi-LSTM  dapat  mencapai  nilai  akurasi 84,36% dari model CNN.
Dalam  penelitian  tambahan,  metode  algoritma BiLSTM  dengan  dropout  menunjukkan  nilai  F1- Score  yang  lebih  tinggi  daripada  algoritma  LSTM dengan  dropout.  Algoritma  ini  juga  memiliki  nilai akurasi  0,9807  dan  performa  F1-Score  sebesar 0,9516.  Selain  itu,  algoritma  ini  menunjukkan performa fitting loss function yang baik [12].
Hasil penelitian dalam “Analisis Sentimen dan Pemodelan  Topik  Aplikasi  Telemedicine  Pada Google  Play  Menggunakan  BiLSTM  dan  LDA” menunjukkan  bahwa  Pemodelan  topik  untuk  setiap sentimen menunjukkan nilai koherence 0,6437 untuk topik positif, 0,6296 untuk topik neutral, dan 0,6132 untuk  sentimen  negatif.  Pemodelan  sentimen menggunakan  BiLSTM  (Bidirectional  Long  Short- Term  Memory)  dan  Word2Vec  sebagai  penerapan kata  menunjukkan  kinerja  yang  baik  dalam mengklasifikasikan sentimen, yaitu 95% [13].
Hasil  penelitian  lainnya  menunjukkan  bahwa model  BiLSTM  dengan  Word2Vec  lebih  unggul daripada  model  BiLSTM  dengan  TF-IDF.  Hasil pengujian  menunjukkan  akurasi  TF-IDF  sebesar 84,84%,  sedangkan  pembobotan  Word2Vec  sebesar 85,72% [14].
Hasil penelitian yang dilakukan oleh [15]. Dapat disimpulkan  bahwa  BiLSTM  memiliki  akurasi tertinggi  berdasarkan  attention  karena  word2vec dengan  arsitektur  CBOW  dan  penambahan layer attention pada  metode  Long  Short  Term  Memory (LSTM) dan Bidirectional Long Short Term Memory (BiLSTM)  menghasilkan  akurasi  78,16%  dan 79,68%,  sedangkan  algoritme  FSW  dan  FWL mencapai 73,50% dan 73,79%.
Agar  menghasilkan output klasifikasi  analisis sentimen  yang  lebih  baik  dan  bermanfaat  bagi pengguna, disarankan harus mengembangkan penelitian  analisis  sentimen  dengan  menggunakan algoritma  klasifikasi  yang  berbeda,  atau  dua  atau lebih  algoritma.    Untuk  meningkatkan  perolehan akurasi, tambah kata ke kamus sentimen yang sesuai dengan  masalah  yang  akan  diidentifikasi  dan tingkatkan jumlah data uji dan data latih.

## 5. KESIMPULAN
Penelitian  ini  menggunakan  algoritma  Bi- LSTM  (Bidirectional  Long  Short-Term  Memory) untuk  menganalisis  sentiment  pengguna  Twitter terkait cyberbullying. Dataset  telah diproses sebelumnya  dengan  menggunakan  case  folding, lemmatization,  stopword  removal,  data cleaning , penghapusan duplikat, dan tokenizing. Data tersebut diperoleh  dari  data  publik  di  Kaggle.  Jumlah  data tweet yang dipakai sebanyak 47.692 data, terdiri dari beberapa kategori sentiment sebagai berikut: religion 7998,  age  7992,  gender  7973,  ethnicity  7961,  not cyberbullying  7945  dan  other  cyberbullying  7823. Bergantung pada data yang diuji dan bagaimana data tersebut dibagi menjadi data pelatihan dan pengujian, akurasi akan bervariasi. Confusion Matrix digunakan dalam pengujian, dan hasil kategorisasi menunjukkan akurasi  82,29%,  presisi  82,04%,  dan  recall  81,95%. Dari  beberapa  pengujian  algoritma  referensi  yang ada,  akurasi  klasifikasi  yang  dilakukan  termasuk memiliki performa yang bagus.

## DAFTAR PUSTAKA
[1] N. P. V. D. Saraswati, N. Yudistira,  dan P. P. Adikara  “Analisis  Sentimen  terhadap Perundungan Siber pada Twitter menggunakan Algoritma Bidirectional Encoder  Representations  from  Transformer
(BERT),” Jurnal  Pengembangan  Teknologi Informasi  dan  Ilmu  Komputer ,  vol.  7,  no  2, 909-916, Feb 2023.
[2] E.  A.  A.  Zahra,  Y.  Sibaroni,  dan  S.  S. Prasetyowati, “Classification of Multi-Label of  Hate  Speech  on  Twitter  Indonesia  using LSTM  and  BiLSTM  Method,”    vol. 4  no 2, 170-178. 2023.
[3] D.  Darwis,  N.  Siskawati,  dan  Z.  Abidin, “PENERAPAN  ALGORITMA  NAIVE
BAYES  UNTUK  ANALISIS  SENTIMEN REVIEW DATA TWITTER BMKG
NASIONAL,” J. Tekno Kompak , vol. 15, no.
1, hlm. 131, Feb 2021, doi:
10.33365/jtk.v15i1.744.
[4] E.  Subowo,  F.  A.  Artanto,  I.  Putri,  dan  W. Umaedi,  “BLTSM  untuk  analisis  sentimen berbasis  aspek  pada  aplikasi  belanja  online dengan cicilan,” Jurnal Fasilkom,vol 7, no. 2, Agu 2022.
[5] A.  Radjavani  dan  T.  Bayu  Sasongko, “Analisa Perbandingan  Algoritma CNN dan LSTM untuk Klasifikasi
Pesan
Cyberbullying  pada  Twitter,” Indones.  J. Comput. Sci. , vol. 12, no. 4, Agu 2023, doi:
10.33022/ijcs.v12i4.3287.
[6] M.  Ridwan  dan  A.  Muzakir,  “HATE
SPEECH  CLASSIFICATION  MODEL  ON TWITTER  DATA  USING  CNN-LSTM,” TEKNOMATIKA,
Vol.12,
No.02,
September  2022  P-ISSN  :  2087-9571,  E- ISSN : 2541-335X IJCCS, Vol [7] V. B. Lestari dan E, U, Hanafi, “Lestari and Utami - Combining Bi-LSTM And Word2vec  Embedding  For  Senti.”  Vol.  13, No. 1, Ed. 2024
[8] J.  A.  Pakpahan,  Y.  C.  Panjaitan,  J.  Amalia, dan  M.  B.  Pakpahan,  “Model  Klasifikasi Berita  Palsu  Menggunakan  Bidirectional LSTM  dan  Word2vec  sebagai  Vektorisasi,”
JATISI J. Tek. Inform. Dan Sist. Inf. , vol. 9, no.  4,  hlm.  3319–3331,  Des  2022,  doi: 10.35957/jatisi.v9i4.1332.
[9] A. Muzakir dan U. Suriani, “Model Deteksi Berita  Palsu  Menggunakan  Pendekatan Bidirectional  Long  Short-Term  Memory (BiLSTM),” vol. 4, no. 2, 2023.
[10] R.  Z.  Insani,  C.  Setianingsih,  dan  T.  W. Purboyo,  “Analisis  Sentimen  Komentar Berdasarkan  Geo  Tagged  Menggunakan Algoritma  Bilstm,”  Vol.10,  No.1  Februari 2023 |
[11] S. Mutmainah, D. H. Fudholi, dan S. Hidayat, “Analisis  Sentimen  dan  Pemodelan  Topik Aplikasi  Telemedicine  Pada  Google  Play Menggunakan  BiLSTM  dan  LDA,”  vol.  7,
2023.
[12] A.  P.  Hesaputra  dan  D.  H.  Fudholi, “Klasifikasi  Pelanggaran  Undang-Undang ITE  pada  Twitter  Menggunakan  LSTM  dan BiLSTM”.
[13] M.  R.  F.  Kamarula  dan  N.  Rochmawati, “Perbandingan  CNN  dan  Bi-LSTM  pada Analisis  Sentimen  dan  Emosi  Masyarakat Indonesia  Di  Media  Sosial  Twitter  Selama Pandemik  Covid-19  yang  Menggunakan Metode Word2vec,” J. Inform. Comput. Sci. JINACS ,  hlm.  219–228,  Nov  2022,  doi:
10.26740/jinacs.v4n02.p219-228. [14] “Analisis Sentimen Opini Publik Menggunakan Metode BiLSTM Pada Media Sosial  Twitter,”  semiotika,  Vol.2,  No.  1, (2023)
[15] R.  W.  Pratiwi,  Y.  Sari,  dan  Y.  Suyanto, “Attention-Based  BiLSTM  for  Negation Handling  in  Sentimen  Analysis,” IJCCS Indones.  J.  Comput.  Cybern.  Syst. ,  vol.  14, no. 4, hlm. 397, Okt 2020, doi: 10.22146/ijccs.60733.