## JEPIN
(Jurnal Edukasi dan Penelitian Informatika)
ISSN(e): 2548-9364 / ISSN(p) : 2460-0741
Vol. 9 No. 2 Agustus 2023

## Penerapan Seleksi Fitur Particle Swarm
Optimization pada Klasifikasi Teks (Studi Kasus: Komentar Cyberbullying Instagram)
Nadya Lestari #1 , Tursina #2 , Enda Esyudha Pratama #3
# Program Studi Informatika, Fakultas Teknik, Universitas Tanjungpura Jl. Prof. H. Dr. Hadari Nawawi, Kota Pontianak, 78115
1 lestarinadya49@student.untan.ac.id
2 tursina@informatika.untan.ac.id
3 enda@informatika.untan.ac.id
Abstrak—  Dunia  saat  ini  sedang  berada  di  era  Big  Data, dimana  sejumlah  besar  data  berdimensi  tinggi  tersebar  di berbagai  domain,  seperti  media  sosial,  layanan  kesehatan, bio-informatika,  dan  pendidikan  online.  Big  Data  adalah salah  satu  teknik  pembelajaran  mesin  dan  menjadi  alat penting yang populer dalam bisnis, sehingga pengelolaan Big Data yang efektif menjadi hal yang sangat penting. Salah satu topik  yang  menarik  untuk  diteliti  dalam  kajian  Big  Data khususnya  text  mining  ialah  cyberbullying  Instagram. Beberapa teknik yang dapat digunakan untuk memecahkan masalah  text  mining  yaitu,  clustering,  klasifikasi,  outlier, asosiasi,  dan  masih  banyak  lagi.  Klasifikasi  merupakan bentuk  dasar  dari  analisis  data  yang  banyak  diterapkan diberbagai  bidang.  Penelitian  ini  membangun  model klasifikasi  menggunakan  algoritma  Logistic  Regression dengan  penambahan  proses  seleksi  fitur  menggunakan algoritma Particle Swarm Optimization sebagai tahapan yang berada  sebelum  proses  pelatihan  model  regresi  untuk mengklasifikasi  komentar  cyberbullying  Instagram.  Seleksi fitur  dilakukan  untuk  mempertahankan  kinerja  model klasifikasi dengan menggunakan jumlah fitur pelatihan yang lebih  sedikit.  Hasil  penelitian  menunjukkan  bahwa penambahan  seleksi  fitur  dapat  mereduksi  fitur  kata sebanyak  40%  yang  diikuti  penurunan  akurasi,  presisi,  dan AUC  masing-masing  sebesar    1,25%,  4,25%,  1,09%  serta peningkatan  nilai  recall  dan  f1-score  secara  berurut  sebesar 5,36% dan 0,57%. Penambahan Particle Swarm Optimization sebagai  seleksi  fitur  pada  kasus    disimpulkan  efektif mempertahankan  kinerja  pembelajaran  model  dilihat  dari nilai  AUC  yang  tetap  berada  pada  kategori  Good Classification saat dilatih dengan fitur kata yang lebih sedikit.
Kata kunci — seleksi fitur, Particle Swarm Optimization, klasifikasi teks, Logistic Regression, cyberbullying.

## I. P ENDAHULUAN
Big  data adalah  salah  satu  teknik  pembelajaran  mesin dan  menjadi  alat  penting  yang  populer  dalam  bisnis, sehingga  pengelolaan big  data yang  efektif  menjadi  hal yang  sangat  penting  [1].  Salah  satu  topik  yang  menarik untuk diteliti dalam kajian big data khususnya text mining
ialah cyberbullying Instagram. Menurut [2], cyberbullying merupakan  topik  penelitian  yang  menarik  dilihat  dari banyaknya jumlah penelitian dalam kajian text mining yang telah  dilakukan  dengan  mengangkat  topik  tersebut. Beberapa teknik yang dapat digunakan untuk memecahkan masalah  text  mining  yaitu, clustering ,  klasifikasi,  outlier, asosiasi, dan masih banyak lagi.
Klasifikasi  merupakan  bentuk  dasar  dari  analisis  data yang  banyak  diterapkan  diberbagai  bidang.  Ada  banyak algoritma  yang  dapat  dikembangkan  untuk  klasifikasi misalnya Naive  Bayes , Decision  Tree , Support  Vector Machine , Logistic  Regression , Neural  Network , Deep Belief Network , dan algoritma klasifikasi lainnya.
Penelitian  terkait  klasifikasi  oleh  [3],  penelitian membandingkan kinerja algoritma Logistic Regression dan Naive  Bayes pada  klasifikasi  biner  spam  sms,  hasil penelitian  menunjukkan  bahwa Logistic  Regression lebih baik  dalam  menangani  kasus  tersebut  dibanding Naive Bayes .  Ada  juga  penelitian  [4]  yang  menyatakan  bahwa Logistic  Regression berkerja  lebih  efektif  daripada  SGD Classifier (SGD)  dan  LGBM Classifier (LGM). Keunggulan Logistic  Regression dibandingkan  algoritma lain  ialah  kemampuannya  dalam  membangun  sebuah model prediksi dengan pilihan biner [5].
Penelitian  tentang  deteksi cyberbullying sebelumnya pernah  dilakukan  oleh  [6],  penelitian  ini  membangun aplikasi  pendeteksi  komentar cyberbullying Instagram menggunakan  metode Naive  Bayes dengan  nilai  akurasi sebesar  98,5%.  Penelitian  lain  mengenai cyberbullying Instagram  dilakukan  oleh  [7]  menggunakan  algoritma Logistic  Regression dan  menghasilkan  akurasi  paling optimal sebesar 75%.
Penelitian  lain  terkait  deteksi cyberbullying dilakukan oleh  [8]  menggunakan Support  Vector  Machine ,  pada penelitian ini dilakukan penambahan seleksi fitur Particle Swarm  Optimization untuk  mereduksi  jumlah  fitur pelatihan, hasilnya dari penelitian ini menunjukkan bahwa kombinasi  algoritma  klasifikasi  dan  seleksi  fitur  dapat
mempertahankan
kinerja mesin pembelajaran menggunakan fitur pelatihan yang lebih sedikit. Klasifikasi dengan  seleksi  fitur  melakukan  pelatihan  model menggunakan  subset  terpilih  berdasarkan  hasil  seleksi. Menurut  [9],  penambahan  seleksi  fitur  bisa  memberikan hasil  mendekati  atau  bahkan  meningkatkan  kinerja pembelajaran. Beberapa algoritma seleksi fitur yang telah dikembangkan diantaranya Information Gain, Chi Square , Genetic  Algorithm , Particle  Swarm  Optimization ,  dan N- Gram .
Penelitian lain terkait seleksi fitur pernah dilakukan oleh [10],  hasil  penelitian  menyatakan  bahwa  metode  seleksi fitur Particle Swarm Optimization (PSO) memberikan hasil yang paling optimal saat dikombinasikan dengan algoritma klasifikasi dibandingkan seleksi fitur N-Gram , Chi Square , dan Information Gain . Particle Swarm Optimization adalah algortima  optimasi  yang  diadaptasi  dari  cari  kawanan burung terbang serta kawanan ikan yang bergerombol dan diperkenalkan  pertama  kali  oleh  [11].  Keunggulan  dari Particle  Swarm  Optimization (PSO)    adalah  penerapan yang sangat sederhana dengan sedikit parameter [12].
Berdasarkan  latar  belakang  yang  telah  diuraikan  maka dalam  penelitian  ini  akan  dilakukan  klasifikasi  komentar cyberbullying Instagram menggunakan algoritma Logistic Regression dengan penambahan Particle Swarm Optimization sebagai seleksi fitur.

## II. M ETODOLOGI P ENELITIAN
Tahapan-tahapan  penelitian  yang  dilakukan  serta ringkasan penjelasannya dapat dilihat pada Gambar 1 dan Tabel I.
Gambar 1 . Alur Penelitian
TABEL I HASIL VALIDASI DAN PENGUJIAN SKENARIO 1 Tahapan Penelitian Kegiatan Pengumpulan data Dilakukan dengan teknik scrapping terhadap komentar Instagram menggunakan phantombooster.com Preprocessing Melakukan penghilangan terhadap karakter yang kurang relevan dengan proses klasifikasi teks Pelabelan Pelabelan dilakukan secara manual dengan sistem voting dengan bantuan tiga orang responden Pembobotan TF- IDF Pembobotan dilakukan menggunakan metode TF-IDF Pelatihan Logistic Regression Membangun pemodelan klasifikasi Logistic Regression dengan dan tanpa seleksi fitur Particle Swarm Optimization 10- Fold Cross Validation Melakukan Cross Validation K=10 untuk melihat persebaran data Evaluasi Evaluasi menggunakan confussion matrix

## A. Pengumpulan Data
Pengumpulan data dilakukan secara scrapping pada lima akun public figur yaitu @amandamanopo, @najwashihab,
@smindrawati, @zinidinzidan_real, dan @cimoynuraini_wjy menggunakan tools phantombooster.com. B. Preprocessing
Preprocessing mengubah  data  mentah  ( raw )  menjadi data  yang  lebih  bersih  melalui  dua  tahapan  yaitu case folding  dan  filtering . Case  folding akan  merubah  setiap huruf  pada raw menjadi  kecil.  Pada  tahap filtering dilakukan  tahap  penghapusan term berupa  alamat url , mention , link , hashtag ,  karakter byte ,  angka,  tanda  baca, karakter bukan huruf dan kelebihan jarak spasi.
C. Pelabelan
Pelabelan  dilakukan  berdasarkan  suara  terbanyak ( voting )  dengan  tiga  orang  responden  yang  merupakan pengguna aktif Instagram. Kalimat cyberbullying merujuk yaitu kalimat yang berisi komentar kasar, ancaman, hinaan, fitnah  dan  pelecehan  [2].  Kalimat  yang  tidak  termasuk cyberbullying didefinisikan  sebagai  non- cyberbullying . Kalimat cyberbullying akan dilabel dengan “1” dan kalimat non- cyberbullying dilabel dengan “0”.

## D. Pembobotan TF-IDF
Pembobotan  mengubah  data  yang  semula  berupa  teks menjadi bentuk fitur numerik agar dapat diolah pada tahap selanjutnya. Pembobotan pada penelitian ini menggunakan TF-IDF  murni. Term  Frequency (TF)  ialah  jumlah kemunculan  setiap  kata  (term)  dalam  sebuah  dokumen. Inverse  Document  Frequency (IDF)  adalah  jumlah
kemunculan  term  di  dalam  semua  kumpulan  dokumen. Nilai  IDF  dan Term  Weighting .  TF-IDF  dapat  dihitung menggunakan bentuk Persamaan 1 dan 2.
(1) (2)

## E. Skenario Pengujian
Pengujian  dilakukan  berdasarkan  skenario  pengujian. Pada  setiap  skenario  pengujian  akan  dilakukan  evaluasi menggunakan confussion  matrix .  Ada  dua  skenario  yang digunakan pada penelitian yaitu
• Skenario  pengujian  pertama  melakukan  klasifikasi
Logistic Regression tanpa seleksi fitur, pada skenario ini  juga  dilakukan  pengujian  menggunakan  split menggunakan  perbandingan  90:10,  80:20,  70:30, 60:40,  dan  50:50  seperti  yang  dilakukan  oleh  [13]. Metode  evaluasi  dengan  nilai  akurasi  terbaik  akan digunakan pada skenario pengujian kedua.
• Skenario  pengujian  kedua  melakukan  klasifikasi menggunakan Logistic Regression dengan penambahan  seleksi  fitur  PSO.  Komposisi  split menggunakan  komposisi  dengan  hasil  terbaik  pada skenario pengujian pertama. Pada skenario pengujian kedua  dilakukan  iterasi  PSO  menggunakan  jumlah partikel  5,  10,  15,  25,  50,  dan  100  dengan  masing- masing sebanyak lima kali pengulangan [14].
1) Logistic Regression: Cara kerja Logistic Regression biner secara sederhana dapat diterapkan dengan langkah sebagai berikut:
a) Mendefinisikan X dan y, X merupakan nilai kalimat (x) yang telah melewati tahap TF-IDF dan berlaku sebagai variabel predictor (independen), y merupakan variabel respons (dependen) merupakan label dari X yang harus bernilai 0 atau 1.
b) Hitung nilai logit (Y) menggunakan persamaan 3.
Y=b0+b1*X1+b2*X2 + bn * Xn                   (3)
c) Menghitung  probabilitas  prediksi  (P(X))  peristiwa positif  (y=1)  menggunakan  fungsi  logistik  atau sigmoid (lihat persamaan 4)
P(X)=(exp(logit)/(1+exp(logit))                     (4)
d) Menentukan  koefisien  dalam  model  dengan menggunakan metode Maximum Likelihood Estimation  (MLE).  Rumus  untuk  log-likelihood dalam  konteks  Logistik  Regression  biner  adalah sebagai berikut:
LL  =  Σ  [  yi  *  log(P(Xi))  +  (1-Yi)  *  log(1  -  P(Xi))] (5)
Keterangan:
• b0,  b1,  b2,  ...,  bn  adalah  koefisien  yang  akan diestimasi dalam model.
• LL adalah log-likelihood.
• Σ  menunjukkan  operasi  penjumlahan  yang dilakukan untuk semua observasi dalam sampel data.
• yi adalah variabel respons atau variabel target untuk observasi ke-i.
• P(Xi) adalah probabilitas prediksi bahwa observasi ke-i  akan  termasuk  dalam  kategori  y  =  1 ( cyberbullying ).
• log()  adalah  fungsi  logaritma  natural  (logaritma basis e), e adalah bilangan Eular yang setara dengan 2.71828183.
2) Logistic  Regression  +  PSO: Penerapan  PSO menggunakan library dari pyswarm yaitu discrete.BinaryPSO.  Nilai  parameter  yang  digunakan merupakan nilai default dari library, C1 = 0.5, C2 = 0.5, w = 2, iter = 10, k = 3, dan p = 2. Adapun tahapan PSO secara dapat  diterapkan  sebagai  berikut  (lihat  Gambar  2).  Input pada  PSO  ialah matrix fitur  yang  didapatkan  dari  tahap pembobotan TF-IDF.

## Gambar. 2 Flowchart PSO
a) Inisialisasi  posisi  dan  kecepatan  partikel.  Masing- masing merupakan matrix berukuran m*n. m adalah jumlah  partikel  (ditetapkan  di  awal),.  n  adalah jumlah fitur yang dihasilkan dari proses pembobotan.  Posisi  diinisialisasi  secara  acak menggunakan  bilangan  biner  yaitu  0  atau  1,  fitur- fitur  dengan  nilai  posisi  1  merupakan  fitur  yang digunakan  pada  perhitungan fitness tiap  partikel ( candidate ).  Kecepatan  partikel  diinisialisasikan secara  acak  menggunakan  bilangan  desimal  pada rentang diantara 0 dan 1.
𝐼𝐷𝐹 𝑗 = 𝑙𝑜𝑔⁡ ( 𝐷 𝑑𝑓 𝑗 )
b) Menghitung fitness menggunakan  persamaan  6 (Vieira et al., 2013).
Fitness = α(1-P) + (1-α) (1-Nf/Nt)                    (6)
c) Menentukan nilai pbest dan gbest , Pbest adalah nilai fitness terbaik dari suatu partikel pada semua iterasi yang  telah  dilakukan. Gbest adalah  nilai fitness terbaik dari semua partikel pada semua iterasi yang telah  dilakukan.  Pada  iterasi  pertama,  nilai fitness dari  setiap  partikel  akan  dijadikan  sebagai  pbest setiap  partikel,  kemudian  nilai pbest tertinggi  dari semua partikel akan dijadikan sebagai gbest .
d) Menentukan pbest baru.  Jika fitness candidate kurang  dari pbest, selanjutnya fitness candidate menjadi pbest baru
e) Menentukan pbest dan gbest baru.  Jika  nilai pbest kurang dari gbest maka pbest menjadi nilai gbest .
f) Memperbarui  nilai  kecepatan  (lihat  persamaan  7) dan  posisi  partikel  (lihat  persamaan  8  dan persamaan 9) untuk iterasi selanjutnya
V (is) =  w*V (is) +  c 1 * rand ()  *  ( pbest (i) –  x (is) +  c 2 * rand ()( gbest –x (is) )                                            (7)
S (s) = 1/(1+e vis )                                                   (8)
If ( rand () < S(V is )) then X is = 1 else X is = 0                                                         (9)
Keterangan:
• v_((i)) = kecepatan partikel
• x_((i)) = posisi partikel saat ini
• w = berat inertia
• c_1, c_2    = koefisien akselerasi
• rand() = bilangan acak dengan rentang 0 hingga 1
• Pbest = posisi personal best saat ini
• Gbest = posisi global best saat ini
• e = bilangan Eular setara dengan 2.71828183.
g) Kembali ke langkah 2 menggunakan nilai posisi dan kecepatan  yang  baru  hingga  iterasi  mencapai maksimum.
Keluaran dari seleksi fitur PSO ini adalah fitur-fitur dari partikel  dengan  nilai fitness terbaik.  Fitur-fitur  ini kemudian digunakan untuk melakukan klasifikasi Logistic Regression .

## F. Evaluasi
Evaluasi dilakukan menggunakan confusion matrix serta classification report untuk menampilkan hasil perhitungannya.  Tolak  ukur  yang  digunakan  pada  tahap evaluasi adalah akurasi, presisi, recall , f1 - score , dan skor AUC.
Akurasi  = 𝑇𝑃+𝑇𝑁 𝑃+𝑁 (10)
Recall =TP rate = 𝑇𝑃 𝑇𝑃+𝐹𝑁 (11)
Presisi   = 𝑇𝑃 𝑇𝑃+𝐹𝑃 (12)
F1-Score = (2(Presisi * Recall)/(Presisi + Recall))    (13)
False Positive Rate = FP rate = 𝐹𝑃 𝑇𝑁+𝐹𝑃 x 100% ...... . (14)
AUC = 1+TP rate − FP rate 2 (15)

## III. H ASIL D AN P EMBAHASAN
Berikut  merupakan  uraian  hasil  dan  pembahasan  dari tiap tahap penelitian yang telah dilakukan.

## A. Hasil Pengumpulan Data
Pengumpulan  data  secara scrapping menggunakan phantombooster.com menghasilkan 34.476 baris raw data (lihat  Gambar  3),  hasil  scrapping  kemudian  disimpan  ke dalam file excel.
Gambar. 3 Sampel Kalimat Hasil Scrapping
Gambar. 4 Perubahan Kalimat pada Tahap Preprocessing

## B. Hasil Preprocessing
34.476 baris data hasil scrapping sebelumnya dijadikan sebagai  masukan  pada  tahap preprocessing .  Setelah
dilakukan preprocessing jumlah  baris  pada  dataset menjadi 19.443 karena adanya kalimat yang hanya berupa tag  akun  dan emoticon sehingga  komentar-komentar tersebut hilang pada saat preprocessing . Perubahan kalimat pada tahap preprocessing dapat dilihat pada Gambar 4.

## C. Pelabelan Manual
Pelabelan  dilakukan  menggunakan  teknik voting terhadap  tiap  kalimat  dalam  dataset  dan  melibatkan  tiga orang relawan, pelabelan menghasilkan 2110 data berlabel bully dan  16.456  data  berlabel  bukan bully .  Untuk mencapai keseimbangan data maka selanjutnya penelitian menggunakan masing-masing 2000 baris data untuk setiap labelnya (lihat Tabel II).

## TABEL II
PERSEBARAN LABEL Label Jumlah Kalimat Cyberbullying (1) 2000. Non-cyberbullying (0) 2000

## D. Pembobotan TF-IDF
Proses  TF-IDF  pada  seluruh  data  menggunakan Tfidfvectorizer menghasilkan fitur sebanyak 8226 fitur.
Gambar. 5 Fitur Kata

## Gambar. 6 Hasil Pembobotan TF-IDF
1) Indeks  Dokumen: Indeks  dokumen  merupakan representasi  indeks kalimat pada corpus ( dataset ), contoh angka  0  adalah  representasi  kalimat  pertama  dari  corpus, angka 1 adalah representasi kalimat kedua dari corpus dan seterusnya.
2) Indeks Fitur: Indeks kata merupakan representasi indeks dari fitur ( feature names ) yang dihasilkan dari bag of  words .  Contohnya  Indeks  dokumen  1  memiliki  indeks
fitur  2630  dan  0  mengartikan  kalimat  pada  indeks  ke-1 mengandung fitur dengan indeks 2630 dan 0.
3) Skor TF-IDF: Skor TF-IDF merupakan representasi  dari  bobot  setiap  IDF,  yang  merupakan  hasil kalkulasi dari tfidfvectorizer.

## E. Hasil Pengujian Skenario Pertama
Tabel  III  adalah  hasil  pengujian  metode  evaluasi skenario pertama.
TABEL III H ASIL SKENARIO PENGUJIAN PERTAMA Split Data Akurasi 90:10 85,50 % 80:20 84,25 % 70:30 82,92 % 60:40 81,56 % 50:50 83,28 % Akurasi Terbaik 85,50%
Berdasarkan hasil pengujian menggunakan split data,  split  90:10  menghasilkan  model  dengan  akurasi terbaik yaitu 85,50 % sehingga split 90:10 akan digunakan pada skenario pengujian kedua.

## F. Hasil Pengujian Skenario Kedua
Tabel  IV  merupakan  hasil  pengujian  pada  skenario kedua.
TABEL IV HASIL SKENARIO PENGUJIAN KEDUA Jumlah Partikel Perulangan ke-i Jumlah Fitur Skor AUC 10 1 4950 82,13 % 10 2 4984 80,98 % 10 3 4962 80,02 % 10 4 5022 75,57 % 10 5 5080 78,06 % Rata-Rata AUC Partikel 10 79,35% 15 1 5005 79,22 % 15 2 5066 83,26 % 15 3 5025 80,60 % 15 4 4970 81,42 % 15 5 5143 84,29 % Rata-Rata AUC Partikel 15 81,76% 25 1 4962 80,72 % 25 2 5013 79,51 % 25 3 5019 77,08 % 25 4 5002 80,93 % 25 5 4979 82,77 % Rata-Rata AUC Partikel 25 80,20% 50 1 5050 80,03 % 50 2 5048 76,96 % 50 3 5025 78,96 % 50 4 4957 78,51 % 50 5 5042 80,22 % Rata-Rata AUC Partikel 50 78,94% 100 1 5027 82,17 % 100 2 5021 77,83 %
Jumlah Partikel Perulangan ke-i Jumlah Fitur Skor AUC 100 3 5074 79,34 % 100 4 5008 80,56 % 100 5 5000 80,86 % Rata-Rata AUC partikel 100 80,15% Rata-Rata AUC Terbaik 81,76 % Skor AUC Terbaik 84,29 %
Tabel IV menunjukkan perubahan skor AUC dan jumlah fitur yang dihasilkan pada skenario pengujian kedua. Nilai rata-rata AUC pada pengujian dengan 10 partikel sebesar 79,35%,  jumlah  partikel  15  sebesar  81,76  %,  jumlah partikel  25  sebesar  80,20%,  jumlah  partikel  50  sebesar 78,94%, dan jumlah partikel 100 sebesar 80,15%.
Model  LR+PSO  menghasilkan  rata-rata  AUC  terbaik sebesar  81,76  %,  saat  iterasi  menggunakan  15  partikel. Subset  terbaik  kemudian  diambil  berdasarkan  skor  AUC terbaik  dari  iterasi  menggunakan15  partikel  karena menghasilkan rata-rata AUC paling baik.

## G. Hasil Pengujian Skenario Kedua
Jumlah  fitur  yang  mampu  direduksi  PSO  pada  25 percobaan  yang  telah  dilakukan  berada  di  rentang  4950 hingga  5143  fitur  dari  total  keseluruhan  yaitu  8226  fitur. Model terbaik pada skenario pengujian kedua menghasilkan Skor AUC sebesar 84,29 % dengan jumlah fitur sebanyak 5143 pada percobaan dengan jumlah partikel 15.
TABEL V RATA - RATA PERULANGAN AUC TIAP PARTIKEL
Jumlah Partikel Rata-rata AUC 10 79,35% 15 81,76% 25 80,20% 50 78,94% 100 80,15% Rata-rata terbaik 81,76%

## H. Hasil Validasi
Tabel  VI  memberikan  hasil  10- Cross  Validation pada model  terpilih  dari  tiap-tiap  skenario  pengujian. Berdasarkan  tabel  tersebut  model Logistic  Regression tanpa  seleksi  fitur  menghasilkan  skor  validasi  sebesar 80,25 % dengan standar deviasi sebesar 4,25 %, sementara model Logistic Regression +PSO memberikan skor validasi sebesar 77,91 % dengan standar deviasi sebesar 2,47%.
TABEL VI
HASIL 10- CROSS VALIDATION
C_val ke Akurasi C_val Logistic Regression Logistic Regression+PSO 1 78,25 % 80,83 % 2 80,75 % 75,00 % 3 78,25 % 74,72 % 4 82,75 % 80,83 % 5 79,50 % 81,11 %
C_val ke Akurasi C_val Logistic Regression Logistic Regression+PSO 6 88,25 % 79,17 % 7 80,50 % 77,50 % 8 82,50 % 74,44 % 9 70,50 % 76,94 % 10 81,25 % 78,55 % Akurasi Rata-Rata 80,25 % 77,91 % Standar Deviasi 4,25 % 2,47 %

## I. Hasil Evaluasi
Evaluasi dilakukan terhadap model terbaik dari masing- masing skenario pengujian.
TABEL VII CONFUSSION MATRIX MODEL L OGISTIC R EGRESSION Aktual Prediksi Non-Cyberbullying Cyberbullying Non- Cyberbullying 184 22 Cyberbullying 36 158
Tabel  VII  adalah confussion  matrix dari  model  terbaik pada  skenario  pengujian  pertama.  Model  berhasil melakukan  klasifikasi  dengan  jumlah  prediksi  benar sebanyak 343 dari 400 data uji. Model skenario pengujian pertama  memberikan  hasil  yang  lebih  baik  untuk memprediksi  data  yang  bukan cyberbullying yaitu sebanyak  184  prediksi  benar  dan  22  prediksi  salah  dan untuk data cyberbullying yaitu sebanyak 158 prediksi benar dan 36 prediksi salah.
Gambar. 7 Classification Report Logistic Regression
Hasil classification  report dari  skenario  pengujian pertama  (lihat  Gambar  7)  menunjukkan  bahwa  kelas cyberbullying (label  1)  memiliki  nilai  presisi  lebih  tinggi dari kelas non-cyberbullying (label 0) namun memiliki nilai yang lebih rendah pada recall dan f1-score.
TABEL VIII CONFUSSION MATRIX MODEL L OGISTIC R EGRESSION + PSO Aktual Prediksi Bukan Cyberbullying Cyberbullying Bukan Cyberbullying 166 37 Cyberbullying 26 171
Tabel VIII adalah confussion matrix dari model terbaik pada skenario pengujian kedua dengan 337 prediksi benar dan  63  prediksi  salah.  Berbeda  dari  model  pada  skenario pengujian pertama, pada skenario kedua model melakukan
klasifikasi  dengan  lebih  baik  pada  data cyberbullying daripada yang non-cyberbullying . Model memprediksi data yang non-cyberbullying yaitu sebanyak 166 prediksi benar dan  37  prediksi  salah  dan  untuk  data cyberbullying sebanyak 171 prediksi benar dan 26 prediksi salah.
Gambar. 8 Classification Report Logistic Regression +PSO
Classification report model Logistic Regression dengan seleksi fitur PSO menunjukkan bahwa kelas cyberbullying (1)  memiliki  nilai  presisi  yang  lebih  rendah  dari  kelas bukan cyberbullying (0) namun memiliki nilai yang lebih tinggi pada recall.

## J. Analisis
Berbeda  dari  penelitian  sebelumnya  [15]    yang menunjukkan peningkatan nilai evaluasi setiap penambahan  jumlah  partikel  sebanyak  lima,  grafik  pada Tabel IV menunjukkan bahwa penambahan jumlah partikel PSO  tidak  berbanding  lurus  dengan  peningkatan  kinerja model.
TABEL IX PERBANDINGAN JUMLAH TUPLE Tuple Logistic Regression Logistic Regression+PSO True Positif (TP) 158 171 True Negatif (TN) 184 166 False Positif (FP) 22 37 False Negatif (FN) 36 26
Tabel  IX  menggambarkan  perubahan  jumlah tuple confussion matrix yaity True Positif yaitu komentar yang posiitif  mengandung cyberbullying dan  diklasifikasikan dengan  benar  sebagai cyberbullying , True  Negatif yaitu komentar non  cyberbullying yang  benar  diklasifikasikan sebagai non  cyberbullying , False  Positif yaitu  komentar non  cyberbullying yang  salah  diklasifikasikan  sebagai cyberbullying , False  Negatif yaitu  komentar non cyberbullying yang salah diklasifikasikan sebagai cyberbullying .  Berdasarkan  tabel  tersebut  dapat  diketahui bahwa  seleksi  fitur  meningkatkan  kemampuan  model untuk mengklasifikasi teks cyberbullying namun menurunkan kemampuan model mengklasifikasi teks non cyberbullying dilihat  dari  nilai True  Positif dan False Positif yang  meningkat  namun True  Negatif dan False Negatif menurun.
Tabel  X  merupakan  hasil  perbandingan  validasi  dan evaluasi confussion matrix dari model Logistic Regression tanpa dan dengan seleksi fitur PSO.
TABEL X P ERBANDINGAN HASIL VALIDASI DAN EVALUASI Tolak Ukur Model
Selisih (a -b) LR (a) LR+PSO (b) Jumlah Fitur 8226 5143 - 3083 Skor Cross Validation 80,25 % 77,91 % -2,34 % Standar Deviasi ( Cross Validation ) 4,25 % 2,47 % -1,7 8% Akurasi 85,50 % 84,25 % - 1,25 % Presisi 86,46 % 82,21 % - 4,25 % Recall 81,44 % 86,80 % + 5,36 % F1-Score 83,87 % 84,44 % + 0,57 % Skor AUC 85,38 % 84,29 % - 1,09 %
Berdasarkan  Tabel  IV  penambahan  seleksi  fitur  dapat mereduksi  fitur  sekitar  40%  dari  total  keseluruhan. Menurut  Tabel  VI  kedua  model  yang  dibandingkan memiliki  kinerja  yang  cukup  baik  dilihat  dari  skor Cross Validation yang tidak terlalu jauh dari akurasi hasil uji lain menggunakan Split 90:10. Model klasifikasi tanpa seleksi fitur  memiliki  skor Cross  Validation dan  standar  deviasi yang lebih tinggi dibandingkan model dengan seleksi fitur PSO  yang  memiliki  skor Cross  Validation dan  standar deviasi  yang  lebih  rendah  (Tabel  VI  dan  Tabel  X).  Skor Cross  Validation tinggi  dan  standar  deviasi  tinggi mengindikasikan bahwa model tanpa seleksi fitur bekerja lebih baik pada saat menangani data tertentu namun sensitif terhadap variasi data, sebaliknya standar deviasi yang lebih kecil  pada  model  dengan  seleksi  fitur  mengindikasikan bahwa  bahwa  model  klasifikasi  tersebut  menjadi  lebih konsisten atau lebih stabil walaupun skor Cross Validation - nya lebih kecil, sehingga mampu menciptakan model yang lebih  general  [16].  Penurunan  standar  deviasi  juga  dapat diartikan  bahwa  seleksi  fitur  mengubah  variasi  data menjadi lebih kecil dan cenderung menjadi lebih seragam atau homogen.
Tabel X menunjukkan bahwa model klasifikasi setelah dilakukan  seleksi  fitur  menggunakan  PSO  mengalami penurunan  akurasi,  presisi,  dan  AUC  masing-masing sebesar  1,25  %,  4,25  %,  dan  1,09  %  namun  mengalami peningkatan pada nilai recall dan f1-score masing-masing sebesar 5,36 % dan 0,57 % setelah dilakukan seleksi fitur PSO. Penurunan akurasi, presisi, dan skor AUC merupakan pengaruh  yang  disebabkan  oleh  turunnya  jumlah True Negatif dan False Negatif akibat pemilihan fitur. Peningkatan  nilai recall disebabkan  oleh  peningkatan informasi relevan [17] sebagai akibat dari hilangnya fitur- fitur  yang  tidak  relevan  serta noise di  dalam  data  yang diungkapkan oleh sehingga model dapat lebih fokus pada fitur  terpilih  dan  mengklasifikasi  secara  lebih  akurat  [8]. Menurut [8], [18] model dengan recall (sensitivitas) yang lebih besar dapat mengklasifikasi komentar cyberbullying dengan lebih baik daripada model dengan nilai recall yang lebih  kecil . Selain  recall f1-score juga  menunjukkan peningkatan  saat  dilatih  menggunakan  fitur  yang  lebih sedikit,  hal  ini  terjadi  karena  nilai  recall  yang  meningkat cukup  banyak  sehingga  ikut  meningkatkan  nilai f1-score .
Pada saat kasus False Positif dan False Negatif model tidak seimbang f1-score harus  lebih  dipertimbangkan  daripada akurasi,  dan  setelah f1-score , recall harus  lebih dipertimbangkan  daripada  presisi  karena  model  yang dibuat sebisa mungkin ingin menghindari False Negatif [19] dimana  model  gagal  mengenali  sebuah  komentar cyberbullying dan  mengelompokkannya  sebagai non cyberbullying .  Berdasarkan  hasil  analisis  model  terbaik dari penelitian ini adalah model klasifikasi dengan seleksi fitur  PSO  pada  iterasi  dengan  jumlah  partikel  15  karena menghasilkan f1-score dan recall paling baik dan memiliki akurasi,  presisi,  dan  AUC  cukup  baik  walaupun  lebih rendah sedikit daripada yang dilatih dengan seluruh fitur.

## IV. K ESIMPULAN
Hasil  penelitian  menunjukkan  bahwa  penambahan seleksi  fitur  dapat  mereduksi  fitur  kata  sebanyak  40%. Penerapan seleksi fitur PSO meningkatkan True Positif dan False  Positif sehingga  meningkatkan  nilai recall dan f1- score sebesar 5,36% dan 0,57%, namun menurunkan True Negatif dan False  Negatif yang  berpengaruh  pada penurunan  akurasi,  presisi,  dan  AUC  masing-masing sebesar    1,25%,  4,25%,  1,09%.  Penambahan  seleksi  fitur PSO  juga  bisa  membangun  model  menjadi  lebih  general dan  stabil  dilihat  dari  adanya  penurunan  standar  deviasi. Penerapan Particle  Swarm  Optimization sebagai  seleksi fitur  pada  kasus    komentar cyberbullying Instagram disimpulkan efektif meningkatkan kinerja model klasifikasi berdasarkan kenaikan f1-score dan recall serta nilai  AUC  yang  tetap  berada  pada  kategori Good Classification serta  akurasi  dan  presisi  yang  cukup  baik. Dalam  penelitian  ini  parameter  PSO  yang  digunakan merupakan default dari library sehingga  mungkin  PSO belum  mencapai  kinerja  terbaiknya,  penelitian  ini  juga tidak  melakukan stemming dan  normalisasi,  serta menghilangkan emoticon pada  dataset  tanpa  melakukan konversi  makna,  penelitian  selanjutnya  diharapkan  dapat melakukan  tuning hyperparameter serta  hal-hal  yang belum  dilakukan  pada  penelitian  ini  guna  menggali pengetahuan baru yang belum ditemukan.
U CAPAN T ERIMA K ASIH / A CKNOWLEDGMENT
Penulis mengucapkan terima kasih kepada seluruh pihak yang  terlibat  dalam  penulisan  dan  penerbitan  artikel  ini, semoga  apa  yang  disampaikan  dalam  tulisan  ini  bisa bermanfaat bagi pengembangan ilmu dikemudian hari.

## R EFERENSI
[1] D. Fadma Ristianti, “Komparasi Algoritma Klasifikasi pada Data Mining,” Proc. 1 st STEEEM , vol. 1, no. 1, pp. 148–156, 2019.
[2] A.  Sarwani,  R.  Sianturi,  A.  Ayu  Kustianti,  A.  Putri  Siswadi,  D. Nurmalita,  and  E.  Puspitasari,  “Teknologi  Informasi  Efektif Mendeteksi Cyberbullying,” J. Heal. Educ. Sci. Technol. , vol. 5, no. 2, pp. 151–164, Aug. 2022, doi: 10.25139/htc.v5i2.4673.
[3] F. Reviantika, Y. Azhar, G. I. Marthasari, Wicaksono, and Triyono, “Analisis  Klasifikasi  SMS  Spam  Menggunakan  Logistic Regression,” J. Sist. Cerdas , vol. 4, no. 2, pp. 37–43, 2021, [Online]. Available: https://www.cnbcindonesia.com
[4] A.  Muneer  and  S.  M.  Fati,  “A  comparative  analysis  of  machine learning techniques for cyberbullying detection on twitter,” Futur. Internet , vol. 12, no. 11, pp. 1–21, 2020, doi: 10.3390/fi12110187. [5] M.  R.  Nurhusen,  J.  Indra,  and  ...,  “Analisis  Sentimen  Pengguna Twitter  Terhadap  Kenaikan  Harga  Bahan  Bakar  Minyak  (BBM) Menggunakan Metode Logistic Regression,” J. Media … ,  vol.  7, pp. 276–282, 2023, doi: 10.30865/mib.v7i1.5491.
[6] A. S. Hutagalung, A. B. P. Negara, and E. E. Pratama, “Aplikasi Pendeteksi  Cyberbullying  Terhadap  Komentar  Postingan  Media Sosial Instagram dengan Metode Naïve Bayes Classifier Berbasis Website,” J. Sist. dan Teknol. Inf. , vol. 9, no. 3, p. 364, 2021, doi: 10.26418/justin.v9i3.44843.
[7] S. Aisyah, “Implementasi Sentiment Analysis Cyberbullying pada Instagram dengan Algoritma Logistic Regression,” 2020.
[8] D.  Fortuna,  I.  D.  Sulvianti,  and  G.  A.  Dito,  “Penerapan  Binary Particle  Swarm  Optimization Support  Vector  Machine untuk Klasifikasi Komentar Cyberbullying di Instagram,” Xplore J. Stat. , vol. 11, no. 1, pp. 59–69, Jan. 2022, doi: 10.29244/xplore.v11i1.859.
[9] G. G. S. Putra, W. Swastika, and P. L. T. Irawan, “Perbandingan Particle  Swarm  Optimization dengan  Genetic  Algorithm  dalam
Feature Selection untuk Analisis Sentimen pada Permendikbudristek  PPKS-LPT,” JEPIN  (Jurnal  Edukasi  dan Penelit. Inform. , vol. 8, no. 3, pp. 412–421, 2022.
[10]  F. Septianingrum, A. Susilo, and Y. Irawan, “Metode Seleksi Fitur Untuk Klasifikasi Sentimen Menggunakan Algoritma Naive Bayes : Sebuah  Literature  Review,”  vol.  5,  pp.  799–805,  2021,  doi: 10.30865/mib.v5i3.2983.
[11]  J. Kennedy and R. Eberhart, “ Particle Swarm Optimization PAPER -  IGNORE  FROM  REFS,” ICNN’95-international  Conf.  neural networks , pp. 1942–1948, 1995.
[12]  A.  S.  H.  Basari,  B.  Hussin,  I.  G.  P.  Ananta,  and  J.  Zeniarja, “Opinion mining of movie review using hybrid method of Support Vector  Machine and Particle  Swarm  Optimization ,”  in Procedia Engineering , 2013, vol.
53, pp. 453–462. doi:
10.1016/j.proeng.2013.02.059.
[13]  L. Efrizoni, S. Defit, M. Tajuddin, and A. Anggrawan, “Komparasi Ekstraksi  Fitur  dalam  Klasifikasi  Teks  Multilabel  Menggunakan Algoritma  Machine  Learning,” MATRIK    J.  Manajemen,  Tek. Inform. dan Rekayasa Komput. , vol. 21, no. 3, pp. 653–666, 2022, doi: 10.30812/matrik.v21i3.1851.
[14]  K. A. Hanafiah, Rancangan percobaan : teori dan aplikasi / Kemas Ali Hanafiah . Jakarta: Rajawali Press, 2010.
[15]  A. Taufik, “Optimasi Particle Swarm Optimization Sebagai Seleksi Fitur Pada Analisis Sentimen Review Hotel Berbahasa Indonesia Menggunakan Algoritma Naïve Bayes,” J. Tek. Komput. , vol. III, no. 2, 2017, [Online]. Available: http://www.tripadvisor.com [16]  M. Dash ’ and H. Liu, “Feature Selection for Classification,” 1997.
[Online]. Available: www.elsevier.comAocate/ida
[17]  I. Guyon and A. Elisseeff, “An introduction to variable and feature selection,” JMLR 3 , pp. 1157–1182, 2003.
[18]  Guruprasad,  “Catatan  tentang  Sensitivitas,  Spesifisitas,  Presisi, Recall dan skor F1.,” Analitis Vidhya , 2019.
https://medium.com/analytics-vidhya/notes-on-sensitivity- specificity-precision-recall-and-f1-score-e34204d0bb9b
[19]  R. Susetyoko, Wiratmoko Yuwono, and Elly Purwantini, “Model Klasifikasi  Pada  Seleksi  Mahasiswa  Baru  Penerima  KIP  Kuliah Menggunakan Regresi Logistik Biner,” J. Inform. Polinema , vol. 8, no. 4, pp. 31–40, 2022, doi: 10.33795/jip.v8i4.914.