Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 5 No. 4 Oktober 2023 Hal. 572-578 http://jurnal.unidha.ac.id/index.php/jteksis

## Analisis Perbandingan Metode Seleksi Fitur untuk Mendeteksi Anomali pada Dataset CIC-IDS-2018
Anne Devia a , Benfano Soewito b
a Departemen Ilmu Komputer, Magister Teknik Informatika, Universitas Bina Nusantara, anne.devia@binus.ac.id
b Departemen Ilmu Komputer, Magister Teknik Informatika, Universitas Bina Nusantara, bsoewito@binus.edu
Submitted: 30-09-2023, Reviewed: 13-10-2023, Accepted 30-10-2023 https://doi.org/10.47233/jteksis.v5i4.1069

## Abstract
The Intrusion Detection System (IDS) is one way to detect potential cyber attacks. There are several methods for detecting attacks using IDS, one of which is machine learning. However, the drawback of using machine learning-based IDS is that the quality of the data used affects the accuracy of detected attacks. Therefore, it is necessary to perform feature selection, where a subset of relevant features from the entire dataset is selected to improve accuracy and reduce computational load. In this study, the large-sized CIC-IDS-2018 dataset with 80 features is used, and feature selection methods consisting of filter,  wrapper,  and  hybrid  are  compared.  To  evaluate  the  performance  of  these  methods,  the  selected  features  are implemented into the Random Forest, XGBoost, and MLP classifier algorithms. Based on the analysis, the filter method shows a shorter execution time and high accuracy. Information Gain is found to work well for the filter method, and both Random  Forest  and  XGBoost  achieve  an  accuracy  of  99%.  However,  Random  Forest  requires  a  longer  execution  time compared to XGBoost. The analysis demonstrates that feature selection can improve performance without compromising accuracy. The ideal method identified in this study is the filter method using Information Gain and the XGBoost classifier algorithm, which offers a shorter execution time and high accuracy compared to the other methods. This method can be further explored in future research using different datasets.
Keywords: Anomaly Detection, Machine learning, Feature Selection, Filter, Wrapper, Hybrid, CIC-IDS-2018.

## Abstrak
Intrusion Detection System (IDS) merupakan salah satu untuk mendeteksi potensi adanya serangan cyber, terdapat beberapa metode IDS dalam mendeteksi serangan salah satunya dengan menggunakan machine learning . Namun kekurangan IDS berbasis machine learning adalah kualitas data yang digunakan berpengaruh terhadap serangan yang terdeteksi, oleh karena itu perlu dilakukan seleksi fitur dimana pada proses ini dilakukan pemilihan subset dari fitur yang relevan dari dataset secara keseluruhan untuk digunakan pada model sehingga dapat meningkatkan akurasi dan mengurasi beban komputasi, terlebih penelitian ini menggunakan dataset CIC-IDS-2018 yang memiliki ukuran yang besar dengan 80 jumlah fitur. Penelitian ini membandingkan metode seleksi fitur yang teridiri dari filter, wrapper dan hybrid, dimana untuk mengukur performa metode tersebut fitur yang terpilih kemudian diimplementasikan kepada algoritma classifier Random Forest, XGBoost dan MLP. Berdasarkan hasil analisis yang telah dilakukan, seleksi fitur dengan metode filter memiliki waktu eksekusi yang cenderung lebih  singkat  dan  akurasi yang  cukup  tinggi,  untuk  hasil  eksekusi  berdasarkan performa  ketiga  algoritma  classifier  yang diimplementasikan pada metode filter menggunakan Information Gain bekerja dengan baik, Random Forest dan XGBoost memiliki  akurasi  99%,  namun  perbedaanya  adalah  Random  Forest  membutuhkan  waktu  eksekusi  lebih  panjang dibandingkan dengan XGBoost.Seleksi fitur dapat meringankan performa tanpa mengurangi akurasi hal ini terbukti dengan hasil analisis yang telah dilakukan, metode yang ideal berdasarkan penelitian yang telah dilakukan adalah metode seleksi fitur  dengan  metode  filter  menggunakan  Information  Gain  dan  algoritma  classifier  XGBoost.  Metode  tersebut  memiliki waktu eksekusi yang lebih pendek dan akurasi yang tinggi jika dibandingkan dengan kedua metode yang dibandingkan pada penelitian ini, sehingga dapat digunakan untuk penelitian selanjutnya dengan menggunakan dataset lain.
Keywords: Deteksi Anomali, Machine Learning , Seleksi Fitur, Filter, Wrapper, Hybrid , CIC-IDS-2018.
This work is licensed under Creative Commons Attribution License 4.0 CC-BY International license

## PENDAHULUAN
Ketersediaan  internet  merupakan  kebutuhan vital  di  era  digital  ini,  pertumbuhan  internet  yang berkembang  dengan  semakin  pesat  telah  merubah hampir dalam segala aspek dari masyarakat modern. The International Telecommunication Union (ITU) mencatat  individu  pengguna  internet  meningkat secara signifikan setiap tahunnya, sekitar 5,3 milyar orang  didunia  atau  sebanyak  66%  dari  populasi dunia menggunakan internet pada tahun 2022.
Selain  keuntungan  yang  didapatkan  dari memanfaatkan  internet  yang  meliputi  akses informasi  yang  mudah,  teknologi  mutakhir,  dan komunikasi  yang  ditingkatkan,  terdapat  potensi bahaya yang menyertainya. Penting untuk diketahui bahwa  internet  tidak  sepenuhnya  aman  dan  dapat membuat  pengguna  terpapar  berbagai  bahaya, seperti  kejahatan  dunia  maya,  pencurian  identitas, dan  pelecehan  online.  Terlepas  dari  kegunaannya, pengguna  internet  dihimbau  untuk  berhati-hati dan mengambil  tindakan  pencegahan  yang  diperlukan
Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 5 No. 4 Oktober 2023 Hal. 572-578 http://jurnal.unidha.ac.id/index.php/jteksis
saat  menggunakan  internet.  Salah  satu  cara  untuk menghindari  terjadinya  cyber  attack  yaitu  dengan Intrusion  Detection  System (IDS).  Dengan  adanya IDS maka potensi serangan dapat teridentifikasi dan dicegah sebelum menyebabkan kerugian.
IDS  dapat  membantu  dalam  pengawasan  dan meminimalisir kerugian yang dialami ketika terjadi serangan  ataupun  masalah  keamanan.  Metode  IDS untuk  mendeteksi  serangan  pada  jaringan  dapat dibagi kedalam dua bagian yaitu:
a. Anomaly-based atau  diketahui  juga  sebagai behaviour-based karena pada model ini bekerja dengan  cara  memonitor  perilaku  pengguna, jaringan  dan  host  serta  akan  memicu  alarm sebagai  pemberitahuan  jika  terdapat  hal  yang mencurigakan
b. Signature-based atau  diketahui  juga  sebagai knowledge-based dimana  pada  model  ini terdapat  database  yang  berisi  sekumpulan serangan dan kerentanan sistem Penelitian mengimplementasikan sistem deteksi
serangan  pada  arus  lalu  lintas  jaringan  dengan menggunakan  metode  deteksi  berbasis  anomali, karena  metode  deteksi  anomali  dapat  mendeteksi serangan  yang  tidak  diketahui  sebelumnya  serta memiliki  kemampuan  adaptif  dimana  dapat mengatasi perubahan dalam pola lalu lintas jaringan.
Machine  learning mengandalkan high-quality data untuk mendeteksi anomali secara akurat. Oleh karena itu dilakukan proses proses feature selection (seleksi  fitur)  dimana  pada  proses  ini  dilakukan pemilihan subset dari fitur yang relevan dari dataset secara  keseluruhan  untuk  digunakan  pada  model.
Seleksi fitur merupakan langkah yang penting dalam proses machine  learning karena  seleksi  fitur memiliki  dampak  yang  signifikan  dalam  performa dan efisiensi dari model.
Metode  seleksi  fitur  secara  garis  besar  dapat dikelompokkan  menjadi  3  metode  yaitu filter, wrapper dan hybrid. Metode wrapper menggunakan algoritma  pembelajaran/klasifikasi  untuk  memilih fitur terbaik dengan menggunakan penilaian akurasi (error rate) sebagai umpan balik untuk mengetahui efektivitas  dari  subset  fitur.  Metode  filter menggunakan  pendekatan  pembelajaran  statistik sebagai  pengukuran  untuk  mengevaluasi  atribut secara independen
dari
algoritma pembelajaran/klasifikasi  sedangkan  metode  hybrid merupakan gabungan dari metode wrapper dan filter [1].
Dataset  publik  yang  umum  digunakan  dalam penelitian  IDS  antara  lain  adalah  KDD’99,  NSL- KDD,  UNSW-NB15,  CIC-IDS-207  dan  CSE-CIC- IDS-2018.  Pada  penelitian  ini  dataset  publik  yang digunakan  adalah  CSE-CIC-IDS-2018,  karena pengambilan  data  ini  berdasarkan  kondisi  asli  dari sebuah  jaringan  sehingga  dapat  merepresentasikan jenis  lalu  lintas  pada  umumnya.  CIC-IDS-2018
terdiri  dari  10  file  yang  merupakan  hasil  dari perekaman dan kurasi selama 10 hari dan memiliki 80 fitur. Hal ini menyebabkan ukuran file yang besar sehingga  mempengaruhi  akurasi  dan  waktu komputasi.  Penelitian  yang  dilakukan  oleh  [4] mendeteksi  serangan  DdoS  pada  dataset  CIC-IDS- 2018, hasil perbandingan performa algoritma SVM dan ANN pada dataset CIC-IDS-2018 menunjukkan hasil akurasi paling tinggi jika dibandingkan dengan dataset  lainnya  dari  penelitian  sebelumnya  seperti KDD’99, NSL-KDD dan UNSW-NB15.
Fitur yang terpilih melalui metode filter, wrapper dan  hybrid  kemudian  diimplementasikan  dengan machine learning menggunakan algoritma classifier .  Tujuan  utama  dari machine  learning dalam  deteksi  anomali  adalah  untuk  meningkatkan kinerja  sistem  dengan  mengolah  data  yang merupahan  hasil  dari  tahap  seleksi  fitur  kemudian membangun  model  sehingga  mampu  mengubah skema eksekusinya [2]
Beragam  metode  machine  learning  digunakan untuk  mengidentifikasi  anomali  pada  jaringan  dan sebagai  hasilnya  dapat  membantu  administrator dalam  mencegah  adanya  gangguan  pada  sistem. Teknik  machine  learning  secara  luas  dapat diklasifikasikan kedalam supervised dan unsupervised  tergantung  kepada  ada  atau  tidak adanya  data  berlabel  dan  apa  yang  akan diklasifikasikan  pada  dataset.  Sistem  machine learning terdiri dari beberapa layer dan mempelajari berbagai  representasi  data  dengan  beberapa tingkatan abstraksi yang termasuk dalam kelas deep learning [3]
Beberapa  penelitian  terkait  studi  perbandingan metode seleksi fitur dan klasifikasi telah dilakukan diantaranya  [5]  melakukan  studi  komparatif  untuk seleksi fitur dengan cara membandingkan performa detection  rate  dengan  metode  Generic  Algorithm (GA), Particle Swarm Optimization (PSO), Random Forest  (RF),  Relief,  Consistency  Feature  Selection (CFA)  dan  Fast  Correlation-Based  Filter  (FCBF) sehingga  didapatkan  hasil  GA  dan  PSO  memiliki performa  lebih  baik  untuk  mendeteksi  anomali diantara  metode  lainya.  Selain  itu  penelitian  yang dilakukan oleh [6] membandingkan metode-metode wrapper  yang  terdiri  dari  PSO,  GA,  Artificial  Bee Colony  (ABC)  dan  filter  yang  teridiri  dari Correlation-based Feature Selection (CFS), Information  Gain  (IG),  Principal  Component Analysis  (PCA)  sehingga  didapatkan  hasil  berupa metode  wrapper  dengan  menggunakan  ABC memiliki akurasi tertinggi  98,4% sedangkan untuk metode  filter  dengan  menggunakan  PCA  memiliki akurasi tertinggi 96,20%.
Dalam  penelitiannya  [7]  algoritma  Random
Forest  memiliki  performa  yang  baik  dari  segi akurasi  dan recall dibandingkan  dengan  algoritma pembanding  lainnya.  Akurasi  yang  dihasilkan
Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 5 No. 4 Oktober 2023 Hal. 572-578 http://jurnal.unidha.ac.id/index.php/jteksis
sebelum  dilakukan  ekstraksi  fitur  adalah  sebesar 98,3%  namun  setelah  dilakukan  ekstraksi  fitur dengan menggunakan PCA maka akurasi meningkat menjadi  98,44%  sehingga  terbukti  bahwa  ekstrasi fitur dapat meningkatkan akurasi dalam mendeteksi malware .
Perbandingan  performa  metode  seleksi  fitur yang terdiri Chi Square, Sequential dan Embedded dilakukan  pada  penelitian  [8]  untuk  mendeteksi kanker  payudara.  Hasil  penelitian  menunjukkan bahwa metode Sequential memiliki akurasi tertinggi dibandingkan dengan metode lainnya yang diujikan. Sedangkan  penelitian  yang  dilakukan  oleh  [9] membandingkan  metode  seleksi  fitur  yang  efisien untuk  mendeteksi  intrusi  dengan  menggunakan dataset NSL-KDD menunjukkan metode Information  Gain  memiliki  akurasi  yang  tinggi dibandingkan  dengan  metode  Chi-Square  sebagai pembandingnya.
Berdasarkan  penelitian-penelitian  yang  telah dilakukan sebelumnya, terbukti bahwa seleksi fitur dapat  meningkatkan  performa  klasifikasi,  namun belum  terdapat  penelitian  yang  secara  spesifik membandingkan  metode  seleksi  fitur  pada  dataset CIC-IDS-2018  untuk  mengetahui  metode  seleksi fitur  yang menghasilkan  fitur  terpilih yang  relevan dan  memiliki  akurasi  yang  baik.  Oleh  karena  itu pada penelitian ini dilakukan perbandingan metode seleksi fitur filter dengan menggunakan Information Gain,  wrapper  dengan  metode  Recursive  Feature Elimination  dan  Cross-Validation  (RFECV)  dan hybrid  dengan  metode  gabungan  antara  Mutual Information  dan  Recursive  Feature  Elimination (RFE).  Kemudian  untuk  mengevaluasi  hasil  dari metode  seleksi  fitur  tersebut  maka  dilakukan klasifikasi  pada  fitur  yang  terpilih  dengan menggunakan  algoritma  classifier  seperti  Random Forest,  XGBoost  dan  MLP.  Pengukuran  yang digunakan untuk menganalisis metode dan algoritma  classifier  antara  lain  adalah  tingkat akurasi dan waktu processing.

## METODE PENELITIAN
Penelitian ini berfokus kepada membandingkan metode  seleksi  fitur  dan  algoritma  classifier  untuk mendeteksi  anomali  dengan  akurasi  tinggi  dan waktu  eksekusi  yang  rendah. Pada  bagian  ini  akan dijelaskan  tahapan-tahapan  penelitian  meliputi perangkat  yang  digunakan,  dataset,  langkah penelitian dan evaluasi.
2.1. Perangkat yang digunakan
Pada  penelitian  ini,  uji  coba model  dilakukan pada komputer dengan spesifikasi sebagai berikut:
A. OS : MacOS Big Sur
B. Processor: Intel Core i5
C. Memori   : 8GB
Pemrograman dilakukan pada platform berbasis cloud computing Google Colab Pro dengan menggunakan  menggunakan  bahasa  pemrograman Python.
2.2. Dataset Dataset  CIC-IDS-2018  merupakan  dataset hasil  kolaborasi  antara  Communications  Security Establishment (CSE) dan the Canadian Institute for Cybersecurity  (CIC)  yang  digunakan  untuk mendeteksi anomali. Dataset teridiri dari lalu lintas jaringan  normal  dan  lalu  lintas  anomali.  Dataset akan  dibagi  kedalam  dataset  training  dan  dataset testing.  Dataset  juga  digunakan  sebagai  evaluasi performa  dari  algoritma  machine  learning  yang diimplementasikan[10] Dataset CIC-IDS-2018
memiliki  karakteristik  dan  kompleksitas  tertentu yang  membedakannya  dari  dataset  lain,  termasuk dataset CIC-IDS-2017 yang mungkin telah dijelaskan  sebelumnya.  Karakteristik  ini  meliputi jumlah  data,  jumlah  fitur,  distribusi  anomali,  dan jenis  serangan  yang  ada  dalam  dataset.  Dataset meliputi data lalu lintas jaringan dan log sistem dari setiap mesin yang di-capture oleh CICFlowMeter.V3  selama  10  hari,  sehingga terdapat 10 file dengan ekstensi CSV dan memiliki 79  fitur.  Prosentase  perbandingan  antara  arus  lalu lintas  jaringan  normal  dengan  serangan  dari keseluruhan  data  pada  dataset  CIC-IDS-2018 dimana  terdapat  89%  arus  lalu  lintas  normal  dan 11% arus lalu lintas serangan atau malicious . Data dengan label “Benign” berisi data yang merupakan arus  lalu  lintas  normal  sedangkan  untuk  data serangan terbagi kedalam 14 jenis serangan/malicious seperti terdapat pada Gambar 1.
Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 5 No. 4 Oktober 2023 Hal. 572-578 http://jurnal.unidha.ac.id/index.php/jteksis
2.3. Langkah penelitian
Terdapat  4  tahapan  utama  pada  penelitian  ini yang  terdiri  dari  preprocessing  data,  seleksi  fitur, klasifikasi dan analisis seperti pada Gambar 2.

## Gambar 2. Langkah penelitian

## A. Preprocessing
Tahap  ini  merupakan  langkah  kritis  dalam proses  analisis  data  yang  bertujuan  untuk mempersiapkan  dataset  sebelum  masuk  ke  tahap analisis atau pemodelan. Dataset terdiri dari 10 file CSV,  oleh  karena  itu  dilakukan merging untuk memudahkan  tahap  pemrosesan  data.  Selanjutnya dilakukan pengecekan missing values dan transformasi data.
B. Seleksi fitur Penelitian  ini  membandingkan  3  metode seleksi fitur yaitu filter, wrapper dan hybrid.
1. Filter
Pada  metode filter digunakan  pengukuran statistik dengan Information Gain untuk mengetahui  seberapa  banyak  informasi  baru  yang didapatkan  tentang  variabel  target  (Label)  setelah dataset  dibagi  berdasarkan  fitur  tertentu.  Semakin besar  skor  Information  Gain,  semakin  banyak informasi yang diperoleh mengenai variabel target, sehingga  fitur  tersebut  dianggap  lebih  relevan dalam melakukan prediksi terhadap variabel target.
Penelitian  sebelumnya  yang  dilakukan  oleh  [11] mengimplementasikan  Information  Gain  pada dataset  CIC-IDS-2017  sehingga  menghasilkan akurasi dari kelompok fitur dengan jumlah fitur 35, 52 dan 77 memiliki kinerja yang cukup baik dalam mendeteksi  anomali  menggunakan  algoritma classifier Random Forest, Bayes Network, Random Tree, Naïve Bayes dan J48.
Tabel 1. Langkah-langkah Information Gain 1. Prosedur FeatureRank() 2. Input df Training dataset, preprocessing 78 Fitur
3. Untuk setiap fitur pada df: 4. Hitung Bobot informasi fitur dengan Information Gain 5. Ranking Masing-masing fitur dengan bobotnya 6. Simpan Rank, FeatureID, NamaFitur dan bobot fitur disimpan dalam variabel Feature_Ranked 2. Wrapper Metode wrapper menggunakan  prediktor sebagai entitas yang tidak terlihat (black box) dan menggunakan  kinerja  prediktor  sebagai  fungsi tujuan  untuk  menilai  subset  variabel.  Karena mengevaluasi  seluruh  subset  yang  ada  (2^N) menjadi masalah yang sulit diselesaikan (NP-hard), subset  yang  lebih  suboptimal  dihasilkan  dengan menggunakan algoritma pencarian yang beroperasi secara heuristik. Salah satu kelemahan utama dari metode  wrapper  adalah  jumlah  perhitungan  yang dibutuhkan  untuk  mendapatkan  subset  fitur.  Pada setiap evaluasi subset, prediktor harus membangun model  baru,  yang  berarti  bahwa  prediktor  dilatih untuk  setiap  subset  dan  diuji  untuk  mengukur akurasi klasifikasinya [12].
Dalam penelitian ini, metode yang digunakan adalah  Recursive  Feature  Elimination  with  Cross- Validation (RFECV). Recursive Feature Elimination  (RFE)  adalah  langkah  berulang  yang melibatkan pembuatan
model dengan menggunakan algoritma tertentu seperti SVM atau Logistic  Regression,  berdasarkan  pada  set  fitur yang  ada.  Koefisien  model  digunakan  untuk mengidentifikasi  fitur  yang  paling  berpengaruh dengan  mengeluarkan  fitur  yang  memberikan performa  yang  kurang  baik  dalam  setiap  iterasi. RFECV memiliki pendekatan yang serupa dengan RFE, tetapi perbedaannya adalah RFECV menggunakan  teknik  cross-validation  K-folds untuk menentukan jumlah optimal fitur yang harus dipertahankan [13]. Pada penelitian yang dilakukan oleh  [14] performa  RFECV  menghasilkan  akurasi tertinggi pada dataset UNSW-NB15 serta
Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 5 No. 4 Oktober 2023 Hal. 572-578 http://jurnal.unidha.ac.id/index.php/jteksis
menghasilkan 15 fitur terpilih dari 42 fitur yang ada pada dataset UNSW-NB15.

## 3. Hybrid
Metode hybrid menggabungan  metode  filter dan  wrapper,  pada  penelitian  ini  metode  hybrid yang  digunakan  adalah Mutual  Information (MI) dan Recursive Feature Elimination (RFE). Mutual Information (MI) mengevaluasi sejauh mana  informasi  dibagi  antara  dua  atau  lebih variabel  acak  dalam  suatu  kumpulan  data. Sedangkan  RFE  merupakan  adalah  langkah  yang berulang dengan membangun model menggunakan algoritma  tertentu  seperti  SVM  atau  Logistic Regression, berdasarkan pada kumpulan fitur yang ada.
Langkah-langkah  metode  hybrid  MI-RFE terdapat  pada  Gambar  3  dimana  algoritma  MI digunakan untuk menilai dan merangking fitur-fitur dalam dataset berdasarkan seberapa erat hubungannya dengan target atau variabel yang ingin diprediksi  kemudian  algoritma  Recursive  Feature Elimination  (RFE)  digunakan  sebagai  langkah lanjutan. RFE bekerja dengan menghilangkan secara bertahap  fitur-fitur  yang  memiliki  dampak  paling rendah  terhadap  performa  model.  Pada  penelitian sebelumnya,  metode  MI-RFE  diimplementasikan pada  dataset  cancer  gene  expression  [15]  dan  [16] untuk  mendeteksi  kanker  dan  menunjukkan  hasil akurasi yang cukup tinggi.

## Gambar 3. Langkah-langkah metode MI-RFE
C. Klasifikasi
Tahap ketiga merupakan pengujian efektivitas dan akurasi dari metode seleksi fitur diukur dengan menggunakan  algoritma classifier diantaranya Random Forest, XGBoost dan MLP. Random Forest terbukti unggul pada beberapa penelitian
sebelumnya,  salah  satunya  adalah  penelitian  yang dilakukan  oleh  [7]  Sedangkan  XGBoost  adalah representasi dari pengembangan algoritma klasifikasi dan regresi yang sangat efisien. Ini telah menjadi  populer  di  kompetisi  analisis  data  dan prediksi  karena  kinerjanya  yang  superior  dan kemampuannya  untuk  menangani  data  dengan dimensi  tinggi  serta  tantangan  prediksi  yang rumit[17].  MLP  atau Multilayer  Perceptron sering kali digunakan dalam tugas-tugas yang memerlukan pemahaman  mendalam  tentang  data,  seperti pengenalan  pola,  analisis  gambar,  dan  pemrosesan bahasa alami[18] Salah satu penggunaan dari MLP dalam mendeteksi anomali terdapat pada penelitian yang  dilakukan  oleh  [19]dimana  penerapan  MLP pada  dataset  yang  memiliki  skala  besar  telah menghasilkan tingkat akurasi mencapai 99%.
2.4. Evaluasi Tahap  terakhir  dilakukan  evaluasi  untuk mengukur perfoma dari proses feature selection dan klasifikasi  dengan  menggunakan  machine  learning yang telah dilakukan.
Akurasi  merupakan  rasio  antara  jumlah prediksi  benar  dengan  total  jumlah  sampel  yang diprediksi. Dalam konteks klasifikasi, akurasi dapat dihitung  dengan  membandingkan  hasil  prediksi model  dengan  label  yang  sebenarnya  dari  setiap sampel dalam data uji[20]
𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 𝑇𝑃 + 𝑇𝑁 𝑇𝑃 + 𝑇𝑁 + 𝐹𝑃 + 𝐹𝑁 ( 1)
Selain  akurasi,  metrik  evaluasi  lain  seperti presisi,  recall  dan  F1-score  juga  digunakan  untuk memberikan  informasi  yang  lebih  baik  tentang performa model dan mencegah kekeliruan interpretasi akibat penggunaan akurasi saja.
Presisi  merupakan  salah  satu  metrik  evaluasi dalam machine  learning yang  mengukur  seberapa banyak  data  yang  diprediksi  sebagai true  positive [21].  Presisi  dapat  dihitung  dengan  cara  membagi jumlah true  positive dengan  jumlah  keseluruhan prediksi positif (true positive dan false positive ): 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑇𝑃 𝑇𝑃 + 𝐹𝑃 ( 2) Recall dapat  dihitung  dengan  cara  membagi true  positive dengan  jumlah  keseluruhan true positive dan false negatif . 𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃 𝑇𝑃 + 𝐹𝑁 ( 3) F1  score  dapat  dihitung  dengan  cara  sebagai berikut:
𝐹1 = 2 × 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 × 𝑅𝑒𝑐𝑎𝑙𝑙 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑅𝑒𝑐𝑎𝑙𝑙 ( 4)
Selain mengukur akuasi, presisi, recall dan F1- score maka dilakukan juga pengukuran untuk waktu eksekusi  untuk  mengetaui  efisiensi  dari  metode feature selection dan classification yang dibandingkan
Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 5 No. 4 Oktober 2023 Hal. 572-578 http://jurnal.unidha.ac.id/index.php/jteksis

## HASIL DAN PEMBAHASAN
Pada  bagian  ini  terdapat  pembahasan  dari langkah  penelitian  yang  dilakukan  yang  terdiri dari tahapan seleksi fitur dan klasifikasi
A. Seleksi Fitur Sesuai dengan langkah penelitian berdasarkan
Gambar  2,  hasil  yang  diperoleh  dari  masing- masing  metode  seleksi  fitur  yang  berupa  jumlah fitur  terpilih  dan  waktu  eksekusi  terdapat  pada Tabel  2.  Fitur  yang  terpilih  kemudian  masuk  ke tahap klasifikasi untuk diimplementasikan algoritma classifier.
Tabel 2. Hasil Seleksi Fitur Metode Fitur Terpilih Waktu eksekusi Information Gain 17 42m 13d RFECV 16 2j 45m 40d MI-RFE 16 1j 10m 3d B. Klasifikasi
1. Hasil klasifikasi Information Gain Dengan  menggunakan  16  fitur  terpilih  yang merupakan  hasil  dari  metode  Information  Gain, berdasarkan  Tabel  3  dari  sisi  akurasi  algoritma Random  Forest  dan  XGBoost  memiliki  akurasi tertinggi  yaitu  99%  sedangkan  dari  sisi  waktu eksekusi  XGBoost  memiliki  waktu  eksekusi paling  singkat  jika  dibandingkan  dengan  kedua algoritma yang lain.
Tabel 3. hasil klasifikasi information Gain
Classifier Waktu Akurasi Precision Recall F1-Score RF 1h 51m 17s 99 98 99 98 XGBoost 27m 3s 99 98 99 98 MLP 20m 36s 91 84 91 87
2. Hasil klasifikasi RFECV Hasil  klasifikasi  yang  terdapat  pada  Tabel  4 menunjukkan  bahwa  performa  Random  Forest dan  XGBoost  dari  sisi  akurasi  memiliki  akurasi yang  paling  tinggi  dibandingkan  dengan  MLP, namun  jika  dilihat  dari  sisi  waktu  ekselusi XGBoost  merupakan  algoritma  yang  memiliki waktu  eksekusi  pendek  dibandingkan  kedua algoritma lainnya.
Tabel 4 Hasil klasifikasi RFECV Classifier Waktu Akurasi Precision Recall F1- Score RF 2h 45m 98 98 98 98 XGBoost 30m 15s 99 98 99 98 MLP 20m 31s 89 81 89 84
3. Hasil klasifikasi MI-RFE
Hasil  klasifikasi  diperoleh  menggunakan pendekatan hybrid yang menggabungkan algoritma  RFE  dan  Mutual  Information.  Tabel  5 memperlihatkan  bahwa  hasil  klasifikasi  dengan menggunakan algoritma XGBoost unggul dari sisi akurasi maupun dalam sisi waktu eksekusi.
Tabel 5 Hasil klasifikasi MI-RFE
Classifier Waktu Akurasi Precision Recall F1- Score RF 1h 38m 34s 99 98 99 98 XGBoost 25m 12s 99 97 98 98 MLP 1hr 3m 58s 92 88 92 89

## C. Analisis
Masing-masing metode menghasilkan jumlah fitur  terpilih  yang  berbeda,  metode  filter  dengan menggunakan Information Gain menghasilkan 17 fitur  terpilih  yang  memiliki  bobot  tertinggi, metode  wrapper  dengan  menggunakan  RFECV menghasilkan jumlah fitur yang optimal sebanyak 16  fitur  sedangkan  metode  hybrid  dengan menggabungkan RFE dengan Mutual Information menghasilkan 16 fitur. Gambar 4 memperlihatkan fitur  terpilih  dari  ketiga  metode  yang  telah dilakukan yang saling berisisan.

## Gambar 4 Fitur yang terpilih
Pada  tahap  sebelumnya  telah  dijabarkan mengenai  analisa  hasil  seleksi  fitur  dimana metode  filter  memiliki  waktu  eksekusi  yang cenderung  lebih  singkat,  untuk  hasil  eksekusi berdasarkan performa  ketiga algoritma classifier yang  diimplementasikan  pada  metode  filter menggunakan  Information  Gain  bekerja  dengan baik,  Random  Forest  dan  XGBoost  memiliki akurasi 99%, namun perbedaanya adalah Random Forest  membutuhkan  waktu  eksekusi  lebih panjang dibandingkan dengan XGBoost.
Di  sisi  lain,  MLP  mencapai  akurasi  tinggi dengan  waktu  eksekusi  cenderung  rendah  pada ketiga metode seleksi fitur tersebut, tetapi tingkat akurasinya  relatif  lebih  rendah  dibandingkan dengan kedua algoritma pembanding lainnya.

## SIMPULAN
Seleksi fitur dapat meringankan performa tanpa mengurangi akurasi karena CIC-IDS-2018
merupakan  dataset  yang  memiliki  ukuran  yang
Jurnal Teknologi Dan Sistem Informasi Bisnis Vol. 5 No. 4 Oktober 2023 Hal. 572-578 http://jurnal.unidha.ac.id/index.php/jteksis
relatif  besar  sehingga  dalam  penelitian  ini  setelah dilakukan beberapa percobaan tidak dimungkinkan untuk  menggunakan  seluruh  fitur  yang  ada,  oleh karena  itu  dilakukan  data  sampling  untuk mengambil  25%  kemudian  dilakukan  tahapan seleksi fitur
RFECV  membutuhkan  waktu  eksekusi  paling panjang  dengan  jumlah  data  paling  sedikit dikarenakan  proses  iteratif,  namun  tetap  memiliki akurasi tinggi jika hasil seleksi fitur diimplementasikan pada ketiga algoritma classifier. Metode yang ideal berdasarkan penelitian yang telah dilakukan adalah metode seleksi fitur dengan metode  filter  menggunakan  Information  Gain  dan algoritma  classifier  XGBoost.  Metode  tersebut memiliki  waktu  eksekusi  yang  lebih  pendek  dan akurasi yang tinggi jika dibandingkan dengan kedua metode yang dibandingkan pada penelitian ini.
Berdasarkan hasil penelitian ini, dapat dilakukan penelitian lanjutan dengan mengimplementasikan metode seleksi fitur Information Gain dan algoritma classifier XGBoost kedalam  dataset  lain  yang  memiliki  lebih  banyak fitur dan jenis serangan yang berbeda.

## DAFTAR PUSTAKA
[1] S.  Maza  and  M.  Touahria,  “Feature  selection algorithms  in  intrusion  detection  system:  A  survey,” KSII  Transactions  on  Internet  and  Information Systems ,  vol.  12,  no.  10,  pp.  5079–5099,  2018,  doi: 10.3837/tiis.2018.10.024.
[2] S. Sheenam and S. Dhiman, “Comprehensive Review: Intrusion Detection System and Techniques,” IOSR  J Comput Eng , vol. 18, no. 04, pp. 20–25, Apr. 2016, doi: 10.9790/0661-1804032025.
[3] M.  Mehmood et  al. , “A hybrid approach for network intrusion  detection,” Computers,  Materials  and Continua ,  vol.  70,  no.  1,  pp.  91–107,  2021,  doi: 10.32604/cmc.2022.019127.
[4] S. A. Zahra Mghames and A. Abdu Ibrahim, “Intrusion detection  system  for  detecting  distributed  denial  of service  attacks  using  machine  learning  algorithms,” Indonesian  Journal  of  Electrical  Engineering  and Computer Science , vol. 32, no. 1, p. 304, Oct. 2023, doi: 10.11591/ijeecs.v32.i1.pp304-311.
[5] K. Anusha and E. Sathiyamoorthy, “Comparative study for  feature  selection  algorithms  in  intrusion  detection system,” Automatic  Control  and  Computer  Sciences , vol.  50,  no.  1,  pp.  1–9,  Jan.  2016,  doi: 10.3103/S0146411616010028.
[6] M. M. Sakr, M. A. Tawfeeq, and A. B. El-Sisi, “Filter Versus  Wrapper  Feature  Selection  for  Network Intrusion  Detection  System,”  in Proceedings  -  2019
IEEE  9th  International  Conference  on  Intelligent
Computing  and  Information  Systems,  ICICIS  2019 ,
Institute  of  Electrical  and  Electronics  Engineers  Inc., Dec. 2019, pp. 209–214. doi: 10.1109/ICICIS46948.2019.9014797.
[7] F. A. Rafrastaraa, R. A. Pramunendar, D. P. Prabowo, E. Kartikadarma, and U. Sudibyo, “Optimasi Algoritma Random  Forest  menggunakan  Principal  Component Analysis  untuk  Deteksi  Malware,” Jurnal  Teknologi Dan Sistem Informasi Bisnis , vol. 5, no. 3, pp. 217–223,
Jul. 2023, doi: 10.47233/jteksis.v5i3.854.
[8] T.  A.  Assegie,  R.  L.  Tulasi,  V.  Elanangai,  and  N.  K. Kumar,  “Exploring  the  performance  of  feature
selection  method  using  breast  cancer  dataset,” Indonesian  Journal  of  Electrical  Engineering  and Computer  Science ,  vol.  25,  no.  1,  pp.  232–237,  Jan. 2022, doi: 10.11591/ijeecs.v25.i1.pp232-237.
[9] S. S. Ahmadi, S. Rashad, and H. Elgazzar, “Efficient Feature Selection for Intrusion Detection Systems,” in
2019  IEEE  10th  Annual  Ubiquitous  Computing, Electronics  &  Mobile  Communication  Conference
(UEMCON) , 2019, pp. 1029–1034. doi: 10.1109/UEMCON47517.2019.8992960.
[10] A.  Thakkar  and  R.  Lohiya,  “A  Review  of  the Advancement  in  Intrusion  Detection  Datasets,”  in Procedia  Computer  Science ,  Elsevier  B.V., 2020, pp.
636–645. doi: 10.1016/j.procs.2020.03.330.
[11] Kurniabudi, D. Stiawan, Darmawijoyo, M. Y. Bin Bin Idris, A. M. Bamhdi, and R. Budiarto, “CICIDS-2017 Dataset  Feature  Analysis  with  Information  Gain  for Anomaly Detection,” IEEE Access , vol. 8, pp. 132911– 132921, 2020, doi: 10.1109/ACCESS.2020.3009843.
[12] G. Chandrashekar and F. Sahin, “A survey on feature selection  methods,” Computers  and  Electrical Engineering , vol. 40, no. 1, pp. 16–28, Jan. 2014, doi: 10.1016/j.compeleceng.2013.11.024.
[13] B.  Akkaya,  “The  Effect  of  Recursive  Feature Elimination  with  Cross-Validation  Method  on Classification  Performance  with  Different  Sizes  of Datasets  Recommendation  System  for  Spotify  View project  The  Effect  of  Recursive  Feature  Elimination with  Cross-Validation  Method  on  Classification Performance with Different Sizes of Datasets,” 2021.
[Online]. Available: https://www.researchgate.net/publication/354253728
[14] M.  Awad  and  S.  Fraihat,  “Recursive  Feature Elimination with Cross-Validation with Decision Tree: Feature Selection Method for Machine Learning-Based Intrusion  Detection  Systems,” Journal  of  Sensor  and Actuator Networks , vol. 12, no. 5, p. 67, Sep. 2023, doi: 10.3390/jsan12050067.
[15] M.  Jansi  Rani  and  D.  Devaraj,  “Two-Stage  Hybrid Gene Selection Using Mutual Information and Genetic Algorithm for Cancer Data Classification,” J Med Syst , vol.  43,  no.  8,  Aug.  2019,  doi:  10.1007/s10916-019- 1372-8.
[16] R.  and  J.  V.  K.  Jain  Samkit  and  Maheshwari,  “RFE and Mutual-INFO-Based  Hybrid  Method  Using  Deep Neural  Network  for Gene  Selection  and Cancer Classification,”  in Proceedings  of  International Conference on Computational Intelligence , M. F. and R.  N.  R.  Tiwari  Ritu  and  Pavone,  Ed.,  Singapore: Springer Nature Singapore, 2023, pp. 85–97.
[17] T.  Chen  and  C.  Guestrin, “XGBoost:  A  scalable  tree boosting system,” in Proceedings of the ACM SIGKDD International Conference on Knowledge Discovery and Data  Mining ,  Association  for  Computing  Machinery,
Aug. 2016, pp. 785–794. doi: 10.1145/2939672.2939785. [18] M.  Nielsen,  “Neural  Networks  and  Deep  Learning,” 2018. [Online]. Available: http://neuralnetworksanddeeplearning.com [19] T. Teoh, P. Ng, G. Chiew, E. J. Franco, and de Y. Goh, “Anomaly  detection  in  cyber  security  attacks  on networks  using  MLP  deep  learning,”  Shah  Alam, Malaysia, 2018.
[20] M. Sokolova and G. Lapalme, “A systematic analysis of performance measures for classification tasks,” Inf Process Manag , vol.  45,  pp.  427–437,  Jul. 2009,  doi: 10.1016/j.ipm.2009.03.002.
[21] N.  Japkowicz  and  S.  Stephen,  “The  Class  Imbalance Problem: A Systematic Study,” Intell. Data Anal. , vol. 6,  pp.  429–449,  Nov.  2002,  doi:  10.3233/IDA-2002- 6504.