## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i4.3280

## Optimalisasi Kinerja Klasifikasi Melalui Seleksi Fitur dan AdaBoost dalam Penanganan Ketidakseimbangan Kelas
Tanti * , Pahala Sirait, Andri
Magister Teknologi Informasi, STMIK Mikroskil, Medan, Indonesia Email: 1,* 194212075@students.mikroskil.ac.id, 2 pahala@mikroskil.ac.id, 3 andri@mikroskil.ac.id Email Penulis Korespondensi: 194212075@students.mikroskil.ac.id
Abstrak− Salah  satu  masalah  dalam  klasifikasi  data  mining  adalah  ketidakseimbangan  kelas,  dimana  jumlah  instance  pada kelas mayoritas lebih banyak dibanding kelas minoritas. Dalam proses klasifikasi, kelas minoritas sering salah diklasifikasikan, karena  machine  learning  memprioritaskan  kelas  mayoritas  dan  mengabaikan  kelas  minoritas  sehingga  hal  ini  dapat menyebabkan kinerja klasifikasi menjadi tidak optimal. Tujuan dari penelitian ini adalah memberikan solusi dalam mengatasi ketidakseimbangan kelas sehingga dapat mengoptimalkan kinerja klasifikasi dengan menggunakan chi-square dan adaboost pada salah satu algoritma klasifikasi yaitu C5.0. Pada penelitian ini, kelas mayoritas dalam dataset yang digunakan didominasi oleh kelas negatif, jadi penilaian kinerja harus lebih berfokus kepada kelas positif. Oleh karena itu, penilaian yang lebih sesuai adalah recall/sensitivity/TPR karena nilai yang dihasilkan hanya bergantung pada kelas positif. Hasil penelitian menunjukkan bahwa  kedua  metode  mampu  meningkatkan nilai  recall/sensitivity/TPR  artinya  penerapan  chi-square  dan  adaboost  mampu untuk meningkatkan kinerja klasifikasi dari kelas minoritas.
Kata Kunci: Ketidakseimbangan Kelas; Klasifikasi; C5.0; Chi-Square; AdaBoost
Abstract− One of the problems in data mining classification is class imbalance, where the number of instances in the majority class is more than the minority class. In the classification process, minority classes are often misclassified, because machine learning prioritizes the majority class and ignores the minority class so that this can cause the classification performance to be not optimal. The purpose of this study is to provide a solution to overcome class imbalances so as to optimize classification performance using chi-square and adaboost on one of the classification algorithms, namely C5.0. In this study, the majority class in the dataset used is dominated by the negative class, so the performance appraisal should focus more on the positive class. Therefore, a more suitable assessment is recall/sensitivity/TPR because the resulting value only depends on the positive class. The results showed that both methods were able to increase the recall/sensitivity/TPR value, meaning that the application of chi-square and adaboost was able to improve the classification performance of the minority class.
Keywords : Class Imbalance; Classification; C5.0; Chi-Square; AdaBoost

## 1. PENDAHULUAN
Kemunculan teknologi internet telah sangat mempengaruhi aktivitas konsumen sehari-hari, dan banyak aktivitas offline kini telah bermigrasi ke lingkungan online [1]. Abad ke-21 saat ini menjadi lebih terhubung dan mengubah perilaku belanja kita. Sejak dua dekade terakhir, orang cenderung lebih banyak membeli barang di platform e- commerce karena lebih nyaman dan memakan waktu lebih sedikit daripada belanja tradisional [2]. Kecenderungan dalam  memenuhi  kebutuhan  secara online telah  meningkat  baru-baru  ini.  Telah  menjadi  kebutuhan  pula  bagi penjual untuk mengetahui pola dan niat dari berbagai  jenis pelanggan online dengan cara menganalisis riwayat pelanggan.  Memahami perilaku dan niat dari  pelanggan online sangat  penting untuk  pemasaran, meningkatkan pengalaman pelanggan, dan meningkatkan penjualan. Analisis niat beli online dari data pengalaman pembeli telah menjadi bidang penelitian yang muncul di bidang komputasi dan penambangan data ( data mining ) [3]. Data mining merupakan proses penggalian dan pencarian pengetahuan dan informasi yang bermanfaat dengan menggunakan algoritma/metode/teknik tertentu sesuai dengan pengetahuan atau informasi yang dicari [4]. Algoritma/metode/teknik  penggalian  atau  pencarian  pengetahuan  atau  informasi  mempunyai  fungsi  dan  tujuan yang  berbeda-beda,  salah  satunya  adalah  klasifikasi.  C5.0  adalah  algoritma  klasifikasi  pohon  keputusan  yang merupakan versi lanjutan dari C4.5 dengan kinerja superior . Algoritma C5.0 lebih baik daripada C4.5 pada akurasi, kecepatan, dan memori [5].
Salah  satu  masalah  dalam  klasifikasi  data  mining  adalah  ketika  kelas  tidak  diwakili  secara  seimbang. Masalah ini disebut ketidakseimbangan dataset [6]. Dataset terbagi menjadi kelas mayoritas dan kelas minoritas, dimana kelas mayoritas memiliki jumlah instance yang lebih banyak dibanding kelas minoritas. Dataset niat beli online [7] adalah tidak seimbang, yang berarti bahwa hanya sebagian kecil yang berakhir dengan pembelian dan sebagian  besarnya  tidak.  Masalah  ketidakseimbangan  kelas  menjadi  tantangan  dalam  proses  klasifikasi  dan menarik perhatian banyak peneliti [8]. Permasalahan ketidakseimbangan kelas ( class imbalance ) membuat proses belajar classifier sulit [6]. Selain itu, ketidakseimbangan kelas akan mempengaruhi kualitas data dalam hal kinerja klasifikasi  [9]  dan menyebabkan kinerja klasifikasi  menjadi  tidak optimal  [10]. Dalam proses klasifikasi, kelas minoritas  sering  salah  diklasifikasikan,  karena machine  learning memprioritaskan  kelas  mayoritas  dan mengabaikan kelas minoritas [11].
Salah  satu  cara  untuk  menangani  dataset  yang  tidak  seimbang  adalah  pendekatan  level  data  yaitu resampling ,  seperti  metode random  undersampling dan  metode random  oversampling .  Metode random undersampling terkadang  dapat  memberikan  hasil  yang  tidak  diinginkan  karena  sifatnya  yang  acak  [12]. Sedangkan metode oversampling dapat meningkatkan precision dan recall [13], namun terlihat terjadi penurunan

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i4.3280
pada  akurasi  pengklasifikasi  [14].  Pendekatan  lain  dalam  menangani  dataset  yang  tidak  seimbang  adalah pendekatan menggabungkan atau memasangkan ( ensemble ) metode, ada dua algoritma ensemble-learning paling populer,  yaitu boosting dan bagging [15].  Algoritma boosting telah  dilaporkan  sebagai  meta-teknik  untuk mengatasi  masalah  ketidakseimbangan  kelas  ( class  imbalance )  [16].  Algoritma adaptive  boosting ( adaboost ) membangun pengklasifikasi kuat dengan cara mengombinasi-kannya dengan sejumlah pengklasifikasi sederhana (lemah)  [17].  Cara  kerja  algoritma adaboost adalah  memberikan  bobot  yang  sama  pada  setiap  sampel  pada awalnya.  Setelah  setiap  klasifikasi,  bobot  hasil  yang  benar  berkurang,  dan  bobot  hasil  yang  salah  bertambah. Proses ini diulangi hingga mencapai ambang batas atau jumlah siklus maksimum [18].
Seleksi  fitur  dilakukan  untuk  mengidentifikasi subset atribut  yang  optimal  [19].  Seleksi  fitur  dapat mengurangi dimensi data dan waktu pelatihan [20]. [21] menjelaskan bahwa mengikutsertakan seleksi fitur dapat memberikan dua keuntungan yaitu dapat membantu mengurangi curse of dimensionality dan mengkomputasikan fitur yang penting dapat membantu interpretasi data. Contoh metode untuk seleksi fitur seperti wrapper dan filter . Wrapper based feature selection berinteraksi dengan pengklasifikasi untuk mengevaluasi kegunaan fitur sehingga menghasilkan subset fitur  yang  lebih  baik.  Metode  ini  lebih  lambat  dibandingkan  dengan  metode filter  based feature  selection [22].  Salah  satu  metode filter  based  feature  selection adalah chi-square feature  selection , merupakan  bagian  dari supervised  feature  selection . Chi-square menggunakan  uji  independensi  untuk  menilai apakah fitur tersebut tidak bergantung pada label kelas [23]. Untuk menyeleksi fitur, skor 𝑋 2 optimal yang dipilih. Jika  suatu  fitur  memiliki  skor 𝑋 2 yang  rendah,  maka  fitur  tersebut  tidak  bergantung  pada  kelas  target  yang menyiratkan bahwa fitur tersebut tidak informatif untuk mengklasifikasikan sampel data [21].
P.  Appiahene  pada  tahun  2020  menggunakan  algoritma  C5.0, random  forest ,  dan neural  network untuk prediksi efisiensi operasional bank dengan validasi 10-fold cross-valdiation , menyatakan bahwa C5.0 memberikan model prediksi terbaik dengan akurasi mencapai 100% diikuti dengan random forest 98.5% dan neural network 86.6%[24]. G. Wang and N. Wu melakukan penelitian menggunakan algoritma C5.0, random trees, KNN, logistic, dan bayesian serta metode undersampling pada dataset macao mobile phone , hasil penelitian menunjukkan bahwa algoritma C5.0  memiliki tingkat akurasi  tertinggi [25].  S. Sarkar dkk pada tahun 2018  menggunakan algoritma CART dan C5.0 untuk klasifikasi occupational incidents dengan validasi 10-fold cross-validation serta adaptive boosting ( adaboost )  untuk  meningkatkan  akurasi.  Hasil  penelitian menunjukkan  kombinasi  C5.0  dan adaboost menghasilkan akurasi yang lebih tinggi dibanding yang lain [26]. H. Sulistiani and A. Tjahyanto pada tahun 2017 menggunakan  algoritma random  forest untuk  prediksi  loyalitas  konsumen  dengan  validasi 10-fold  cross- validation . Dataset  diseleksi  dengan metode chi-square , gain ratio , dan informasion  gain , manunjukkan bahwa chi-square dapat  meningkatkan  akurasi  klasifikasi  dan  menjadi  metode  terbaik  dalam  seleksi  fitur  dibanding metode yang lain [27]. S. K. Trivedi pada tahun 2020 menggunakan algoritma bayesian , SVM, C5.0 dan RF untuk klasifikasi credit scoring dengan validasi 10-fold cross-validation , dataset  diseleksi  dengan metode chi-square , information gain , dan gain ratio , menunjukkan bahwa kombinasi C5.0 dan chi-square adalah yang terbaik[28].

## 2. METODOLOGI PENELITIAN

## 2.1 Tahapan Penelitian
Tahap awal penelitian ini adalah pengumpulan data. Dataset yang digunakan adalah Online Shoppers Purchasing Intention yang  diperoleh  dari UCI Machine Learning  Repository .  Dataset  tersebut  terdiri  dari  18 fitur  yaitu  17 variabel  kriteria dan 1 variabel  target  serta memiliki 12330 record . Terdapat  2 kelas pada variabel  target  yaitu TRUE dan FALSE . TRUE berarti kunjungan yang berakhir dengan pembelian dan FALSE berarti sebaliknya yaitu kunjungan yang tidak berakhir dengan pembelian. Di dalam dataset yang digunakan terdapat dua tipe data yaitu numerik  dan  kategorikal.  Untuk  menghomogenisasikan  tipe  fitur,  maka  dilakukan  proses binning untuk mengelompokkan  data  numerik  pada  fitur  ke  dalam  lima  tipe  diskrit.  Namun  sebelum  melakukan  proses  ini, dataset  akan  dilakukan cleaning terlebih  dahulu  untuk  mendapatkan  data  yang  sesuai  dalam  menghasilkan klasifikasi yang lebih baik. Cleaning adalah proses pendeteksian dan penghapusan data yang tidak lengkap dan tidak relevan di dalam dataset. Setelah melalui proses cleaning , maka record akhir yang valid adalah berjumlah 11735.
Penelitian  ini  menggunakan tool IBM  SPSS  Modeler  18.0  dan  IBM  SPSS  Statistics  23.  Model  yang diusulkan adalah sebagai berikut.
1. C5.0 (mengklasifikasikan dataset dengan algoritma C5.0 tanpa chi-square dan adaboost ) 2. C5.0+AB (mengombinasikan C5.0 dengan adaboost untuk mengklasifikasikan dataset)
3. C5.0+CS (menerapkan chi-square sebelum mengklasifikasikan dataset dengan C5.0)
4. C5.0+CS+AB (menerapkan chi-square dan mengombinasikan C5.0 dengan adaboost untuk mengklasifikasikan dataset)
2.2 Chi-Square Feature Selection
Chi-square feature selection adalah salah satu metode filter based feature selection yang merupakan bagian dari supervised feature selection . Seleksi fitur dilakukan untuk mengidentifikasi subset atribut yang optimal [19]. Chi-

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i4.3280
square menggunakan uji independensi untuk menilai apakah fitur tersebut tidak bergantung pada label kelas [23]. Chi-Square mengevaluasi  independensi  kemandirian  dua  peristiwa  (kemunculan  fitur  dan  kemunculan  kelas) untuk sekumpulan data tertentu [21].
Langkah-langkah metode chi-square adalah sebagai berikut.
a. Menetapkan hipotesis H0: Tidak ada hubungan antara dua variabel.
H1: Ada hubungan antara dua variabel.
b. Menentukan nilai O ( observed value )
Yang dilakukan pada tahap ini adalah menghitung jumlah setiap baris, dan jumlah setiap kolom. Jumlah ini disebut marginals dan ada nilai marginal baris dan nilai marginal kolom c. Menentukan nilai df ( degrees of freedom ) 𝑑𝑓 = (𝑟𝑜𝑤𝑠 − 1) ∗ (𝑐𝑜𝑙𝑢𝑚𝑛𝑠 − 1)
(1)
d. Menentukan nilai E ( expected value )
𝑃(𝐴 ∩ 𝐵) = 𝑃(𝐴) ∗ 𝑃(𝐵)
(2)
e. Menghitung nilai chi-square
𝑋 2 = (𝑂−𝐸) 2 𝐸
(3)
f. Menerima atau menolak H0
Pengambilan keputusan berdasarkan nilai chi-square : 1. Jika nilai chi-square hitung > chi-square tabel, maka artinya H0 ditolak dan H1 diterima 2. Jika nilai chi-square hitung < chi-square tabel, maka artinya H0 diterima dan H1 ditolak.

## 2.3 Adaptive Boosting (AdaBoost)
Algoritma adaptive  boosting ( adaboost )  membangun  pengklasifikasi  kuat  dengan  cara  mengombinasikannya dengan sejumlah pengklasifikasi sederhana (lemah) [17]. Cara kerja algoritma adaboost adalah memberikan bobot yang  sama  pada  setiap  sampel  pada  awalnya.  Setelah  setiap  klasifikasi,  bobot  hasil  yang  benar  berkurang,  dan bobot  hasil  yang  salah  bertambah.  Proses  ini  diulangi  hingga  mencapai  ambang  batas  atau  jumlah  siklus maksimum [15], [18], [29].
a. Suatu dataset pelatihan dengan N sampel memiliki dua kelas dengan label 𝑦 ∈ {0,1}
b. Tetapkan bobot awal yang sama untuk setiap sampel dalam set pelatihan.
𝑤 𝑖 1 = 1 𝑁 , 𝑖 = 1,2, … , 𝑁 (4)
c. Untuk setiap iterasi 𝑡 = 1,2, … , 𝑇
1. Pilih secara acak kumpulan data dengan N sampel dari kumpulan pelatihan asli menggunakan weighted resampling .  Peluang  sampel  untuk  dipilih  terkait  dengan  bobotnya.  Sampel  dengan  bobot  yang  lebih tinggi memiliki kemungkinan yang lebih tinggi untuk dipilih.
2. Dapatkan learner , f(x) (model prediktif atau pengklasifikasi) dari kumpulan data yang disampel ulang.
3. Terapkan learner f(x) ke set  data pelatihan asli. Jika sampel salah diklasifikasikan, jika salah = 1, jika tidak = 0.
4. Hitung jumlah weighted errors dari semua sampel pelatihan.
𝑒𝑟𝑟𝑜𝑟 𝑡 = ∑ (𝑤 𝑖 𝑡 × 𝑒𝑟𝑟𝑜𝑟 𝑖 𝑡 ) 𝑁 𝑖=1 (5)
5. Hitung indeks kepercayaan learner f(x):
𝛼 𝑡 = 1 2 ln ( 1−𝑒𝑟𝑟𝑜𝑟 𝑡 𝑒𝑟𝑟𝑜𝑟 𝑡 ) (6)
Indeks kepercayaan dari learner f(x) tergantung pada weighted error . 6. Perbarui bobot semua sampel pelatihan asli:
𝑤 𝑖 𝑡+1 = 𝑤 𝑖 𝑡 × { exp(−𝛼 𝑡 )   untuk menurunkan bobot exp(𝛼 𝑡 )      untuk menaikkan bobot
(7)
Jika sampel diklasifikasikan dengan benar, bobotnya menurun, sedangkan bobot untuk sampel yang salah diklasifikasikan meningkat.
7. Kemudian, lakukan normalisasi bobot,
𝑤 𝑖 𝑡 = 𝑤 𝑖 𝑡 ∑ 𝑤 𝑖 𝑡 𝑁 𝑖 (8)
sehingga,
∑ 𝑤 𝑖 𝑡+1 = 1 𝑁 𝑖 (9)
8. 𝑇 = 𝑡 + 1 , jika 𝑒𝑟𝑟𝑜𝑟 < 0.5 , atau 𝑡 < 𝑇 , ulangi langkah a-g; jika tidak, berhenti dan 𝑇 = 𝑡 − 1 . 9. Setelah T iterasi, 𝑡 = 1,2, … , 𝑇 , terdapat model prediksi 𝑓 𝑡 (𝑥) , 𝑡 = 1,2, … 𝑇 . Prediksi akhir untuk kasus j, diperoleh dari prediksi gabungan model T menggunakan pendekatan voting : 𝑦 𝑗 = 𝑠𝑖𝑔𝑛 ∑ 𝛼 𝑡 𝑓 𝑡 (𝑥) 𝑇 𝑡=1 (10)

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i4.3280

## 2.4 Algoritma C5.0
C5.0  adalah  salah  satu  algoritma  data  mining  yang  khususnya  diterapkan  pada  algoritma  pohon  keputusan. Algoritma C5.0 termasuk dalam kategori pohon klasifikasi [30]. Ini adalah versi lanjutan dari pengklasifikasi C4.5 dengan kinerja superior . Algoritma C5.0 lebih baik daripada C4.5 pada akurasi, kecepatan, dan memori [5]. C5.0 memberikan  tingkat  akurasi  terbaik  dan  waktu  eksekusi  yang  lebih  sedikit  dibandingkan  dengan  algoritma klasifikasi lain [31]. Berikut ini adalah algoritma C5.0 [32] a. Gain  ratio digunakan  sebagai  dasar  pembentukan node atau  akar  dan  cabang  pohon  keputusan. Gain  ratio dapat dihitung sebagai berikut.
𝐺𝑎𝑖𝑛𝑅𝑎𝑡𝑖𝑜(𝐾, 𝐶) = 𝐺𝑎𝑖𝑛(𝐾,𝐶) 𝑆𝑝𝑙𝑖𝑡𝐼𝑛𝑓𝑜(𝐾,𝐶) (11)
b. Berdasarkan persamaan (11), 𝑆𝑝𝑙𝑖𝐼𝑛𝑓𝑜(𝐾, 𝐶) dan 𝐺𝑎𝑖𝑛(𝐾, 𝐶) dihitung sebagai berikut.
𝑆𝑝𝑙𝑖𝑡𝐼𝑛𝑓𝑜(𝐾, 𝐶) = 𝐼𝑛𝑓𝑜 𝐸𝑛𝑡𝑟𝑜𝑝𝑦 ( |𝐶 1 | |𝐶| , … , |𝐶 𝑖 | |𝐶| ) (12)
𝐺𝑎𝑖𝑛(𝐾, 𝐶) = 𝐼𝑛𝑓𝑜 𝐸𝑛𝑡𝑟𝑜𝑝𝑦 (𝐾) − 𝐼𝑛𝑓𝑜 𝐺𝑎𝑖𝑛 (𝐾, 𝐶) (13)
Dimana 𝐾 adalah jumlah fitur dan 𝐶 𝑖 adalah partisi dari 𝐶 yang diturunkan dari nilai 𝐾 . c. Dengan demikian, dirumuskan 𝐼𝑛𝑓𝑜 𝐺𝑎𝑖𝑛 (𝐾, 𝐶) dan 𝐼𝑛𝑓𝑜 𝐸𝑛𝑡𝑟𝑜𝑝𝑦 (𝐾) sebagai berikut.
𝐼𝑛𝑓𝑜 𝐸𝑛𝑡𝑟𝑜𝑝𝑦 (𝐾) = − ∑ 𝑃 𝑖 log 2 𝑃 𝑖 𝑁∈𝐶 𝑖 𝑖=1 (14)
𝐼𝑛𝑓𝑜 𝐺𝑎𝑖𝑛 (𝐾, 𝐶) = − ∑ 𝑃 𝑖 × 𝐼𝑛𝑓𝑜 𝐸𝑛𝑡𝑟𝑜𝑝𝑦 (𝐾 𝑖 ) 𝑁∈𝐶 𝑖 𝑖=1 (15)
d. Menurut persamaan (14) dan (15), 𝑃 dihitung sebagai berikut.
𝑃 = ( |𝐶 1 | |𝑆| , |𝐶 2 | |𝑆| , … , |𝐶 𝑖 | |𝑆| ) (16)
Dimana |𝑆| adalah jumlah contoh dalam himpunan 𝑆 dan 𝑃 adalah distribusi probabilitas partisi (𝐶1, 𝐶2, … , 𝐶𝑖)
2.5 Evaluasi
Kinerja  dari  model  klasifikasi  dievaluasi  dengan confusion  matrix .  Tabel  1  merupakan confusion  matrix yang menggambarkan true  positive (TP), false  negative (FN), false  positive (FP),  dan true  negative (TN).  [33] menjelaskan secara singkat apa yang dimaksud dengan TP, FN, FP, dan TN. TP adalah instance positif yang benar diklasifikasikan  sebagai  positif.  FN  adalah instance positif  yang  diklasifikasikan  sebagai  negatif.  FP  adalah instance negatif  yang  diklasifikasikan  sebagai  positif.  Sedangkan  TN  adalah instance negatif  yang  benar diklasifikasikan sebagai negatif.
Tabel 1 . Confusion Matrix Actual Positive Negative Predicted Positive True Positive (TP) False Positive (FP) Negative False Negative (FN) True Negative (TN)
Berdasarkan  nilai  yang  tercantum  pada confusion  matrix ,  beberapa  evaluasi  dapat  didefinisikan  sebagai berikut.
𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 𝑇𝑃+𝑇𝑁 𝑇𝑃+𝑇𝑁+𝐹𝑃+𝐹𝑁 (17)
Akurasi  ( accuracy )  adalah  metrik  yang  paling  umum  digunakan  ketika  mengevaluasi  hasil  klasifikasi. Namun, ketika bekerja dengan dataset yang tidak seimbang, akurasi saja tidak cukup karena nilai yang dihasilkan didominasi oleh kelompok mayoritas ( majority class ), yaitu kelas negatif [34].
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑇𝑃 𝑇𝑃+𝐹𝑃 (18)
Presisi ( precision ) adalah metrik yang menggambarkan tingkat keakuratan antara data yang diminta dengan hasil yang diberikan oleh model. Metrik ini sensitif terhadap ketidakseimbangan kelas karena mempertimbangkan jumlah  sampel  negatif  yang  diklasifikasikan  sebagai  positif  (FP).  Presisi  saja  tidak  cukup  untuk  mengevaluasi hasil,  karena  tidak  memberikan  wawasan  tentang  jumlah  sampel  dari  kelompok  positif  yang  diklasifikasikan sebagai negatif (FN) [34].
𝑅𝑒𝑐𝑎𝑙𝑙/𝑆𝑒𝑛𝑠𝑖𝑡𝑖𝑣𝑖𝑡𝑦 (𝑇𝑃𝑅) = 𝑇𝑃 𝑇𝑃+𝐹𝑁
(19)
Recall mengukur  persentase  kasus  positif  yang  benar-benar  positif.  Recall  tidak  terpengaruh  oleh ketidakseimbangan karena hanya bergantung pada kelas yang positif [34].
𝑆𝑒𝑙𝑒𝑐𝑡𝑖𝑣𝑖𝑡𝑦/𝑆𝑝𝑒𝑐𝑖𝑓𝑖𝑐𝑖𝑡𝑦 (𝑇𝑁𝑅) = 𝑇𝑁 𝑇𝑁+𝐹𝑃
(20)
Selectivity mengukur  persentase  kasus  negatif  yang  benar-benar  negatif  [34]. Selectivity juga  tidak terpengaruh oleh ketidakseimbangan karena hanya bergantung pada kelas yang negatif.
𝐹1 𝑠𝑐𝑜𝑟𝑒 = 2 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛∗𝑟𝑒𝑐𝑎𝑙𝑙 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛+𝑟𝑒𝑐𝑎𝑙𝑙 (21)
F1 score adalah rata-rata harmonik precision dan recall [35].

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i4.3280

## 3. HASIL DAN PEMBAHASAN

## 3.1 Hasil

## 3.1.1 Seleksi Fitur
Pengambilan keputusan fitur yang relevan adalah berdasarkan perbandingan chi-square hitung dengan chi-square tabel pada tingkat signifikansi 0,05. Nilai chi-square hitung dan chi-square tabel dapat dilihat pada tabel 2.
Tabel 2. Keputusan Berdasarkan Nilai Chi-Square
Fitur Chi-Square Hitung (X 2 ) df Chi-Square Tabel Keputusan Administrative 198,832 4 9,49 Tolak H0 Administrative Duration 120,756 4 9,49 Tolak H0 Informational 135,710 4 9,49 Tolak H0 Informational Duration 98,914 4 9,49 Tolak H0 Product Related 216,253 4 9,49 Tolak H0 Product Related Duration 238,538 4 9,49 Tolak H0 Bounce Rates 255,706 4 9,49 Tolak H0 Exit Rates 554,350 4 9,49 Tolak H0 Page Values 3856,607 4 9,49 Tolak H0 Special Day 79,701 3 7,82 Tolak H0 Month 344,731 9 16,92 Tolak H0 Operating Systems 59,344 7 14,07 Tolak H0 Browser 24,633 12 21,03 Tolak H0 Region 5,362 8 15,51 Terima H0 Traffic Type 317,286 19 30,14 Tolak H0 Visitor Type 134.272 2 5,99 Tolak H0 Weekend 11,405 1 3,84 Tolak H0
Tabel 2 menunjukkan perbandingan nilai chi-square hitung dengan chi-square tabel. Berdasarkan nilai chi- square , maka pengambilan keputusan fitur predictor yang akan digunakan adalah jika nilai chi-square hitung lebih besar dari chi-square tabel. Nilai chi-square hitung yang lebih besar dari chi-square tabel berarti H0 ditolak dan H1 diterima, yang berarti ada hubungan antara dua variabel.
Pada fitur region , nilai chi-square hitung adalah 5,362, sedangkan nilai chi-square tabel adalah 15,51. Hal ini menunjukkan bahwa nilai chi-square hitung lebih kecil daripada nilai chi-square tabel. Chi-square hitung yang lebih kecil dari chi-square tabel artinya H0 diterima dan H1 ditolak, yang berarti bahwa tidak ada hubungan antara fitur region dengan revenue .  Sedangkan  enam  belas  fitur  sisanya  yaitu  fitur administrative , administrative duration , informational , informational  duration , product  related , product  related  duration , bounce  rates , page values , special day , month , operating systems , browser , traffic type , visitor type , dan weekend memiliki nilai chi- square hitung yang lebih besar daripada chi-square tabel artinya masing-masing dari enam belas fitur predictor tersebut berhubungan dengan variabel target yaitu revenue . Berdasarkan nilai chi-square , maka keputusan yang diambil adalah fitur region akan dikecualikan dari proses pengklasifikasian. Pada  Tabel  2,  terlihat  bahwa  nilai chi-square hitung  yang  tertinggi  adalah  pada page  value .  Hal  ini menunjukkan bahwa fitur tersebutlah yang paling relevan terhadap revenue . Sedangkan fitur region yang memiliki nilai chi-square terendah menunjukkan bahwa fitur tersebut yang paling tidak relevan terhadap revenue . Urutan atau peringkat fitur predictor yang paling relevan hingga yang paling tidak relevan adalah page values , exit rates , month , traffic type , bounce rates , product related duration , product related, administrative , informational , visitor type , administrative  duration , informational  duration , special  day , operating  systems , browser , weekend ,  dan region .

## 3.1.2 Klasifikasi
Bagian ini berisi hasil klasifikasi yang dilakukan. Algoritma yang digunakan adalah C5.0 dengan chi-square (CS) dan adaboost (AB). Sebelum melakukan pengujian, dataset dibagi menjadi menjadi dua bagian (partisi/ partition ) yaitu training dan testing dengan  beberapa  komposisi  tertentu.  Komposisi  data  yang  digunakan  adalah  90:10, 80:20, dan 70:30.
Tabel 3. Kinerja C5.0 Partition Accuracy Precision Recall/ Sensitivity/ TPR Selectivity/ Specificity/ TNR F1 score 90:10 89,62% 75,57% 52,66% 96,73% 62,07% 80:20 89,62% 70,71% 49,42% 96,50% 58,18% 70:30 89,52% 70,42% 50,95% 96,26% 59,12%

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i4.3280
Tabel 4. Kinerja C5.0 dengan AdaBoost
Partition Iteration Accuracy Precision Recall/ Sensitivity/ TPR Selectivity/ Specificity/ TNR F1 score 90:10 10 89,96% 78,40% 52,13% 97,24% 62,62% 20 90,20% 80,67% 51,34% 97,64% 62,75% 30 90,44% 80,16% 54,01% 97,43% 64,54% 40 90,28% 80,99% 52,13% 97,64% 63,43% 50 90,61% 79,55% 56,15% 97,23% 65,83% 60 90,44% 79,23% 55,08% 97,23% 64,98% 70 89,95% 79,83% 50,53% 97,54% 61,89% 80 90,60% 80,47% 55,08% 97,43% 65,40% 90 90,46% 79,84% 54,79% 97,33% 64,98% 100 90,36% 80,65% 53,19% 97,54% 64,10% 80:20 10 90,09% 72,92% 51,17% 96,75% 60,14% 20 90,22% 73,64% 51,46% 96,85% 60,59% 30 90,00% 71,84% 51,61% 96,55% 60,07% 40 89,91% 71,78% 50,73% 96,59% 59,45% 50 90,06% 72,80% 51,03% 96,74% 60,00% 60 89,79% 71,74% 48,82% 96,74% 58,10% 70 89,57% 68,85% 52,34% 95,95% 59,47% 80 89,87% 70,11% 53,51% 96,10% 60,70% 90 89,87% 70,11% 53,51% 96,10% 60,70% 100 89,87% 70,11% 53,51% 96,10% 60,70% 70:30 10 89,65% 71,51% 50,47% 96,49% 59,18% 20 89,63% 72,27% 49,05% 96,71% 58,44% 30 89,68% 72,60% 48,95% 96,78% 58,48% 40 89,73% 72,68% 49,24% 96,78% 58,70% 50 89,51% 71,04% 49,62% 96,47% 58,43% 60 89,61% 72,16% 48,66% 96,73% 58,12% 70 89,82% 73,35% 49,14% 96,89% 58,85% 80 89,93% 73,85% 49,42% 96,96% 59,22% 90 89,92% 73,45% 50,00% 96,86% 59,50% 100 89,70% 72,57% 48,85% 96,80% 58,39% Tabel 5. Kinerja C5.0 dengan Chi-Square Partition Accuracy Precision Recall/ Sensitivity/ TPR Selectivity/ Specificity/ TNR F1 score 90:10 89,62% 75,57% 52,66% 96,73% 62,07% 80:20 89,75% 69,92% 52,34% 96,15% 59,87% 70:30 89,52% 70,42% 50,95% 96,26% 59,12% Tabel 6. Kinerja C5.0 dengan Chi-Square dan AdaBoost Partition Iteration Accuracy Precision Recall/ Sensitivity/ TPR Selectivity/ Specificity/ TNR F1 score 90:10 10 89,96% 78,40% 52,13% 97,24% 62,62% 20 90,20% 80,67% 51,34% 97,64% 62,75% 30 90,38% 79,69% 54,26% 97,34% 64,56% 40 90,53% 81,30% 53,48% 97,64% 64,52% 50 90,60% 82,50% 52,94% 97,84% 64,50% 60 90,20% 80,33% 52,13% 97,54% 63,23% 70 90,11% 79,67% 52,13% 97,44% 63,02% 80 90,11% 79,67% 52,13% 97,44% 63,02% 90 90,11% 79,67% 52,13% 97,44% 63,02% 100 90,11% 79,67% 52,13% 97,44% 63,02% 80:20 10 89,54% 66,90% 56,14% 95,25% 61,05% 20 90,05% 70,88% 54,09% 96,20% 61,36% 30 89,66% 68,80% 53,51% 95,85% 60,20% 40 89,66% 68,80% 53,51% 95,85% 60,20% 50 89,66% 68,80% 53,51% 95,85% 60,20% 60 89,66% 68,80% 53,51% 95,85% 60,20% 70 89,66% 68,80% 53,51% 95,85% 60,20% 80 89,66% 68,80% 53,51% 95,85% 60,20%

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i4.3280
Partition Iteration Accuracy Precision Recall/ Sensitivity/ TPR Selectivity/ Specificity/ TNR F1 score 90 89,66% 68,80% 53,51% 95,85% 60,20% 100 89,66% 68,80% 53,51% 95,85% 60,20% 70:30 10 89,48% 70,92% 49,53% 96,45% 58,32% 20 89,38% 72,24% 46,10% 96,92% 56,28% 30 89,54% 71,43% 49,43% 96,54% 58,43% 40 89,73% 72,22% 49,81% 96,67% 58,96% 50 89,80% 72,50% 50,10% 96,70% 59,25% 60 89,75% 72,03% 49,42% 96,70% 58,62% 70 89,78% 71,74% 50,77% 96,54% 59,46% 80 89,63% 71,07% 49,81% 96,50% 58,57% 90 89,72% 72,19% 49,42% 96,70% 58,68% 100 89,95% 72,96% 50,19% 96,79% 59,47%

## 3.2 Pembahasan
Dari hasil penelitian terlihat bahwa kinerja tertinggi didominasi oleh 90:10 yang berarti 90% data untuk training dan 10% data untuk testing . Hal ini menunjukkan bahwa semakin banyak data yang digunakan untuk membangun model maka semakin baik pula kinerja dalam mengklasifikasi. Dalam hal pengaruh penerapan metode, jika dilihat dari  penerapan chi-square untuk  partisi  90:10  ini  menunjukkan  tidak  adanya  peningkatan  kinerja  klasifikasi. Begitu pula dengan kinerja pada partisi 70:30. Berbeda halnya dengan kedua partisi tersebut, pada partisi 80:20, metode  seleksi  fitur chi-square mampu  meningkatkan  nilai  dari accuracy , recall/sensitivity/TPR , selectivity/specificity/TNR dan f1  score .  Dalam  hal  penerapan adaboost ,  algoritma  ini  mampu  meningkatkan kinerja  C5.0  dan  C5.0+CS  secara  keseluruhan  pada  seluruh  partisi.  Lebih  lanjut,  dalam  penelitian  ini,  kinerja adaboost tertinggi  didominasi  oleh iterasi  berjumlah 50. Artinya klasifikasi  C5.0 dengan adaboost pada iterasi mencapai 50 memberikan kinerja yang lebih baik dibanding yang lain.
Dalam proses klasifikasi menggunakan dataset dengan kelas yang tidak seimbang, kelas minoritas sering salah  diklasifikasikan,  karena machine  learning memprioritaskan  kelas  mayoritas  dan  mengabaikan  kelas minoritas  sehingga  hal  ini  dapat  menyebabkan  kinerja  klasifikasi  menjadi  tidak  optimal.  Oleh  karena  itulah diperlukan  sebuah  model  yang  mampu  mengoptimalkan  kinerja  dari  klasifikasi  tersebut.  Berdasarkan  hasil pengujian yang telah dilakukan, chi-square dan adaboost mampu meningkatkan kinerja klasifikasi C5.0 dalam hal accuracy . Namun accuracy saja tidak cukup untuk menilai sebuah model klasifikasi apalagi jika berkaitan dengan masalah ketidakseimbangan kelas karena nilai yang dihasilkan dapat didominasi oleh kelas mayoritas. Berkaitan dengan hal ini, maka nilai recall/sensitivity/TPR dan selectivity/pecificity/TNR lebih tepat untuk menilai  kinerja klasifikasi.
Pada  penelitian  ini,  kelas  mayoritas  dalam  dataset  yang  digunakan  didominasi  oleh  kelas  negatif,  jadi penilaian kinerja harus lebih berfokus kepada kelas positif. Oleh karena itu, penilaian yang lebih sesuai  adalah recall/sensitivity/  TPR karena  nilai  yang  dihasilkan  hanya  bergantung  pada  kelas  positif.  Hasil  penelitian menunjukkan  bahwa  kedua  metode  mampu  meningkatkan  nilai recall/sensitivity/TPR artinya  penerapan chi- square dan adaboost mampu untuk meningkatkan kinerja klasifikasi dari kelas minoritas.

## 4. KESIMPULAN
Pada dataset dengan kasus kelas yang tidak seimbang, dimana kelas mayoritas didominasi oleh kelas negatif, maka metrik  yang  lebih  sesuai  untuk  menilai  kinerja  klasifikasi  adalah recall/sensitivity/TPR karena  nilai  yang dihasilkan  hanya  bergantung  pada  kelas  positif.  Berdasarkan  hasil  pengujian  dan  pembahasan  yang  telah dilakukan,  dapat  ditarik  kesimpulan  bahwa  penerapan chi-square dan adaboost mampu  meningkatkan  nilai recall/sensitivity/TPR artinya penerapan chi-square dan adaboost mampu untuk meningkatkan kinerja klasifikasi dari kelas minoritas. Hasil dari penelitian yang telah dilakukan diharapkan dapat mendorong penelitian lanjutan di masa yang akan datang. Adapun saran terkait penelitian di masa yang akan datang adalah menggunakan metode atau algoritma klasifikasi lainnya sehingga dapat mengetahui model mana yang menghasilkan kinerja yang lebih baik dan menggunakan dataset lain dengan bidang yang sama maupun bidang yang berbeda namun masih dalam kasus kelas yang tidak seimbang.

## REFERENCES
[1] J. C. Athapaththu and K. M. S. D. Kulathunga, “Factors affecting online purchase intention: A study of Sri Lankan online customers,” Int. J. Sci. Technol. Res. , vol. 7, no. 9, 2018.
[2] D. Wagner, S. Chaipoopirutana, and H. Combs, “A Study of Factors Influencing the Online Purchasing Intention toward Online Shopping in Thailand,” AtMA 2019 Proccedings , no. 2013, pp. 277–292, 2019.
[3] M. R. Kabir, F. Bin Ashraf, and R. Ajwad, “Analysis of different predicting model for online shoppers’ purchase intention

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i4.3280
from  empirical  data,” 2019  22nd  Int.  Conf.  Comput.  Inf.  Technol. ,  no.  March  2020,  2019,  doi: 10.1109/ICCIT48885.2019.9038521.
[4] E. Buulolo, Data Mining untuk Perguruan Tinggi . Yogyakarta: Deepublish, 2020.
[5] Ross  Quinlan,  “Is  See5/C5.0  Better  Than  C4.5?,” RuleQuest  Research ,  2017.  https://rulequest.com/see5- comparison.html#:~:text=Decision  trees%3A  faster%2C  smaller&text=0  produce  trees  with  similar,are  noticeably smaller and C5.
[6] N. Japkowicz, “Assessment metrics for imbalanced learning,” in Imbalanced Learning: Foundations, Algorithms, and Applications , 1st ed., Wiley-IEEE Press, Ed. 2013, pp. 187–206.
[7] “Online Shoppers Purchasing Intention Dataset,” UCI Machine Learning Repository , 2018.
https://archive.ics.uci.edu/ml/datasets/Online+Shoppers+Purchasing+Intention+Dataset.
[8] G. Haixiang, L. Yijing, J. Shang, G. Mingyun, H. Yuanyue, and G. Bing, “Learning from class-imbalanced data: Review of methods and applications,” Expert Syst. Appl. , vol. 73, pp. 220–239, 2017, doi: 10.1016/j.eswa.2016.12.035.
[9] K.  Gao,  T.  Khoshgoftaar,  and  R.  Wald,  “Combining  feature  selection  and  ensemble  learning  for  software  quality estimation,”  in Proceedings  of  the  27th  International  Florida  Artificial  Intelligence  Research  Society  Conference (FLAIRS) , 2014.
[10]  A.  Nurmasani  and  Y.  Pristyanto,  “Algoritme  Stacking  untuk  Klasifikasi  Penyakit  Jantung  pada  Dataset  Imbalanced Class,” Pseudocode , vol. 8, no. 1, 2021, doi: 10.33369/pseudocode.8.1.21-26.
[11]  N. Santoso, W. Wibowo, and H. Himawati, “Integration of synthetic minority oversampling technique for imbalanced class,” Indones. J. Electr. Eng. Comput. Sci. , 2019, doi: 10.11591/ijeecs.v13.i1.pp102-108.
[12]  P.  Yildirim,  “Pattern  Classification with  Imbalanced  and  Multiclass  Data  for  the  Prediction  of Albendazole  Adverse Event Outcomes,” in Procedia Computer Science , 2016, vol. 83, doi: 10.1016/j.procs.2016.04.216.
[13]  I. Goodfellow, Y. Bengio, and A. Courville, Deep Learning . Cambridge, MA, USA: The MIT Press, 2016.
[14]  C. O. Sakar, S. O. Polat, M. Katircioglu, and Y. Kastro, “Real-time prediction of online shoppers’ purchasing intention using multilayer perceptron and LSTM recurrent neural networks,” Neural Comput. Appl. , vol. 31, no. 10, pp. 6893– 6908, 2019, doi: 10.1007/s00521-018-3523-0.
[15]  B. W. Yap, K. A. Rani, H. A. A. Rahman, S. Fong, Z. Khairudin, and N. N. Abdullah, “An application of oversampling, undersampling, bagging and boosting in handling imbalanced datasets,” in Lecture Notes in Electrical Engineering , 2014, pp. 13–22, doi: 10.1007/978-981-4585-18-7_2.
[16]  Y. Sun, M. S. Kamel, A. K. C. Wong, and Y. Wang, “Cost-sensitive boosting for classification of imbalanced data,” Pattern Recognit. , vol. 40, no. 12, pp. 3358–3378, 2007, doi: 10.1016/j.patcog.2007.04.009.
[17]  S.  Mulyati,  Y.  Yulianti,  and  A.  Saifudin,  “Penerapan  Resampling  dan  Adaboost  untuk  Penanganan  Masalah Ketidakseimbangan Kelas Berbasis Naϊve Bayes pada Prediksi Churn Pelanggan,” J. Inform. Univ. Pamulang , vol. 2, no. 4, 2017, doi: 10.32493/informatika.v2i4.1440.
[18]  R.  Hao,  X.  Xia,  S.  Shen,  and  X.  Yang,  “Bank  direct marketing  analysis based  on  ensemble learning,”  in Journal of Physics: Conference Series , 2020, vol. 1627, no. 1, doi: 10.1088/1742-6596/1627/1/012026.
[19]  I. S. Thaseen, C. A. Kumar, and A. Ahmad, “Integrated Intrusion Detection Model Using Chi-Square Feature Selection and Ensemble of Classifiers,” Arab. J. Sci. Eng. , vol. 44, no. 4, 2019, doi: 10.1007/s13369-018-3507-5.
[20]  R. AlShboul, F. Thabtah, N. Abdelhamid, and M. Al-diabat, “A visualization cybersecurity method based on features’ dissimilarity,” Comput. Secur. , vol. 77, 2018, doi: 10.1016/j.cose.2018.04.007.
[21]  A. Thakkar and R. Lohiya, “Attack classification using feature selection techniques: a comparative study,” J. Ambient Intell. Humaniz. Comput. , vol. 12, no. 1, 2021, doi: 10.1007/s12652-020-02167-9.
[22]  V. R. Balasaraswathi, M. Sugumaran, and Y. Hamid, “Feature selection techniques for intrusion detection using non-bio- inspired and bio-inspired optimization algorithms,” J. Commun. Inf. Networks , vol. 2, no. 4, 2017, doi: 10.1007/s41650- 017-0033-7.
[23]  J. Li et al. , “Feature selection: A data perspective,” ACM Comput. Surv. , vol. 50, no. 6, 2017, doi: 10.1145/3136625.
[24]  P.  Appiahene,  Y.  M.  Missah,  and  U.  Najim,  “Predicting  Bank  Operational  Efficiency  Using  Machine  Learning Algorithm: Comparative Study of Decision Tree, Random Forest, and Neural Networks,” Adv. Fuzzy Syst. , vol. 2020, 2020, doi: 10.1155/2020/8581202.
[25]  G.  Wang  and  N.  Wu,  “A  Comparative  Study  on  Contract  Recommendation  Model:  Using  Macao  Mobile  Phone Datasets,” IEEE Access , vol. 8, 2020, doi: 10.1109/ACCESS.2020.2975029.
[26]  S. Sarkar, A. Verma, and J. Maiti, “Prediction of Occupational Incidents Using Proactive and Reactive Data: A Data Mining Approach,” in Industrial Safety Management , 2018.
[27]  H.  Sulistiani  and  A.  Tjahyanto,  “Comparative  Analysis  of  Feature  Selection  Method  to  Predict  Customer  Loyalty,” IPTEK J. Eng. , vol. 3, no. 1, 2017, doi: 10.12962/joe.v3i1.2257.
[28]  S. K. Trivedi, “A study on credit scoring modeling with different feature selection and machine learning approaches,” Technol. Soc. , vol. 63, 2020, doi: 10.1016/j.techsoc.2020.101413.
[29]  X. Wu et al. , “Top 10 algorithms in data mining,” Knowl. Inf. Syst. , vol. 14, no. 1, pp. 1–37, 2008, doi: 10.1007/s10115- 007-0114-2.
[30]  F.  Yu,  G.  Li,  H.  Chen,  Y.  Guo,  Y.  Yuan,  and  B.  Coulton,  “A  VRF  charge  fault  diagnosis  method  based  on  expert modification C5.0 decision tree,” Int. J. Refrig. , 2018, doi: 10.1016/j.ijrefrig.2018.05.034.
[31]  S.  Rajeswari  and  K.  Suthendran,  “C5.0:  Advanced  Decision  Tree  (ADT)  classification  model  for  agricultural  data analysis on cloud,” Comput. Electron. Agric. , vol. 156, pp. 530–539, 2019, doi: 10.1016/j.compag.2018.12.013.
[32]  J.  H.  Joloudari,  M.  Haderbadi,  A.  Mashmool,  M.  Ghasemigol,  S.  S.  Band,  and  A.  Mosavi,  “Early  detection  of  the advanced  persistent  threat  attack  using  performance  analysis  of  deep  learning,” IEEE  Access ,  vol.  8,  2020,  doi: 10.1109/ACCESS.2020.3029202.
[33]  I. C. Dipto, T. Islam, H. M. M. Rahman, and M. A. Rahman, “Comparison of Different Machine Learning Algorithms for  the  Prediction  of  Coronary  Artery  Disease,” J.  Data  Anal.  Inf.  Process. ,  vol.  08,  no.  02,  2020,  doi: 10.4236/jdaip.2020.82003.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI 10.30865/mib.v5i4.3280
[34]  J. M. Johnson and T. M. Khoshgoftaar, “Survey on deep learning with class imbalance,” J. Big Data , vol. 6, no. 1, 2019, doi: 10.1186/s40537-019-0192-5.
[35]  D. Chicco and G. Jurman, “The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation,” BMC Genomics , vol. 21, no. 1, 2020, doi: 10.1186/s12864-019-6413-7.