Study of Bagging Application in the Safe-Level Smote Method in Handling Unbalanced Classification *
Kajian Penerapan Bagging pada Metode Safe-Level Smote dalam Penanganan Klasifikasi Kelas Tidak Seimbang
Qorry Meidianingsih 1 ‡ and Debby Agustine 2
1 Study Program of Mathematics Education, State University of Jakarta (UNJ), Indonesia
2 Study Program of Mathematics, State University of Jakarta (UNJ), Indonesia
‡ corresponding author: qorrymeidianingsih@unj.ac.id
Copyright © 2021 Qorry Meidianingsih and Debby Agustine.  This is an open-access article distributed under  the  Creative  Commons  Attribution  License,  which  permits  unrestricted  use,  distribution,  and reproduction in any medium, provided the original work is properly cited.

## Abstract
The  problems  of  imbalanced  class  classification  have  been  found  in  many  real applications. It has potential to make the minority class instances tend to be classified into  the  majority  class.  This  study  examined  the  performance of  bagging  method’s application in safe-level SMOTE based on Support Vector Machine classifier. The data used consisted of three types based on the proportion of observations in the majority and minority classes. Each type of data has three variables, two independent variables and one variable dependent. The observations of independent variables were generated based  on  multivariate  normal  distribution,  while  dependent  variables  are  binary.  The results showed that the classifier has a high accuracy and sensitivity for all types of data for both in the imbalanced class and the balanced class (obtained by safe-level SMOTE and  safe-level  SMOTEBagging).  Nevertheless,  specificity  was  the  main  measure  in assessing the performance of the classifier because it provides accuracy in classifying the  minority  class  observations.  The  specificity  increased  when  the  number  of observations  between  the  two  classes  were  approximately  balance  due  to  the implementation  of  safe-level  SMOTE.  The  best  performance  of  the  Support  Vector Machine  in  predicting  minority  class  observations  was  achieved  when  bagging  were applied in safe-level SMOTE. The specificity rate for all types of data were 77.93 percent, 78.46 percent, and 85.69 percent, respectively.
Keywords :  bagging,  imbalanced  class,  smote,  safe-level  smote,  support  vector machine.
* Received: Nov 2020; Reviewed: Jan 2021; Published: Mar 2021

## 1.  Pendahuluan
Permasalahan klasifikasi menjadi kajian yang dipelajari oleh komunitas data mining dan machine  learning pada  berbagai  bidang.  Klasifikasi  merupakan  topik  yang beragam dan algoritme yang digunakan sangat bergantung kepada domain data dan skenario  masalah  yang  dihadapi.  Oleh  karena  itu,  masalah  yang  ditemui  mungkin lebih  beragam    (Aggarwa,  2015).  Salah  satu  permasalahan  yang  terjadi  dalam klasifikasi  dan  kini  banyak  dipelajari  oleh  peneliti  yaitu  terkait  dengan  kelas  tidak seimbang  (Japkowicz,  2000).  Beberapa  penelitian  telah  dilakukan  dalam mengembangkan teknik untuk kasus data dengan kelas tidak seimbang. (He & Garcia, 2009) serta Galar et al. (2011) menjelaskan beberapa metode yang dapat digunakan untuk  mengatasi  masalah  data  tidak  seimbang.  (Hanifah  et  al.,  2015)  memprediksi calon  debitur  kredit  tanpa  agunan  yang  berpotensi  gagal  dalam  memenuhi kewajibannya  kepada  bank  (kredit  macet).  Hasil  penelitian  menunjukan  bahwa  jika metode klasifikasi regresi logistik diterapkan pada data tersebut, maka tingkat akurasi yang diperoleh sebesar 86 persen dengan tingkat kepekaannya 0 persen atau seluruh nasabah kredit macet diklasifikasikan ke dalam status kredit lancar. Metode klasifikasi standar  tidak  dapat  menghasilkan  keputusan  akhir  yang  tepat  ketika  kondisi  kelas tidak seimbang. Hal ini disebabkan salah satu kelas memiliki contoh yang jauh lebih banyak,  disebut  kelas  mayoritas,  sehingga  hasil  klasifikasi  akan  bias  atau menghasilkan kesalahan klasifikasi.
Pendekatan  solusi  yang  dapat  dilakukan  dalam  menangani  permasalahan  data dengan  kelas  tidak  seimbang  terbagi  menjadi  dua  jenis.  Pendekatan  pertama diterapkan pada level data atau dikenal dengan data preprocessing , yaitu membuat sebaran  kelas  menjadi  seimbang  mungkin.  Setelah  semua  kelas  memiliki  jumlah amatan  yang  lebih  seimbang,  maka  model  klasifikasi  standar  dapat  diterapkan. Pendekatan  lainnya  dapat  dilakukan  dengan  memodifikasi  algoritme  pada  metode klasifikasi standar sehingga peneliti tidak perlu merubah sebaran kelas yang dimiliki. Modifikasi tersebut dilakukan untuk mengenali contoh di kelas minoritas (Mahdizadeh &  Eftekhari,  2013).  Kekurangan  dari  pendekatan  ini  yaitu  dalam  menerapkannya bergantung  dengan  jenis  metode  klasifikasi  dan  kesulitan  dalam  menanganinya (Sahare & Gupta, 2012) . Solusi pada level data lebih mudah digunakan dibandingkan dengan  pendekatan  level  algoritme  karena  gugus  data  diperbaiki  dahulu  sebelum diterapkan metode klasifikasi  (Chawla, 2009). Selain itu, pendekatan pada level data tidak tergantung pada metode klasifikasi yang dipilih sehingga dapat diterapkan pada semua  gugus  data  untuk  melatih  metode  klasifikasi  yang  berbeda  (Hussein  et  al., 2019).
Data preprocessing mencakup  dua  pilihan  solusi,  yaitu  mengeliminasi  contoh pada kelas mayoritas ( undersampling ) atau menambah contoh pada kelas minoritas ( oversampling ).  (Akbani  et  al.,  2004)  mengungkapkan  bahwa  saat  metode undersampling dilakukan pada kelas mayoritas, contoh pada kelas mayoritas tersebut tidak  lagi  bersifat  acak.  Teknik oversampling dipilih  pada  penelitian  ini  karena undersampling memungkinkan  untuk  membuang  data  amatan  yang  valid  dan memberikan  informasi  penting. Synthetic  Minority  Over-sampling  Technique (SMOTE)  merupakan  salah  satu  teknik oversampling yang  popular,  diperkenalkan oleh (Chawla et al., 2002). SMOTE membangkitkan data sintetis berdasarkan jumlah tetangga  terdekat  nya  ( k -tetangga  terdekat).  SMOTE  menarik  banyak  perhatian
peneliti  sehingga  metode  tersebut  dijadikan  sebagai  dasar  dari  perkembangan metode oversampling lainnya. Borderline SMOTE diusulkan  oleh  (Han et  al., 2005) sebagai  teknik oversampling yang  dapat  menyempurnakan  SMOTE.  Metode  ini hanya fokus pada amatan kelas minoritas yang berada di borderline atau batas antara kelas  mayoritas  dan  minoritas.  Setelah  itu,  muncul safe-level SMOTE  pada  tahun 2009  yang  diperkenalkan  oleh  (Bunkhumpornpat  et  al.,  2009) . Metode safe-level SMOTE  memiliki  beberapa  kriteria  untuk  menentukan  apakah  data  sintetis  dapat dibangkitkan atau tidak. Kriteria tersebut dinamakan safe-level rasio. Ketika amatan kelas minoritas dan tetangga terdekatnya berada di wilayah yang aman, maka data sintetis dapat dibangkitkan.
Teknik oversampling tidak hanya dapat diterapkan pada pengklasifikasi ( classifier ) tunggal,  tetapi  juga  pada  beberapa  pengklasifikasi.  Beberapa classifier tunggal dikombinasikan  dan  hasil  prediksi  dari  masing-masing  pengklasifikasi  digabungkan melalui  proses voting .  Hal  tersebut  merupakan  konsep  dari  metode ensemble . Bagging merupakan  salah  satu  metode ensemble yang  menggunakan  teknik bootstrap dalam menghasilkan gugus data baru untuk membuat pengklasifikasi dalam banyak  versi.  Jika  dibandingkan  dengan  pengklasifikasi  tunggal,  hasil  prediksi bagging hampir selalu lebih akurat (Zhou, 2012). Berdasarkan hal tersebut, penelitian ini  akan  mengkaji  performa  penerapan  metode bagging pada  algoritme safe-level SMOTE  berdasarkan  metode  klasifikasi Support  Vector  Machine .  Kajian  tersebut dilakukan dengan membandingkan performa hasil metode klasifikasi pada berbagai data  simulasi  yang  dibedakan  bedasarkan  proporsi  ketidakseimbangan  kelas. Perbandingan  kinerja  metode  klasifikasi  dilakukan  berdasarkan  tiga  kriteria,  yaitu akurasi, sensitifitas, dan spesifisitas.

## 2.  Metodologi

## 2.1 Bahan dan Data
Data  yang  digunakan  pada  penelitian  ini  merupakan  data  simulasi.  Setiap  data simulasi  memiliki  tiga  peubah,  yaitu  dua  peubah  bebas  ( 𝑋 1 dan 𝑋 2 )  yang  bersifat numerik  dan satu  peubah tidak  bebas ( 𝑌 ) yang  bersifat kategorik atau dalam hal  ini sebagai kelasnya. Amatan pada peubah bebas dibangun berdasarkan sebaran normal ganda,  sedangkan  amatan  pada  peubah  tidak  bebas  bersifat  bernilai  0  dan  1  yang dibangkitkan secara acak sesuai dengan proporsi amatan yang disajikan pada Tabel 1.
Tabel 1: Proporsi amatan kelas mayoritas dan minoritas Data Kelas Mayoritas Kelas Minoritas Data 1 95% 5% Data 2 90% 10% Data 3 85% 15%

## 2.2 Ukuran Kinerja Metode Klasifikasi
Perbandingan  kinerja  metode  klasifikasi  dilakukan  berdasarkan  tiga  kriteria,  yaitu akurasi, sensitifitas, dan spesifisitas.  Ketiga ukuran tersebut dapat diperoleh melalui confusion matrix , seperti disajikan pada Tabel 2.
Tabel 2: Confusion matrix
Hasil Prediksi Positif Negatif Keadaan sesungguhnya Positif True Positive (TP) False Negatif (FN) Negatif False Positive (FP) True Negatif (TN)
dengan
Akurasi = TP+TN TP+TN+FP+FN Sensitifitas = TP

## TP+FN

## Spesifisitas = TN TN+FP
Akurasi  memberikan  gambaran  mengenai  tingkat  ketepatan  metode  klasifikasi secara  keseluruhan,  artinya  akurasi  menjawab  pertanyaan  berapa  persen  amatan yang diklasifikasikan secara benar ke dalam kelas mayoritas dan minoritas dari semua amatan.  Sensitifitas  mengukur  persentase  amatan  kelas  mayoritas  yang diklasifikasikan  dengan  benar  dari  seluruh  amatan  yang  sesungguhnya  berasal  dari kelas  mayoritas,  sedangkan  spesifisitas  mengukur  hal  yang  tidak  diukur  oleh sensitifitas sehingga lebih fokus kepada ketepatan dalam memprediksi amatan kelas minoritas.

## 2.3 Bagging
Bagging merupakan  singkatan  dari bootstrap  aggregating yang  diperkenalkan  oleh Breiman pada tahun 1996. Metode bagging memiliki dua tahapan dalam analisisnya, yaitu bootstrap atau  pengambilan  contoh  dari  data  contoh  ( resampling )  dan aggregating atau  menggabungkan  banyak  nilai  dugaan  menjadi  satu  nilai  dugaan (Sartono  &  Syafitri,  2010).  SMOTE Bagging merupakan  kombinasi  antara  metode Synthetic  Minority  Oversampling  Technique (SMOTE)  dan  algoritme bagging . SMOTE Bagging menerapkan algoritme SMOTE sebelum pemodelan klasifikasi pada setiap  gugus  data  latih  (sebanyak k buah)  yang  diperoleh  melalui  proses bootstrap. Selanjutnya setiap data latih tersebut akan diterapkan metode klasifikasi dan dilakukan proses aggregating atau pemilihan suara terbanyak untuk hasil prediksi gabungannya. Berdasarkan  prinsip  SMOTE Bagging tersebut,  maka  akan  diterapkan  pula  teknik bagging pada  algoritme safe-level SMOTE  dengan  prosedur  pembangkitan  data sintetis yang diperkenalkan oleh (Bunkhumpornpat et al., 2009). Penerapan bagging pada safe-level SMOTE selanjutnya disebut sebagai safe-level SMOTE Bagging dalam penelitian ini.

## 2.4 Metode Penelitian
Tahapan analisis yang dilakukan pada penelitian ini disajikan pada Gambar 1 sebagai berikut.
Gambar 1: Diagram alir penelitian
Alur  penelitian  yang  disajikan  pada  Gambar  1  diterapkan  bagi  seluruh  jenis  data simulasi. Gugus data simulasi dibagi  menjadi data latih (80 persen) dan data uji (20 persen). Terdapat tiga skema yang diberikan pada setiap data simulasi, yaitu tanpa tahap data preprocessing dan melalui tahap data preprocessing . Data preprocessing (1)  menerapkan safe-level SMOTE,  sedangkan data  preprocessing (2)  menerapkan safe-level SMOTE Bagging . Kedua skema tersebut menghasilkan data latih baru yang memuat data sintetis sehingga menjadi lebih seimbang. Selanjutnya metode klasifikasi Support Vector Machine dengan kernel radial basis diterapkan pada semua jenis data latih. Pada skema yang melalui data preprocessing ¸ hasil prediksi gabungan diperoleh dengan menggabungkan sebanyak k buah prediksi untuk memperoleh prediksi akhir berdasarkan voting terbanyak sebagai berikut:
𝐻(𝑥) = 𝑐 𝑗 , 𝑗𝑖𝑘𝑎  ∑ ℎ 𝑖 𝑗 (𝑥) 𝑇 𝑖=1 > 1 2 ∑ ∑ ℎ 𝑖 𝑘 (𝑥) 𝑇 𝑖=1 𝑙 𝑘=1
dimana 𝑐 𝑗 merupakan kelas, ℎ 𝑖 𝑗 (𝑥) adalah prediksi kelas dari ℎ 𝑖 untuk label kelas 𝑐 𝑗 , ℎ 𝑖 𝑘 (𝑥) adalah  prediksi  untuk  semua  kelas. 𝑐 𝑗 adalah  prediksi  akhir  jika vote yang dihasilkan lebih dari setengah vote semua kelas. Evaluasi performa metode klasifikasi dilakukan  menggunakan  data  uji  dengan  melihat  ukuran  akurasi,  sensitifitas,  dan spesifisitas. Tahap akhir penelitian membandingkan kinerja metode klasifikasi Support Vector  Machine pada  data  asli  (tanpa data  preprocessing )  dan  data  yang  diproses terlebih dahulu menggunakan safe-level SMOTE dan safe-level SMOTE Bagging .

## 3.  Hasil dan Pembahasan

## 3.1 Deskripsi Data Simulasi
Data  peubah  bebas  dibangkitkan  berdasarkan  peubah  acak  normal  ganda  dan disimbolkan dengan 𝑋 1 dan 𝑋 2 menggunakan software R . Peubah tidak bebas bersifat kategorik  dimana  0  merupakan  amatan  kelas  mayoritas  dan  1  untuk  amatan  kelas
minoritas.  Jumlah  amatan  seluruhnya  adalah  1000  amatan  sehingga  banyaknya amatan bagi setiap data simulasi disajikan pada Tabel 3.
Tabel 3: Jumlah amatan kelas mayoritas dan minoritas Data Simulasi Kelas Mayoritas (0) Kelas Minoritas (1) Data 1 950 50 Data 2 900 100 Data 3 850 150 (a) (b)
(c)
Gambar 2: Diagram pencar data simulasi dengan proporsi ketidakseimbangan: (a) 95%:5%, (b) 90%:10%, dan (c) 85%:15%.
Penentuan  letak  amatan  kelas  mayoritas  dan  minoritas  selanjutnya  menjadi perhatian  karena  hal  tersebut  berkaitan  dengan  bagaimana  algoritme safe-level SMOTE  bekerja  dalam  membangkitkan  data  sintetis. Safe-level SMOTE  akan membangkitkan  data  sintetis  di  wilayah  yang  aman.  Dalam  kondisi  amatan  kelas mayoritas  dan  minoritas  berjauhan,  maka safe-level SMOTE  memiliki  peluang  lebih besar dalam membangkitkan data sintetis di wilayah yang berdekatan dengan amatan kelas minoritas lainnya. Hal tersebut berimplikasi pada minimnya kesalahan klasifikasi yang  dihasilkan,  dibandingkan  dengan  ketika  posisi  amatan  dari  kedua  kelas  saling berdekatan  atau  beririsan.  Oleh  karena  itu,  peubah  bebas  dibangkitkan  sedemikian rupa agar memiliki sebaran kelas yang beririsan sebagaimana disajikan pada Gambar 2 untuk melihat kinerja dari safe-level SMOTE. Amatan berwarna hitam berasal dari kelas mayoritas, sedangkan amatan berwarna merah berasal dari kelas minoritas.

## 3.2 Metode Klasifikasi Standar
Metode  klasifikasi Support  Verctor  Machine dengan  kernel  radial  basis  diterapkan pada setiap data simulasi dengan kondisi jumlah amatan pada kedua kelas kelas tidak seimbang. Penggunaan kernel dalam metode Support Vector Machine ini karena data simulasi  yang  terbentuk  tidak  dapat  dipisahkan  secara  linier.  Hasil  kinerja  model kasifikasi Support Verctor Machine disajikan pada Tabel 4.
Sensitifitas  merupakan  rasio  hasil  prediksi  benar  positif  (dalam  hal  ini  0) dibandingkan  dengan  keseluruhan  data  yang  benar  positif  (0).  Sensitifitas  dapat digunakan  ketika  kejadian  yang  diharapkan  adalah  lebih  banyak false  positive dibandingkan dengan false negative , artinya lebih banyak amatan kelas minoritas yang diklasifikasikan ke dalam kelas mayoritas dibandingkan dengan kelas mayoritas yang
diklasifikasikan ke dalam kelas minoritas. Dalam kasus yang sangat serius, kesalahan dalam  mengklasifikasikan  amatan  kelas  minoritas  ke  dalam  kelas  mayoritas  akan menimbulkan masalah yang sangat serius dan kerugian yang sangat besar.
Tabel 4: Kinerja SVM tanpa menyeimbangkan jumlah amatan kedua kelas (%) Ukuran Kinerja Data 1 Data 2 Data 3 Akurasi 95,50 94,00 90,00 Sensitifitas 100,00 99,44 99,41 Spesifisitas 10,00 45,00 36,67
Data  2  dan  3  juga  masih  memberikan  nilai  sensitifitas  yang  tinggi,  yaitu  99,44 persen  dan  99,41  persen.  Secara  umum  seluruh  data  simulasi  memberikan  nilai sensitifas yang tinggi yang berarti bahwa Support Vector Machine mampu memberikan keakuratan  dalam  memprediksi  kelas  mayoritas.  Hal  sebaliknya  ditunjukkan  oleh ukuran  spesifisitas.  Spesifitas  mengukur  sebarapa  akurat  metode  pengklasifikasi dalam  memprediksi  amatan  kelas  minoritas.  Berdasarkan  data  uji,  nilai  spesifisitas bagi data 1 merupakan yang terendah yaitu hanya 10 persen, artinya hanya 10 persen amatan  kelas  minoritas  yang  benar  diprediksi  sebagai  amatan  kelas  minoritas dibandingkan  dengan  keseluruhan  amatan  yang  sesungguhnya  berasal  dari  kelas minoritas.  Data  2  dan  3  pun  menunjukan  nilai  spesifisitas  yang  sangat  rendah, walaupun lebih baik dibandingkan dengan data simulasi pertama. Berdasarkan data uji  untuk  data  simulasi  ke-2,  lebih  dari  50  persen  amatan  kelas  minoritas diklasifikasikan  sebagai  amatan  kelas  mayoritas,  dan  19  dari  30  amatan  kelas minoritas  pada  data  simulasi  ke-3  diklasifikasikan  sebagai  kelas  mayoritas.    Hal  ini menunjukan  metode  klasifikasi  memberikan  kinerja  yang  buruk  dalam  memprediksi amatan kelas minoritas ketika kondisi kelas tidak seimbang dibiarkan.

## 3.3 Metode Klasifikasi dengan Penerapan Safe-level SMOTE
Skema  dengan  penerapan safe-level SMOTE  pada  data  latih  memberikan  kinerja metode  klasifikasi  seperti  yang  disajikan  pada  Tabel  5.  Data  latih  yang  sebelumnya memiliki  kelas  dengan  jumlah  amatan  yang  tidak  seimbang  akan  ditambah  jumlah amatan  kelas  minoritasnya  sehingga  memiliki  data  latih  yang  baru.  Proses penambahan  jumlah  data  buatan  atau  sintetis  pada  kelas  minoritas  untuk  masing- masing data simulasi akan menghasilkan data latih baru dengan jumlah yang berbeda. Hal  ini  disebabkan  karena  proporsi  ketidakseimbangan  data  awal  serta  jumlah  data latih dan data uji yang bagi setiap data simulasi juga berbeda sehingga penambahan data  buatannya  yang  dihasilkan  juga  berbeda.  Pada  tahap  ini,  jumlah  tetangga terdekat yang dipilih adalah sebanyak 5 atau 𝑘 = 5 .
Tabel 5: Kinerja SVM dengan menerapkan safe-level SMOTE (%) Ukuran Kinerja Data 1 Data 2 Data 3 Akurasi 96,00 93,50 90,50 Sensitifitas 100,00 98,89 98,82 Spesifisitas 20,00 45,00 43,33
Berdasarkan  Tabel  5,  metode Support  Vector  Machine cukup  konsisten  dalam memberikan akurasi terhadap ketiga data simulasi. Data 1 memiliki tingkat keakuratan yang  lebih  tinggi  (96  persen)  dibandingkan  dengan  data  yang  sebelumnya  tidak seimbang.  Hal  yang  sama  juga  terjadi  bagi  data  3  dimana  tingkat  keakuratan  yang diperoleh sebesar 90,50 persen, sedangkan data 2 memiliki tingkat akurasi sebesar 93,50 persen. Ukuran kerja klasifikasi akurasi dan sensitifitas dapat dipertimbangkan pada  tahap  ini  karena  data  latih  telah  diterapkan  proses  penyeimbangan  data menggunakan safe-level SMOTE. Kinerja Support Vector Machine dalam memprediksi amatan kelas mayoritas sangat baik. Tingkat sensitifitas metode klasifikasi bagi  data 1 menunjukan keakuratan yang sempurna yaitu 100 persen, sedangkan bagi data 2 dan 3 adalah 98.89 persen dan 98.82 persen.
Berdasarkan  data  uji,  tingkat  spesifisitas  bagi  ketiga  data  simulasi  masih  sangat rendah.  Data  1  memiliki  tingkat  spesifisitas  sebesar  20  persen.  Rendahnya  nilai tersebut disebabkan karena 80 persen amatan yang sesungguhnya berasal dari kelas minoritas  diklasifikasikan  sebagai  amatan  kelas  mayoritas.  Data  2  memiliki  tingkat spesifisitas yang sama dengan kondisi data awal dimana tidak diaplikasikannya safe- level SMOTE yaitu sebesar 45 persen. Tingkat spesifisitas yang diperoleh data 3 lebih tinggi dibandingkan sebelumnya yaitu sebesar 43,33 persen, tetapi hal tersebut masih menunjukan  kemampuan  metode  klasifikasi  dalam  memprediksi  amatan  kelas minoritas masih rendah. Kondisi sebaran data yang beririsan antara kelas mayoritas dan  minoritas  kemungkinan  besar  menghasilkan  data  buatan  yang  masih  sangat berdekatan dengan kelas mayoritas sehingga hasil klasifikasinya masih dimungkinan mengalami kesalahan.

## 3.4 Metode Klasifikasi dengan Penerapan Bagging pada Safe-level SMOTE
Tahap  ini  merupakan  gabungan  antara  metode safe-level  SMOTE dan bagging dimana proses bootstrap akan diterapkan pada setiap data latih yang dihasilkan oleh data  simulasi.  Proses bootstrap akan  menghasilkan  himpunan  data  latih  baru  yang akan  digunakan  untuk  membuat  model  klasifikasi  menggunakan Support  Vector Machine . Kinerja metode Support Vector Machine pada tahap ini disajikan pada Tabel 6. Proses bootstrap dilakukan sebanyak 50 kali sehingga akan diperoleh hasil prediksi dengan jumlah yang sama yaitu sebanyak 50 data uji bagi setiap data simulasi.
Tabel 6: Kinerja SVM dengan menerapkan safe-level SMOTE Bagging (%) Ukuran Kinerja Data 1 Data 2 Data 3 Akurasi 96,46 93,30 93,22 Sensitifitas 100,00 100,00 99,26 Spesifisitas 77,93 78,46 85,69
Kinerja  metode  klasifikasi  yang  diterapkan safe-level SMOTE  menunjukan  hasil yang  baik.  Akurasi  bagi  ketiga  data  simulasi  masih  menunjukan  angka  yang  tinggi, yaitu 96,46 persen bagi data simulasi ke-1, 93,30 persen bagi data ke-2, dan 93,22 persen  bagi  data  ke-3.  Tingkat  sensitifitas  yang  dihasilkan  pun  menunjukan  angka yang tinggi bagi semua data simulasi. Data 1 dan 2 memiliki tingkat sensitifitas sebesar 100  persen  yang  berarti  bahwa  kemampuan  metode  klasifikasi  dalam  memprediksi
amatan kelas mayoritas sudah sangat baik dan tidak terjadi kesalahan klasifikasi. Data 3 memberikan tingkat sensitifitas yang sedikit lebih rendah dibandingkan dengan Data 1 dan Data 2, akan tetapi nilai yang dihasilkan masih sangat baik dan mendekati 100 persen, yaitu sebesar 99,26 persen. Ukuran kinerja metode klasifikasi yang mengalami peningkatan signifikan adalah spesifisitas. Dengan penerapan safe-level SMOTE Bagging ¸ metode Support Vector Machine mampu mengklasifikasikan amatan kelas  minoritas  ke  dalam  kelas  yang  seharusnya  dengan  lebih  baik.  Tingkat spesifisitas  bagi  data  1  adalah  sebesar  77,93  persen.  Perbaikan  tingkat  spesifisitas juga ditunjukkan di data 2 dan 3. Lebih dari 80 persen amatan kelas minoritas telah diklasifikasikan  dengan  benar  pada  data  simulasi  ke-2.  Hal  tersebut  menghasilkan tingkat  spesifisitas  yang  jauh  lebih  tinggi  dibandingkan  sebelumnya  yaitu  menjadi sebesar 78,46 persen. Tingkat spesifisitas yang tertinggi berasal dari data simulasi ke- 3  dimana  jumlah  amatan  minoritasnya  paling  banyak.  Pada  data  3  juga  ditemukan lebih dari 80 persen amatan kelas minoritas yang diklasifikasikan ke dalam kelas yang sesungguhnya sehingga menghasilkan tingkat spesifisitas yang tinggi, yaitu sebesar 85,69 persen.

## 3.5 Perbandingan Kinerja Metode Klasifikasi
Kondisi kelas tidak seimbang memberikan pengaruh kepada beberapa ukuran kinerja model klasifikasi. Nilai akurasi yang dihasilkan oleh semua data simulasi, baik tanpa penerapan safe-level SMOTE  maupun safe-level SMOTE Bagging ,  sangat  tinggi. Apabila hasil ini dijadikan sebagai satu-satunya ukuran kinerja metode klasifikasi akan sangat membahayakan karena amatan kelas minoritas memberikan konstribusi yang sangat sedikit dalam perhitungan akurasi. Sensitifitas lebih fokus kepada hasil prediksi kelas  mayoritas  dimana  cenderung  lebih  memilih  salah  dalam  mengklasifikasikan amatan  kelas  minoritas  ke  dalam  kelas  mayoritas  dibandingkan  dengan  sebaliknya. Spesifisitas lebih memilih terjadinya false negative dibandingkan false positive , akan tetapi dalam kondisi data tidak seimbang kesalahan dalam mengklasifikasikan amatan kelas minoritas menjadi kelas mayoritas dalam jumlah yang banyak akan berdampak pada pengambilan keputusan di berbagai bidang. Oleh karena itu, spesifisitas menjadi ukuran yang sangat penting dalam menentukan kinerja metode klasifikasi.
Tabel 7: Perbandingan ukuran kinerja klasifikasi (%)
Metode Data 1 Data 2 Data 3
A B
C
A B C A
B C
Tanpa safe-level SMOTE 95,50  100,00 10,00 94,00 99,44 45,00 90,00 99,41 36,67 Safe-level SMOTE 96,00  100,00 20,00 93,50 98,89 45,00 90,50 98,82 43,33 Safe-level SMOTE Bagging 96,46  100,00 77,93 93,30  100,00 78,46 93,22 99,26 85,69
Keterangan: A = akurasi, B = sensitifitas, C = spesifisitas.
Tabel 7 menunjukan keseluruhan hasil yang dilakukan pada penelitian ini. Secara umum, nilai akurasi dan sensitifitas pada seluruh data simulasi di ketiga kondisi, yaitu tanpa penerapan safe-level SMOTE, adanya penerapan safe-level SMOTE dan safe- level SMOTE Bagging ,  yang  dihasilkan  oleh  metode Support  Vector  Machine tidak
mengalami perubahan yang signifikan. Keduanya bernilai sangat tinggi karena jumlah amatan  kelas  mayoritas  memiliki  kontribusi  yang  sangat  besar  di  dalamnya.  Oleh karena  itu,  satu-satunya  ukuran  yang  dapat  dijadikan  sebagai  pembanding  adalah spesifisitas.
Gambar 3 menunjukan bahwa ketika metode klasifikasi langsung diterapkan pada data dengan kelas tidak seimbang, maka nilai spesifisitas yang dihasilkan dari data uji sangat  rendah.  Tingkat  spesifisitas  mengalami  kenaikan  ketika safe-level SMOTE mulai diterapkan ke dalam data latih, artinya kedua kelas akan memiliki jumlah amatan yang  lebih  seimbang.  Kenaikan  spesifisitas  sebesar  10  persen  terjadi  di  data  1  dan 6,67  persen  terjadi  pada  data  3  ketika safe-level SMOTE  diterapkan,  sedangkan spesifisitas di data 2 tidak mengalami perubahan.

## Gambar 3: Perbandingan performa Support Vector Machine
Penerapan  metode safe-level SMOTE Bagging berhasil  memperbaiki  kinerja metode  klasifikasi Support  Vector  Machine .  Hal  ini  dapat  terlihat  dari  besarnya peningkatan  spesifisitas  yang  terjadi  pada  semua  data  simulasi.  Tingkat  spesifisitas yang  diperoleh  ketika bagging diterapkan  untuk  setiap  data  simulasi  adalah  77,93 persen  bagi  data  1,  78,46  persen  bagi  data  2,  dan  85,69  persen  bagi  data  3. Peningkatan  terbesar  terjadi  pada  data  1  (57,93  persen)  dimana  proporsi  kelas minoritasnya  paling  kecil,  sedangkan  peningkatan  yang  diperoleh  dari  skema penerapan safe-level SMOTE  tanpa bagging bagi  data  simulasi  2  dan  3  secara berturut-turut  adalah  33,46  persen  dan  42,36  persen.  Hasil  ini  menunjukan  bahwa majority  voting yang  dilakukan  pada  proses bootstrap dan aggregating membuat kinerja Support Vector Machine jauh lebih baik dibandingkan dengan sebelumnya.

## 4.  Simpulan dan Saran
Spesifisitas  menjadi  ukuran  yang  diutamakan  dalam  menentukan  kinerja  metode klasifikasi  karena  mampu  mengukur  tingkat  keakuratan  dalam  memprediksi  kelas minoritas  yang  menjadi  perhatian.  Metode Support  Vector  Machine yang  diterapkan pada data latih yang tidak mendapatkan penanganan kelas tidak seimbang memiliki tingkat keakuratan dan sensitifitas yang tinggi bagi ketiga jenis data simulasi, namun memberikan tingkat spesifisitas yang sangat rendah. Spesifisitas semakin meningkat ketika  jumlah  amatan  kedua  kelas  mulai  seimbang  akibat  diterapkannya safe-level
SMOTE. Kinerja metode Support Vector Machine yang paling baik dalam memprediksi amatan  kelas  minoritas  ditunjukkan  ketika  data  latih  dari  setiap  data  simulasi diterapkan boostrap dan aggregating ( Bagging ).  Hasil  yang  diperoleh  tersebut konsisten bagi seluruh data simulasi dimana sebaran data antara kedua kelas saling beririsan.
Pengembangan yang dapat dilakukan dari penelitian ini adalah dengan mengkaji metode safe-level SMOTE Bagging pada  data real sehingga  teruji  konsistensi performanya. Selain itu, variabel yang akan dilibatkan memiliki skala pengukuran yang berbeda  sehingga  metode  klasifikasi  yang  diterapkan  juga  lebih  bervariasi.  Dengan begitu  diharapkan  kajian  dalam  penanganan  kelas  tidak  seimbang  akan  semakin komprehensif.
Ucapan  Terima  Kasih .    Terima  kasih  kepada  Fakultas  Matematika  dan  Ilmu Pengetahuan  Alam  Universitas  Negeri  Jakarta  yang  telah  memberikan  dukungan dalam penelitian ini.

## Daftar Pustaka
Aggarwa, C. C. (2015). Data Classification: Algorithms and Applications . Chapman & Hall/CRC Data Mining and Knowledge Discovery Series.
Akbani,  R.,  Kwek,  S.,  &  Japkowicz,  N.  (2004).  Applying  support  vector  machines  to imbalanced  datasets. European  Conference  on  Machine  Learning ,  39 –50. Springer.
Bunkhumpornpat, C., Sinapiromsaran, K., & Lursinsap, C. (2009). Safe-level-smote: Safe-level-synthetic  minority  over-sampling  technique  for  handling  the  class imbalanced  problem. Pacific-Asia  Conference  on  Knowledge  Discovery  and Data Mining , 475 –482. Springer.
Chawla, N. V. (2009). Data mining for imbalanced datasets: An overview. Data Mining and Knowledge Discovery Handbook , 875 –886.
Chawla,  N.  V.,  Bowyer,  K.  W.,  Hall,  L.  O.,  &  Kegelmeyer,  W.  P.  (2002).  SMOTE: synthetic  minority  over-sampling  technique. Journal  of  Artificial  Intelligence Research , 16 : 321 –357.
Han, H., Wang, W.-Y., & Mao, B.-H. (2005). Borderline-SMOTE: a new over-sampling method in imbalanced data sets learning. International Conference on Intelligent Computing , 878 –887. Springer.
Hanifah,  F.  S.,  Wijayanto,  H.,  &  Kurnia,  A.  (2015).  Smotebagging  algorithm  for imbalanced  dataset  in  logistic  regression  analysis  (case:  Credit  of  bank  x). Applied Mathematical Sciences , 9 (138): 6857 –6865.
He, H., & Garcia, E. A. (2009). Learning from imbalanced data. IEEE Transactions on Knowledge and Data Engineering , 21 (9): 1263 –1284.
Hussein,  A.  S.,  Li,  T.,  Yohannese,  C.  W.,  &  Bashir,  K.  (2019).  A-SMOTE:  A  new preprocessing approach for highly imbalanced datasets by improving SMOTE. International Journal of Computational Intelligence Systems , 12 (2): 1412 –1422.
Japkowicz, N. (2000). Learning from imbalanced data sets: a comparison of various strategies. AAAI Workshop on Learning from Imbalanced Data Sets , 68 :10 –15. AAAI Press Menlo Park, CA.
Mahdizadeh, M., & Eftekhari, M. (2013). Designing fuzzy imbalanced classifier based on  the  subtractive  clustering  and  genetic  programming. 2013  13th  Iranian Conference on Fuzzy Systems (IFSC) , 1 –6. IEEE.
Sahare, M., & Gupta, H. (2012). A review of multi-class classification for imbalanced data. International Journal of Advanced Computer Research , 2 (3): 160-164.
Sartono,  B.,  &  Syafitri,  U.  D.  (2010).  Metode  pohon  gabungan:  Solusi  pilihan  untuk mengatasi  kelemahan  pohon  regresi  dan  klasifikasi  tunggal. Forum  Statistika Dan Komputasi , 15 (1): 1-7.
Zhou, Z.-H. (2012). Ensemble methods: foundations and algorithms . CRC press.