## ANALISIS PERBANDINGAN PERFORMA METODE ENSEMBLE DALAM MENANGANI IMBALANCED MULTI-CLASS
CLASSIFICATION
Qorry Meidianingsih 1 , Devi Eka Wardani Meganingtyas 2
1 Program Studi Pendidikan Matematika, Fakultas MIPA, Universitas Negeri Jakarta
2 Program Studi Matematika, Fakultas MIPA, Universitas Negeri Jakarta e-mail: 1 qorrymeidianingsih@unj.ac.id, 2 deviekawm@unj.ac.id

## Abstrak
Penelitian  ini  fokus  pada  membandingkan  kinerja  beberapa  metode ensemble dalam  mengatasi imbalanced multi-class classification dimana metode dekomposisi one-versus-one (OVO) diterapkan sehingga  metode  klasifikasi Support  Vector  Machine yang  standar  dapat  digunakan.  Data  penelitian merupakan  hasil  bangkitan software  R yang  dirancang  berdasarkan  level  persentase  kelas  minoritas, yaitu menjadi kategori extreme, moderate, dan mild . Selain itu, dirancang pula kombinasi jumlah kelas mayoritas  dan  minoritas  yang  mungkin  terjadi  sehingga  terdapat  sembilan  jenis  data  simulasi.  Hasil penelitian  menunjukkan  bahwa  secara  umum  rata-rata  ketepatan  klasifikasi  paling  rendah  diperoleh ketika data simulasi bersifat moderate dengan sebaran gugus data terbagi menjadi 2 kelas mayoritas dan 1  kelas  minoritas.  Metode safe-level SMOTE Bagging memberikan  performa  yang  paling  baik  bagi semua jenis data simulasi, terutama ketika gugus data bersifat ekstrim, yaitu ditunjukkan dengan nilai rata-rata  akurasi  yang  diperoleh  sebesar  98.60  persen.  Kinerja  metode  klasifikasi  SVM  cukup  baik dimana nilai rata-rata tingkat akurasi setiap kelas berkisar antara 67.80-98.60 persen.
Kata kunci : imbalanced multi-class , ensemble method, bagging, underbagging, SMOTE Bagging, safe- level SMOTE, support vector machine

## Abstract
This study focused on comparing the performance of several ensemble methods in handling imbalanced multi-class classification where the one-versus-one (OVO) decomposition method is applied so that the standard Support  Vector Machine  classification  method  can  be  used.  The  data  were  generated  by  R software which is designed based on the percentage level of the minority class, namely into “extreme”, “moderate”, and “mild” categories. In addition, a combination of the number of majority and minority classes that may occur is designed so that there are nine types of simulation data. The results showed that in general the lowest average classification accuracy was obtained when the simulation data was moderate with the distribution of the data set divided into 2 majority classes and 1 minority class. The safe-level  SMOTEBagging  method  provides  the  best  performance  for  all  types  of  simulation  data, especially when the data set is extreme, which is indicated by the average accuracy obtained of 98.60 percent. The performance of the SVM classification method is quite good where the average value of the accuracy level of each class ranges from 67.80-98.60 percent.
Keywords: imbalanced multi-class, ensemble method, bagging, underbagging, SMOTEBagging, safe- level SMOTE, support vector machine

## PENDAHULUAN
Penelitian  yang  melibatkan  data  besar ( big  data )  menjadi  kajian  yang  banyak dipelajari oleh komunitas data mining dan machine  learning .  Skenario  masalah  yang ditemukan  pun  lebih  beragam  sehingga dapat  memberikan  berbagai  pilihan  topik, dimana salah satu yang mendapat perhatian yaitu  mengenai  kelas  tidak  seimbang. Berbagai  penelitian  telah  dilakukan  untuk menangani permasalahan klasifikasi ketika kelas  tidak  seimbang,  namun  banyak literatur  yang  lebih  fokus  pada  kelas bersifat biner (memiliki dua kelas).
Permasalahan
data dengan ketidakseimbangan pada multi-class mulai mendapatkan  perhatian  dari  komunitas peneliti  dalam  beberapa  tahun  terakhir (Lango, 2019). Literatur mengenai pattern recognition telah banyak membahas teknik klasifikasi  pola  pada multi-class ,  namun sebagian besar teknik tersebut menerapkannya  pada  kondisi  data  yang seimbang,  seperti  klasifikasi  dokumen tertulis  dan  pengenalan  suara,  meskipun dalam banyak penerapan di bidang lain data yang ditemukan lebih sering memiliki kelas yang tidak seimbang (Ghanem et. al , 2010). Dalam menangani permasalahan ketidakseimbangan multi-class ,  kita  akan dihadapkan  pada  gugus  data  dengan konfigurasi yang berbeda, seperti kemungkinan  untuk  memiliki  tidak  hanya satu  kelas  mayoritas  tetapi  beberapa  dan sebaliknya dimana satu kelas mayoritas dan beberapa  kelas  minoritas  (Esteves,  2020). Beberapa  metode  standar  pun  tidak  dapat diterapkan  secara  langsung  pada  kasus ketidakseimbangan multi-class . Hal ini lah yang  membuat  permasalahan  klasifikasi pada kasus imbalanced multi-class menjadi lebih rumit. Metode yang digunakan harus mencoba  untuk  menangkap  dan  menggali lebih jauh hubungan antara beberapa kelas yang  tidak  seimbang  serta  siap  untuk bekerja  dengan  ketidakseimbangan  yang lebih ekstrim karena mereka lebih mungkin terjadi  dalam  gugus  data multi-class (Lango, 2019).
Dalam
mengatasi permasalahan klasifikasi multi-class , metode
dekomposisi  merupakan  salah  satu  yang populer, sedangkan metode ensemble dapat digunakan untuk menangani permasalahan ketidakseimbangan kelasnya. Metode dekomposisi  diterapkan  untuk  membagi gugus  data multi-class menjadi  multipel sub-kelas  biner  sehingga  nantinya  akan menghasilkan pengklasifikasi biner sebanyak sub-kelas. Metode ensemble yang digunakan untuk menyeimbangkan jumlah amatan  kelas  pun  beragam,  di  antaranya boosting dan bagging .  Penyeimbangan jumlah  amatan  antara  kelas  mayoritas  dan minoritas memungkinkan metode klasifikasi  standar  dapat  diterapkan,  salah satunya  yaitu Support  Vector  Machine . Penelitian ini fokus kepada membandingkan  kinerja  beberapa  metode ensemble , yaitu
underbagging ,
SMOTE Bagging , dan
safe-level
SMOTE Bagging, dalam mengatasi imbalanced multi-class classification menggunakan  metode  dekomposisi one- versus-one (OVO.  Dengan  demikian  hasil penelitian ini diharapkan dapat memberikan alternatif lain dalam mengatasi  kasus  klasifikasi  untuk  gugus data multi-class yang tidak seimbang.

## METODOLOGI

## Tinjauan Referensi
Pendekatan  yang  diperkenalkan  untuk mengatasi permasalahan data dengan kelas tidak  seimbang  hampir  sebagian  besar hanya dirancang untuk skenario kelas biner. Beberapa  metode  tidak  dapat  diterapkan secara langsung pada kasus ketidakseimbangan multi-class . Solusi yang ditawarkan dalam mengatasi ketidakseimbangan multi-class cukup beragam,  namun  sebagian  besar  literatur mengarahkan  pada  metode  dekomposisi kelas  atau  mengkonversi  masalah multi- class menjadi sekumpulan sub-kelas biner. (Wang dan Yao, 2012). Metode dekomposisi tersebut pada awalnya digunakan  pada  penerapan  klasifikasi
multi-class yang seimbang, namun Esteves (2020)  memberikan  penguatan  bahwa metode  tersebut  dapat  dipelajari  oleh pengklasifikasi  biner  sekalipun  kondisi datanya tidak seimbang.
One-versus-all (OVA)  dan One- versus-one (OVO) merupakan dua pendekatan  yang  membagi  masalah  untuk memungkinkan hasil yang diperoleh menjadi lebih baik. Kedua metode tersebut sangat dikenal ketika melakukan dekomposisi  kelas.  OVA  pertama  kali didiskusikan  sebagai  sebuah  teknik  oleh Clark dan Boswell pada tahun 1991 (dalam Esteves, 2020). Ide dari metode OVA yaitu memberikan  label  pada  salah  satu  kelas sebagai  positif  dan  kelas  lainnya  sebagai negatif lalu menerapkan metode klasifikasi yang sama pada semua kelas dan membuat model  klasifikasi  berdasarkan  data  latih. Hasil  dari  metode  tersebut  adalah  model klasifikasi  multipel  biner  yang  dapat dibandingkan  hingga  diperoleh  yang terbaik.  Metode one-versus-one (OVO) diperkenalkan oleh Knerr et al. pada tahun 1990 (dalam Azis et al , 2017). Pada metode OVO,  metode  klasifikasi  biner  dibangun oleh  setiap  pasangan  kelas.  Pendekatan sederhana  untuk  menggabungkan  semua hasil  dari  metode  klasifikasi  biner  pada OVO  yaitu  menggunakan majority  voting dimana contoh uji akan diklasifikasikan ke dalam  kelas  yang  memiliki vote tertinggi (Ghanem et. al , 2010).
Secara  umum  metode  OVO  lebih disukai untuk data dengan kelas yang tidak seimbang  karena  masalah  biner  yang dibangun  oleh  OVA  bahkan  lebih  sangat tidak  seimbang  daripada  masalah  yang sebenarnya. Di sisi lain, metode OVO akan memakan  banyak  waktu  dan  biaya  ketika jumlah kelas yang dimiliki semakin banyak karena  akan  menghasilkan  pengklasifikasi sub-kelas yang sangat banyak dan memungkinkan untuk memberikan masalah  yang  rumit  dalam  pengerjaannya (Lango, 2019). Meskipun demikian, penelitian  yang  dilakukan  oleh  Rout  dan Mishra  (2018)  memberikan  hasil  yang positif  mengenai  aplikasi  metode  OVO.
Penelitian  tersebut  berupa  eksperimen untuk menganalisis permasalahan klasifikasi  pada  imbalanced  multi-class. Metode  OVO  diterapkan  pada  gugus  data penelitian sehingga dihasilkan sekumpulan kelas biner yang tidak seimbang. Beberapa metode ensemble berbasis boosting selanjutnya digunakan untuk menghasilkan gugus  sub-kelas  yang  seimbang  sehingga metode  klasifikasi  biner  dapat  diterapkan. Penggunaan  metode  OVO  dipilih  pada penelitian  tersebut  dengan  merujuk  pada penelitian  yang  dilakukan  oleh  Saez  et  al. (2014)  yang  memberikan  hasil  bahwa metode OVO menunjukkan performa yang lebih  baik  dan  pengklasifikasi  yang  lebih robust ketika berhadapan dengan data yang memiliki noise.
Dalam menangani permasalahan ketidakseimbangan kelas, pendekatan solusi yang telah banyak dikenal yaitu pada level  data  preprocessing  dan  modifikasi algoritma  metode  klasifikasi  standar.  Data preprocessing merupakan tahap mengubah sebaran  data  dari  semua  kelas  menjadi seimbang mungkin. Gugus data yang telah melewati  tahap  ini  selanjutnya  dapat diterapkan  suatu  pengklasifikasi  tunggal dan  diukur  kinerjanya.  Salah  satu  metode yang  menarik  perhatian  adalah  metode ensemble,  yaitu  mengombinasikan  banyak pengklasifikasi  (classifier)  tunggal  yang kemudian  hasil  prediksi  dari  masing- masing pengklasifikasi digabungkan dengan proses voting. Salah satu algoritma metode  ensemble  yang  dapat  digunakan dalam skenario multi-class adalah bagging. Apabila dibandingkan dengan pengklasifikasi  tunggal,  hasil  prediksi bagging  hampir  selalu  lebih  akurat  (Zhou, 2012).
Tanha  et  al.  (2020)  mengevaluasi berbagai metode berbasis algoritma boosting  pada  dua  tipe  gugus  data  multi- class yang tidak seimbang, yaitu konvensional dan data besar. Metode OVO diterapkan  untuk  membagi  gugus  data multi-class  menjadi  multipel  sub-kelas biner. Hasil penelitian menunjukkan bahwa tidak ada algoritma boosting yang
menunjukkan  performa  baik  pada  gugus data besar yang memiliki tingkat ketidakseimbangan  kelasnya  tinggi.  Nilai G-mean  yang  sangat  kecil  menunjukkan bahwa  metode  boosting  tidak  dapat mempelajari  beberapa  kelas  pada  gugus data.  Oleh  karena  itu,  algoritma  boosting tidak  cocok  digunakan  pada  data  besar dengan rasio ketidakseimbangan kelas yang lebih  tinggi.  Meskipun  begitu,  pada penelitian tersebut ditemukan bahwa teknik oversampling  cukup  efektif  untuk  gugus data multi-class yang tidak seimbang.
Kajian  beberapa  teori  dan  hasil penelitian sebelumnya yang terkait dengan penelitian ini memberikan gambaran bahwa algoritma bagging sebagai  salah  satu bagian dari metode ensemble belum banyak dilibatkan dalam topik penelitian
imbalanced multi-class classification . Penggunaan  metode  dekomposisi one- versus-one dan  penerapan support  vector machine sebagai metode klasifikasi diharapkan  mampu  memberikan  hasil prediksi yang lebih baik. Hal ini didukung dengan  alasan  bahwa Support  Vector Machine merupakan  salah  satu  metode yang  kini  banyak  mendapat  perhatian sebagai state  of  the  art dalam  klasifikasi pattern recognition (Azis et al., 2017).

## UnderBagging
Barandela et  al. (2003) memperkenalkan metode UnderBagging pada  tahun  2003. Metode  ini  merupakan  gabungan  antara teknik pengambilan contoh undersampling dan  teknik ensemble  bagging .  Ide  dari metode  ini  yaitu  membuat  beberapa  data latih  sebanyak k kali  dimana  seluruh amatannya berasal dari kelas minoritas dan menarik secara acak amatan kelas mayoritas  dengan  jumlah  yang  sama  atau dengan teknik tanpa pengembalian (Blaszczynski et  al. ,  2013).  Selanjutnya metode  klasifikasi  diterapkan  pada  setiap data  latih  tersebut  sehingga  diperoleh k buah  klasifikasi  sehingga  hasil  prediksi gabungannya ditentukan berdasarkan majority vote .

## SMOTEBagging
Synthetic Minority Oversampling
Technique (SMOTE) merupakan salah satu teknik oversampling yang  diperkenalkan oleh  Chawla et  al .  pada  tahun  2002.  Oleh karena  itu,  SMOTE Bagging merupakan kombinasi  antara  metode  SMOTE  dengan algoritma bagging yang diperkenalkan oleh Breiman (1996). Ide dari SMOTE Bagging adalah  menerapkan  SMOTE  sebelum pemodelan  pada  setiap  gugus  data  yang diperoleh  melalui  proses bootstrap agar kelas menjadi lebih seimbang. Tujuan dari metode ini adalah menciptakan model yang powerful dalam mengklasifikasi data yang tidak  seimbang  tanpa  mengorbankan akurasi  secara  keseluruhan  (Hanifah, 2015).
Prosedur  SMOTE  menurut  Chawla et  al.
(2002) adalah sebagai berikut:
1. Tentukan k tetangga  terdekat  untuk setiap amatan kelas minoritas.
2. Pilih  1  dari k tetangga  terdekat  secara acak.
3. Tentukan  nilai  selisih  antara  amatan kelas  minoritas  dan  tetangga  terdekat yang terpilih.
4. Kalikan  hasil  pada  tahap  3  dengan bilangan acak antara 0 dan 1.
5. Tambahkan  hasil  di  poin  4  dengan amatan kelas minoritas yang awal.
6. Hasil  tahap  5  merupakan  data  sintesis yang dibangkitkan.

## Safe-level SMOTEBagging
Metode  ini  sebenarnya  mengadaptasi algoritma yang diterapkan pada
SMOTEBagging. Perbedaan antara metode ini  dengan  SMOTE Bagging terletak  pada cara  membangkitkan  data  sintesisnya dimana dilakukan berdasarkan pada kriteria wilayah  aman  yang  diperkenalkan  oleh Bunkhumpornpat et al . (2009).

## Ukuran Kinerja Metode Klasifikasi
Dalam  mengevaluasi  kinerja  metode klasifikasi pada kasus multi-class ,
prosedurnya  dapat  mengikuti  pada  kasus kelas biner. Lapalme dan Sokolova (2009)
menjabarkan lebih rinci penerapan perhitungan akurasi berdasarkan confusion matrix ketika  klasifikasi  diterapkan  pada multi-class .
𝐴𝑣𝑒𝑟𝑎𝑔𝑒 𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = ∑ 𝑇𝑃 𝑖 + 𝑇𝑁 𝑖 𝑇𝑃 𝑖 + 𝐹𝑃 𝑖 + 𝐹𝑁 𝑖 + 𝑇𝑁 𝑖 𝑙 𝑖=1 𝑙
Keterangan: 𝑇𝑃 𝑖 : True  positive atau  banyaknya amatan kelas positif yang diklasifikasikan  dengan  tepat  pada kelas ke- i 𝑇𝑁 𝑖 : True  negative atau  banyaknya amatan kelas negatif yang diklasifikasikan  dengan  tepat  pada kelas ke- i 𝐹𝑃 𝑖 : False  positive atau  banyaknya amatan kelas negatif dan diklasifikasikan  ke  dalam  kelas positif pada kelas ke- i 𝐹𝑁 𝑖 : False  negative atau  banyaknya amatan kelas positif dan
diklasifikasikan  ke  dalam  kelas negatif pada kelas ke- i 𝑙 :  jumlah kelas

## Metode Analisis
Penelitian ini menggunakan data simulasi, yaitu data hasil generate melalui software R. Variabel penelitian terdiri dari variabel prediktor X 1 dan X 2 yang bersifat numerik,  sedangkan  peubah  responnya terdiri  dari  tiga  kelas,  yaitu  1,  2,  dan  3. Terdapat  beberapa  skema  data  simulasi yang ditentukan berdasarkan tingkat persentase kelas minoritas serta banyaknya kelas  minoritas  pada  satu  gugus  data simulasi. Hal tersebut merupakan implikasi dari kondisi multi-class yang memungkinkan  dalam  satu  gugus  data terdapat lebih dari satu kelas minoritas atau kelas mayoritas seperti yang disajikan pada Tabel  1.  Dengan  demikian,  data  simulasi yang dibangkitkan diharapkan dapat menangkap kemungkinan-kemungkinan tersebut. Tabel 1. Skema Data Simulasi Jenis Data Persentase (%) Keterangan Kelas 1 Kelas 2 Kelas 3 Extreme 75 24 1 1 mayoritas, 1 minoritas 50 49 1 2 mayoritas, 1 minoritas 98 1 1 1 mayoritas, 2 minoritas Moderate 75 20 5 1 mayoritas, 1 minoritas 48 47 5 2 mayoritas, 1 minoritas 90 5 5 1 mayoritas, 2 minoritas Mild 65 25 10 1 mayoritas, 1 minoritas 45 45 10 2 mayoritas, 1 minoritas 80 10 10 1 mayoritas, 2 minoritas
Secara  umum,  terdapat  3  jenis  data simulasi,  yaitu extreme,  moderate, dan mild. Kelas  1  ditetapkan  sebagai  kelas mayoritas,  sedangkan  kelas  3  ditentukan sebagai kelas minoritas. Kelas 2 ditentukan sebagai  kelas  minoritas  ke-2  ketika  dalam satu  gugus  data  terdapat  dua  kelas minoritas,  atau  kelas  mayoritas  ke-2  jika hanya  terdapat  1  kelas  minoritas  dalam gugus  data.  Bentuk  sebaran  ketiga  kelas
dirancang  agar  saling  beririsan.  Sebaran tersebut  dipilih  untuk  melihat  performa metode penyeimbang kelas, seperti SMOTE  dan safe-level SMOTE.  Dengan demikian, sebaran data yang beririsan akan menentukan  apakah  data  sintesis  akan memberikan hasil klasifikasi yang baik atau sebaliknya.
Gambar  1.  Contoh Scatter  Plot Data Simulasi Extreme (1 mayoritas, 2 minoritas)
Tahapan  analisis  secara  umum  adalah sebagai berikut.
1. Membangkitkan
data simulasi menggunakan software  R dengan tahapan sebagai berikut.
1) Membangkitkan  10.000  amatan populasi  menggunakan  bilangan acak normal multivariat.
2) Membagi  seluruh  amatan  populasi untuk  kelas  1,  kelas  2,  dan  kelas  3 sesuai  dengan  proporsi  yang  telah ditentukan pada Tabel 1.
3) Tahap 1 dan 2 dilakukan untuk jenis data extreme , moderate ,  dan mild sehingga  diperoleh  9  gugus  data simulasi.
2. Membagi  setiap  gugus  data  simulasi menjadi  data  latih  (80%)  dan  data  uji (20%).  Pemilihan  data  latih  dan  uji dilakukan berdasarkan teknik pengambilan  sampel  acak  sederhana. Total  terdapat  sembilan  buah  gugus data simulasi.
3. Membentuk sub-kelas atau subset biner pada setiap data latih.
4. Menerapkan  metode Undersampling , SMOTE,  dan safe-level SMOTE  pada masing-masing sub-kelas
untuk membuat jumlah amatan di semua kelas menjadi seimbang.
5. Menerapkan metode klasifikasi Support Vector  Machine dengan  fungsi  kernel radial basis pada setiap sub-kelas.
6. Menentukan hasil prediksi berdasarkan model  SVM  yang  telah  terbentuk menggunakan data uji.
7. Ulangi  tahap  4-6  sebanyak  50  ( k=50 ) kali dengan pemilihan sampel berulang menggunakan teknik bootstrap.
8. Lakukan majority  voting berdasarkan hasil  yang  diperoleh  pada  tahap  7.
Tahap ini disebut juga sebagai bagging atau bootstrap aggregating .
9. Hasil  prediksi  berdasarkan bagging pada  setiap  sub-kelas  selanjutnya digabung  dan  dicari  kembali  nilai majority  voting nya.  Hasil  tersebutlah yang  dijadikan  sebagai  hasil  prediksi akhir.

## HASIL DAN PEMBAHASAN

## Penerapan Metode Dekomposisi OVO
Metode  dekomposisi one-versus-one (OVO)  diterapkan  pada  data  latih  yang telah  terpilih  secara  acak.  Andaikan  kelas biner yang baru dinotasikan dengan kelas 1 dan  0,  maka  proses  dekomposisi  3  kelas awal  (kelas  1,  2,  3)  akan  menghasilkan  3 kelas  biner  seperti  yang  disajikan  pada Tabel 2 berikut ini.
Tabel 2. Dekomposisi Kelas Kelas Biner (Subsest) ke- Kelas 1 Kelas 0 1 (Subset A) 1 2 2 (Subset B) 1 3 3 (Subset C) 2 3 Gambaran penentuan hasil prediksi berdasarkan proses bagging dan dekomposisi dapat dilihat pada tabel 3 dan 4.  Keseluruhan  proses  tersebut  diterapkan pada seluruh jenis data simulasi.
Tabel 3 Hasil Prediksi Kelas berdasarkan Metode Ensemble Amatan Data Uji ke- Undersampling SMOTE Safe-level SMOTE Bootstrap ke- 1 2 … 50 1 2 … 50 1 2 … 50 1 2 3 ⋮ 2000
Tabel 4 Hasil Prediksi Kelas berdasarkan Metode Dekomposisi Ama tan Data Uji ke- UnderBag ging Hasil Prediksi Kelas (UnderBa gging) SMOTEBa gging Hasil Prediksi Kelas (SMOTEB agging) Safe-level SMOTEBa gging Hasil Prediksi Kelas (Safe-level SMOTEBa gging) 1 vs 2 1 vs 3 2 vs 3 1 vs 2 1 vs 3 2 vs 3 1 vs 2 1 vs 3 2 vs 3
1
2
3
⋮ 2000

## Performa Metode Klasifikasi
Performa  metode  klasifikasi  SVM dapat  dilihat  berdasarkan  hasil  prediksi model berdasarkan data uji. Tabel 5, 6, dan 7 menunjukkan persentase rata-rata ketepatan  setiap  kelas  dalam  melakukan prediksi  atau  klasifikasi.  Notasi  UB ditujukan untuk underbagging , SMB untuk SMOTE Bagging , dan SFB untuk safe-level SMOTE Bagging .
Tabel 5. Persentase (%) rata-rata ketepatan klasifikasi  setiap  kelas  berdasarkan  tipe data extreme
Skema Data Simulasi UB SMB SFB 1 kelas mayoritas, 1 kelas minoritas 73.30 75.77 83.33 2 kelas mayoritas, 1 kelas minoritas 68.73 71.70 75.33 1 kelas mayoritas, 2 kelas minoritas 76.97 81.23 98.60
Tabel 6. Persentase (%) rata-rata ketepatan klasifikasi  setiap  kelas  berdasarkan  tipe data moderate
Skema Data Simulasi UB SMB SFB
1 kelas mayoritas, 1 kelas minoritas 73.63 76.10 83.20 2 kelas mayoritas, 1 kelas minoritas 67.97 67.80 74.37 1 kelas mayoritas, 2 kelas minoritas 78.83 79.03 93.67
Tabel 7. Persentase (%) rata-rata ketepatan klasifikasi  setiap  kelas  berdasarkan  tipe data mild Skema Data Simulasi UB SMB SFB 1 kelas mayoritas, 1 kelas minoritas 73.80 77.13 77.50 2 kelas mayoritas, 1 kelas minoritas 70.87 71.53 74.87 1 kelas mayoritas, 2 kelas minoritas 76.30 76.60 88.37
Secara umum, rata-rata ketepatan klasifikasi  paling  rendah  diperoleh  ketika data simulasinya bersifat moderate dengan sebaran gugus data terbagi menjadi 2 kelas mayoritas dan 1 kelas minoritas (tipe ke-2). Sekalipun persentase kelas minoritas telah ditingkatkan  (bersifat moderate ),  namun penerapan metode Undersampling ,
SMOTE,  dan safe-level SMOTE  dalam
menangani  permasalahan  kelas  tidak seimbang  terlihat  kurang  berhasil  dalam memberikan  model  klasifikasi  yang  baik pada  tipe  data  tersebut.  Hal  tersebut berbeda  ketika  tipe  data  yang  digunakan bersifat extreme .  Metode  SMOTE Bagging dan safe-level SMOTE Bagging mampu menghasilkan rata-rata tingkat akurasi yang tinggi dimana nilainya secara berturut-turut sebesar  81.23  persen  dan  98.60  persen. Berdasarkan  hasil  tersebut,  terlihat  bahwa metode safe-level SMOTE Bagging memberikan  performa  yang  sangat  baik ketika gugus data bersifat ekstrim. Kinerja yang konsisten juga bisa dilihat pada jenis data  simulasi  lainnya.  Rata-rata  tingkat akurasi  setiap  kelas  ketika  metode safe- level SMOTE Bagging diterapkan menunjukkan  nilai  yang  cukup  tinggi.  Ide untuk  membangkitkan  data  sintesis  pada wilayah yang safe masih memberikan hasil yang  positif  dibandingkan  dengan  metode SMOTE Bagging dan UnderBagging .

## KESIMPULAN
Berdasarkan hasil penelitian, metode safe- level SMOTE Bagging memberikan performa yang paling baik bagi semua jenis data  simulasi,  terutama  ketika  gugus  data bersifat  ekstrim,  yaitu  ditunjukkan  dengan nilai  rata-rata  akurasi  yang  diperoleh sebesar  98.60  persen.  Performa  metode klasifikasi SVM dapat dilihat dari nilai rata- rata tingkat akurasi setiap kelas yang masih cukup  tinggi  (berkisar  antara  67.80-98.60 persen). Dengan kata lain, strategi dekomposisi one-versuse-one cukup berhasil  memecahkan  masalah multi-class sehingga  SVM  standar  dapat  langsung diterapkan.

## DAFTAR PUSTAKA
Azis, A. I. S., Suhartono, V., & Himawan, H.  (2017).  Model  Multi-class  SVM Menggunakan  Strategi  1V1  untuk Klasifikasi Wall-Following Robot
Naviagtion  Data.  Jurnal  Teknologi
Informasi, 13(2).
Barandela  J.,  Sanchez,  J.S.,  Garcia,  V.,  & Rangel,  E.  (2003).  Strategies  for
Learning in  Class  Imbalance Problems. The  Journal  of  the  Pattern  Recognition Society, 36, 849-851.
Blaszczynski,  J.,  Stefanowski,  J.,  &
Idkowiak, L. (2013). Extending bagging for  ´  imbalanced  data.  Proc.  of  the  8th CORES  2013,  Springer  Series  on Advances  in  Intelligent  Systems  and Computing, 226, 269–278.
Breiman,  L.  (1996).  Bagging  Predictors.
Machine Learning, 24, 123-140.
https://doi.org/10.1023/A:10180543143 50. Bunkhumpornpat  C.,  Sinapiromsaran  K., Lursinsap C. (2009) Safe-Level- SMOTE: Safe-Level-Synthetic Minority
Over-Sampling TEchnique for Handling the  Class  Imbalanced  Problem.  In: Theeramunkong T., Kijsirikul B., Cercone  N.,  Ho  TB.  (eds)  Advances  in Knowledge Discovery and Data Mining. PAKDD  2009.  Lecture  Notes  in Computer  Science,  5476,  475-482. https://doi.org/10.1007/978-3-642- 01307-2_43.
Chawla, N. V., Bowyer. K. W., Hall, L.O.,
& Kegelmeyer, W. P. (2002). SMOTE:
Synthetic Minority Over-sampling
Technique. Journal of Artificial Intelligence  Research,  16,  321-357. https://doi.org/10.1613/jair.953.
Esteves,  V.  M.  S.  (2020).  Techniques  to deal with imbalanced data in multi-class problems: A review of existing methods. Faculdade de Engenharia da
Universidade do Porto.
Ghanem, A. S., Venkatesh, S., & West, G. (2010). Multi-class pattern classification in  imbalanced  data.  Proceedings:  20th International  Conference  on  Pattern Recognition,  IEEE,  Los  Alamitos, Calif., 2881-2884. https://doi.org/10.1109/ICPR.2010.706. Hanifah  FS.  2015.  Penerapan  algoritme SMOTEBagging  dalam  penyusunan pohon  keputusan  dan  regresi  logistik untuk kajian kredit macet [tesis]. Bogor (ID): Institut Pertanian Bogor.
Lango, M. (2019). Tackling the Problem of
Class Imbalance in Multi-class
Sentiment Classification: An Experimental  Study.  Sciendo,  44(2). https://doi.org/10.2478/fcds-2019-0009.
Rout,  N.,  Kuhoo,  &  Mishra,  D.  (2018). Analysing  the  Multi-class  Imbalanced Datasets  using  Boosting  Methods  and
Relevant Information. International Journal of Pure and Applied
Mathematics, 120(6), 6171-6191.
Saez,  J.  A.,  Galar  M.,  Luengo,  J.,  & Herrera,  F.  (2014).  Analysing  the presence  of  noise  in  multi-class problems:  alleviating  its  influence  with the One-vs-One
decomposition.
Knowledge  and  Information  Systems, 38(1), 179-206.
https://doi.org/10.1007/s10115-012- 0570-1. Tanha, J., Abdi, Y., Samadi, N., Razzaghi, N.,  &  Asadpour,  M.  (2020).  Boosting methods for multi-class imbalanced data classification:  an  experimental  review.
Journal of Big Data, 7(70). https://doi.org/10.1186/s40537-020-
00349-y.
Wang,  S.  &  Yao,  X.  (2012).  Multi-class Imbalance  Problems:  Analysis  and
Potential  Solutions.  IEEE  Transactions on Systems, Man, and Cybernetics - Part B: Cybernetics, 42(4).
https://doi.org/10.1109/TSMCB.2012.2
187280.
Zhou,  Z.  (2012).  Ensemble  Methods: Foundations and Algorithms. CRC Press