Judul: A Study on The Effect of Class Balancing Methods to Data Complexity in Classification Model
Abstrak: Permasalahan klasifikasi merupakan suatu permasalahan yang terjadi pada pemodelan klasifikasi yang dapat memengaruhi performa pemodelan klasifikasi. Permasalahan klasifikasi dapat terjadi permasalahan pada karakteristik dari data. Karakteristik dari data dapat di ukur dengan menggunakan suatu ukuran yang disebut sebagai ukuran kompleksitas data. Ukuran kompleksitas data di antaranya adalah ukuran melihat keterpisahan kelas amatan secara linear, tumpang tindih amatan kelas, dimensi data dan kepadatan data. Pengukuran ukuran kompleksitas data akan memudahkan dalam memahami dan pengambilan keputusan dari analisis data yang akan dilakukan sehingga hasil performa klasifikasi yang didapatkan lebih baik. Kelas tidak seimbang merupakan salah satu masalah karakteristik data yang terjadi karena banyak amatan kelas mayoritas dan kelas minoritas tidak seimbang. Permasalahan tidak seimbangnya suatu data sering sekali ditemukan di berbagai bidang data. Makin besar nilai proporsi amatan kelas mayoritas dibandingkan kelas minoritas maka akan menghasilkan performa klasifikasi yang bias. Kombinasi dari permasalahan kelas tidak seimbang dengan ukuran kompleksitas lainnya akan membuat pemodelan akan makin sulit mendapatkan model yang baik. Sehingga, penelitian ini menggunakan empat teknik penyeimbangan kelas SMOTE ENN, SMOTE Tomek, SVM SMOTE dan K-means SMOTE sebagai teknik yang dapat memperbaiki ukuran kompleksitas dan meningkatkan performa model klasifikasi. Penelitian ini bertujuan mengkaji penerapan empat teknik penyeimbangan kelas yang mengurangi ukuran kompleksitas data dan teknik terbaik yang menghasilkan performa klasifikasi yang baik. Tujuan lainnya adalah mengidentifikasi faktor-faktor yang memengaruhi status keberhasilan perbaikan ukuran kompleksitas pada data. Serta mengkaji teknik terbaik yang memberikan peningkatan performa klasifikasi. Data yang digunakan dalam penelitian ini adalah 46 gugus data publik, gugus data ini diukur kompleksitas datanya sebelum dan setelah penerapan teknik penyeimbangan kelas serta masing-masing gugus data di lakukan pengklasifikasian dengan model random forest. Data yang berasal dari pengukuran kompleksitas data akan digunakan sebagai perbandingan teknik penyeimbangan terbaik. Data ini juga akan digunakan sebagai peubah respon dalam pengidentifikasian faktor-faktor yang memengaruhi status keberhasilan perbaikan ukuran kompleksitas sebanyak 28 jenis perubahan sebagai peubah respon. Peubah prediktor yang digunakan adalah ukuran kompleksitas sebelum diterapkan teknik penyeimbangan kelas dan faktor lainnya yaitu imbalance rasio, banyak peubah prediktor numerik dan kategorik, serta banyak amatan. Hasil perbandingan ukuran kompleksitas data memberikan informasi bahwa seluruh teknik berhasil menurunkan kompleksitas N1 dan T1. SMOTE ENN berhasil menurunkan kompleksitas T1 pada seluruh data. SVM SMOTE dan K-means SMOTE juga mampu menurunkan ukuran kompleksitas T2 pada seluruh data. Perbandingan ukuran kompleksitas dengan uji t didapatkan tiga teknik penyeimbangan memberikan pengaruh nyata pada ukuran kompleksitas N1, T1 dan T2 yaitu SMOTE Tomek, SVM SMOTE, K-means SMOTE. SMOTE ENN hanya berpengaruh nyata pada ukuran kompleksitas N1 dan T1 saja. Perbandingan performa random forest menghasilkan dari empat teknik SMOTE ENN adalah teknik yang paling sedikit meningkatkan balance accuracy yang hanya 28 gugus data. SMOTE Tomek dan SVM SMOTE memberikan hasil yang sama yaitu 39 gugus data dan SVM SMOTE memperoleh 40 gugus data yang berhasil diperbaiki. Berdasarkan hasil perbandingan ukuran kompleksitas data dan kinerja klasifikasi SVM SMOTE adalah teknik penyeimbangan terbaik. Identifikasi faktor-faktor yang berpengaruh terhadap status keberhasilan perbaikan ukuran kompleksitas menggunakan regresi logistik mendapatkan hasil dari 28 pemodelan hanya 8 model yang memberikan faktor yang signifikan. Faktor yang signifikan pada model-model tersebut kebanyakan adalah faktor yang dari ukuran kompleksitas
Keyword: random forest, classification problems, data complexity, imbalance class, svm smote