Judul: Study of Unbalanced Data Handling Methods in Multiclass Classification
Abstrak: Metode penyeimbangan data pada kasus multi kelas terus berkembang seiring dengan pentingnya kondisi data yang seimbang untuk analisis klasifikasi. Semakin besar perbedaan proporsi suatu kelas terhadap kelas lainnya, semakin besar pula kemungkinan menurunnya kinerja klasifikasi. Tiga pendekatan penanganan data tak seimbang secara garis besar, yaitu pendekatan tingkat data, pendekatan tingkat algoritma dan pendekatan gabungan (hybrid). Pendekatan tingkat data yang sering digunakan yaitu Synthetic Minority Oversampling Technique (SMOTE), Adaptive Synthetic (ADASYN), dan SMOTE and Cluster-based Undersampling Technique (SCUT). Selain itu, untuk meningkatkan kinerja hasil klasifikasi juga digunakan metode ensemble. Penelitian ini bertujuan mengkaji kinerja SMOTE, ADASYN, dan SCUT yang dikombinasikan dengan random forest, adaboost, decision tree, dan metode stacking dalam menyeimbangkan data dan meningkatkan kinerja klasifikasi, khususnya sensitivitas kelas minoritas. Penelitian ini menggunakan lima gugus data yang bersumber dari UCI Machine Learning Repository yaitu data balance-scale, red wine quality, internet firewall, ecoli, dan glass. Selain itu, kajian juga menggunakan data riil Indonesia, yaitu data kemiskinan pada tahun 2020 yang bersumber dari Badan Pusat Statistik (BPS). Keenam data tersebut memiliki jumlah amatan, peubah, dan kelas yang beragam. Data penelitian juga memiliki beberapa kriteria seperti berikut: (1) Proporsi kelas yang tidak seimbang, (2) Besarnya jumlah amatan, (3) Tumpang tindih (overlapping) antarkelas, dan (4) Subkonsep dalam kelas. Keenam gugus data yang digunakan dapat memiliki seluruh atau sebagian kriteria ketakseimbangan data. Pemodelan dilakukan pada data latih. Metode penanganan ketakseimbangan data yang diterapkan yaitu SMOTE, ADASYN, dan SCUT. Kemudian proses klasifikasi diterapkan pada data asli (data tak seimbang) dan data yang telah diseimbangkan dengan tiga metode tersebut. Pengklasifikasi yang digunakan adalah random forest, adaboost, decision tree, dan metode stacking. Pengklasifikasi dasar pada metode stacking yang digunakan adalah random forest, adaboost, dan decision tree serta menggunakan meta learner regresi logistik. Hasil klasifikasi dievaluasi dengan cara membandingkan kombinasi-kombinasi metode yang terbentuk berdasarkan akurasi, sensitivitas, dan F1-score. Selain itu, analisis perbandingan menggunakan uji Friedman dan Nemenyi post hoc untuk menentukan kombinasi metode penanganan data tak seimbang yang signifikan dalam meningkatkan akurasi, sensitivitas, dan F1-score. Kemudian, hasil uji perbandingan di sajikan melalui diagram Demsar. Kondisi ketakseimbangan data dibagi menjadi tiga kondisi, yaitu: (1) Ketakseimbangan data sangat ekstrem yang terjadi pada data red wine quality, internet firewall, ecoli, dan glass, (2) Ketakseimbangan data sedikit ekstrem yang terjadi pada data balance-scale, dan (3) Ketakseimbangan data tidak ekstrem yang terjadi pada data kemiskinan. Kriteria data lain yang dieksplorasi yaitu kondisi overlapping. Beberapa kondisi tersebut yang mungkin terjadi di antaranya, (1) Posisi terpisah yang terjadi pada data balance-scale, (2) Posisi beririsan yang terjadi pada data ecoli, dan (3) Posisi menumpuk yang terjadi pada data red wine quality, internet firewall, glass, dan kemiskinan. Metode SMOTE, ADASYN, dan SCUT secara umum dapat menyeimbangkan kelas sehingga proporsi kelas menjadi merata pada semua gugus data. Namun demikian, fungsi SCUT pada package scutr mengalami error saat mengolah data ecoli karena metode tersebut tidak mampu bekerja pada data dengan anggota kelas kurang dari 5 amatan. Oleh sebab itu, amatan pada ketiga kelas dihapus sehingga data ecoli terdiri atas 5 kelas sisanya. Secara umum, akurasi prediksi yang diperoleh dari keseluruhan data cukup bagus, khususnya yang menggunakan metode stacking sebagai pengklasifikasinya. Penggunaan metode penanganan
Keyword: ensemble, multiclass, unbalanced data