ISSN 2407-4322

## Peningkatan Performa Algoritma CART Dengan Seleksi Fitur Menggunakan ABC Untuk Penilaian Kredit
Indra Irawan* 1 , Dian Palupi Rini 2 , Ermatita 3 1,2,3 Universitas Sriwijaya; Jl. Masjid Al Gazali, Bukit Lama, Kec. Ilir Bar. I , telp/fax (0711) 310004
3 Jurusan Magister Ilmu Komputer, Fakultas Ilmu Komputer, Palembang e-mail: * 1 irawanindra405@gmail.com , 2 dprini@unsri.ac.id, 3 ermatitaz@yahoo.com

## Abstrak
Berbagai teknik statistik dan machine learning telah digunakan untuk mengembangkan model prediksi keuangan .Dalam hal ini Penilaian kredit sangat berkaitan erat dalam hal prediksi kelayakan kredit. Karena tidak ada kesepakatan umum atas rasio keuangan sebagai fitur masukan untuk pengembangan model, banyak penelitian menganggap pemilihan fitur sebagai langkah pra-pemrosesan dalam data mining sebelum membuat model.Penelitian ini menguji pengaruh seleksi fitur menggunakan Artificial Bee Colony terhadap peningkatan performa algoritma CART. Hasil eksperimental menunjukkan bahwa ABC merupakan kombinasi terbaik dari pemilihan fitur dalam meningkatkan performa algoritma CART . Dibandingkan dengan beberapa algoritma  optimasi PSO dan Ant Colony metode yang diusulkan menunjukkan kinerja yang luar biasa.Dengan adanya penelitian ini diharapkan dapat menjadi sebuah rujukan dalam hal penilaian credit ,memungkinkan bank untuk menolak calon peminjam dengan kelayakan kredit yang buruk.
Kata kunci —Penilaian Kredit, CART, ABC, Seleksi Fitur, Data Mining

## Abstract
Various statistical techniques and machine learning have been used to develop financial prediction models. In this case, credit rating is closely related in terms of prediction of creditworthiness. Because there is no general agreement on financial ratios as an input feature for model development, many studies consider feature selection as a pre-consideration step in data mining before creating a model. This study examines the effect of feature selection using Artificial Bee Colony on the performance improvement of the CART algorithm. The experimental results show that ABC is the best combination of feature selection in improving CART algorithm performance. Compared with some of the proposed PSO and Ant Colony optimization algorithms, this research is expected to be a reference in terms of credit scoring, supporting banks to reject prospective borrowers with poor creditworthiness.
Keywords — Penilaian Kredit, CART, ABC, Seleksi Fitur, Data Mining

## 1. PENDAHULUAN
rediksi kesulitan keuangan sangat penting dalam risiko perusahaan manajemen,terutama untuk lembaga keuangan. Khususnya, lembaga keuangan harus mengembangkan berbagai manajemen risiko model, seperti prediksi kebangkrutan dan model penilaian kredit. Untuk prediksi kebangkrutan, lembaga keuangan membutuhkan model prediksi yang efektif agar dapat mengambil keputusan pemberian pinjaman yang tepat. Di sisi lain, model penilaian kredit digunakan untuk pengelolaan portofolio pinjaman besar dan/atau penerimaan kredit evaluasi. P
200 Jatisi ISSN 2407-4322 Vol. 8, No. 1, Maret 2021, Hal. 199-208 E-ISSN 2503-2933
Secara spesifik, prediksi kebangkrutan dan penilaian kredit adalah dua hal masalah klasifikasi biner dalam prediksi kesulitan keuangan, yang bertujuan untuk menetapkan pengamatan baru ke dua kelas keputusan yang telah ditentukan sebelumnya (misalnya, kelas risiko 'baik' dan 'buruk')[1]. Sebagai contoh, Model prediksi kebangkrutan digunakan untuk memprediksi kemungkinan  bahwa  nasabah  pinjaman  akan  bangkrut  saat credit scoring model digunakan untuk menentukan apakah pemohon pinjaman harus diklasifikasikan ke dalam kelompok risiko tinggi atau risiko rendah. Di dalam literatur, banyak teknik pembelajaran machine learning (atau klasifikasi) digunakan untuk prediksi kesulitan keuangan. Meskipun banyak teknik baru yang canggih telah diusulkan untuk prediksi yang efektif, sangat sedikit yang telah meneliti efeknya pemilihan fitur pada prediksi penilaian kredit. Pemilihan fitur adalah langkah pra-pemrosesan data penting dari penemuan pengetahuan dalam database. Tujuannya adalah untuk menyaring yang tidak representatif fitur dari kumpulan data tertentu. Oleh karena itu, kinerja pengklasifikasi setelah melakukan pemilihan fitur dapat ditingkatkan dengan  pengklasifikasi tanpa pemilihan fitur [2]. Penelitian ini mengusulkan pohon Klasifikasi dan Regresi hybrid (CART) dan Artificial Bee Colony CART dikenal algoritma pohon keputusan khusus. Ini digunakan dalam beberapa jenis aplikasi data mining, seperti web mining, penambangan pendidikan , educational mining, medical mining, and credit scoring .  Banyak peneliti telah menggunakan CART dalam penelitian. Salah satu penelitian mereka menggunakan dataset pribadi menyimpulkan bahwa dibandingkan dengan beberapa metode cerdas populer lainnya seperti SVM dan Neural Network, CART menunjukkan kinerja yang lebih baik dalam penilaian kredit dalam hal ukuran AUC [3]. CART telah diakui sebagai salah satu dari 10 algoritma penambangan data dan salah satu algoritma penambangan data yang paling berpengaruh [4].  Sebaliknya, Artificial Bee Colony sebagai salah satu algoritma optimisasi terbaik disbanding dengan PSO serta Ant Colony [3]. Algoritma Artificial  Bee Colony (ABC) merupakan algoritma evolusi berbasis populasi yaitu pada koloni lebah buatan. Di koloni, setiap jenis lebah memiliki tugas spesifiknya sendiri. Lebah yang dipekerjakan bertanggung jawab menjelajahi ruang solusi untuk mencari sumber makanan dan merekrut lebah pengamat. Mereka melakukan tarian goyangan untuk mengirimkan informasi nektar. Pengamat lebah menerima informasi, memilih satu atau sejumlah sumber makanan untuk dieksploitasi. Lebah pramuka kemudian bekerja untuk membantu gerombolan melarikan diri dari optimal lokal. Ketika tidak ada perbaikan pada sumber makanan setelah beberapa iterasi berurutan, terkait lebah yang dipekerjakan akan berubah menjadi pengintai dan menginisialisasi ulang melalui ruang solusi terlepas dari informasi apa pun di sarang.
Beberapa metode populer yang telah digunakan oleh beberapa peneliti adalah pohon klasifikasi dan regresi (CART), Support Vector Machine (SVM), Jaringan Syaraf Tiruan (JST), Multivariate Adaptive Regression Splines (MARS) [5]. Sebelumnya,  peneliti telah menggunakan dataset pribadi untuk mengeksplorasi penilaian kredit. Sebagai contoh, T. S. Lee, Chiu, Chou, dan Lu telah mempekerjakan CART dan multivariat adaptive regression splines (MARS) ke bank lokal kartu kredit swasta di Taipei, Taiwan. Eksperimental menunjukkan bahwa dibandingkan dengan beberapa algoritma, masih CART dan MARS memiliki kinerja keseluruhan yang lebih baik [6]. Contoh lain, W. Chen et al telah mengusulkan metode hybrid SVM + CART dan SVM + multivariate adaptif splines (MARS) untuk bank data pribadi mereka di Tiongkok. Hasil mereka menunjukkan peningkatan dalam hal akurasi menggunakan metode hybrid[7]. Peneliti lain menggunakan dataset publik untuk percobaan mereka. J. Chen menggunakan dataset kredit Jerman dan repositori Australia dari University of California (UCI). Dia  mengusulkan  metode hybrid yang disebut SVM + whitening space. Metodenya menunjukkan peningkatan dibandingkan dengan SVM [8]. Beberapa pendekatan menggunakan ensemble of classifier telah diterapkan untuk penilaian kredit, seperti mengantongi, meningkatkan, subruang acak, dan menghias. Klasifikasi dasar yang dipertimbangkan dalam
Jatisi ISSN 2407-4322
Vol. 8, No. 1, Maret 2021, Hal. 199-208 E- ISSN 2503-2933  201
studi eksperimental bersama dengan metode ensembled adalah: regresi  logistik (LogR), multilayer perceptron (MLP), mesin vektor dukungan (SVM), pohon keputusan C4.5 (C4.5) dan pohon keputusan kredensial (CDT). Dari hasilnya, pohon keputusan kredit sebagai classifier dasar memiliki hasil yang lebih baik, ketika digunakan sebagai classifier dasar, dalam skema ensemble untuk penilaian penilaian kredit [9]. Hampir semua karya peneliti memfokuskan penelitian mereka pada peningkatan akurasi penilaian kredit, seperti Yao Ping, Lu Yongheng yang mengusulkan SVM + Neighbourhood Rough Set dan membandingkannya dengan LDA, Regresi Logistik, Neural Network. Hasil menunjukkan bahwa metode yang diusulkan mendapatkan peningkatan dalam hal akurasi [10]. Beberapa peneliti, berfokus pada penangkapan kreditor "buruk" sebagai masalah kinerja yang penting, dengan metode yang diusulkan Kernel Fuzzification Penalty - MCOC [11]. Peneliti lain, memfokuskan pekerjaan mereka pada pengurangan waktu untuk penilaian kredit, seperti Bandhu & Kumar. Pekerjaan mereka didasarkan pada pendekatan yang disebut SVM + F Score sampling untuk mengurangi waktu komputasi untuk penilaian kredit dan membandingkannya dengan SVM + GA, Back Propagation dan Genetic Programming . Hal ini membuktikan bahwa metode mereka kompetitif, mengingat akurasinya juga sebagai metode yang diusulkan memiliki waktu komputasi yang kurang [12]. Masalah lain adalah dataset ketidakseimbangan yang menjadi perhatian besar oleh Hongliang He et al, bahwa mereka memfokuskan penelitian mereka pada adaptasi rasio ketidakseimbangan yang berbeda dan mengusulkan metode baru mereka untuk mendapatkan kinerja yang unggul dan ketahanan yang tinggi [13].

## 2. METODE PENELITIAN
Tahapan yang dilakaukan pada penelitian ini meliputi penentuan dataset sampai dengan pengujian data training credit scoring dengan kategori klasifikasi good credit / bad credit .

## 2.1 Jenis Penelitian
Penelitian ini dilakukan untuk   menguji pengaruh seleksi fitur  menggunakan Artificial Bee Colony terhadap peningkatan performa algoritma Classification And Regression Tree (CART) Hasil akan dikomparasiskan dengan beberapa penelitian sebelumny untuk melihat tingkat akurasi tertinggi pada masing-masing metode yang diterpakan.

## 2. 2 Dataset
Dataset penilaian kredit berasal dari UCI repository   yaitu   German.data-numeric. File “german.data-numeric” terdiri dari 25 attribut dengan 1 atribut target [15]. Sampel dataset dapat dilihat pada tabel 1 berikut:

## Tabel 1. Dataset

## 2.3  Metode Analisis dan Pengujian Data
Pada  penelitian  ini,  analisis  menggunakan  data  penilaian  kredit  dari  UCI repository yaitu German.data-numeric. Dataset terdiri dari 25 atribut dengan 1 atribut target. Data diolah
Good Credit Bad Credit Total 700 300 1000
202 Jatisi ISSN 2407-4322 Vol. 8, No. 1, Maret 2021, Hal. 199-208 E-ISSN 2503-2933
dan di uji dalam pengujian dengan algoritma CART dan ABC .Kinerja klasifikasi diukur dengan bebrapa metriks meliputi akurasi, error rate, specificity, sencificity , dan presisi. Dalam  penelitian  menggunakan  metode Cross-Standard Industry for Data Mining (CRISP-DM) [16]. Metode CRISP-DM   merupakan   gambaran umum dari siklus hidup proyek data mining [17]. Model CRISP-DM  terdiri dari 6 tahap proses yaitu sebagai berikut:
a. Business Understanding
b. Pada Penelitian ini  menguji pengaruh seleksi fitur menggunakan Artificial Bee Colony terhadap peningkatan performa algoritma CART dalam hal akurasi, presisi, sensitivity, error rate dan presisi.
c. Data Understanding
d. Pada tahap Data Understanding, dilakukan pengumpulan data penilaian kredit  dari UCI repository yaitu German.data-numeric.
e. Data Preparation
f. Pada tahap ini menggunakan public  dataset dari UCI repository dengan jumlah 1000 data.File “german.data-numeric”  terdiri dari 25 attribut dengan 1 atribut target.
g. Modelling
h. Proses seleksi fitur untuk mengetahui atribut terbaik dari dataset.Pada penelitian ini akan dilakukan komparasi  algoritma  klasifikasi CART.
i. Evaluation
j. Pada fase ini dapat dilihat hasil akurasi dari algoritma serta melihat hasil evaluasi menggunakan confusion matrx dan kurva ROC. Evaluasi bertujuan untuk menentukan nilai dari model yang digunakan dan menetapkan apakah model sesuai dengan tujuan pada fase awal[18].
k. Develoyment
l. Hasil dari penerapan model yang dilakukan dengan  algoritma klasifikasi CART dan ABC dapat menentukan kelayakan penilaian kredit serta mengetahui  metode yang paling baik tingkat akurasinya.
Jatisi ISSN 2407-4322
Vol. 8, No. 1, Maret 2021, Hal. 199-208 E- ISSN 2503-2933  203
Indra, et., al ( Peningkatan Performa Algoritma CART Dengan Seleksi Fitur Menggunakan ABC Untuk Penilaian Kredit) hort a lear, implies research results (First Author)
Dataset: German.data-numeric Studi Literatur : Penilaian Credit Validasi dan Evaluasi: 1.k-10 Fold Validation 2.Convolution Matrix Klasifikasi: 1.Algoritma CART 2.Agoritma CART+ABC Hasil Analisis: Komparasi Hasil Perfomance: ROC Curve Mulai Selesai
Gambar 1. Tahapan Penelitian
Tahap penelitian diatas dapat dijelaskan sebagai berikut:
1. Penelitian dimulai dengan mengumpulkan literatur dari beberapa sumber. Pencarian literatur dilakukan sebelumnya melanjutkan merancang eksperimen. Langkah ini memberikan pengetahuan dasar tentang bidang penelitian, desain, instrumen yang digunakan, prosedur dan temuan. Informasi yang ditemukan selama langkah ini membantu para peneliti sepenuhnya memahami besarnya masalah.
2. Mempersiapkan dataset.
3. Dilakukan uji coba untuk mendapatkan validasi data traning diuji dengan algoritma CART, kemudian CART dan ABC.
4. Dataset di uji coba dengan proses validasi menggunakan k-10 fold validation dan confusion metriks untuk mengetahui akurasi terbaik
5. Performa keseluruhan ditunjukan melaui nilai ROC.
204 Jatisi ISSN 2407-4322 Vol. 8, No. 1, Maret 2021, Hal. 199-208 E-ISSN 2503-2933
6. Hasil penelitian kemudian dilakukan komparasi dengan beberapa  penelitian sebelumnya untuk melihat hasil akurasi terbaik.
Inisiasi  populasi secara random Hitung nilai fitnes menggunakan algoritma CART Swap Insert Jika Nilai Fitnes > Nilai fitnes lainya maka update Nilai fitnes terbaik Ulangi? Optimalisasi parameter fitur Selesai Mulai
Gambar 2. Diagram Alir Seleksi Fitur Artificial Bee Colony
Pendekatan Artificial Bee Colony (ABC) digunakan sebagai metode pemilihan fitur untuk memilih subset terbaik yang menghasilkan kinerja terbaik. ABC adalah merupakan algoritma evolusi berbasis populasi yaitu pada koloni lebah buatan[19]. Di koloni, setiap jenis lebah memiliki tugas spesifiknya sendiri yang beroperasi pada ruang pencarian biner.Tahapan seleksi fitur diatas dapat dijelaskan sebagai berikut:
1. Dimulai dengan menginisialisasi partikel secara acak
2. Menghitung nilai fitnes.
3. Dilakukan proses Swab atau menukar posisi atribut secara acak Dilakukan proses Insert atau meindahkan posisi atribut secara acak
4. Jika nilai fitness lebih baik disbanding dengan nilai fitness lainnya, maka update nilai fitness terbaik. Nilai fitnes semua partikel dievaluasi.
Jatisi ISSN 2407-4322
Vol. 8, No. 1, Maret 2021, Hal. 199-208 E- ISSN 2503-2933  205
Indra, et., al ( Peningkatan Performa Algoritma CART Dengan Seleksi Fitur Menggunakan ABC Untuk Penilaian Kredit) hort a lear, implies research results (First Author)
5. Loop berakhir dengan kriteria berhenti dalam fase terminasi yang telah ditentukan sebelumnya.

## 3. HASIL DAN PEMBAHASAN
Hasil penelitian dibandingkan dalam dua fase atau bagian. Fase pertama, hasil penelitian internal adalah saling membandingkan. Kinerja penilaian kredit menggunakan algoritma CART dibandingkan dengan penilaian kredit menggunakan algoritma CART + ABC Fase kedua, peneliti membandingkan metode yang diusulkan dengan penelitian serupa.
Tabel 2. Perbandingan CART dan CART + ABC
Metric German.data-numeric dataset CART CART+ABC Accuracy (%) 75 82 Error rate (%) 24 18 Sensitivity (%) 85.7 92.8 Specificity (%) 50 56 Precision (%) 80 83 AUC 0.72 0.81 No. of Attribute used
24 6
Gambar 3. Grafik ROC Algoritma CART
Gambar 4. Grafik ROC Algoritma CART
206 Jatisi ISSN 2407-4322 Vol. 8, No. 1, Maret 2021, Hal. 199-208 E-ISSN 2503-2933
Tabel 3. Perbandingan Penelitian Sebelumnya Methods [German.data.numeric] Accuracy (%) 1  Suport VectorMachine (SVM) 76.07 2  k-NN 72.24 3  Multi-Layer Perceptron (MLP) 74.03 4  Logistic Regression 76.43 5  Neural Network 72.54 6  Linear Disriminant Analysis 72.60 7  Multi-Criteria Optimization Classifier (MCOC) 69.60 8  Kernel Fuzzification Penalty – MCOC 73.40 9 SVM+ Genetic Algorithm Back Propagation 76.84 10  BackPropagation 76.69 11  Genetic Programming 77.26 12  CART + PSO 78.2 13  CART + ABC 82
Gambar 5. Grafik Perbandingan Akurasi
Tabel 2 menunjukkan kinerja keseluruhan dari metode yang diusulkan (CART+ABC) dibandingkan dengan metode dasar (CART). Jelas bahwa ada peningkatan luar biasa dalam metode yang diusulkan. Kinerja menunjukkan peningkatan dalam hal akurasi, akurasi dinaikkan dari 75,2% menjadi 82% dengan dataset German.data-numeric. Dalam hal tingkat kesalahan,
62% 64% 66% 68% 70% 72% 74% 76% 78% 80% 82%
Jatisi ISSN 2407-4322
Vol. 8, No. 1, Maret 2021, Hal. 199-208 E- ISSN 2503-2933  207
metode yang diusulkan menunjukkan kinerja yang lebih baik. Indikator perbaikan lainnya, area di bawah kurva (AUC) dari nilai metode yang kami usulkan adalah 0,81 dengan dataset German.data-numeric Hasil penelitian juga menunjukkan bahwa pemilihan fitur benar mempengaruhi kinerja secara keseluruhan. Pemilihan fitur adalah tugas penting untuk meningkatkan akurasi prediksi  model hybrid. Masalah klasifikasi umumnya  melibatkan sejumlah  fitur  atau  atribut.  Namun,  tidak  semua  fitur  ini  sama  pentingnya  untuk  tugas klasifikasi. Beberapa fitur ini tidak relevan dan redudan. Metode pencarian yang diusulkan untuk fitur yang paling penting dari ruang pencarian (semua fitur). Metode CART + ABC hanya menggunakan 6 dari 24 atribut. Metode yang diusulkan memilih atribut terbaik yang berkontribusi paling banyak untuk meningkatkan kinerja secara keseluruhan.
Kemudian peneliti mengukur dan membandingkan hasil penelitian dengan metode dan penelitian serupa lainnya. Gambar 2 menunjukkan bahwa dibandingkan dengan beberapa algoritma kecerdasan buatan dan populer yang terkenal, metode yang kami usulkan menunjukkan hasil yang luar biasa dengan akurasi 82%. Level akurasi yang lebih tinggi dari algoritma CART+BPSO, Neural Network, Genetic algorithm , dan Support Vector Machine .

## 4. KESIMPULAN
Pada Penelitian ini menguji pengaruh seleksi fitur menggunakan Artificial Bee Colony terhadap peningkatan performa algoritma CART dalam hal akurasi, presisi, sensitivity, error rate dan presisi. Hasil eksperimen dan analisis perbandingan statistik menunjukkan bahwa CART-ABC lebih efektif pengklasifikasi untuk evaluasi risiko kredit dengan akurasi 82% dengan nilai AUC 0.81 diklasifikasikan baik mengungguli algoritma-algoritma lainnya.

## 5. SARAN
Penelitian  dapat  dikembangkan  dengan  melakukan hybrid metode dengan algoritma optimasi laianya, sehingga diharapkan dapat menghasilkan performa lebih baik.

## DAFTAR PUSTAKA
[1] X.-L. Li and Y. Zhong. 2012 , An Overview of Personal Credit Scoring: Techniques and Future Work, Int. J. Intell. Sci., Vol. 02, No. 04, pp. 181–189, , doi: 10.4236/ijis.2012.224024.
[2] S. Hussain, N. A. Dahan, F. M. Ba-Alwib, and N. Ribata. 2018, Educational Data Mining and Analysis of Students’ Academic Performance Using WEKA, Indones. J. Electr. Eng. Comput. Sci. , Vol. 9, No. 2, pp. 447–459,  doi: 10.11591/ijeecs.v9.i2.pp447-459.
[3] F. N. Koutanaei, H. Sajedi, and M. Khanbabaei. 2015, A Hybrid Data Mining Model of Feature Selection Algorithms and Ensemble Learning Classifiers for Credit Scoring , J. Retail. Consum. Serv. , Vol. 27, pp. 11–23, doi: 10.1016/j.jretconser.2015.07.003.
[4] X. Wu et al. , 2008, Top 10 Algorithms In Data Mining , Vol. 14, No. 1.
[5] S.  M.  Sadatrasoul,  M.  Gholamian,  M.  Siami,  and  Z.  Hajimohammadi.  2013, Credit Scoring In Banks and Financial Institutions Via Data Mining Techniques: A Literature Review , J. AI Data MiningJournal AI Data Min. , Vol.  1,  No.  2,  pp.  119–129,  [Online].  Available:
208 Jatisi ISSN 2407-4322 Vol. 8, No. 1, Maret 2021, Hal. 199-208 E-ISSN 2503-2933
http://jad.shahroodut.ac.ir/?_action=articleInfo&article=124%5Cnhttp://jad.shahroodut.ac.ir/?_act ion=showPDF&article=124&_ob=d11cd26875b6d5e6b2f785de341e924c&fileName=full_text.pd f&rb=1.
[6] T. S. Lee, C. C. Chiu, Y. C. Chou, and C. J. Lu. 2006, Mining The Customer Credit Using Classification and Regression Tree and Multivariate Adaptive Regression Splines, Comput. Stat. Data Anal. , Vol. 50, No. 4, pp. 1113–1130, doi: 10.1016/j.csda.2004.11.006.
[7] W.  Chen,  C.  Ma,  and  L.  Ma. 2009, Mining The Customer Credit Using Hybrid Support Vector Machine Technique , Expert Syst. Appl. ,  Vol.  36, No.  4,  pp.  7611–7616,  doi: 10.1016/j.eswa.2008.09.054.
[8] J. Chen and L. Xu. 2016, A Method of Improving Credit Evaluation With Support Vector Machines , Proc. - Int. Conf. Nat. Comput. ,  Vol.  2016-January,  pp.  615–619,  doi: 10.1109/ICNC.2015.7378060.
[9] J. Abellán and J. G. Castellano. 2017, A Comparative Study on Base Classifiers In Ensemble Methods for Credit Scoring , Expert Syst. Appl. ,  Vol.  73,  pp.  1–10,   doi: 10.1016/j.eswa.2016.12.020.
[10] Y. Ping and L. Yongheng. 2011, Neighborhood Rough Set and SVM Based Hybrid Credit Scoring Classifier, Expert Syst. Appl. , Vol. 38, No. 9, pp. 11300–11304, doi: 10.1016/j.eswa.2011.02.179.
[11] Z. Zhang, G. Gao, and Y. Shi. 2014, Credit Risk Evaluation Using Multi-Criteria Optimization Classifier With Kernel, Fuzzification and Penalty Factors , Eur. J. Oper. Res. , Vol. 237, No. 1, pp. 335–348, doi: 10.1016/j.ejor.2014.01.044.
[12] A. B. Hens and M. K. Tiwari. 2012, Computational Time Reduction for Credit Scoring: An Integrated Approach Based on Support Vector Machine and Stratified Sampling Method , Expert Syst. Appl. , Vol. 39, No. 8, pp. 6774–6781, doi: 10.1016/j.eswa.2011.12.057.
[13] H. He, W. Zhang, and S. Zhang, 2018, A Novel Ensemble Method for Credit Scoring: Adaption of Different Imbalance Ratios , Expert Syst. Appl. ,  Vol.  98,  pp.  105–117,  doi: 10.1016/j.eswa.2018.01.012.
[14] R. F. Malik and H. Hermawan. 2018, Credit Scoring Using Classification and Regression Tree (CART) Algorithm and Binary Particle Swarm Optimization , Int. J. Electr. Comput. Eng. , Vol. 8, No. 6, p. 5425, doi: 10.11591/ijece.v8i6.pp5425-5431.
[15]  M.  Lichman,  2013, (UCI) Machine Learning Repository, [Online]. Available: http://archive.ics.uci.edu/ml.
[16]   Turban.E, 2005, Decision Support Systems and Intelligent Systems Edisi Bahasa Indonesia Jilid 1 . Andi, Yogyakarta.
[17]    Wu, X., & Kumar, V. 2009, The Top Ten Algorithms in Data Mining .  New  York:  Chapman  & Hall/CRC.
[18]     Ture, M., Fusun, T., Imran, K., 2009, Using Kaplan–Meier Analysis Together With Decision Tree Methods  (C&RT,  CHAID,  QUEST,  C4.5  and  ID3) in  Determining Recurrence-Free  Survival  of Breast Cancer Patients , Expert Systems with Applications 36, 2017–2026.
[19]    A. Mukminin And D. Riana, 2017, Komparasi Algoritma C4. 5, Naïve Bayes dan Neural Network Untuk Klasifikasi Tanah, Vol. 4, No. 1, Pp. 21–31.