## KLASIFIKASI PEMINJAMAN NASABAH BANK MENGGUNAKAN METODE NEURAL NETWORK
Nur Hadianto 1 ; Hafifah Bella Novitasari 2 ; Ami Rahmawati 3
Ilmu Komputer STMIK Nusa Mandiri Jakarta www.nusamandiri.ac.id
1 dion.adiyanto@gmail.com; 2 hafifah.bella@gmail.com; 3 amirahmawati095@gmail.com
Abstract — Payment  of  loans  that  experience difficulties in repayment or often called bad credit is a  very  detrimental  thing  for  the  bank,  with  the occurrence of bad credit the bank does not have the maximum  ability  to  make  money  for  investment. Choosing  the  right  customer  must  go  through  the right  analysis  because  the  decision  to  approve  or disagree  with  the  loan  is  the  main  point  that determines  the  possibility  of  bad  credit.  This  study aims to classify eligible customers to obtain loans by taking into account existing parameters such as age, total  income,  number  of  families,  monthly expenditure  average,  education  level  and  others. This study uses a data mining classification method with a neural network model, to assess the accuracy of data processing using rapid miners then proceed with  measurements  using  confusion  matrix,  ROC curve.  The  results  of  the  neural  network  algorithm after  going  through  confusion  matrix  testing,  the ROC curve shows a very high accuracy value, and the dominant value of AUC and algorithm. The accuracy value is 98.24% with AUC of 0.979.
Keywords :  Loan,  Classification,  Neural  Network, Data Mining, Rapid Miner, Backpropagation
Abstrak  - Pembayaran  pinjaman  yang  mengalami kesulitan dalam pengembalian atau sering disebut kredit  macet  merupakan  sebuah  hal  yang  sangat merugikan  bagi  pihak  bank,  dengan  terjadinya kredit macet bank tidak memiliki kemampuan yang maksimal  dalam  melakukan  perputaran  uang untuk  investasi.  Pemilihan  nasabah  yang  tepat harus  melalui  analisa  yang  matang  karena keputusan untuk menyetujui atau tidak menyetujui pinjaman  adalah  poin  utama  yang  menentukan kemungkinan  terjadinya  kredit  macet.  Penelitian ini  bertujuan  untuk  mengklasifikasi  nasabah  yang layak  untuk  mendapatkan  pinjaman  dengan memperhitungkan  parameter  yang  ada  seperti usia,  jumlah  pendapatan,  jumlah  keluarga,  rata– rata pengeluaran perbulan tingkat pendidikan dan lainnya.  Penelitian  ini  menggunakan  metode klasifikasi data  mining dengan  model neural network, untuk  menilai  akurasi  pengolahan  data
menggunakan rapid  miner kemudian  dilanjutkan dengan  pengukuran  menggunakan confusion matrix , kurva ROC. Hasil algoritma neural network setelah  melalui  pengujian confusion  matrix ,  kurva ROC menunjukkan nilai akurasi yang sangat tinggi, dan nilai dominan AUC dan algoritma. Nilai akurasi adalah 98,24% dengan AUC sebesar 0,979
Kata Kunci : Pinjaman, Klasifikasi, Neural Network, Data Mining, Rapid Miner, Backpropagation.

## PENDAHULUAN
Menurut Undang-Undang Perbankan Nomor  10  Tahun  1998,  kredit  adalah  penyediaan uang  atau  tagihan  yang  dapat  dipersamakan dengan  itu  berdasarkan  persetujuan  atau kesepakatan  pinjam  -  meminjam  antar  bank dengan  pihak  lain  yang  mewajibkan  pihak peminjam  melunasi  hutangnya  setelah  jangka waktu  tertentu  dengan  pemberian  bunga (Marhumi,  2017),  dalam  menjalankan  bisnisnya penting bagi bank dan lembaga pembiayaan untuk mengevaluasi resiko kredit dilakukan dimuka bagi konsumen. Sebuah model yang baik bagi penilaian kredit  akan  membantu  bank  dan  lembaga pembiayaan membuat keputusan yang tepat dalam rangka menghindari potensi besarnya resiko (Defu, Stephen, & Zhimei, 2008),  Penilaian kredit sebagai teknik  penilaian  merupakan  instrumen  penting dalam  industri  keuangan  dan  perbankan  (Wang, Lai, & Niu, 2011).
Besarnya  jumlah  kredit  yang  disalurkan akan  menentukan  keuntungan  yang  diperoleh. Akan tetapi tidak berarti bahwa jumah kredit yang disalurkan  besar  akan  memberikan  keuntungan yang  besar  pula  (Marhumi,  2017).  Dewasa  ini, masih  banyak  perusahaan  keuangan  atau  bank mengalami  kesulitan  untuk  meminjamkan  asset berupa  pinjaman  (loan)  kepada  nasabah  yang terpercaya  dan  sesuai  ketentuan  (Arun,  Ishan,  & Sanmeet,  2016).  Dalam  proses  pemberian pinjaman  selama  ini    yang  dilakukan  oleh  bank, meskipun  melalui  analisa  kredit  yang  berjenjang masih saja terdapat permasalah yang timbul salah
Jurnal Terakreditasi Peringkat 3 berdasarkan Surat Keputusan Dirjen Risbang SK Nomor 21/E/KPT/2018 DOI 10.33480/pilar.v15i2.658
satunya  adalah  para  calon  peminjam  melakukan berbagai  macam  cara  agar  pinjamannya  dapat disetujui  oleh  pihak  Bank.  Hal  ini  lah  yang menyebabkan  tingkat  kredit  macet  menjadi meningkat  (Iriadi  &  Nuraeni,  2016).  Penyebab lainnya  antara  lain  kurang  akuratnya  pegawai Bank  dalam  menganalisa  calon  debitur  (Iriadi  & Nuraeni,  2016).  Salah  satu  metode  yang  dapat digunakan  adalah  pendekatan  Machine  Learning (Putri, 2018).
Data  mining adalah  proses  menemukan korelasi,  pola,  dan  tren  baru  yang  bermakna dengan  menyaring  sejumlah  besar  data  yang disimpan dalam repositori, menggunakan teknologi  pengenalan  pola  serta  teknik  statistik dan  matematik  (Larose,  2005),  jika data  mining berfokus  pada  penggunaan  program  untuk membantu  pembelajaran  manusia  terhadap  data maka  metode  pembuatan  program  yang  dapat belajar disebut machine learning , berbeda dengan program  komputer  yang  biasa, machine  learning adalah  program  yang  dirancang  untuk  mampu belajar  sendiri  (Putri,  2018).  Metode  klasifikasi adalah  salah  satu  metode  yang  paling  sering digunakan,  di  dalam  metode  klasifikasi  salah  satu teknik yang digunakan adalah Neural Network yang sering  digunakan  untuk  menyelesaikan  masalah- masalah  yang  rumit  dan  berkaitan  dengan identifikasi  input,  prediksi,  pengenalan  pola  dan sebagainya (Windarto, 2017).
Dikarenakan  hal  tersebut  maka  dalam penelitian  ini  penulis  akan  menggunakan  metode klasifikasi  menggunakan  teknik Neural  Network dalam  menentukan  klasifikasi  peminjaman  bagi nasabah  yang  memiliki  peluang  tinggi  untuk menjadi nasabah peminjam.

## BAHAN DAN METODE

## a. Sumber data
Data  yang  digunakan  dalam  penelitian  ini adalah data sekunder yang diperoleh dari machine learning repository dengan alamat web http://www.kaggle.com dengan  jumlah  data  5000 observasi  mengenai  perilaku  nasabah  pada  bank dalam periode tertentu.
b. Variabel Penelitian
Dalam penelitian ini kita akan menggunakan dataset  sebanyak  5000  data  yang  terdiri  dari  14 variabel yang dapat diihat pada Tabel 1 Tabel 1 : Variabel Penelitian
1 ID Identitas nasabah berupa nomor urut Kuantitatif 2 Age Usia nasabah (tahun) Kuantitatif 3 Experience Pengalaman profesional Kuantitatif
nasabah (tahun) 4 Income Pendapatan per tahun nasabah ($000) Kuantitatif 5 ZIP Code Kode ZIP (Zone Improvement Plan) atau kode pos alamat nasabah Kuantitatif 6 Family Jumlah anggota keluarga nasabah (tanpa nasabah) Kuantitatif 7 CCAvg Rata-rata pengeluaran nasabah menggunakan kartu kredit per bulan ($000) Kuantitatif 8 Education Tingkat pendidikan nasabah 1. Belum lulus kuliah 2. Sudah lulus kuliah 3. Profesional Kuantitatif 9 Mortgage Harga penggadaian rumah nasabah ($000) Kuantitatif 10 Securities Account Kepemilikan nasabah akan akun keamanan bersama bank 0. Tidak 1. Ya Kuantitatif 11 CD Account Kepemilikan nasabah akan sertifikat deposit bersama bank 0. Tidak 1. Ya Kuantitatif 12 Online Penggunaan nasabah akan fasilitas online banking 0. Tidak 1. Ya Kuantitatif 13 CreditCard Penggunaan nasabah akan kartu kredit yang dikeluarkan oleh UniversalBank 0. Tidak 1. Ya Kuantitatif 14 Personal Loan (Target) Pembelian peminjaman aset Kuantitatif
(personal loan) oleh nasabah 0. Tidak 1. Ya Sumber : (Hadianto et al., 2019) c. Neural Network : Multi Layer Perceptron Neural
network adalah pemrosesan informasi  sistem.  Secara  umum neural  network dapat  dianggap  sebagai  sistem  kotak  hitam  yang menerima input dari lingkungan dan menghasilkan output. neural  network mengandung  elemen pemrosesan  dan  pembobotan  yang  saling terhubung.  Setiap  lapisan  dalam  jaringan  berisi oleh  kelompok  elemen  pemrosesan  seperti  yang ditunjukkan  pada  gambar.1  (Fadly,  Uddin,  & Sutarto, 2002)
Sumber: (Fadly et al., 2002) Gambar 1. Multi Layer Perceptron Neural Networks
Setiap  elemen  pemrosesan  mengumpulkan nilai  dari  semua input yang  terhubung  ke  elemen pemrosesan  dan  menghasilkan output melalui operasi  matematika  (perkalian  operasi).  Ada  tiga lapisan  yang  membangun neural  network ,  yaitu lapisan input ,  lapisan  tersembunyi,  dan  lapisan keluaran. (Fadly et al., 2002)
d. Artificial Neural Network
Artificial  Neural  Network (Jaringan  Syaraf Tiruan)  adalah  model non-linear yang  kompleks, dibangun  dari  komponen  yang  secara  individu berperilaku  mirip  dengan  model  regresi.  Jaringan syaraf tiruan dapat divisualisasikan dengan grafik, dan  beberapa  sub-grafik  beberapa  memiliki perilaku  yang  sama  dengan  grafik  sebelumnya. Meskipun  struktur  dari  jaringan  saraf  secara eksplisit  dirancang  terlebih  dahulu,  pengolahan jaringan  saraf  ini  tidak  untuk  menghasilkan hipotesis (berbagai neuron dan pengolahan lainnya terstruktur  dalam  jaringan)  berkembang  selama proses  pembelajaran.  Hal  ini  memungkinkan neuron yang  membentuk jaringan akan digunakan
sebagai  pemecahan  masalah  dari  "program  itu sendiri". (Yalidhan, 2018)
e.
Arsitektur Backpropagation
Algoritma
back-propagation
adalah algoritma yang paling populer dalam pembelajaran jaringan  saraf  tiruan.  Algoritma  ini  didasarkan pada  aturan  pembelajaran  dengan  koreksi kesalahan  (Fadly  et  al.,  2002).  Pembelajaran kesalahan-koreksi  pada back-propagation dibagi dalam  dua  cara  utama;  pergerakan  maju  dan mundur.  Di  depan,  vektor  input  diterapkan  pada layer  input di  setiap  jaringan  kemudian mempengaruhi  semua  jaringan,  lapis  demi  lapis. Output dari  jaringan  adalah  respon  dari  jaringan saraf. Bobot di setiap lapisan di depan adalah tetap. Gambar  dan  persamaan  pembelajaran  maju ditunjukkan dalam gambar 2 dan persamaan 1 dan 2 (Fadly et al., 2002)
Sumber: (Fadly et al., 2002) Gambar 2. Forward Learning Neural Network 𝑚 = 𝑉 𝑞 + 𝑎 ……………………………….………..(1) 𝑟 = 𝑓(𝑚) …………………………………………..(2)
Pada bagian belakang semua pembobotan di setiap lapisan berubah berdasarkan aturan koreksi kesalahan. Kesalahan adalah pengurangan respons jaringan  dan  target  keinginan.  Kesalahan  ini diterapkan secara mundur ke semua jaringan yang telah  dilewati  atau  dengan  cara  yang  berlawanan dari  struktur  jaringan  karenanya  disebut  sebagai "back - propagation". Semua bobot dalam jaringan diperbaiki  dan  respon  jaringan  bergerak  menuju sasaran.  Teknik  pembelajaran  back-propagation pada koreksi error menggunakan metode gradient descent.  Prinsip  metode  ini  adalah  efisiensi turunan  parsial  dari  fungsi  aktivasi  di  setiap elemen  untuk  menyesuaikan  perubahan  bobot pada setiap input.
𝑉(𝑘 + 1) = 𝑉(𝑘) − 𝜂 𝜕𝐸 𝜕𝑚 𝜕𝑚 𝜕𝑉 … … … … … … … (3) Dimana 𝐸 = 1 2 𝑒 𝑇 (𝑘)𝑒(𝑘) … … … … … … … … … … … … … . (4) 𝑒(𝑘) = 𝑑(𝑘) − 𝑟(𝑘) Dimana 𝑒(𝑘) = Kesalahan antara target dan respon 𝑑(𝑘) = Target yang diinginkan 𝜂 = Learning rate
Jurnal Terakreditasi Peringkat 3 berdasarkan Surat Keputusan Dirjen Risbang SK Nomor 21/E/KPT/2018 DOI 10.33480/pilar.v15i2.658
f. Percobaan  dan Pengujian Model Dataset yang dimiliki akan dibagi 2, sebagian akan  digunakan  sebagai training  set dan  sebagian akan digunakan sebagai data testing set , kemudian data training tersebut  akan  dimasukkan  dalam sebuah metode neural network dengan backpropagation program  menggunakan tools Rapid Miner .
g. Evaluasi dan Validasi Hasil
Evaluasi  dan  validasi  dilakukan  untuk membahas  hasil  pengamatan  dan  analisa  yang dilakukan  terrhadap  penelitian  ini  menggunakan Neural  Network di Rapid  Miner .  Pengujian  yang didapat  dari    metode confusion  matrix adalah akurasi  sedangkan  pengujian  yang  didapat  dari metode ROC CURVE (AUC) adalah gambaran kurva yang memisahkan antara kelas berbeda.
I. Cross Validation Cross  validation adalah  prosedur  untuk memperkirakan generalisasi kinerja dalam sebuah metode  permodelan. Cross-validation adalah metode  yang  paling  sering  digunakan  untuk evaluasi kinerja prediktif dari sebuah model, yakni model yang diberikan sebelumnya atau model yang telah  dikembangkan  oleh  prosedur  permodelan (Yadav & Shukla, 2016). Data biasanya akan dibagi menjadi  dua  bagian  pada  bagian  pertama dilakukan  pelatihan  sementara  pada  bagian lainnya dilakukan uji kinerja, skema pelatihan dan pengujian  bekerja  dengan  baik  pada  model klasifikasi  di  dalam machine  learning ,  beberapa record dalam dataset dijadikan data training untuk dilatih  sementara record lainya  di  dalam dataset digunakan sebagai data testing , hal tersebut adalah prinsip  dasar  dari cross  validation ,  karena  hal tersebutlah cross-validation sangat diterima dalam komunitas data  mining dan machine  learning dan berfungsi  sebagai  prosedur  standard  untuk pemilihan  model  atau  pemilihan  prosedur permodelan, (Yadav & Shukla, 2016)
II. Pengukuran menggunakan ROC Curve Pengukuran hasil
validasi dengan menggunakan  ROC Curve dan Confusion  matrix sampai  mendapatkan  tingkat  akurasi  yang tertinggi.  ROC Curve adalah  Kurva  ROC  banyak digunakan  para  peneliti  untuk  menilai  hasil prediksi  Kurva  ROC  menggambarkan  kinerja klasifikasi  tanpa  memperhatikan  distribusi  kelas atau kesalahan, pada sumbu vertical menggambarkan  nilai  positif  (TP)  dan  sumbu horizontal menandakan nilai negative (FP) .(Ir. Adi Sucipto, n.d.).. ditunjukkan dalam gambar 3
Sumber : (Sucipto, 2012) Gambar 3. Contoh Grafik ROC Garis  diagonal  yang  membelah  ruang  ROC menggambarkan  ruang  diatas  garis  diagonal menandakan  klasifikasi  baik  dan  ruang  dibawah garis  diagonal  menandakan  klasifikasi  buruk, sementara  tebakan  yang  benar-benar  acak terdapat pada sepanjang garis diagonal mulai dari kiri bawah sampai dengan kanan atas Sebuah  metode  umum  untuk  menghitung daerah  dibawah  kurva  ROC  adalah Area  Under Curve (AUC)  dimana  bidang  yang  berada  dibawah kurva  mempunyai  nilai  yang  selalu  berada  pada nilai  0,0  dan  1,0.  Namun  yang  menarik  untuk dihitung  adalah  yang  mempunyai  luas  diatas  0,5, semakin  tinggi  luasnya  maka  akan  semakin  baik seperti petunjuk yang disajikan berikut ini (Ir. Adi Sucipto, n.d.).:
 0.9- 1.00 = klasifikasi yang sangat baik
 0.8 – 0.9 = klasifikasi baik
 0.7 – 0.8 = klasifikasi rata-rata
 0.6 – 0.7 = klasifikasi rendah
 0.5 – 0.6 = kegagalan
III  Pengukuran menggunakan confusion matrix Pengukuran  terhadap  kinerja  suatu  sistem klasifikasi  merupakan  hal  yang  penting.  Kinerja sistem  klasifikasi  menggambarkan  seberapa  baik sistem  dalam  mengklasifikasikan  data. Confusion matrix merupakan  salah  satu  metode  yang  dapat digunakan  untuk  mengukur  kinerja  suatu  metode klasifikasi. Pada
dasarnya confusion matrix mengandung informasi yang membandingkan  hasil  klasifikasi  yang  dilakukan oleh  sistem  dengan  hasil  klasifikasi  yang seharusnya. (E. Prasetyo, 2012) Pada pengukuran
kinerja menggunakan confusion matrix , terdapat 4 (empat) istilah sebagai representasi hasil proses klasifikasi. Keempat istilah tersebut adalah True
Positive (TP), True Negative (TN), False Positive (FP)  dan False  Negative (FN).  Nilai True Negative (TN) merupakan jumlah data negatif yang terdeteksi dengan benar, sedangkan False Positive (FP)  merupakan  data  negatif  namun terdeteksi sebagai data positif. Sementara itu, True Positive (TP)  merupakan  data  positif  yang
terdeteksi  benar. False  Negative (FN)  merupakan kebalikan  dari True  Positive ,  sehingga  data  positif, namun terdeteksi sebagai data negatif. Pada jenis klasifikasi binary yang hanya memiliki  2  keluaran  kelas, confusion  matrix dapat disajikan  seperti  pada  Tabel  2  (Sokolova  & Lapalme, 2009)
Tabel 2. Confusion Matrix
Sumber : (Hadianto et al., 2019)
Dari  tabel  diatas  kita  dapat  melihat  nilai akurasi,  presisi  dan recall didapat  dari  nilai  T rue Positive (TP), True  Negative (TN), False  Positive (FP)  dan False  Negative (FN),  nilai  akurasi menggambarkan  seberapa  akurat  dan  efektifitas sistem secara
keseluruhan
dalam mengklasifikasikan data secara benar, perhitungan akurasi  dinyatakan  dalam  persamaan  5 (Sokolova & Lapalme, 2009)
Akurasi = 𝑇𝑃+𝑇𝑁
𝑇𝑃+𝑇𝑁+𝐹𝑃+𝐹𝑁 𝑥100% …………….. (5)

## HASIL DAN PEMBAHASAN
Hasil Penelitian Pada  bagian  ini  akan  membahas  hasil implementasi  penggunaan Neural  Network pada penentuan  klasifikasi  peminjaman  nasabah  pada sebuah  bank  dengan  menggunakan  metode backpropagation , Analisa difokuskan pada pengaruh  struktur neural  network ,  tingkat pembelajaran  ( learning  rate ) neural  network ,  dan momentum neural network ,  dalam  penelitian  ini menggunakan dataset sebanyak 5000 data. Dalam  penelitian  untuk  mendapatkan struktur neural  network yang  optimal  kami melakukan  beberapa  ujicoba  perubahan  struktur dengan  tingkat  pembelajaran  ( learning  rate ), training  cycles dan momentum yang  sama  yakni learning  rate =  0.0.1, training  cycles =  500  dan momentum =  0.1,  pertama  kali  kami  mencoba struktur  12  –  7  –  3  –  1  artinya  struktur  tersebut memiliki  12 input ,  7 neuron pertama  yang tersembunyi,  3 neuron kedua  yang  tersembunyi dan  1 output ,  kemudian  kami  mencoba  beberapa struktur yang lain seperti 12 – 20 – 8 – 1 , 12 – 15 – 8 – 1 , 12 – 10 – 5 – 1 , 12 – 7 – 3 – 1, dari semua struktur  yang  dicoba  tidak  terdapat  perbedaan yang signifikan hanya selisih  0 (nol) koma sekian, akan tetapi dari seluruh struktur yang sudah kami coba kami menemukan bahwa struktur 12 – 15 – 8 – 1 merupakan struktur yang paling adaptif dengan
akurasi  98.24  %,  struktur  12  –  15  –  8  –  1  adalah seperti pada gambar 4. dibawah ini.
Sumber : (Hadianto et al., 2019) Gambar 4. Neural Network Struktur 12 – 15 – 8 – 1 Tingkat  akurasi  yang  didapatkan  dari  hasil ujicoba  ini  adalah  sebesar  98.24%  +/-  0.62%  dan AUC sebesar 0.979 +/- 0.0.14 seperti pada gambar yang  disajikan  dari Performance  Vector seperti pada gambar 5. dibawah ini.
Sumber : (Hadianto et al., 2019) Gambar 5. Performance Vector Neural Network Pembahasan penelitian Setelah  pada  tahap  proses  pengumpulan data dan pemilahan atribut yang akan digunakan di dalam dataset maka  langkah  selanjutnya  adalah kita  harus  memasukkan  datanya  terlebih  dahulu dengan fungsi read excel kedalam tools rapid miner lalu  pembuatan  permodelan neural  network menggunakan data sebanyak 5000, tahapan proses dimulai  dengan  tahap  permodelan    kemudian memasuki  tahap learning guna  memproses datatraining dengan  ujicoba  struktur, training cycles , learning rate , momentum kemudian diakhiri dengan testing untuk melihat hasil.
1. Proses Permodelan Proses ini menggunakan cross validation untuk melakukan  pengujian  model  setelah  sebelumnya
Jurnal Terakreditasi Peringkat 3 berdasarkan Surat Keputusan Dirjen Risbang SK Nomor 21/E/KPT/2018 DOI 10.33480/pilar.v15i2.658
model  telah  dibaca  dengan  operator read  excel, seperti pada gambar 6 .
Sumber : (Hadianto et al., 2019) Gambar 6. Permodelan Neural Network
Pada gambar diatas dilakukan proses pengujian model  yang  telah  dibaca  menggunakan  operator read  excel ,  data  yang  telah  dibaca  tersebut kemudian  dimasukkan  kedalam  operator cross validation ,  dalam  penelitian  ini cross  validation yang digunakan sebesar 10 fold validation .
2. Proses Training
Proses  selanjutnya  yang  dilakukan  adalah proses training ,  proses  ini  dilakukan  di  dalam operator cross  validation dengan  menggunakan algoritma neural  network ,  dengan  algoritma  ini maka data akan dibagi menjadi 2,  bagian pertama digunakan  sebagai datatraining dan  bagian  kedua digunakan  sebagai datatesting ,  seperti  pada gambar 7 dibawah ini.
Sumber : (Hadianto et al., 2019) Gambar 7. Proses Training Neural Network
Pada  gambar  diatas  proses training dilakukan menggunakan  operator neural  network , training diatas  menggunakan  struktur  12  –  15  –  8  –  1 dengan training cycles sejumlah 500, learning rate 0.01 dan momentum 0.1.
3. Proses Testing
Tahapan  terakhir  dari  proses  ini  setelah dilakukan training adalah testing terhadap dataset menggunakan  fungsi backpropagation yang  telah dilakukan  pada datatraining sebelumnya,  proses testing ini  dilakukan  dengan  cara insert  apply model dan performance dengan main  criterion accuracy dan AUC, seperti pada gambar 8 dibawah ini.
Sumber : (Hadianto et al., 2019) Gambar 8. Proses Testing Neural Network 4. Hasil Testing
Hasil  dari training dan  juga testing data terhadap  5000  data  nasabah  Bank  yang mengajukan  pinjaman  dapat  kita  lihat  pada Performance  Vector seperti  pada  gambar  9 dibawah ini.
Hasil testing menggunakan  algoritma neural network menunjukkan performance  accuracy yang didapat sebesar 98.24%.

## 5. Hasil Uji ROC Curve
Hasil  dari  training  dan  juga  testing  data menggunakan neural network menampilkan grafik ROC dengan nilai AUC (Area Under Curve) sebesar , hasil tersebut dapat dilihat seperti pada gambar 10 dibawah ini.
Sumber : (Hadianto et al., 2019) Gambar  10.  Nilai  AUC  pada  grafik  ROC Neural Network.
Dari  gambar  diatas  kita  dapat  melihat bahwa  nilai  sebesar  0.979.  termasuk  dalam kategori  “klasifikasi  yang  sangat  baik”  karena data tersebut berada diantara range 0.9 – 1.0 .
6. Hasil Uji Confusion Matrix Tabel dari confusion matrix hasil pengolahan dataset menggunakan algoritma
backpropagation pada neural  network adalah seperti pada gambar 11 dibawah ini.
Dari parameter TP, FP, FN dan TN pada gambar diatas  kita  dapat  menghitung  secara  manual  nilai akurasi  dengan  menggunakan  rumus  pada persamaan 6, 7 dan 8. sebagai berikut.
Akurasi = 𝑇𝑃+𝑇𝑁 𝑇𝑃+𝑇𝑁+𝐹𝑃+𝐹𝑁 𝑥100% .     …............... (6)
(Sokolova & Lapalme, 2009)
𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒 (𝑡𝑝) = 4491 record 𝐹𝑎𝑙𝑠𝑒 𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑒 (𝑓𝑛) = 59 record 𝑇𝑟𝑢𝑒 𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑒 (𝑡𝑛) = 421 record 𝐹𝑎𝑙𝑠𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒 (𝑓𝑝) = 29 record TP = 4491          FN = 59 FP = 29               TN = 421
Akurasi = (4491+421)
(4491+421+29+59) 𝑥 100% ……........... (7)
Akurasi = 4912 5000 𝑥100% = 98.24% ……………… (8) Dari  hasil  klasifikasi  menunjukkan  bahwa, tingkat  akurasi  dengan  menggunakan  algoritma neural network adalah sebesar 98,24%

## KESIMPULAN
Berdasarkan penelitian yang telah dilakukan menggunakan tools  rapid  miner 9.0  terhadap  data nasabah Bank sejumlah 5000 dataset yang didapat dari machine  learning  repository dengan  alamat web http://www.kaggle.com yang  diuji  dengan algoritma backpropagation dalam Neural  Network menggunakan  struktur  12  –  15  –  8  –  1  , training cycles sejumlah  500, learning  rate 0.01  dan momentum 0.1  menghasilkan  nilai  akurasi  = 98.24%,  dengan  AUC  sebesar  =0,979  yang menunjukkan  bahwa  klasifikasi  yang  dihasilkan sangat  baik,  sehingga  nasabah  dengan  parameter yang  ada  dapat  diprediksi  menggunakan  pola  ini untuk  menentukan  nasabah  yang  layak  diberikan pinjaman dari pihak Bank.

## REFERENSI
Arun,  K.,  Ishan,  G.,  &  Sanmeet,  K.  (2016). Loan
Approval  Prediction  based  on  Machine
Learning Approach .
18 (3), 2016.
https://doi.org/10.9790/0661-1803017981
Defu,  Z.,  Stephen,  C.  H.  L.,  &  Zhimei,  Y.  (2008).  A decision tree scoring model based on genetic algorithm
and K-means algorithm.
Proceedings - 3rd International Conference on
Convergence and Hybrid Information
Technology,  ICCIT  2008 , 1 ,  1043–1047. https://doi.org/10.1109/ICCIT.2008.110
Fadly, M., Uddin, N., & Sutarto, H. Y. (2002). Flutter Suppression  Using  Neural  Networks :  Design and Implementation . (January 2017).
Hadianto,  N.,  Novitasari,  H.  B.,  Rahmawati,  A., Prasetyo,  R.,  Miharja,  J.,  &  Komputer,  I. (2019). Klasifikasi peminjaman nasabah bank menggunakan  metode  neural  network . 14 (2), 1–7.
Ir.  Adi  Sucipto,  M.  K.  (n.d.). CREDIT  PREDICTION WITH NEURAL NETWORK ALGORITHM Ir . Adi Sucipto  ,  M  .  Kom  .  Sains  and  Technology Faculty  Universitas  Islam  Nahdlatul  Ulama Jepara . (15), 978–979.
Iriadi,  N.,  &  Nuraeni,  N.  (2016).  kajian  penerapan metode klasifikasi data mining algoritma C4.5 untuk  prediksi  kelayakan  kredit  pada  bank mayapada  jakarta. Jurnal  Teknik  Komputer AMIK BSI (JTK) , 2 , 132–137.
Larose,  D.  T.  (2005). Discovering  Knowledge  in Data . New Jersey: Johny Wiley & Sons, Inc.
Marhumi, S. (2017). Analisis Manajemen Perkreditan Untuk Meningkatkan Profitabilitas  Pada  Bank  Bni  Wilayah  Vii Makassar. Perspektif , 02 (01),  2355–2538.
Retrieved from www.journal.unismuh.ac.id/perspektif
Putri, C. B. (2018). Klasifikasi Nasabah Thera Bank Membeli Personal Loan Menggunakan Metode Klasifikasi Dalam Machine Learning .
Sokolova,  M.,  &  Lapalme,  G.  (2009).  A  systematic analysis  of  performance  measures  for classification  tasks. Information  Processing and Management , 45 (4), 427–437.
https://doi.org/10.1016/j.ipm.2009.03.002
Sucipto,  A.  (2012). CREDIT  PREDICTION  WITH NEURAL  NETWORK  ALGORITHM  Ir  .  Adi Sucipto  ,  M  .  Kom  .  Sains  and  Technology Faculty  Universitas  Islam  Nahdlatul  Ulama Jepara . (15), 978–979.
Wang, Q., Lai, K. K., & Niu, D. (2011). Green credit scoring  system  and  its  risk  assessemt  model with  support  vector  machine. Proceedings  - 4th  International  Joint  Conference  on Computational Sciences and Optimization, CSO 2011 , 284–287. https://doi.org/10.1109/CSO.2011.143
Jurnal Terakreditasi Peringkat 3 berdasarkan Surat Keputusan Dirjen Risbang SK Nomor 21/E/KPT/2018 DOI 10.33480/pilar.v15i2.658
Windarto,  A.  P.  (2017).  Implementasi  Jst  Dalam Menentukan. Sains  Komputer  &  Informatika ,
1 (1), 12–23.
Yadav,  S.,  &  Shukla,  S.  (2016).  Analysis  of  k-Fold Cross-Validation over Hold-Out Validation on Colossal  Datasets  for  Quality  Classification. Proceedings  -  6th  International  Advanced Computing  Conference,  IACC  2016 ,  (Cv),  78– 83. https://doi.org/10.1109/IACC.2016.25
Yalidhan,  M.  D.  (2018).  Implementasi  Algoritma Backpropagation
Untuk Memprediksi Kelulusan Mahasiswa. Klik - Kumpulan Jurnal Ilmu Komputer ,
5 (2), 169.
https://doi.org/10.20527/klik.v5i2.152