## Studi Perbandingan Pemilihan Fitur untuk Support Vector Machine pada Klasifikasi Penilaian Risiko Kredit
Desri Kristina Silalahi 1* , Hendri Murfi 2 , Yudi Satria 3
1 Jurusan Pendidikan Matematika FIP UPH, Jln. Boulevard Mh. Thamrin 1100
2,3 Departemen Matematika Fakultas MIPAUniversitas Indonesia, Kampus UI Depok 16424
*e-mail: desri.kristina@uph.edu

## Abstract
Credit  scoring  is  a  system  or  method  used  by  banks  or  other  financial  institutions  to  determine  the debtor feasible or not get a loan. One of credit scoring method is used to classify the characteristics of debtor  is  Support  Vector  Machine  (SVM).  SVM  has  an  excellent  generalization  ability  to  solve classification problems in a large amount of data and can generate an optimal separator function to separate  two  groups  of  data  from  two  different  classes.  One  of  the  success  using  SVM  method  is dependent  on  features  selection  process  that  will  affect  the  level  of  classification  accuracy.  Various methods  have  done  to  features  selection,  because  not  all  the  features  are  able  to  give  best classification results. Features selection that used this study is Variance Threshold, Univariate Chi - Square, Recursive Feature Elimination (RFE) and Extra Trees Classifier (ETC). Data in this study use secondary  data  from  the  database  in  UCI  machine  learning  responsitory.  Based  on  simulations  to compare the accuracy of using feature selection method on SVM in classification ofcredit riskscoring, obtained that Variance Threshold and Univariate Chi – Square method can decrease accuracy while RFE and ETC method can increase accuracy. RFE method gives better accuracy.
Keywords: Credit scoring, Credit risk, Feature selection, Support vector machine

## PENDAHULUAN
Dalam  kehidupan  perekonomian  suatu negara,  bank  memiliki  peranan  penting dalam perekonomian. Menurut UU Perbankan No. 10 Tahun 1998, bank adalah badan  usaha  yang  menghimpun  dana  dari masyarakat  dalam  bentuk  simpanan  dan menyalurkannya  kepada  masyarakat  dalam bentuk  kredit  dan  /  atau  bentuk – bentuk lainnya  dalam  rangka  meningkatkan  taraf hidup  orang  banyak.  Dengan  demikian hampir  seluruh  keperluan  setiap  orang  dan segenap lapisan masyarakat dalam kegiatan perekonomian terkait dengan perbankan.
Salah  satu  pelayanan  dalam  dunia perbankan adalah memberi pinjaman kredit kepada  nasabah  yang  memenuhi  syarat perbankan. Kredit merupakan suatu fasilitas keuangan  yang  memungkinkan  seseorang atau  badan  usaha  meminjam  uang  untuk membeli produk dan membayarnya kembali dalam  jangka  waktu  yang  ditentukan. Sedangkan  dalam  UU  No.  10  tahun  1998 menyebutkan bahwa kredit adalah penyediaan  uang  atau  tagihan  yang  dapat dipersamakan  dengan  itu,  berdasarkan persetujuan atau kesepakatan pinjam
meminjam  antara  bank  dengan  pihak  lain. yang  mewajibkan  pihak  peminjam  untuk melunasi  utangnya  setelah  jangka  watu tertentu  dengan  pemberian  bunga . Kredit merupakan  sumber  utama  penghasilan  bagi sebuah  bank  dan  juga  sekaligus  sumber risiko  operasi  bisnis  terbesar,  karena sebagian  besar  dana  operasional  bank diputar dalam bentuk kredit.
Risiko  kredit  ditimbulkan  oleh  debitur yang  secara  kredit  tidak  dapat  membayar utang  dan  memenuhi  kewajiban.  Risiko kredit  merupakan  sesuatu  yang  tidak  dapat dihindari. Tindakan yang diperlukan adalah bagaimana  mendeteksi,  mengukur,  dan mengelola  risiko  agar  tidak  menimbulkan kerugian  yang  besar.  Dalam  menekan  atau meminimalisasi  risiko  kredit,  bank  perlu melakukan  proses  analisis  data  nasabah, data  jaminan  hingga  proses  pengambilan keputusan untuk melihat calon debitur yang layak  diberi  pinjaman.  Proses  tersebut merupakan  proses  penilaian  atau scoring dengan  menggunakan  data – data  historis calon  peminjam  untuk  diklasifikasikan layak  diberi  pinjaman  atau  tidak.  Calon debitur  yang  lolos  seleksi  disebut good debitur sehingga  permohonan  kreditnya akan  dikabulkan.  Sebaliknya,  calon  debitur yang tidak lolos seleksi disebut bad debitur sehingga permohonan kreditnya akan
ditolak.  Proses  tersebut  dinamakan credit scoring .
Credit  scoring atau  penilaian  kredit merupakan sistem atau cara yang digunakan oleh  bank  atau  lembaga  keuangan  lainnya untuk    mengambil  keputusan  mengenai kelayakan  seorang  calon  debitur  untuk diterima menjadi nasabah kredit (Thomas,L.C,  2002).  Banyak  analisis  yang digunakan untuk mengklasifikasikan karakteristik  calon  debitur  dengan  sifat good dan bad. Metode  klasifikasi  yang paling  populer  dalam  model credit  scoring adalah  analisis  diskriminan  dan  regresi logistik.  Kedua  metode  ini  merupakan teknik  klasifikasi  yang  sederhana  dan mudah,  tetapi  kedua  metode  ini  memiliki keterbatasan. Metode ini tidak efesien untuk jumlah data yang besar karena membutuhkan  waktu  komputasi  yang  lebih lama  dan  beberapa  asumsi  harus  terpenuhi seperti  data  dipisahkan  secara  linier  serta data  harus  mengikuti  distribusi  tertentu (Abdou,  H.  &  Pointon,  J.,  2011).  Metode yang juga sering digunakan untuk klasifikasi  adalah Support  Vector  Machine (SVM) ,  dapat  digunakan  untuk  jumlah  data yang  besar  dan  dapat  menghasilkan  fungsi pemisah (classifier) yang  optimal  untuk memisahkan  dua  kelompok  data  dari  dua kelas yang berbeda. SVM telah mempunyai kemampuan  generalisasi  yang  baik  dalam
berbagai  bidang,  termasuk  dalam  penilaian risiko  kredit  (Gestel,  T.V  &  Baesens,  B, 2009).
Dalam bidang machine learning , dimensi  data input yang  digunakan  disebut sebagai  fitur,  sehingga  fitur  merupakan  hal yang  penting  dalam  menentukan  akurasi klasifikasi.  Dengan  demikian,  pemilihan fitur  merupakan  sebuah  tahapan  penting karena fitur yang terseleksi, sangat mempengaruhi tingkat akurasi dari klasifikasi.  Berbagai  metode  dilakukan untuk  melakukan  pemilihan  fitur,  karena tidak semua fitur mampu memberikan hasil klasifikasi  baik.  Salah  satu  keberhasilan menggunakan  metode  SVM  adalah  proses pemilihan  fitur  dan  parameter  (Zhao,  M, 2011). Metode pemihan fitur dikelompokkan  menjadi  tiga  yaitu  metode Filter, metode Wrapper dan  metode Embedded (Guyon,  I  &  Elisseeff,  A.2003).
Metode Filter merupakan  pemilihan  fitur yang  mengasumsikan  bahwa  setiap  fitur saling bebas sehingga mengabaikan adanya fitur yang saling bergantung. Yang termasuk  dalam  metode  Filter  yaitu Variance  Threshold dan Univariate  Chi – Square .  Metode  Wrapper  dan  metode Embedded  memilih  fitur  yang  saling bergantung terhadap pengklasifikasian. Metode  Wrapper  cenderung  mengalami overfitting yang  menyebabkan  klasifikasi
tidak  efisien,  sedangkan  metode Embedded mengurangi kecenderungan terhadap
overfitting serta kompleksitas komputasionalnya  lebih  baik  dari  pada metode  Wrapper.    Salah  satu  metode Embedded adalah Recursive Feature Elimination  (RFE) .  Metode  RFE  ini  telah diaplikasikan  dalam  beberapa  masalah klasifikasi,  obat  dan  non  obat  serta menghasilkan  tingkat  akurasi  yang  lebih tinggi  (Korkmaz  S,  2014).  Selain  ketiga kelompok  pemilihan  fitur  tersebut,  ada metode  yang  lain  yaitu Extra  Trees Clasifier  (ETC) .  Metode  ETC  merupakan metode  pemilihan  fitur  berbasis decision tree .  Metode  ETC  ini  telah  diaplikasikan dalam  pemilihan  fitur  untuk  SVM  pada masalah analisis sentimen dan menghasilkan akurasi lebih tinggi dibandingkan  dengan  metode  pemilihan fitur lainnya (Prawira, A, 2014).

## METODE PENELITIAN

## A. Pengolahan Data
Pengolahan  data  menggunakan  metode Support  Vector  Machine  (SVM). SVM dikembangkan  oleh  Boser,  Guyon  & Vapnik yang pertama kalinya dipresentasikan pada Tahun 1992 di Annual Workshop  on  Computational  Learning Theory. SVM  merupakan  salah  satu  mesin pembelajaran  alternatif  yang  digunakan
dalam  menyelesaikan  persoalan  klasifikasi dengan  menggunakan  konsep maximum margin.
SVM  merupakan  salah  satu  metode supervised  learning ,  karena  himpunan  data pelatihan ( trainingdata ) berupa vektor input yang  diberikan  target  sebagai output . Tujuan pembelajaran ini adalah membangun model yang dapat menghasilkan output yang  benar  jika diberikan input yang  baru.  Model  umum yang digunakan adalah model linear. Model linear tersebut digunakan untuk memisahkan  data  pembelajaran  ke  dalam dua  kelas  yang  berbeda,  yaitu  kelas  positif dan kelas negatif.
Maximal margin classifier
Misalkan {𝒙 𝒊 , 𝑦 𝑖 },   𝑖 = 1, 2, … , 𝑁 adalah himpunan pasangan data sebanyak N, dengan 𝒙 𝒊 = [𝑥 1 , 𝑥 2 , … , 𝑥 𝑚 ] adalah  vektor baris  berdimensi 𝑚 (banyaknya  fitur)  dan
𝑦 𝑖 ∈ {+1, −1} adalah  target  (kelas)  pada setiap  vektor  baris,  persamaan 𝑓(𝒙) = 𝒘 𝑇 𝒙 + 𝑏 = 0 dinamakan hyperplane yang memisahkan  data  menjadi  dua  kelas, dengan 𝒘 adalah vektor yang mempresentasikan  parameter  bobot, 𝒙 adalah  vektor  input  dan 𝑏 adalah  bias    atau error  yang  berupa  skalar.  Pada  Gambar  1 dapat  dilihat  bahwa hyperplane yang digunakan  untuk  mengklasifikasikan  data tidaklah unik maka dengan SVM, hyperplane optimal tidak hanya memisahkan  data  tetapi  juga  memiliki margin yang maksimum.
Memaksimumkan margin berarti memaksimumkan  nilai 1 ‖𝒘‖ yang  setara dengan  meminimumkan  nilai ‖𝒘‖ 2 ,  maka pencarian hyperplane terbaik dengan memaksimumkan margin dapat dirumuskan menjadi masalah optimisasi berikut (Scholkopf, B & Smola, A., 2002) :
Gambar 1. H yperplane – hyperplane yang memisahkan data pelatihan (kiri) dan hyperplane dengan margin maksimum (kanan) 1 1 Support Vector Kelas positif Kelas negatif Kelas negatif Kelas positif
arg 𝑚𝑖𝑛 𝒘, 𝑏 1 2 ‖𝒘‖ 2 𝑠. 𝑡  𝑦 𝑖 (𝒘 𝑻 𝒙 𝑖 + 𝑏) ≥ 1

## Soft margin dengan metode kernel
Dalam SVM, untuk mengatasi beberapa data yang tidak dapat
diklasifikasikan
secara benar (misclassification  error) ,  maka  dilakukan margin  lunak (soft  margin) . Soft  margin tersebut memungkinkan beberapa data yang berada  pada  sisi decision  boundary yang salah  atau  memberikan  kelunakan  untuk beberapa data yang salah dalam pengklasifikasian.  Untuk  merealisasikan soft  margin ini,  diperkenalkan  variabel slack 𝜉 𝑖 ≥ 0 dimana 𝑖 = 1, 2, … , 𝑛 dengan satu  variabel slack untuk  setiap  data pelatihan  (Scholkopf  &  Smola,  2002). Variabel slack bernilai 𝜉 𝑖 = |𝑦 𝑖 − 𝑓(𝒙 𝒊 )| , sehingga:
 Jika 𝜉 𝑖 = 0 maka data berada pada batas margin  dan  pada  sisi decision  boundary
yang benar.
 Jika 0 < 𝜉 𝑖 < 1 maka  data  berada  di dalam  margin  dan  pada  sisi decision boundary yang benar.
 Jika 𝜉 𝑖 > 1 maka  data  berada  pada  sisi decision  boundary yang  salah  atau  data salah diklasifikasikan
Namun, dalam aplikasinya tidak semua data  dapat  dipisahkan  secara  linear  oleh
hyperplane walaupun  telah  menambahkan variabel slack .  Untuk  mengatasi  hal  ini
digunakan metode Kernel dengan memetakan  data  ke  dimensi  lebih  tinggi, sehingga  diharapkan  data  dapat  dipisahkan secara  linear  atau  disebut  juga  bersifat linearly  separable (Scholkopf, B &  Smola, A, 2002). Adapun fungsi kernel  yang biasa digunakan  dalam  SVM  yaitu:  (Bishop, Christopher M. 2006).
1. Fungsi Kernel Linear: 𝐾(𝒙,  𝒙′) = 𝒙 𝑇 𝒙
2. Fungsi Kernel Polinomial:
𝐾(𝒙,  𝒙′) = (𝒙 𝑇 𝒙′ + 1) 𝑝
3. Fungsi  Kernel Radial  Basis  Function (RBF): 𝐾(𝒙, 𝒙 ′ ) = exp(−𝛾‖𝒙 − 𝒙 ′ ‖ 2 )
Dalam  penelitian  ini  akan  digunakan fungsi kernel RBF karena dapat memetakan data input secara nonlinear ke dimensi yang lebih  tinggi  sehingga  diharapkan  dapat menangani  kasus  ketika  hubungan  antara label kelas dan fitur – fitur yang tidak linear (Hsu,  C,  2010)    dan  menghasilkan  akurasi lebih  baik  dibandingkan  dengan  fungsi kernel lainnya. Sehingga, diperoleh masalah soft  margin dengan  metode  kernel  sebagai berikut :
max 𝑎 ∑ 𝑎 𝑖 𝑛 𝑖=1 − 1 2 ∑ ∑ 𝑎 𝑖 𝑦 𝑖 𝑎 𝑗 𝑦 𝑗 (𝜙(𝒙 𝑖 ) 𝑇 𝜙(𝒙 𝑗 )) 𝑛 𝑗=1 𝑛 𝑖=1 𝑠. 𝑡       ∑ 𝑎 𝑖 𝑦 𝑖 𝑛 𝑖=1 = 0
0 ≤ 𝑎 𝑖 ≤ 𝐶                ,  𝑖 = 1,  2,   … ,  𝑛
Maka, hyperplane metode soft  margin dengan metode kernel adalah
𝑓(𝒙) = ∑ 𝑎 𝑖 ∗ 𝑦 𝑖 (𝜙(𝒙 𝑖 ) 𝑇 𝜙(𝒙 𝑗 )) 𝑛 𝑖∈𝑆 +
𝑏(12) dengan 𝑆 adalah himpunan indeks support vector .
B. Proses Learning
Pada  proses learning bertujuan  untuk penentuan parameter dari metode pada data pelatihan  yang  diberikan.  Dalam  SVM dengan  fungsi  kernel  RBF  dibutuhkan  dua parameter  yaitu  parameter 𝐶 dan 𝛾 .
Parameter 𝐶 merupakan  parameter  yang digunakan  untuk  mengukur trade  off dari kesalahan  pengklasifikasian  data  pelatihan dan  nilai  parameter 𝛾 yang  semakin  besar berarti  sebagian  data  pelatihan  akan semakin berpengaruh terhadap data pelatihan yang lainnya. Metode pendekatan yang digunakan untuk mendapatkan kombinasi  yang  optimal  dari 𝐶 dan 𝛾 yaitu pendekatan Grid  Search  ( Hsu,  C,  2010).
Proses Grid Search secara lengkap membutuhkan  waktu  proses  yang  lama, sehingga direkomendasikan untuk menggunakan  metode  pembagian Grid
Search menjadi dua tahap, yaitu:
1) Loose Grid  Search , dilakukan pemilihan
parameter 𝐶 = 2 𝑥 , dengan 𝑥 = −5, −3, … , 15 dan 𝛾 = 2 𝑦 ,  dengan 𝑦 = −15, −13, … , 3 .  Dalam  proses pemilihan  parameter 𝐶 dan 𝛾 yang
optimal  dilakukan  secara  iterative  untuk setiap  pemasangan 𝐶 dan 𝛾 yang berbeda.
2) Fine  Grid  Search, dilakukan  pencarian yang  lebih  kecil  pada  titik  yang ditemukan  pada  proses  sebelumnya. Misalkan pada proses Loose Grid Search diperoleh 𝐶 yang  optimal  adalah 𝑥 ∗ dan 𝛾 optimal  yang  diperoleh  adalah 𝛾 ∗ , maka pada proses Fine Grid Search akan mencari nilai parameter
𝐶 = 2 𝑥 ∗ +𝑥′ dengan 𝑥 ′ = −2, −1.75, −1.5, … , 2
Dan 𝛾 = 2 𝑦 ∗ +𝑦′
dengan 𝑦 ′ = −2, −1.75, −1.5, … , 2 .

## C. Proses Evaluasi Model
Evaluasi model bertujuan untuk mengetahui keakuratan model fungsi klasifikator  dalam  memprediksi  data  baru yang bukan termasuk dalam data pelatihan. K – Fold Cross Validation digunakan untuk menghitung akurasi model fungsi klasifikator terhadap data baru.
Dalam  penelitian  ini,  yang  digunakan 5 – Fold  Cross  Validation .  Untuk  menyajikan hasil K – Cross  Validation ,  digunakan confusion matrix .
Tabel 1. Skema Confusion Matrix
Target Prediksi -1 1 Target Sebenarnya -1 True Negative (TN) False Positive (FP) 1 False Negative (FN) True Positive (TP)
Berdasarkan  skema confusion  matrix pada  tabel  1,  menurut  Gorunescu  (2011) satuan kinerja model yaitu sebagai berikut:
 Succes  rate atau  tingkat  kesuksesan adalah  proporsi  jumlah  prediksi  yang benar. Dapat dihitung dengan:
𝑆𝑢𝑐𝑐𝑒𝑠 𝑟𝑎𝑡𝑒 = 𝑇𝑃+𝑇𝑁
𝑇𝑃+𝑇𝑁+𝐹𝑃+𝐹𝑁
 True Positif Rate (TPR) adalah membandingkan  proporsi True  Positif (TP) terhadap  tupel  yang  positif.  Dapat dihitung dengan:

## 𝑇𝑃𝑅 = 𝑇𝑃 𝑇𝑃 + 𝐹𝑁
 False  Positif  Rate  (FPR) adalah membandingkan  proporsi False  Positif
(FP) terhadap tupel yang negatif. Dapat dihitung dengan:
𝐹𝑃𝑅 = 𝐹𝑃
𝐹𝑃 + 𝑇𝑁 ROC Curve(Receiver Operating
Charateristic) adalah  alat  visual  yang berguna  untuk  membandingkan  dua  atau lebih  model  klasifikasi. ROC  Curve adalah grafik  dua  dimensi  dengan False  Positive sebagai  garis  horizontal  dan True  Positive
sebagai garis vertikal (Gorunescu, F, 2011). Tingkat akurasi nilai AUC (Area Under The Curve) dalam  klasifikasi  dibagi  menjadi lima  kelompok  dinyatakan  dalam  tabel berikut :
Berdasarkan  skema confusion  matrix pada  tabel  1,  menurut  Gorunescu  (2011) satuan kinerja model yaitu sebagai berikut:
 Succes  rate atau  tingkat  kesuksesan adalah  proporsi  jumlah  prediksi  yang benar. Dapat dihitung dengan:
𝑆𝑢𝑐𝑐𝑒𝑠 𝑟𝑎𝑡𝑒 = 𝑇𝑃+𝑇𝑁
𝑇𝑃+𝑇𝑁+𝐹𝑃+𝐹𝑁  True Positif Rate (TPR) adalah membandingkan  proporsi True  Positif (TP) terhadap  tupel  yang  positif.  Dapat dihitung dengan:

## 𝑇𝑃𝑅 = 𝑇𝑃 𝑇𝑃 + 𝐹𝑁
 False  Positif  Rate  (FPR) adalah membandingkan  proporsi False  Positif (FP) terhadap tupel yang negatif. Dapat dihitung dengan:

## 𝐹𝑃𝑅 = 𝐹𝑃 𝐹𝑃 + 𝑇𝑁
Tabel 2. Kelompok Tingkat Akurasi Nilai AUC (Area Under The Curve) dalam Klasifikasi
Interval Nilai
AUC Akurasi Klasifikasi 0.90 – 1.00 Klasifikasi sangat baik (excellent classification) 0.80 – 0.90 Klasifikasi baik (good classification) 0.70 – 0.80 Klasifikasi cukup (fair classification) 0.60 – 0.70 Klasifikasi buruk (poor classification) 0.50 – 0.60 Klasifikasi salah (failure classification)

## D. Proses Pemilihan Fitur
Dalam  proses  klasifikasi,  dimensi data input yang  digunakan  disebut  sebagai fitur . Dalam  proses  klasifikasi,  pemilihan fitur  merupakan  sebuah  tahapan  penting karena fitur yang terseleksi sangat berpengaruh  terhadap  penentuan  fungi
klasifikator (hyperplane) .
Metode pemilihan fitur yang digunakan yaitu :
1. Variance Threshold
Metode Variance  Threshold adalah metode  yang  mengeliminasi  fitur  yang memiliki  variansi  di  bawah  batas  tertentu. Persamaan  yang  digunakan  untuk  mencari varians dari masing – masing fitur adalah:
𝑉𝑎𝑟(𝑥 𝑗 ) = ∑(𝑥 𝑖𝑗 − 𝑥 𝑗 ) 2 𝑛 𝑖=1 𝑛 dengan:
𝑥 𝑗 , 𝑗 = 1, 2, … , 𝑚 merupakan fitur
𝑥 𝑗 , 𝑗 = 1, 2, … , 𝑚 merupakan  rata – rata dari suatu fitur 𝑛 merupakan jumlah data.
2. Univariate Chi – Square
Nilai  dari Chi – Square  Statistic dapat  dihitung  menggunakan  persamaan berikut:
𝜒 2 = ∑ 𝑏 𝑖=1 ∑ (𝑜 𝑖𝑗 − 𝑒 𝑖𝑗 ) 2 𝑒 𝑖𝑗 𝑚 𝑗=1
dengan:
𝑜 𝑖𝑗 merupakan  frekuensi  yang  diperoleh atau diamati
𝑒 𝑖𝑗 merupakan frekuensi yang diharapkan.
Adapun langkah – langkah pengujian Chi – Square Statistic yaitu:
 Hipotesis
𝐻 0 : tidak ada hubungan yang signifikan antara  fitur  data  set  dengan credit scoring
𝐻 𝑎 : ada hubungan yang signifikan antara fitur data set dengan credit scoring .
 Menentukan taraf nyata yaitu 𝛼 = 0,05
 Menghitung 𝑜 𝑖𝑗 dan 𝑒 𝑖𝑗 . Untuk menghitung  frekuensi  harapan 𝑒 𝑖𝑗 ,  akan dibuat tabel kontingensi.
Berdasarkan  Tabel  3  tersebut  bahwa
𝐴 1 , 𝐴 2 , … , 𝐴 𝑚 adalah  fitur – fitur  yang ada pada satu fitur.
 Mencari nilai frekuensi  yang diharapkan (𝑒 𝑖𝑗 ) 𝑒 𝑖𝑗 = (𝑛 𝑖. )(𝑛 .𝑗 ) 𝑛 ; 𝑖 = 1, 2, … , 𝑏 ; 𝑗 = 1, 2, … , 𝑚
 Menghitung  nilai Chi – Square  Statistic menggunakan dengan berdistribusi chi – square dengan  derajat  kebebasan  yaitu
(𝑏 − 1)(𝑚 − 1)
 Menarik kesimpulan
Dengan  kriteria  keputusan:Tolak 𝐻 0 jika 𝜒 2 ≥ 𝜒 𝑡𝑎𝑏𝑒𝑙(𝛼,𝑣) 2 .
Tabel 3. Bentuk Umum Tabel Kontingensi 𝐴 1 𝐴 2 ... 𝐴 𝑚 Jumlah
Label kelas ( 𝐿 1 ) = 1 𝑜 11 𝑜 12 ... 𝑜 1𝑚 𝑛 1.
Label kelas (𝐿 2 ) = -1 𝑜 21 𝑜 22 ... 𝑜 2𝑚 𝑛 2. Jumlah 𝑛 .1 𝑛 .2 ... 𝑛 .𝑚 𝑁

## 3. Recursive Feature Elemination (RFE)
Algoritma dari SVM RFE pertama kali diusulkan  oleh  Guyon,  Weston,  Barnhill  & Vapnik (2002), yaitu sebagai berikut: 1. Diberikan {𝒙 𝑖 , 𝑦 𝑖 },   𝑖 = 1, 2, … , 𝑛 adalah himpunan  pasangan  data  sebanyak n ,
dengan 𝒙 𝑖 ∈ ℝ 𝑚 dan 𝑦 𝑖 ∈ {+1, −1} adalah target.
2. Pelatihan klasifikasi dengan
menggunakan  SVM  untuk  mendapatkan vektor 𝒘 yang mempresentasikan parameter bobot.
𝒘 = ∑ 𝑎 𝑖 𝑦 𝑖 𝒙 𝑖 𝑛 𝑖=1
3. Hitung vektor 𝒘 yang mempresentasikan parameter bobot
4. Hitung  skor  ranking  untuk  semua  fitur
𝑐 𝑗 = (𝑤 𝑗 ) 2 dengan 𝑤 𝑗 , 𝑗 = 1, 2, … , 𝑚 adalah elemen pada vektor 𝒘
5. Pencarian  fitur  dengan  skor  ranking terendah yaitu 𝑓 = arg min(𝑐 𝑗 )
6. Mengeliminasi  fitur  dengan 𝑐 = 𝑓 (fitur yang  dieliminasi  bisa  lebih  dari  satu
fitur).
4. Extra Trees Classifier (ETC)
ETC  merupakan  pemilihan  fitur  yang berbasis decision  tree .  Algoritma  ETC berbeda  dari  metode decision  tree lainnya, yaitu  menggunakan  parameter,    membagi node dengan memilih titik potong seluruhnya  secara  acak  dan  membangun setiap tree dengan  menggunakan  sampel data pelatihan asli. Parameter yang digunakan dalam algoritma ETC yaitu:  𝐾 merupakan parameter yang menentukan  jumlah  fitur  yang  diambil secara acak pada setiap node .
 𝑛 𝑚𝑖𝑛 merupakan parameter yang menentukan banyaknya sampel minumum yang digunakan untuk melakukan pemisahan node .
 𝑀 merupakan parameter yang menentukan jumlah pohon di ensemble . Metode  ETC  mengeliminasi  fitur – fitur yang berada di bawah bobot yang ditentuka sesuai dengan algoritma Pseudo – code dari algoritma Extra Trees (Geurts, 2006)

## HASIL DAN PEMBAHASAN
Tiga dataset yaitu German  Credit, Australian  Credit dan Japanese  Credit . Ketiga dataset ini  merupakan  data  yang berisi  karakteristik  penilaian  dari  calon debitur yang mengajukan kredit.
Pada  proses  awal  akan  dilakukan pemilihan  fitur.  Metode  pemilihan  fitur yang  digunakan  yaitu Variance  Threshold,
Univariate  Chi  Square,  Recursive  Feature Elimination  (RFE) dan Extra Trees Classifier  (ETC) .  Berikut  hasil  pemilihan fitur pada ketiga dataset tersebut.
Setelah  dilakukan  pemilihan  fitur, selanjutnya data pelatihan ini akan diproses menggunakan  metode  SVM  dengan  fungsi kernel RBF. Karena penelitian ini menggunakan  SVM  dengan  fungsi  kernel RBF  maka  dibutuhkan  parameter 𝐶 dan 𝛾 . Setelah  parameter 𝐶 dan 𝛾 yang  optimal terpilih, maka selanjutnya melakukan evaluasi  model.  Evaluasi  model  yang digunakan  adalah 5 – Fold  Cross Validation untuk  menghitung  kinerja  yang dihasilkan  SVM.  Satuan  kinerja  yang digunakan adalah akurasi atau succes rate .
Tabel 4. Gambaran Data Penelitian
Dataset Jumlah Calon Debitur Jumlah Fitur Kategorik Jumlah Fitur Numerik Total Fitur Jumlah Kelas Jumlah Good Debitur Jumlah Bad Debitur German Credit 1000 13 7 20 2 700 300 Australian Credit 690 8 6 14 2 307 383 Japanese Credit 690 9 6 15 2 307 383
[Sumber data: http://archive.ics.uci.edu/ml/datasets/]
Tabel 5. Jumlah Fitur yang Dihasilkan oleh Metode Pemilihan Fitur pada Ketiga Dataset
Variance Threshold Univariate Chi Square Recursive  Feature Elimination (RFE) Extra Trees Classifier (ETC) German Credit 11 10 15 11 Australian Credit 8 10 1 3 Japanese Credit 8 10 1 3
Tabel 6. Perbandingan Hasil Akurasi pada Ketiga Dataset Dataset Tanpa Pemilihan Fitur Dengan Pemilihan Fitur Variance Threshold Univariate Chi – Square RFE ETC German Credit (77,6±0)% (76,9±0)%  (74,5±0)% (81,3±2)%  (79,0±1)% Australian
Credit
(87,1±1)% (80,1±0)%  (86,8±1)% (95,7±1)%  (90,6±2)% Japanese Credit (85,8±7)% (78,6±2)%  (85,7±7)% (95,1±4)%  (91,6±7)%
Pada Tabel 6 terlihat bahwa dengan metode pemilihan  fitur  menggunakan  metode Variance  Threshold dan Univariate  Chi – Square mengurangi  akurasi  klasifikasi sedangkan  metode  ETC  dan  RFE  dapat meningkatkan  akurasi  sebelumnya  dan metode  RFE  menghasilkan  akurasi  lebih
tinggi dibandingkan dengan metode pemilihan fitur lainnya.
Untuk  menyajikan  hasil  dari 5 – Fold Cross  Validation digunakan confusion matrix . Confusion  matrix berisi  informasi sebenarnya  dan  prediksi  pada  klasifikasi seperti  skema confusion  matrix pada  Tabel 1.
Tabel 7. Confusion Matrix pada Data German Credit
Tanpa Pemilihan Fitur Klasifikasi Prediksi Bad Good Klasifikasi Sebenarnya Bad 142 158 Good 66 634 Variance Threshold Klasifikasi Prediksi Bad Good Klasifikasi Sebenarnya Bad 138 162 Good 69 631 Univariate Chi – Square Klasifikasi Prediksi Bad Good Klasifikasi Sebenarnya Bad 145 155 Good 81 619 Recursive Feature Elimination (RFE) Klasifikasi Prediksi Bad Good Klasifikasi Sebenarnya Bad 140 133 Good 54 673 Extra  Trees Classifier (ETC) Klasifikasi Prediksi Bad Good Klasifikasi Sebenarnya Bad 149 140 Good 70 641
Pada Tabel 7, pada data German Credit memiliki  1000  calon  debitur,  klasifikasi SVM  dengan  fungsi  kernel  RBF  pada penilaian risiko kredit diperoleh bahwa 142 diprediksi ‘bad’ sesuai  dengan  hasil sebenarnya ‘bad ,  66  diprediksi ‘bad’ tetapi hasil sebenarnya
‘good , 158
diprediksi ‘good ’ tetapi  hasil  sebenarnya ‘bad’ dan  634  diprediksi ‘good’ sesuai dengan hasil sebenarnya ‘good’ . Sedangkan setelah melakukan pemilihan fitur menggunakan  metode Variance  Threshold , diperoleh  bahwa  138  diprediksi ‘bad’
sesuai  dengan  hasil  sebenarnya ‘bad’ ,  69
diprediksi ‘bad ’ tetapi  hasil  sebenarnya ‘good’ ,  162  diprediksi ‘good ’ tetapi  hasil sebenarnya ‘bad’ dan 631
diprediksi ‘good’ sesuai dengan dengan hasil sebenarnya ‘good’ . Pemilihan fitur menggunakan  metode Univariate  Chi – Square ,  diperoleh  bahwa  145  diprediksi ‘bad ’ sesuai dengan hasil sebenarnya ‘bad’ , 81  diprediksi ‘bad ’ tetapi  hasil  sebenarnya ‘good’ ,  155  diprediksi ‘good’ tetapi  hasil sebenarnya ‘bad’ dan 619 diprediksi ‘good’ sesuai  dengan  dengan  hasil  sebenarnya ‘good’ .
Tabel 8. Confusion matrix pada data Australian Credit
Tanpa Pemilihan Fitur Klasifikasi Prediksi Bad Good Klasifikasi Sebenarnya Bad 320 63 Good 26 281 Variance Threshold Klasifikasi Prediksi Bad Good Klasifikasi Sebenarnya Bad 352 31 Good 106 201 Unvariate Chi – Square Klasifikasi Prediksi Bad Good Klasifikasi Sebenarnya Bad 320 63 Good 28 279 Recursive Feature Elimination (RFE) Klasifikasi Prediksi Bad Good Klasifikasi Sebenarnya Bad 325 26 Good 4 335 Extra Trees Classifier (ETC) Klasifikasi Prediksi Bad Good Klasifikasi Sebenarnya Bad 312 48 Good 17 313
Tabel 9. C onfusion matrix pada data Japanese Credit
Tanpa Pemilihan Fitur Klasifikasi Prediksi Bad Good Klasifikasi Sebenarnya Bad 309 74 Good 24 283 Variance Threshold Klasifikasi Prediksi Bad Good Klasifikasi Sebenarnya Bad 351 32 Good 116 191 Unvariate Chi – Square Klasifikasi Prediksi Bad Good Klasifikasi Sebenarnya Bad 306 77 Good 22 285 Recursive Feature Elimination (RFE) Klasifikasi Prediksi Bad Good Klasifikasi Sebenarnya Bad 323 28 Good 6 333 Extra  Trees Classifier (ETC) Klasifikasi Prediksi Bad Good Klasifikasi Sebenarnya Bad 318 47 Good 11 314 Pada  Tabel  8,  pada  data Australian Credit memiliki 690 calon debitur, klasifikasi SVM dengan fungsi kernel RBF penilaian  risiko  kredit  diperoleh  diperoleh bahwa  320  diprediksi ‘bad’ sesuai  dengan hasil  sebenarnya ‘bad ,  63  diprediksi ‘bad’ tetapi hasil sebenarnya ‘good , 26 diprediksi ‘good’ tetapi  hasil  sebenarnya ‘bad’ dan 281  diprediksi ‘good’ sesuai  dengan  hasil sebenarnya ‘good’ .  Sedangkan  setelah melakukan  pemilihan  fitur  menggunakan metode Variance  Threshold ,  diperoleh bahwa  352  diprediksi ‘bad’ sesuai  dengan hasil sebenarnya ‘bad’ , 106 diprediksi ‘bad’ tetapi hasil sebenarnya ‘good’ , 31 diprediksi ‘good’ tetapi hasil sebenarnya
‘bad’ dan  201  diprediksi ‘good’ sesuai dengan  dengan  hasil  sebenarnya ‘good’ . Pemilihan  fitur  menggunakan  metode Univariate  Chi – Square ,  diperoleh  bahwa 320  diprediksi ‘bad’ sesuai  dengan  hasil sebenarnya ‘bad’ ,  28  diprediksi ‘bad’ tetapi hasil  sebenarnya ‘good’ ,  63  diprediksi ‘good’ tetapi  hasil  sebenarnya ‘bad’ dan 279 diprediksi ‘good’ sesuai dengan dengan hasil  sebenarnya ‘good’ .  Pemilihan  fitur menggunakan  metode  RFE,  diperoleh bahwa  325  diprediksi ‘bad’ sesuai  dengan hasil  sebenarnya ‘bad’ ,  4  diprediksi ‘bad’ tetapi hasil sebenarnya ‘good’ , 26 diprediksi ‘good ’ tetapi  hasil  sebenarnya ‘bad’ dan  335  diprediksi ‘good’ sesuai
dengan  dengan  hasil  sebenarnya ‘good’ .
Pemilihan fitur menggunakan metode ETC, diperoleh bahwa 312 diprediksi
‘bad ’ sesuai dengan hasil sebenarnya ‘bad’ , 17  diprediksi ‘bad ’ tetapi  hasil  sebenarnya ‘good’ ,  48  diprediksi ‘good’ tetapi  hasil sebenarnya ‘bad’ dan 313 diprediksi ‘good’ sesuai  dengan  dengan  hasil  sebenarnya ‘good’ .
Pada  Tabel  9,  pada  data Japanese Credit memiliki  690  debitur,  klasifikasi SVM  dengan  fungsi  kernel  RBF  penilaian risiko kredit diperoleh diperoleh bahwa 309 diprediksi ‘bad’ sesuai  dengan  hasil sebenarnya ‘bad , 24 diprediksi ‘bad’ tetapi hasil sebenarnya ‘good , 74 diprediksi ‘good’ tetapi  hasil  sebenarnya ‘bad’ dan  283 diprediksi ‘good’ sesuai  dengan  hasil sebenarnya ‘good’ .  Sedangkan  setelah melakukan  pemilihan  fitur  menggunakan metode Variance  Threshold ,  diperoleh
bahwa  351  diprediksi ‘bad’ sesuai  dengan hasil sebenarnya ‘bad’ , 116 diprediksi ‘bad’ tetapi hasil sebenarnya ‘good’ , 32 diprediksi ‘good’ tetapi  hasil  sebenarnya ‘bad’ dan  191  diprediksi ‘good’ sesuai dengan  dengan  hasil  sebenarnya ‘good’ . Pemilihan  fitur  menggunakan  metode Univariate  Chi – Square ,  diperoleh  bahwa 306  diprediksi ‘bad’ sesuai  dengan  hasil sebenarnya ‘bad’ , 22 diprediksi ‘bad’ tetapi hasil  sebenarnya ‘good’ ,  77  diprediksi ‘good’ tetapi  hasil  sebenarnya ‘bad’ dan 285 diprediksi ‘good’ sesuai dengan dengan hasil  sebenarnya ‘good’ .  Pemilihan  fitur menggunakan  metode  RFE,  diperoleh bahwa  323  diprediksi ‘bad’ sesuai  dengan hasil  sebenarnya ‘bad’ ,  6  diprediksi ‘bad’ tetapi  hasil  sebenarnya ‘good’ ,  28 diprediksi ‘good ’ tetapi  hasil  sebenarnya ‘bad’ dan  333  diprediksi ‘good’ sesuai dengan dengan hasil sebenarnya ‘good’ .
Gambar 2. Grafik perbandingan ROC Curve metode pemilihan fitur pada data set German Credit
Gambar 3. Grafik perbandingan ROC Curve metode pemilihan fitur pada data set Australian Credit
Gambar 4. Grafik perbandingan ROC Curve metode pemilihan fitur pada data set Japanese Credit
Pemilihan fitur menggunakan metode ETC, diperoleh  bahwa  318  diprediksi ‘bad’ sesuai  dengan  hasil  sebenarnya ‘bad’ ,  11 diprediksi ‘bad’ tetapi  hasil  sebenarnya ‘good’ ,  47  diprediksi ‘good’ tetapi  hasil sebenarnya ‘bad’ dan 314 diprediksi ‘good’
sesuai  dengan  dengan  hasil  sebenarnya ‘good’ .
ROC  Curve ini  digunakan  untuk  melihat perbandingan True  Positif  Rate  (TPR) dengan False  Positif  Rate  (FPR). Berikut perbandingan ROC Curve metode pemilihan fitur pada masing – masing data set.
Berdasarkan  Gambar  4  terlihat  bahwa hasil AUC (Area Under Curve) dari metode pemilihan  fitur  RFE  memiliki  nilai  AUC
yang lebih tinggi  yaitu 0,91. Hal ini berarti dengan melakukan pemilihan fitur menggunakan metode RFE memiliki kemampuan prediksi lebih tinggi  dibandingkan  metode  pemilihan fitur  yang  lainnya.  Sehingga  berdasarkan kelompok tingkat akurasi nilai AUC,  maka tingkat  akurasi  dari  metode  RFE  adalah klasifikasi sangat baik (excellent
classification) .

## KESIMPULAN
Berdasarkan
simulasi untuk membandingkan  nilai  akurasi  penggunaan metode pemilihan fitur Variance Threshold ,
Univariate  Chi – Square ,  RFE  dan  ETC pada  SVM  dalam  klasifikasi  penilaian risiko  kredit,  maka  diperoleh  kesimpulan bahwa:
 Metode Variance Threshold dan
Univariate Chi – Square dapat mengurangi  akurasi  klasifikasi  setelah dilakukukan pemilihan fitur.
 Metode RFE dan ETC dapat meningkatkan  akurasi  klasifikasi  setelah dilakukukan  pemilihan  fitur.  Metode RFE  memberikan  akurasi  yang  lebih baik.

## DAFTAR PUSTAKA
Abdou,  H.  &  Pointon,  J.  2011.  Credit Scoring, Statistical Techniques and
Evaluation  Criteria:  A  Review  of The  Literature. Intelligent  Systems in Accounting, Finance &
Management vol 18, 59 – 88.
Bishop,  Christopher  M.  2006. Pattern Recognition and Machine Learning . Cambridge: Spinger.
Boser,  B,  Guyon,  I  &  Vapnik,  V.  1992. Annual Workshop on Computational  Learning  Pattern Recognition. Kluwer Academy
Publisher . Boston.
Gestel,  T.V  &  Baesens,  B.  2009. Credit
Risk Management Basic Concepts:
Financial Risk Components, Rating Analysis, Models, Economic and Regulatory Capital .
New  York:  Oxford  University Press.
Geurts,  P,  Ernst,  D  &  Wehenkel,  L.  2006.
Extremely Randomized Trees.
Mach Learn vol 63 , 3 – 42.
Gorunescu, F. 2011. Data Mining:
Concepts, Models and Techniques .
Verlag Berlin Heidelberg: Springer. Guyon, I, Weston, J, Barnhill, S & Vapnik, V.  2002.  Gene  Selection  For Cancer Classification Using Support Vector Machines.
Machine  Learning,  vol.  46(1-3),
389 – 422.
Guyon,  I  &  Elisseeff,  A.  2003.  An
Introduction to Variable and
Feature  Selection. Journal  of Machine Learning Research vol 3,
1157 – 1182 .
Hsu,  C.  W.,  Chang,  C.  C.,  &  Lin,  C.  J. 2010. A  Practical  Guide  to
Support Vector Classification . Retrieved from http://www.csie.ntu.edu.tw/~cjlin/ papers/guide/guide.pdf Korkmaz  S,  Zararsiz  G  &  Goksuluk  D. 2014. Drug / Nondrug Classification Using Support Vector  Machine  With  Various Feature Selection Strategies.
Computer  Methods  And  Programs In Biomedicine vol 117 . 51 – 60.
Prawira, A. 2014. Analisis Kinerja
Pemilihan  Fitur  untuk  Support Vector  Machine  (SVM)  pada Masalah Analisis Sentimen .
Skripsi, Universitas Indonesia.
Scholkopf,  B  &  Smola,  A.  2002 .  Learning with  Kernels – Support  Vector
Machines, Regularization, Optimizationand Beyond . Cambridge: The MIT Press. UCI machine learning responsitory ( http://archive.ics.uci.edu/ml/datas ets/).  Diakses  pada  23  Februari 2015.
Thomas, L. C., Edelman, D. B. & Crook, L. N.  2002. Credit  Scoring  and  Its Applications. Philadelphia: Society for Industrial and Applied
Mathematics.
Zhao,  M.,  Fu,  C.,  Ji,  L.,  Tang,  K.  &  Zhou,
M.  2011.  Feature  Selection  and Parameter Optimization For Support  Vector  Machines:  A  New Approach Based on Genetic Algorithm with Feature
Chromosomes. Expert System with Applications , vol 38(5), 5197-5204