Jurnal Teknik Informatika dan Sistem Informasi ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 552-564 E- ISSN 2503-2933 552

## Klasifikasi Status Kinerja Perusahaan Menggunakan
Ensemble Learning Dan Smote Dengan

## Mempertimbangkan CGI
Affindi Mario Bagaskara* 1 , Arif Djunaidy 2 , Retno Aulia Vinarti 3 1, 2, 3 Departemen Sistem Informasi, FTEIC Institut Teknologi Sepuluh Nopember, Surabaya e-mail: 1 mario.206026@mhs.its.ac.id, 2 adjunaidy@is.its.ac.id, 3 zahra_17@is.its.ac.id

## Abstrak
Krisis  keuangan  global  yang  terjadi  pada  tahun  2008  membuat  sebagian  besar perusahaan  terganggu  dan  tidak  stabil.  Di  Indonesia,  dampak  dari  krisis  keuangan  global mulai  dapat  dirasakan  menjelang  akhir  tahun  2008.  Pertumbuhan  ekonomi  Indonesia  dari tahun  2008-2009,  persentase  terendah  pada  tahun  2009.  Hal  tersebut  menunjukkan  bahwa perekonomian  Indonesia  sangat  terdampak  oleh  krisis  keuangan  global  pada  tahun  2009. Penting bagi perusahaan untuk mengukur dan mengetahui status kondisi keuangan perusahaan. Suatu  model  prediksi  diperlukan  untuk  membantu  dalam  melakukan  analisis  terkait  status kinerja  perusahaan  untuk  manajemen  resiko.  Maka  dari  itu,  membangun  sebuah  model Financial  Distress  Prediction  (FDP)  yang  efektif telah  menjadi  topik  penelitian yang  penting. Penelitian  ini  bertujuan  untuk  mengembangkan  model  FDP  dengan  menggabungkan  metode ensemble learning dengan metode Synthetic Minority Oversampling Technique (SMOTE) pada perusahaan  BUMN  di  Indonesia  yang  terdaftar  di  Bursa  Efek  Indonesia.  Kemudian,  selain menggunakan  Financial  Ratios  (FR),  penelitian  ini  juga  mempertimbangkan  Corporate Governance  Indicators  (CGI).  Hasil  eksperimen  pengembangan  model  FDP  jatuh  pada SMOTE-Stacking  dengan  hasil  Accuracy  0,99  menggunakan  data  FRs  dan  CGIs.  Hal  ini membuktikan bahwa penggunaan metode SMOTE dan CGIs mampu memberikan hasil prediksi yang lebih maksimal. Hasil dari penelitian ini adalah model FDP yang mencakup status kinerja perusahaan yang diharapkan mampu meningkatkan akurasi kinerja model FDP.
Kata kunci —Financial Distress Prediction (FDP), Klasifikasi multi-kelas, Ensemble learning, SMOTE, Corporate Governance Indicators (CGIs).

## Abstract
The  global  financial  crisis  that  occurred  in  2008  made  most  companies  disturbed  and unstable. In Indonesia, the impact of the global financial crisis can be felt continuously at the end  of  2008.  Indonesia's  economic  growth  began  from  2008-2009,  the  lowest  percentage  in 2009. This shows that the Indonesian economy is very important by the global financial crisis in 2009.  Important  for  company  to  measure  and  know  the  status  of  the  company's  financial condition. A predictive model is needed to assist in analyzing the company's performance status for  risk  management.  Therefore,  building  an  effective  Financial  Distress  Prediction  (FDP) model has become an important research topic. This study aims to develop the FDP model by combining the ensemble learning method with the Synthetic Minority Oversampling Technique (SMOTE)  method  in  state-owned  companies  in  Indonesia  listed  on  the  Indonesia  Stock Exchange. Then, in addition to using Financial Ratios (FR), this study also considers Corporate Governance Indicators (CGI). The experimental results of the FDP model development fell on the SMOTE-Stacking with an Accuracy result of 0.99 using FRs and CGIs data. This proves that
553 Jatisi ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 552-564 E-ISSN 2503-2933
Title of manuscript is short and clear, implies research results (First Author)
the use of SMOTE and CGI methods is able to provide maximum prediction results. The result of  this  study  is  the  FDP  model  which  includes  the  company's  performance  status  which  is expected to increase the accuracy of the FDP model's performance.
Keywords —Financial Distress Prediction (FDP), Multi-class classification, Ensemble learning, SMOTE, Corporate Governance Indicators (CGIs).

## 1. PENDAHULUAN
risis  keuangan  global  yang  terjadi  pada  tahun  2008  mengungkap  kerapuhan  sistem keuangan modern dan menunjukkan dampak yang sangat besar bagi perekonomian [1]. Kesulitan  keuangan  dan  kebangkrutan  pada  semua  perusahaan  memiliki  dampak  besar pada  pemerintah,  pemegang  saham,  manajemen,  karyawan,  dan  lembaga  keuangan.  Di Indonesia,  dampak  dari  krisis  keuangan  global  mulai  dapat  dirasakan  menjelang  akhir  tahun 2008. Pertumbuhan ekonomi Indonesia dari tahun 2008-2009 mengalami penurunan, persentase terendah  pada  tahun  2009  yaitu  sebesar  4,6%.  Penurunan  cukup  signifikan  bila  dibandingkan dengan  tahun  2008  yaitu  6,1%.  Hal  tersebut  menunjukkan  bahwa  perekonomian  Indonesia sangat  terdampak  oleh  krisis  keuangan  global  pada  tahun  2009  [1].  Berdasarkan  sejarah  yang terjadi,  penelitian  di  bidang  keuangan  perusahaan  menjadi  topik  yang  penting,  dan  seiring berkembangnya  zaman,  telah  terjadi  beberapa  kemajuan  terkait  model  prediksi  kesulitan keuangan dan kebangkrutan [2]. Untuk perusahaan yang tidak memiliki mekanisme peringatan dini  untuk  risiko  kesulitan  keuangan,  biasanya  tidak  dapat  menangani  guncangan  keuangan dengan baik ketika lingkungan ekonomi dari luar memburuk. Perusahaan dengan pengendalian internal  yang  baik  harus  memiliki  sistem Financial  Distress  Prediction (FDP),  yang  dapat menandakan kemerosotan keuangan sebelum kesulitan keuangan benar-benar dating [2].
Membangun model Financial Distress Prediction (FDP) yang efektif dapat memberikan peringatan  dini  pada  krisis  kesulitan  keuangan  perusahaan.  Untuk  para  pihak  yang bersangkutan,  seperti  bank  dan  lembaga  keuangan  lainnya,  mereka  dapat  secara  langsung mengetahui  status  kinerja  dari  target  perusahaan,  dan  mengendalikan  kerjasama  atau  proporsi pinjaman  guna  mengurangi  risiko  [3].  Bagi  pemerintah,  pengetahuan  terkait  peringatan  dini kesulitan  keuangan  perusahaan  dapat  digunakan  untuk  membuat  regulasi  yang  kondusif  dan dukungan  ilmiah  demi  pemeliharaan  pasar  yang  lebih  baik.  Apalagi  pada  perusahaan  BUMN yang erat kaitannya dengan pemerintah. Namun demikian, juga sangat sulit untuk membangun model FDP. Jika model gagal untuk memastikan akurasi prediksi yang tinggi, pengguna model (terutama untuk bank, lembaga keuangan lainnya, dan pemerintah) akan menderita konsekuensi yang cukup serius [4].
Pada  abad  ke-21,  penelitian  dengan  berbagai  model  baru  tentang  FDP  telah  menjadi sorotan.  Beberapa  literatur  terkait  prediksi  status  perusahaan  yang  terdaftar  di  China  lebih berfokus  pada  bagaimana  membangun  model  untuk  memprediksi  status  perusahaan  tersebut, apakah  normal  atau  kesulitan  keuangan.  Penelitian  [5]  memperkenalkan  penggunaan Support Vector  Machines (SVM)  untuk  memprediksi  kesulitan  keuangan,  dan  mendefinisikan perusahaan yang memiliki label kesulitan keuangan adalah perusahaan yang mendapat Special Treatment  (ST)  di  pasar  saham  China.  Lalu  [6]  mengembangkan  model Z-score untuk memprediksi  apakah  perusahaan  mendapatkan  ST  atau  tidak.  Kemudian  [7]  juga  membahas FDP untuk perusahaan China. Selain itu, pengembangan model FDP juga dilakukan di Amerika [8] dan Korea [9]. Hal ini menandakan bahwa penelitian terkait model FDP telah dilakukan di berbagai negara di dunia.
K
Jatisi                             ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 552-564 E- ISSN 2503-2933 554
Meskipun  sudah  banyak  penelitian  untuk  pembuatan  model  FDP,  semua  pendekatan difokuskan pada kelas biner, yaitu normal dan kesulitan keuangan, tidak bangkrut dan bangkrut. Faktanya,  penggunaan  multi-kelas  juga  sangat  penting  dan  layak  dipelajari  karena  pihak manajemen  biasanya  membutuhkan  hasil  prediksi  yang  lebih  jelas  tentang  keadaan  keuangan perusahaan untuk membuat keputusan yang lebih baik. Beberapa peneliti telah mencoba untuk membangun  model  FDP  multi-kelas  berdasarkan  pendekatan  seperti Logit , Multiple Discriminant Analysis (MDA), Neural Networks (NNs), dan Decision Tree (DT). Di lain pihak, penelitian  [10][11]  juga  telah  mencoba  melakukan  prediksi  bersifat  multi-kelas  dengan  SVM dan  teknik  dekomposisi.  Diketahui  bahwa  penelitian  pengembangan  model  FDP  multi-kelas telah  beberapa  kali  dilakukan  dan  masih  perlu  pengembangan  lagi  menggunakan  metode ensemble learning.
Penggunaan model ensemble learning juga telah beberapa kali diterapkan pada penelitian FDP sebagai upaya meningkatkan kinerja model. Model FDP menggunakan ensemble learning memakai  beberapa  gabungan  dari base  classifiers atau  model  dasar  sehingga  menghasilkan model  gabungan  baru. Extreme  Gradient  Boosting (XGBoost)  merupakan  salah  satu  model ensemble  learning yang  sudah  sering  digunakan  oleh  para  peneliti.  Menurut  [12], XGBoost sering digunakan para data scientist untuk mendapatkan state-of-the-art pada banyak tantangan machine learning. Studi oleh [13] juga telah mencoba mengaplikasikan XGBoost pada prediksi kebangkrutan  dan  terbukti  memiliki  akurasi  paling  tinggi  daripada  model  lainnya.  Metode ensemble  stacking dikatakan  mampu  lebih  unggul  daripada  boosting  dan  bagging  [14]. Penelitian [15] juga membuktikan bahwa metode stacking lebih unggul sedikit daripada metode boosting untuk  memprediksi  perusahaan  di  Polandia.  Dari  beberapa  penelitian  diatas,  aplikasi penggunaan  metode ensemble masih  terbatas  pada  prediksi  kebangkrutan  yang  bersifat  biner, sehingga perlu ditelusuri lagi pada model FDP yang bersifat multi-kelas.
Salah satu permasalahan yang perlu diperhatikan pada penelitian FDP adalah kelas yang tidak seimbang, karena secara dunia nyata lebih banyak perusahaan yang masuk kelas finansial normal  daripada  kelas  kesulitan  keuangan.  Sehingga  terjadi  ketimpangan  kelas  pada  data. Kebanyakan  studi  tentang  model  FDP  adalah  berdasarkan  kondisi  dataset  yang  seakan-akan memiliki  kelas  yang  seimbang.  Salah  satu  pendekatan  paling  popular  untuk  mengatasi permasalahan  ketidakseimbangan  kelas  pada  model FDP  adalah  dengan  teknik over-sampling , under-sampling ,  dan Synthetic  Minority  Over-sampling  Technique (SMOTE).  Teknik  ini mensintesis  sampel  baru  dari  kelas  minoritas  untuk  menyeimbangkan  dataset  dengan  cara sampling  ulang  sampel  kelas  minoritas.  Penelitian  [16]  mencoba  menggabungkan Bagging - SVM  dengan  SMOTE  dan  membuktikan  berguna  untuk  menyeimbangkan  data.  Lalu  [17] mencoba XGBoost dengan  teknik under-sampling .  Hal  ini  membuktikan  bahwa  penggunaan teknik SMOTE untuk menyeimbangkan data dinyatakan mampu meningkatkan akurasi prediksi.
Kebanyakan  model  FDP  yang  dikembangkan  dalam  beberapa  literatur  hanya menggunakan Financial  Ratios (FR)  sebagai  variabel  independen.  Indikator  lain  seperti Corporate  Governance  Indicators (CGI)  dinilai  dapat  menambah  kekuatan  atau performa  dari prediksi  [18]. Corporate  governance atau  tata  kelola  perusahaan  meliputi  mekanisme,  proses, dan  hubungan  yang  dikendalikan  dan  diarahkan  oleh  perusahaan.  Tata  kelola  yang  efektif memungkinkan  para  pemegang  saham  untuk  lebih  bisa  memantau  nilai  dari  perusahaan sehingga  bisa  memberikan  profit  yang  maksimal  [19].  Kurangnya  mekanisme  tata  kelola perusahaan  yang  tepat  akan  memungkinkan  pihak  manajemen  untuk  mengambil  keputusan dengan resiko berlebih sehingga meningkatkan resiko kebangkrutan. Pemerintah pun tidak akan mampu  membuat  kebijakan  pasar  yang  bisa  membantu  menurunkan  resiko  kebangkrutan perusahaan.  Beberapa  penelitian  telah  membahas  penggunaan  CGI  pada  model  FDP,  namun kapabilitas  dari  CGI  untuk  memprediksi  belum  dikembangkan  lebih  dalam.  Studi  [20]  telah mencoba FR dan CGI untuk membangun model FDP, namun hanya menggunakan aspek board
555 Jatisi ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 552-564 E-ISSN 2503-2933
Title of manuscript is short and clear, implies research results (First Author)
structure .  Lalu  [21]  melakukan  penelitian  yang  lebih  komprehensif  terhadap  CGI,  tapi  masih berfokus  pada  perusahaan  di  Taiwan  dan  China,  dan  masih  menggunakan base  learners .  Dari sini  diketahui  bahwa  mempertimbangkan  aspek  CGI  mampu  mempengaruhi  model  prediksi, apalagi jika perusahaan tersebut berhubungan erat dengan pemerintah.
Berdasarkan latar belakang di atas, penelitian ini melakukan eksperiman membuat model FDP untuk perusahaan BUMN di Indonesia dengan menggabungkan ensemble learning sebagai metode  utama,  dan teknik  SMOTE [22]  untuk  mengatasi imbalanced data.  Gabungan  tersebut akan  diintegrasikan  FR  dengan  mempertimbangkan  CGI  [21].  Hasil  dari  penelitian  ini  adalah model Financial Distress Prediction (FDP) yang didasarkan pada gabungan Ensemble -SMOTE dengan  FR  dengan  mempertimbangkan  CGI  yang  diharapkan  dapat  meningkatkan  kinerja model prediksi kebangkrutan.

## 2. METODE PENELITIAN
Penelitian  ini  membutuhkan  data  histori  perusahaan  BUMN  di  Indonesia  yang  bisa didapatkan  dari  laporan  keuangan  tahunan.  Data  FR  dan  CGI  bisa  didapatkan  semua  dari laporan  keuangan  tahunan.  Data  yang  dikumpulkan  terhitung  mulai  tahun  2015  sampai  tahun 2021.  Setelah  mendapatkan  data  FR  dan  CGI,  lalu  lanjut  ke  pra-proses  data.  Pra-proses  data yang  dilakukan  adalah  pertama  dengan  pemberian  label  status  kinerja  perusahaan.  Dari  situ akan  diketahui  label  untuk  kondisi  status  kinerja  dari  masing-masing  perusahaan  BUMN  dari tahun  2015  sampai  tahun  2021.  Lalu  kedua  dengan  memerika missing  value dan  normalisasi data.  Kemudian  terakhir  menambahkan  metode  SMOTE  pada  data  agar  yang  awalnya  tidak seimbang ( imbalanced data ) bisa menjadi seimbang.
Tahap  selanjutnya  adalah  membangun  model  FDP  yang  bersifat  multi-kelas.  Perlu diketahui  bahwa  multi-kelas  itu  berbeda  dengan  multi-label.  Pada  multi-kelas,  suatu  sampel hanya  bisa  berkorespondensi  dengan  satu  kelas  saja.  Sedangkan  pada  multi-label,  satu  sampel dapat  berkorespondensi  dengan  lebih  dari  satu  kelas.  Data  yang  digunakan  untuk  permodelan adalah data yang memiliki variabel FR dan CGI yang telah melewati pra-proses data. Variabel tersebut  digunakan  untuk  mengklasifikasi  status  kinerja  perusahaan-perusahaan  BUMN  di Indonesia.  Data  yang  digunakan  untuk  pembentukan  model  adalah  data training ,  sementara untuk menilai kinerja model menggunakan data test . Ilustrasi terkait pembangunan model FDP bisa dilihat pada gambar 1.
Jatisi                             ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 552-564 E- ISSN 2503-2933 556
Affindi , et., al [ Klasifikasi Status Kinerja Perusahaan Menggunakan Ensemble Learning dan Smote Dengan Mempertimbangkan CGI]
Gambar 1. Mekanisme Pembangunan Model FDP Multi-Kelas

## 3. HASIL DAN PEMBAHASAN

## 3.1 Pengumpulan dan Pra-proses Data

## 3.1.1   Hasil Pengumpulan Data
Dataset utama  yang  digunakan  untuk  uji  coba  pada penelitian  ini  adalah  data  keuangan dari  28  Perusahaan  BUMN  yang  telah  terdaftar  di  Bursa  Efek  Indonesia  (BEI).  Data  dapat diunduh melalui situs BEI atau website resmi dari BUMN terkait. Data yang diambil memiliki dengan rentang 7 tahun dari tahun 2015 hingga tahun 2021. Proses pengambilan data keuangan dimulai  dengan  memilih  perusahaan  BUMN  yang  diinginkan,  lalu  memilih  laporan  keuangan sesuai  tahun  yang  diinginkan.  Kemudian download laporan  kuangan  yang  tersedia.  Hasil download adalah file dengan tipe .pdf.
Data  laporan  keuangan  atau annual  report perusahaan  BUMN  berisi  banyak  informasi. Crawling data  yang  dilakukan  pada  penelitian  ini  dilakukan  secara  manual  dengan  cara membaca  laporan  keuangan  masing-masing  perusahaan  BUMN  tiap  tahun.  Dari  data  tersebut, peneliti  mengambil  data  untuk Financial  Ratios (FR)  dan Corporate  Governance  Indicators (CGI).  Untuk  FR  pada  indikator profitability menggunakan  variabel net  profit  on  total  assets, return  on  total  assets, dan gross  profit  to  sales  ratio .  Untuk  indikator liquidity menggunakan variabel quick  ratio,  current  ratio ,  dan cash  ratio .  Dan  untuk  indikator solvency ada  variabel assets to liabilities, debt to equity, dan debt ratio . Sedangkan untuk CGI menggunakan indikator board structures dan owenership structures . Untuk indikator board structures terdapat variabel board  size,  board  independence,  board  activity, dan leadership  quality .  Sedangkan  untuk indikator ownership  structures terdapat  variabel state  ownership,  board  shares,  supervisor shares, dan Stated-Owned  Enterprise (SOE).  Untuk  beberapa  variabel  yang  dibutuhkan  dan diambil  dari  laporan  keuangan  tahunan  antara  lain:  1.  Nama  Perusahaan;  2.  Kode  Saham;  3.
557 Jatisi ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 552-564 E-ISSN 2503-2933
Title of manuscript is short and clear, implies research results (First Author)
Laba  Rugi  Sebelum  Pajak;  4.  Aset  Lancar;  5.  Aset  Tetap;  6.  Rentabilitas;  7.  Hutang  Jangka Pendek; 8. Likuiditas; 9. Total Aset; 10. Total Hutang; 11. Solvabilitias; 12. Net Income / Laba Bersih;  13. Return  on  Assets (ROA);  14. Earnings  Before  Income  Tax /  Laba  Sebelum  Bunga dan Pajak; 15. Return on Total Assets (ROTA); 16. Sales Revenue / Jumlah Penjualan; 17. Sales Cost / Harga Pokok Penjualan; 18. Gross Profit Margin ; 19. Current Assets / Aset Lancar; 20. Inventory / Persediaan; 21. Prepaid Expenses / Biaya Dibayar di Muka; 22. Current Liabilities / Kewajiban  Lancar;  23. Quick  Ratio ;  24. Current  Ratio ;  25. Cash /  Kas;  26. Cash  Ratio ;  27. Assets to Liabilities ; 28. Equity / Ekuitas; 29. Debt to Equity ; 30. Debt Ratio ; 31. Board Size / Jumlah  Dewan;  32. Total  of  Board  Independence /  Jumlah  Dewan  Independen;  33. Board Independence ;  34. Board  Activity /  Jumlah  Rapat  Dewan;  35. Leadership  Quality /  Kualitas CEO atau Direktur Utama; 36. State Ownership / Proporsi Kepemilikan oleh Negara; 37. Board Shares /  Proporsi  Saham  yang  Dimiliki  Dewan;  38. Supervisor  Shares /  Kepemilikan  oleh Komisaris;  39. Stated-Owned  Enterprise (SOE)  /  Intervensi  yang  Dilakukan  oleh  Pemerintah Terhadap Perusahaan.
Data yang telah berhasil dikumpulkan berisi 37 variabel atau kolom. Namun dari semua variabel tersebut tidak akan dipakai semua, melainkan yang dipakai adalah 9 variabel FR dan 9 variabel  CGI.  Variabel  lainnya  dibutuhkan  di  awal  karena  merupakan  rumus  dari  variabel  FR dan  CGI  yang  akan  dipakai.    Lalu  data  yang  di- export ke python adalah  sejumlah  28  variabel yang nanti akan berkurang lagi setelah melalui fase pra-proses data.

## 3.1.2   Hasil Pra-Proses Data
Pra-proses  data  laporan  keuangan  BUMN  memiliki  beberapa  aktivitas,  yaitu  validasi human  expert ,  pemberian  label  status  kinerja  perusahaan, feature  selection ,  penghilangan outlier , missing value, feature scaling atau normalisasi, eksplor data, dan implementasi metode SMOTE.  Validasi  memakan  waktu  satu  minggu,  dimulai  dari  tanggal  17  November  2022 sampai 24 November 2022. Setelah dilakukan validasi oleh human expert , baik dari data untuk mencari  label  dan  variable  FR  dan  CGI,  tidak  ada  perbaikan  yang  diperlukan.  Yang dititikberatkan  adalah  untuk  beberapa  perusahaan  BUMN  yang  di annual  report masih menggunakan mata uang dollar, maka harus diubah ke nilai rupiah pada tahun itu juga.
Berpedoman  pada  SK  Menteri  Keuangan  RI  Nomor  740/KMK.00/1989  dan  lampiran perhitungan  bobot  kinerja  yang  direvisi  dengan  SK  Menteri  Keuangan  RI  Nomor 826/KMK.013/1992  tentang  penilaian  kinerja  perusahaan,  diperlukan  tiga  indikator  penting yaitu  rentabilitas,  likuiditas,  dan  solvabilitas.  Indikator  rentabilitas  membutuhkan  variabel laba/rugi  sebelum  pajak,  aset  lancar,  dan  aset  tetap.  Indikator  likuiditas  membutuhkan  aset lancar  dan  hutang  jangka  pendek.  Indikator  solvabilitas  membutuhkan  variabel  total  aset  dan total hutang. Dari situ diketahuilah status kinerja masing-masing perusahaan BUMN.
Berikutnya  terdapat  tiga  aktivitas,  yaitu feature  selection ,  penghilangan outlier ,  dan feature  scaling atau  normalisasi.  Pertama  dilakukan encode pada  variabel  ‘Status  Kinerja’ diubah menjadi kode menjadi: ‘Tidak Sehat’ adalah 0; ‘Kurang Sehat’ adalah 1; ‘Sehat’ adalah 2;  dan  ‘Sehat  Sekali’  adalah  3.  Kemudian  menghilangkan  beberapa  variabel  yang  tidak dibutuhkan  seperti  ‘Nama  Perusahaan’,  ‘Kode  Saham’,  dan  ‘Nilai  Kinerja’.  Lalu  variabel ‘Konversi  Rentabilitas’,  ‘Rentabilitas’,  ‘Konversi  Likuiditas’,  ‘Likuiditas’,  ‘Konversi Solvabilitas’,  dan  ‘Solvabilitas’  juga  dihilangkan  karena  variabel  tersebut  digunakan  hanya untuk mencari ‘Nilai Kinerja’. Variabel terakhir yang dihilangkan adalah ‘Leadership Quality’ karena  nilai  pada  semua  perusahaan  BUMN  adalah  0  sehingga  bersifat outlier .  Terakhir  baru dilakukan feature scaling . Tipe feature scaling yang dipakai pada penelitian ini adalah Standard Scaler karena  fitur  yang  digunakan  dalam  penelitian  ini  berbeda-beda,  seperti value pada ‘ROA’, ‘Cash Ratio’, dan ‘Board Size’.
Jatisi                             ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 552-564 E- ISSN 2503-2933 558
Dataset  yang  didapatkan  sesuai  dengan  batasan  penelitian  terdiri  dari  28  perusahaan BUMN  dengan  rentang  tahun  2015  –  2021,  yang  mana  berarti  masing-masing  perusahaan terdapat 7 tahun catatan keuangan tahunan atau annual report . Perusahaan BUMN dengan nama yang  sama  tapi  dengan  tahun  berbeda  terhitung  sebagai  perusahaan  yang  terpisah,  sehinggal total  terdapat  196  perusahaan  BUMN.  Setelah  dilakukan  eksplorasi  data  awal,  diketahui bahwasanya  perusahaan  BUMN  yang  memiliki  label  ‘Tidak  Sehat’  cenderung  dominan sebanyak  120,  diikuti  dengan  ‘Sehat  Sekali’  sebanyak  64,  ‘Sehat’  sebanyak  7,  lalu  terakhir ‘Kurang  Sehat’  sebanyak  5.  Untuk  mempermudah  penelitian,  label  status  kinerja  diubah menjadi kode menjadi: ‘Tidak Sehat’ adalah 0; ‘Kurang Sehat’ adalah 1; ‘Sehat’ adalah 2; dan ‘Sehat  Sekali’  adalah  3.  Melihat  kondisi  data  yang  tidak  seimbang  atau imbalanced ini,  maka perlu dilakukan penambahan metode SMOTE guna mengubahnya menjadi seimbang.
Gambar 2. Perbandingan Perbandingan Status Kinerja

## 3.2 Membangun Model FDP
Tahap  selanjutnya  adalah  membangun  model  FDP  yang  bersifat  multi-kelas.  Pemilihan base-learner bukan  hanya  sekedar  memilih  algoritma  tunggal  yang  telah  ada,  namun  selektif berdasar studi yang telah memberi prospek bukti kinerja secara toritis dan aplikatif seperti pada model  ensemble.  Untuk  model  yang  akan  dibangun  adalah  dengan  menggunakan  2  metode ensemble ,  yaitu boosting dan stacking .  Berdasarkan  penelitian  sebelumnya,  untuk  metode XGBoost akan menggunakan Decision Tree (DT) sebagai base-learner . Kemudian terdapat algoritma meta-learner pada metode stacking . Metode stacking yang dibangun  dengan meta-learner yang  tepat  dapat  dipastikan  meningkatkan  kinerja.  Hubungan antara base-learner dengan meta-learner adalah ensemble yang  di ensemble -kan  ( multi-level model).  Dan  untuk  metode stacking akan  menggunakan  LR,  SVM,  DT,  RF,  dan XGBoost sebagai base-learner , dan LR sebagai meta-learner . Model  SMOTE- Ensemble yang  telah  diuji  pada  data  training  akan  diimplementasikan pada  data test untuk  dilakukan  beberapa  kali  eksperimen.  Eksperimen  yang  dilakukan  untuk mengetahui hasil model FDP dengan menggunakan metode ensemble yang digabungkan dengan SMOTE  dengan  mempertimbangkan  aspek non-financial yaitu  CGI.  Selain  itu  juga  untuk mencari parameter-parameter yang pas untuk dipakai pada metode ensemble .

## 3.2.1  Hasil Pemodelan FDP Tanpa SMOTE (FR + CGI)
Pada  penelitian  ini  melakukan  eksperimen  bagaimana  efek  dari  penambahan  Metode SMOTE pada Model FDP yang bersifat multikelas dan menggunakan rasio non-finansial yaitu CGI. Eksperimen ini menggunakan beberapa metode yang telah dipilih dan dijelaskan pada bab- bab  sebelumnya  berdasarkan  referensi  penelitian.  Dataset  yang  tidak  seimbang  akan  dibagi menjadi data training dan data test.
559 Jatisi ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 552-564 E-ISSN 2503-2933
Title of manuscript is short and clear, implies research results (First Author)

## 3.2.1  Hasil Pemodelan FDP Tanpa SMOTE (Hanya FR)
Untuk  membuktikan  bahwa  CGI  mampu  menaikkan  performa,  maka  harus dibandingkan  dengan  eksperimen  dengan  hanya  menggunakan  FR.  Langkah  yang  dilakukan pada  eksperimen  ini  kurang  lebih  hampir  sama  dengan  sebelumnya,  dataset  yang  masih  tidak seimbang dibagi menjadi data training dan data test. Hasil dari eksperimen model FDP dengan menggunakan FR akan dibandingkan dengan model FDP yang menggunakan FR dan CGI.

## 3.2.1  Hasil Pemodelan FDP Dengan SMOTE (FR + CGI)
Langkah selanjutnya adalah membuat model FDP dari beberapa metode yang telah dipilih dan  dijelaskan  pada  bab-bab  sebelumnya  berdasarkan  referensi  penelitian.  Dataset  yang  telah seimbang  setelah  melalui  diaplikasikan  metode  SMOTE dibagi  menjadi  data  training  dan  data test.  Eksperimen  yang  dilakukan  untuk  mengetahui  hasil  model  FDP  dengan  menggunakan metode ensemble yang  digabungkan  dengan  SMOTE  dengan  mempertimbangkan  aspek non- financial yaitu CGI. Jadi hasil dari eksperimen model FDP dengan menggunakan FR dan CGI akan dibandingkan dengan model FDP yang hanya menggunakan FR.

## 3.2.1  Hasil Pemodelan FDP Dengan SMOTE (Hanya FR)
Untuk membuktikan bahwa CGI mampu menaikkan performa, maka harus dibandingkan dengan eksperimen dengan hanya menggunakan FR. Langkah yang dilakukan pada eksperimen ini kurang lebih hampir sama dengan sebelumnya, dataset yang telah seimbang setelah melalui diaplikasikan metode SMOTE dibagi menjadi data training dan data test. Hasil dari eksperimen model  FDP  dengan  menggunakan  FR  akan  dibandingkan  dengan  model  FDP  yang menggunakan FR dan CGI.

## 3.3 Uji Coba dan Hasil Analisis
Pada  penelitian  ini,  terdapat  dua  macam  analisis  perbandingan  dilakukan  seperti  yang telah dijelaskan pada bab-bab sebelumnya, yaitu perbandingan antar metode dan dataset. Hasil masing-masing perbandingan tersebut dijabarkan lebih lanjut pada sub-bab berikut.

## 3.3.1  Perbandingan Hasil Pengembangan Dengan SMOTE
Berdasarkan  hasil  eksperimen,  diketahui  terdapat  kenaikan  hasil Accuracy saat membangun  model  FDP  dengan  menggunakan  SMOTE.  Kenaikan  yang  terjadi  bisa  dibilang berbeda-beda,  tergantung  dari  metodenya.  Pada  eksperimen  perbandingan  ini  menggunakan data FR dan CGI.
Gambar 3. Perbandingan Accuracy Metode Base Learner Menggunakan SMOTE
Jatisi                             ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 552-564 E- ISSN 2503-2933 560
Metode LR mengalami kenaikan sebesar 13%, dari 0,85 menjadi 0,96. Sedangkan metode DT  hanya  mengalami  kenaikan  sebesar  2%,  dari  0,92  menjadi  0,94.  Lalu  SVM  mengalami kenaikan  sebesar  tertinggi,  yaitu  sebesar  28%,  dari  0,75  ke  0,96.  Terakhir  RF  mengalami kenaikan  sama  seperti  LR,  sebesar  13%  dari  0,85  menjadi  0,96.  Dari  eksperimen  penggunaan metode SMOTE bisa diketahui untuk base learner sangat berpengaruh pada metode SVM, dan yang tidak terlalu berpengaruh pada metode LR. Perbandingan bisa dilihat pada gambar 3.
Gambar 4. Perbandingan Accuracy Metode Ensemble Learning Menggunakan SMOTE
Dari dua metode Ensemble Learning yang dipakai, semuanya mengalami kenaikan hasil Accuracy .  Metode XGBoost mengalami  kenaikan  sebesar  9%,  dari  0,90  menjadi  0,98.  Dan terakhir  untuk  Metode Stacking mengalami  kenaikan  sebesar  14%,  dari  0,85  menjadi  0,97. Maka  bisa  dikatakan  bahwasanya  Metode  SMOTE  ini  berpengaruh  pada  Model  FDP  yang menggunakan Ensemble Learning . Perbandingan bisa dilihat pada gambar 4.

## 3.3.2  Perbandingan Hasil Penggunaan FR dan CGI
Berdasarkan  hasil  eksperimen,  diketahui  terdapat  kenaikan  hasil Accuracy saat membangun  model FDP dengan penambahan variabel CGI. Terbukti bahwa penggunaan rasio CGI mampu meningkatkan performa dari beberapa metode base-learner seperti LR dan SVM. Untuk metode DT dan RF bisa dikatakan tidak terlalu berpengaruh atau tetap saja.
Gambar 5. Perbandingan Accuracy Metode Base Learner dengan Penambahan CGI
561 Jatisi ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 552-564 E-ISSN 2503-2933
Title of manuscript is short and clear, implies research results (First Author)
Metode  LR  mengalami  kenaikan  sebesar  3,22%,  dari  0,93  menjadi  0,96.  LR  tidak mengalami  kenaikan  yang  signifikan.  Begitu  pula  dengan  metode  DT  justru  tidak  mengalami kenaikan  sama  sekali,  yaitu  tetap  di  0,94.  Untuk  metode  SVM  hanya  mengalami  kenaikan sebesar 1%, yaitu dari 0,95 menjadi 0,96. Lalu untuk metode RF sama seperti metode DT, tidak mengalami  kenaikan  performa  yaitu  tetap  di  0,97.  Dilihat  dari  eksperimen  ini,  bisa  dikatakan kalau  penambahan  variabel  CGI  tidak  terlalu  mempengaruhi  performa  pada  metode base learner . Untuk melihat lebih detail bisa dilihat pada gambar 5.
Gambar 6. Perbandingan Accuracy Metode Ensemble Learning Dengan Penambahan CGI
Metode  XGBoost  mengalami  kenaikan  sebesar  2%,  dari  0,96  menjadi  0,98.  Kenaikan metode  XGBoost  tidak  signifikan.  Sedangkan  untuk  metode  Stacking  mengalami  kenaikan sebesar  1%,  yaitu  dari  0,98  menjadi  0,99.  Dilihat  dari  eksperimen  ini,  bisa  dikatakan  kalau penambahan  variabel  CGI  tidak  terlalu  mempengaruhi  performa  pada  metode ensemble learning . Untuk melihat lebih detail bisa dilihat pada gambar 6.

## 4. KESIMPULAN
Dalam  penelitian  ini,  diusulkan  pengembangan  metode  dengan  cara  penambahan  rasio CGI  pada  model  FDP  yang  bersifat  multi-kelas,  dimana  datanya  telah  diseimbangkan menggunakan teknik SMOTE. Ditemukan beberapa kesimpulan dalam penelitian ini. Pertama. model FDP telah banyak dikembangkan dalam berbagai penelitian, terutama di bidang prediksi kebangkrutan perusahaan. Penelitian ini mengembangkan model FDP yang bersifat multi-kelas dengan cara mengisi celah yang terdapat pada penelitian sebelumnya dengan eksperimen terkait penggunaan  variabel  dan  metode  baru.  Berdasarkan  eksperimen,  didapatkan  bahwa pengembangan  moden  FDP  dengan  menambahkan  metode  SMOTE  sangat  berpengaruh  pada kenaikan  hasil  performa Accuracy pada  model  FDP  yang  menggunakan  metode base  learner maupun ensemble  learning .  Untuk base  learner sangat  berpengaruh  pada  metode  SVM  yang mengalami kenaikan sebesar tertinggi, yaitu sebesar 28%, dari 0,75 ke 0,96. Secara keseluruhan, penggunaan  metode  SMOTE  dengan  tujuan  menyeimbangkan  data  yang imbalanced mampu meningkatkan performa accuracy dari model FDP.
Kemudian  kedua,  secara  keseluruhan,  model  FDP  yang  menggunakan  dataset  FR  dan CGI memiliki performa yang lebih baik daripada model FDP yang hanya menggunakan dataset FR.  Model  FDP  yang  menggunakan  metode  Logistic  Regression,  Support  Vector  Machine,
Jatisi                             ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 552-564 E- ISSN 2503-2933 562
XGBoost, dan Stacking mengalami kenaikan performa dari penambahan rasio CGI yang dilihat dari  indikator Accuracy .  Sedangkan  untuk  metode  Decision  Tree  dan  Random  Forest.  Disini bisa  dikatakan  bahwa  untuk  kenaikan  performa  penambahan  rasio  CGI  juga  tergantung  dari metode yang dipilih.
Dan ketiga, dalam melakukan eksperimen, untuk menentukan parameter-parameter yang optimal  dari  eksperimen  dengan  berbagai  variasi  dari base  learner dan ensemble  learning pada model FDP  adalah  menggunakan  metode  GridSearch. Tuning  parameter menggunakan metode Gridsearch berarti mencoba semua kemungkinan yang ada pada parameter. Hasil yang didapat dari kesimpulan poin a) dan poin b) adalah dari penggunaan metode GridSearch.
Dari temuan-temuan tersebut, maka dapat disimpulkan bahwa penambahan fitur SMOTE dan rasio CGI dapat menjadi pengembangan fitur yang dapat diterapkan pada model FDP yang bersifat  multi-kelas  untuk  menunjang  performa  prediksi  kebangkrutan.  Selain  itu,  melakukan tuning  parameter menggunakan  metode Gridsearch juga  mampu  memberikan  hasil  yang maksimal terhadap eksperimen.

## 5. SARAN
Berdasarkan  penelitian  yang  telah  dilakukan,  dapat  dihasilkan  saran  untuk  penelitian selanjutnya, antara lain:
a) Penelitian  ini  memiliki  keterbatasan  waktu  dan  sumber  daya,  penelitian  ini  hanya menggunakan  data  laporan  keuangan  BUMN  yang  telah  terdaftar  di  BEI  dari  tahun  2015 hingga  2021  saja.  Sehingga,  untuk  penelitian  selanjutnya  dapat  mencoba  untuk  menambah jumlah perusahaan tanpa batasan tertentu, dan menambah rentang tahun data juga.
b) Penelitian ini tidak berfokus pada eksperimen analisis mendalam pada variabel FR dan CGI apa  saja  yang  sangat  berpengaruh  pada  performa  karena  berpedoman  pada  referensi penelitian  sebelumnya.  Penelitian  selanjutnya  dapat  mendalami  lagi  pada  analisis  pada penggunaan masing-masing variabel untuk prediksi kebangkrutan.
c) Penelitian selanjutnya dapat mengujicobakan metode yang diusulkan pada dataset yang baru, sehingga  dapat  diketahui  tingkat  generalisasi  model  untuk  memprediksi  berbagai  macam permasalahan yang lain.

## UCAPAN TERIMA KASIH
Penulis  mengucapkan  terima  kasih  kepada  Institut  Teknologi  Sepuluh  Nopember Surabaya yang telah memberi dukungan berupa beasiswa terhadap penelitian ini.

## DAFTAR PUSTAKA
[1]   (Bappenas), B. P. P. N. 2009, Buku Pegangan 2009: Penyelenggaraan Pemerintahan dan Pembangunan Daerah . Jakarta, Indonesia.
[2]   Veganzones,  D.  and  Séverin,  E.  2018, ‘An  Investigation  of  Bankruptcy  Prediction  In Imbalanced  Datasets’, Decision  Support  Systems ,  112,  pp.  111–124.  doi: 10.1016/j.dss.2018.06.011.
563 Jatisi ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 552-564 E-ISSN 2503-2933
Title of manuscript is short and clear, implies research results (First Author)
[3]   Tsai,  C.  F.  and  Wu,  J.  W.  2008, ‘Using  Neural  Network  Ensembles  For  Bankruptcy Prediction and Credit Scoring’, Expert Systems with Applications , 34(4), pp. 2639–2649. doi: 10.1016/j.eswa.2007.05.019.
[4]   Tsai,  C.  F.,  Hsu,  Y.  F.  and  Yen,  D.  C.  2014, ‘A  Comparative  Study  of  Classifier Ensembles  For  Bankruptcy  Prediction’,  Applied  Soft  Computing  Journal ,  24,  pp.  977– 984. doi: 10.1016/j.asoc.2014.08.047.
[5]   Ding, Y., Song, X. and Zen, Y. 2008, ‘Forecasting Financial Condition of Chinese Listed Companies  Based  On  Support  Vector  Machine’, Expert  Systems  with  Applications , 34(4), pp. 3081–3089. doi: 10.1016/j.eswa.2007.06.037.
[6]   Zhang,  L.,  Altman,  E.  I.  and  Yen,  J.  2010, ‘Corporate  Financial  Distress  Diagnosis Model  and  Application  In  Credit  Rating  For  Listing  Firms  In  China’, Frontiers  of Computer Science in China , 4(2), pp. 220–236. doi: 10.1007/s11704-010-0505-5.
[7]   Huang, C., Dai, C. and Guo, M. 2015, ‘A Hybrid Approach Using Two-Level DEA For Financial Failure Prediction and Integrated SE-DEA and GCA For Indicators Selection’, Applied Mathematics and Computation , 251, pp. 431–441. doi:
10.1016/j.amc.2014.11.077.
[8] Liang,  D. et  al. 2020, ‘Combining  Corporate  Governance  Indicators  With  Stacking Ensembles  For  Financial  Distress  Prediction’, Journal  of  Business  Research , 120(December 2019), pp. 137–146. doi: 10.1016/j.jbusres.2020.07.052.
[9] Kim,  K.  J.,  Lee,  K.  and  Ahn,  H.  2019, ‘Predicting  Corporate  Financial  Sustainability Using  Novel  Business  Analytics’, Sustainability  (Switzerland) ,  11(1),  pp.  1–17.  doi: 10.3390/su11010064.
[10]   Zhou, L., Tam, K. P. and Fujita, H. 2016, ‘Predicting The Listing Status of Chinese Listed Companies With Multi-Class Classification Models’, Information Sciences , 328, pp. 222– 236. doi: 10.1016/j.ins.2015.08.036.
[11]   Sun, J. et al. 2021, ‘Multi-Class Financial Distress Prediction Based On Support Vector Machines  Integrated  With  The  Decomposition  and  Fusion  Methods’ , Information Sciences , 559, pp. 153–170. doi: 10.1016/j.ins.2021.01.059.
[12]   Chen,  T.  and  Guestrin,  C.  2016, ‘XGBoost:  A  Scalable  Tree  Boosting  System’, Proceedings  of  the  22nd  ACM  SIGKDD  International  Conference  on  Knowledge Discovery and Data Mining , 19(6).
[13]   Zi ȩ ba,  M.,  Tomczak,  S.  K.  and  Tomczak,  J.  M.  2016, ‘Ensemble  Boosted  Trees  With Synthetic Features Generation In Application to Bankruptcy Prediction’, Expert Systems with Applications , 58, pp. 93–101. doi: 10.1016/j.eswa.2016.04.001.
[14]   Graczyk,  M. et  al. 2010, ‘Comparison  of  Bagging,  Boosting  and  Stacking  Ensembles Applied  To  Real  Estate  Appraisal’,  International  Conference  on  Intelligent  Information and Database Systems: Part II , pp. 340–350.
Jatisi                             ISSN 2407-4322 Vol. 10, No. 1, Maret 2023, Hal. 552-564 E- ISSN 2503-2933 564
[15]   Pisula, T. 2020, ‘An Ensemble Classifier-Based Scoring Model for Predicting Bankruptcy of  Polish  Companies  in  The  Podkarpackie  Voivodeship’, Journal  of  Risk  and  Financial Management , 13(2), p. 37. doi: 10.3390/jrfm13020037.
[16]   Sun,  J.,  Shang,  Z.  and  Li,  H.  2014, ‘Imbalance-Oriented  SVM  Methods  For  Financial Distress  Prediction:  A  Comparative  Study  Among  The  New  SB-SVM-Ensemble  Method and traditional methods’, Journal of the Operational Research Society , 65(12), pp. 1905– 1919. doi: 10.1057/jors.2013.117.
[17]   Brown, I. and Mues, C. 2012, ‘An Experimental Comparison of Classification Algorithms For Imbalanced Credit Scoring Data Sets’, Expert Systems with Applications , 39(3), pp. 3446–3453. doi: 10.1016/j.eswa.2011.09.033.
[18]   Daily,  C.  M.  and  Dalton,  D.  a  N.  R.  1994, ‘Research  Notes  and  Communications Corporate  Governance  and  the  Bankrupt  Firm:  An  Empirical  Assessment’,  Strategic Management Journal , 15(December 1992), pp. 643–654.
[19]   Chen,  I.  J.  2014, ‘Financial  Crisis  and  The  Dynamics  of  Corporate  Governance: Evidence From Taiwan’s Listed Firms’, International Review of Economics and Finance , 32, pp. 3–28. doi: 10.1016/j.iref.2014.01.004.
[20]   Brédart, X. 2014, ‘Financial Distress and Corporate Governance: The Impact of Board Configuration’, International Business Research , 7(3), pp. 72–80. doi: 10.5539/ibr.v7n3p72.
[21]  Geng,  R.,  Bose,  I.  and  Chen,  X.  2015, Prediction  of  Financial  Distress:  An  Empirical Study  of  Listed  Chinese  Companies  Using  Data  Mining , European  Journal  of Operational Research .
[22]   Liang,  D. et  al. 2016, ‘Financial  Ratios  and  Corporate  Governance  Indicators  In Bankruptcy  Prediction:  A  Comprehensive  Study’ , European  Journal  of  Operational Research , 252(2), pp. 561–572. doi: 10.1016/j.ejor.2016.01.012.
[23]   Sun, J. et al. 2020, ‘Class-Imbalanced Dynamic Financial Distress Prediction Based On Adaboost-SVM  Ensemble  Combined  With  SMOTE  and  Time  Weighting’,  Information Fusion , 54(July 2019), pp. 128–144. doi: 10.1016/j.inffus.2019.07.006.