## PEMBELAJARAN MESIN UNTUK MENILAI KELAYAKAN KREDIT PROYEK RETROFIT: MULTINOMIAL LOGIT
Eka Sudarmaji 1* , Sri Ambarwati 2 , Herlan 3
1,2,3 Fakultas Ekonomi and Bisnis, University of Pancasila , Jakarta, Indonesia
DOI: https://doi.org/10.24123/jati.v15i2.4912

## Abstract
Creditworthiness  assessment  was  one  of  the  first  areas  to  apply  machine  learning  techniques  in economics.  The  creditworthiness  of  retrofit  protection  was  vital  for  ESCO  in  determining  the  credit scoring. This study aimed to develop a retrofitting assessment model to utilize machine learning with multinomial  logistic  (MNL)  and  life  cycle  cost  analysis  (LCCA).  This  study  aims  to  provide  an evaluation of creditworthiness models from the evaluation of financing alternative in Indonesia's energy efficiency  industry.  The  goal  was  to  reduce  the  total  of  prediction  error,  which  comprised  bias, variance, and fundamental error. The findings demonstrated that machine learning approaches might yield  significantly  greater  prediction  accuracy.  In  addition,  machine  learning  is  also  expected  to automatically capture the nonlinear relationship between input features and selected results. This study is also expected to draw on ideas from machine learning to develop an enhanced model for retrofitting creditworthiness research and suggest new research directions.
Keyword: Creditworthiness; ESCO; LCCA; Machine Learning; Multinomial Logit.

## Abstrak
Penilaian kelayakan kredit adalah aktivitas di bidang ekonomi yang menerapkan teknik pembelajaran mesin. Kelayakan  kredit  pada  proyek  retrofit  sangat  penting  bagi  kelangsungan  hidup  ESCO  dalam menentukan  penilaian  kredit  pelanggan.  Penelitian  ini  bertujuan  untuk  mengembangkan  model penilaian  retrofit  dengan  memanfaatkan  pembelajaran  mesin  melalui  multinomial  logit  (MNL)  dan analisis  biaya siklus  hidup  (LCCA).  Penelitian ini  juga  bertujuan  untuk  memberikan  evaluasi  model kelayakan  kredit  melalui  evaluasi  pembiayaan  alternatif  industri  efisiensi  energi  di  Indonesia. Tujuannya  adalah  untuk  mengurangi  kesalahan  prediksi  total  yang  terdiri  atas  bias,  varians,  dan kesalahan  fundamental.  Temuan  menunjukkan  bahwa  pendekatan  pembelajaran  mesin  dapat menghasilkan akurasi prediksi yang jauh lebih besar dibandingkan analisa ekonometrik biasa. Selain itu, pembelajaran mesin juga diharapkan dapat secara otomatis menangkap hubungan nonlinier antara fitur input (variabel input) dan hasil yang dipilih. Penelitian ini juga diharapkan memanfaatkan ide- ide  dari  pembelajaran  mesin  dalam  rangka  mengembangkan  model  yang  disempurnakan  untuk penelitian kelayakan kredit retrofit dan menyarankan beberapa arah penelitian baru di kemudian hari.
Kata kunci: ESCO; Kelayakan Kredit; LCCA; Multinomial Logit; Pembelajaran Mesin.

## PENDAHULUAN
Permintaan energi Indonesia meningkat sebagai akibat dari pertumbuhan infrastruktur dan ekonomi. Seiring dengan pertumbuhan permintaan energi, peluang efisiensi  energi  juga semakin  luas  dalam  berbagai  sektor  di  Indonesia.  Proyek  retrofit  energi  efisiensi  memiliki potensi sangat besar di dunia termasuk di Indonesia. Namun, hanya sebagian kecil dari potensi yang tersedia ini yang dapat dikerjakan. Di bawah inovasi teknologi, retrofit energi efisiensi layak  secara  teknis  dan  ekonomis  untuk  dikerjakan.  Munculnya  teknologi  baru  dapat meningkatkan efisiensi sehingga proyek retrofit secara ekonomi berkembang dengan pesat dan banyak proyek retrofit mulai tersedia di pasaran. Namun, proses adopsi retrofit energi efisiensi di antara pemilik bisnis masih rendah. Hal ini disebabkan kurangnya kesadaran tentang potensi penghematan dari teknologi terbaik yang tersedia (salah satu hambatannya). Oleh karena itu, pemerintah  perlu  membantu  dan  memberi  insentif  kepada  perusahaan  jasa  energi  ( ESCO ) untuk  memasuki  sektor  retrofit  energi  efisiensi  bangunan.  Insentif  ini  diperlukan  untuk mengatasi  paradoks  kesenjangan  energi  dan  memberikan  akses  yang  luas  bagi ESCO untuk berkembang.
Indonesia akan menerima banyak manfaat dari efisiensi energi bangunannya. Dengan mendukung ESCO dan  memperkenalkan  aturan  skema  pendanaan  baru  dalam  membangun industri efisiensi energi, pemerintah akan memastikan dapat mengurangi permintaan konsumsi energi. Hal ini membantu menghilangkan kebutuhan untuk pembangkit listrik tenaga batubara baru dan mengurangi kebutuhan energi  yang membutuhkan  lebih banyak pembangkit seperti itu.  Di  samping  itu  juga  menurunkan  impor  energi,  meningkatkan  keamanan  energi, menciptakan  lapangan  kerja  dan  bisnis  baru,  meningkatkan  efisiensi  dan  kompetensi perusahaan, mengurangi emisi, dan mengurangi kebutuhan pembangunan pembangkit listrik.
Di  tingkat  perusahaan,  efisiensi  energi  yang  lebih  tinggi  akan  mengurangi  biaya operasi  dan  meningkatkan  profitabilitas.  Di  tingkat  nasional,  peningkatan  efisiensi  energi menyiratkan  pengurangan  impor  energi  sehingga  mengurangi  tekanan  devisa.  Hal  ini  juga meningkatkan  ketersediaan  sumber  daya  energi  terbarukan  untuk  dimanfaatkan  dan memungkinkan peningkatan kegiatan yang bergantung pada energi untuk berkontribusi pada kesejahteraan  ekonomi  penduduk.  Masyarakat  juga  mendapat  manfaat  dari  peningkatan efisiensi  energi  melalui  pengurangan  emisi  CO2.  Namun,  upaya  untuk  mendorong  efisiensi energi di Indonesia terhambat oleh  faktor-faktor, seperti kurangnya  insentif ekonomi,  model bisnis  yang  beragam,  dan  pilihan  pembiayaan  yang  terbatas.  Selain  itu,  upaya  promosi terhambat oleh undang-undang yang tidak kohesif.

## Industri Efisiensi Energi dan Praktek Retrofit
Subjek dalam penelitian ini adalah program retrofit bagi indutsri efisiensi energi yang ditujukan  untuk  mengurangi  penggunaan  energi  listrik  dengan  beralih  ke  peralatan pencahayaan yang lebih hemat energi dari peralatan konvesional. Pencahayaan menggunakan peralatan efisiensi energi secara teknis dapat menghemat 4,5 kali energi listrik dan memiliki umur  1,5  kali  lebih  lama  dari  peralatan  pencahayaan  konvensional  (Almeida,  dkk.,  2014; Bennich, 2015; Polzin, dkk., 2016). Peningkatan jumlah jam pemakaian peralatan hemat energi atau  peningkatan  biaya  energi  per kilowatt juga  akan  mempengaruhi  durasi  tingkat pengembalian investasi proyek retrofit. Proyek retrofit akan lebih menguntungkan dan bebas risiko jika pengembalian investasinya bersifat tinggi ( ROI ).
Pada  penelitian  ini,  retrofit  didefinisikan  sebagai  penggantian  peralatan  lama  (yang boros energi) dengan peralatan baru (yang efisiensi energi) atau pengembangan infrastruktur baru untuk meningkatkan efisiensi energi dan memotong tagihan listrik sebelum peralatan lama dihancurkan  atau  masa  ekonomi  produk  berakhir  (Dobbs  et  al.,  2013;  Frankel,  dkk.,  2013; Hejazi, dkk., 2016; Husin, dkk., 2017; McWilliams dan Walker, 2005). Perbandingan antara peralatan efisiensi energi dan pencahayaan tradisional, seperti yang ditunjukkan pada Tabel 1 di bawah ini.
Tabel 1. Perhitungan Pengunaan Lampu LED dengan TLD No Description TLD LED TUBE 1 Konsumsi energi ( Watt ) 72,00 16,00 2 Jam operasional 8,00 8,00 3 Konsumption listrik/ Kwh Year 8,77 46,72 4 Tagihan listrik/ Kwh 1,13 1,13 7 Biaya listrik dalam IDR 236,52 52,56 8 Waktu masa hidup produk/ Life Cycle dalam jam 10,00 15,00 9 Waktu masa hidup produk/ Life Cycle dalam tahun 3,00 5,00 10 Harga lampu 12,45 81,00 11 Perbedaan masa hidup lampu TLD dengan LED 6,23 - 12 Biaya energi per tahun 242,75 52,56 13 Perbedaan penghematan biaya lampu TLD vs . LED - 190,19 14 Penghematan biaya energi dalam % 78.35%
Sumber: Kompilasi Penulis
Di  bawah konsep  ini, proyek retrofit akan  membutuhkan  investasi dan  nilai  proyek retrofit akan ditentukan oleh waktu dan tingkat pengembalian investasi. Waktu pengembalian investasi,  biaya  energi,  dan  jam  operasional  semuanya  ditentukan  oleh  nilai  awal  investasi (Fuller  &  Petersen,  1996;  Mearig,  dkk.,  1999;  Ruparathna,  dkk.,  2017).  Akibatnya, keberhasilan program  investasi proyek retrofit  ditentukan oleh  jam operasional  fasilitas atau peralatan  tersebut.  Model  kontrak  investasi  proyek  retrofit  ini  biasa  disebut  sebagai  kontrak Kinerja  Hemat  Energi  atau Energy  Saving  Performance  Contract ( ESPC )  dan  Perjanjian Penghematan Energi atau Energy Saving Agreement ( ESA ).
Kedua model kontrak ESPC dan ESA di atas adalah dua proyek pembiayaan investasi retrofit yang ada di dalam skema pendanaan perusahaan MWS. Saat ini, hal tersebut banyak digunakan  dan  cukup  terkenal  di  negara-negara  maju,  seperti  Amerika  Serikat,  Eropa,  dan China . Ide utama dari kedua model kontrak tersebut, yaitu pelanggan SHJ membayar investasi awal  yang  dikeluarkan  oleh  perusahaan  MWS.  Kemudian  dapat  diambil  dari  hasil penghematan  biaya  energi  yang  dihasilkan  akibat  pergantian  peralatan  yang  terjadi  pada perusahaan  SHJ,  sebagaimana  diungkapkan  dalam  kegiatan  proyek  retrofit,  seperti  yang diutarakan dalam keterangan di awal.
Perkembangan  teknologi  atau  inovasi  peralatan  efisiensi  energi  adalah  salah  satu alasan  penulis  menyelidiki  kelayakan  proyek  retrofit  di  dalam  industri  efisiensi  energi  di Indonesia.  Di  banyak  penelitian  empiris,  adopsi  teknologi  baru  juga  menciptakan  rintangan bagi perusahaan atau individu untuk melakukan pergantian peralatan yang hemat energi dan menghasilkan konsumsi energi yang efisien. Selain itu, para peneliti berharap bahwa hambatan penggunaan teknologi efisiensi energi saat ini dapat terus dikurangi dan dikelola dengan benar (Fornara, dkk., 2016; Heesen & Madlener, 2016; Stern, 2011). Semua hambatan perilaku ini diperhitungkan atau dihitung sebagai bagian dari biaya transaksi ekonomi yang terjadi. Dengan demikian, penulis dipaksa harus memahami bagaimana proses perilaku pada konservasi energi bekerja dan dampaknya bagi model bisnis ESCO , nilai investasi, dan pilihan pembiayaan baru yang hasil akhirnya akan menguntungkan semua pihak.
Saat  pertama  kali  memulai  proses  penilaian  kelayakan  investasi  retrofit, ESCO melakukan  verifikasi/validasi  meliputi  proses  analisis  kredit,  proses feasibility proyek  atas tingkat pengembalian  investasi, dan proses pencairan  atau eksekusi proyek. Penilaian kredit dalam proses retrofit dalam industri efisiensi energi harus dipahami sebagai proses life-cycle berbasis bisnis model layanan-produk terpadu atau Product Service System ( PSS ). Sementara proses feasibility proyek  retrofit  atas  tingkat  pengembalian  investasi,  seperti  uraian  di  atas,
dimaksud sebagai proses negosiasi untuk meningkatkan probabilitas kelayakan investasi atas proyek retrofit hemat energi dari peristiwa non-default sehingga memungkinkan ESCO untuk berkonsentrasi  pada  masalah  komersial  proyek  retrofit,  termasuk  bagaimana  mengeksekusi pembiayaan proyek efisiensi energi sebuah perusahaan.
Penelitian  ini  berlangsung  antara  Juni  2020  sampai  dengan  April  2021.  Untuk penelitian  ini,  penulis  memilih  untuk  menampilkan  nama  samaran  atau  nama pseudo atas ESCO yang  dimaksud.  Penelitian  berbasis  kasus  bisnis  ini  berdasarkan  aktivitas  investasi proyek  yang  dijalankan  oleh  perusahaan  penyedia  layanan  energi  atau ESCO .  Dalam  studi kasus  ini  disamarkan  sebagai  PT  MWS  atau  disingkat  MWS.  Informasi  tentang  retrofit dikumpulkan langsung dari direktur perusahaan, eksekutif puncak, dan manajer umum MWS. Penelitian ini bertujuan untuk mengembangkan permodelan kelayakan kredit retrofit melalui penggunaan  permodelan  pembelajaran  mesin.  Dengan  demikian,  MWS  dapat  menurunkan risiko default atas  proyek  pembiayaan  retrofit  yang  dijalankannya  sehingga  mampu meningkatkan keuntungan ESCO pada akhirnya.
Agar efektif, perkiraan investasi retrofit efisiensi energi harus dibandingkan dengan proyek investasi konvensional yang sebanding. Perusahaan melakukan analisis keuangan untuk melihat  apakah  investasi  retrofit  menghasilkan  pengembalian  yang  layak  sambil  terus mengumpulkan basis pelanggan ESCO . Untuk itu, informasi yang dikumpulkan selama proses wawancara  datang  langsung  dari  direktur  perusahaan,  kepala  eksekutif,  dan  manajer  umum MWS. Mereka secara operasional yang terlibat dalam proses pendanaan retrofit. Keseluruhan peserta panel ahli dipilih karena kemampuan mereka untuk mewakili tujuan penelitian ini. Pada gambar  1  di  bawah  ini  adalah  langkah-langkah  yang  diperlukan  dalam  proses  pendanaan retrofit.  Pengambaran  beberapa  fase  di  bawah  membantu  penulis  dalam  mengenali  bagian- bagian  penting  dari  pendanaan  retrofit  ini,  seperti  faktor  teknis  dan  manajerial.  Dengan demikian,  penelitian  ini  diharapkan  mengeksplorasi  bagaimana  seharusnya ESCO dapat membantu pelanggan dengan inisiatif hemat energi melalui studi kasus.

## Gambar 1.Tahapan Retrofit
Sumber: X. Liang et al. (2016)

## Pembelajaran Mesin
Sampai  saat  ini, ESCO menentukan  pembiayaan  proyek  retrofit  dengan  cara  yang konvensional, yaitu dengan mengonfirmasi bahwa pelanggan memenuhi persyaratan dan dapat membayar semua risiko yang timbul. Dengan kata lain, manajemen ESCO menyetujui proyek investasi  retrofit  berdasarkan  atas  analisis  yang  sangat  terbatas  dan  keputusan  akhir  dalam memutuskan apakah projek dapat berjalan atau tidak, dicapai secara aklamasi. Dalam rangka mendapatkan hasil terbaik, penulis mengevaluasi ‘ Retrofitting Risk Modelling System ’ untuk ESCO dengan menggunakan analisa ‘ Multinomial Logit Model ’ berbasis pembelajaran mesin.
Salah  satu  aplikasi  awal  penerapan  metode  pembelajaran  mesin  di  bidang  ekonomi adalah penilaian kelayakan kredit. Beberapa di antaranya digunakan oleh  West (2000); Yobas, dkk.,  (2000);  Lessmann,  dkk.,  (2015)  dalam  menganalisis  41  algoritma  dengan  berbagai kriteria  evaluasi  dan  beberapa  set  data  penilaian  kredit  dalam  penelitian  mereka.  Mereka menemukan bahwa teknik random forest, variasi acak dari pohon keputusan yang disponsori oleh Breiman (2001) ini mengalahkan pengunaan regresi logistik. Sejak saat itu, random forest menjadi  salah  satu  model  standar  pembelajaran  mesin  bagi  industri  perbankan  (Grennepois, dkk.,  2018).  Kemudian  perbankan digital dan  perusahaan fintech secara  progresif  banyak
PHASES & PROCESS INTERNAL STAKEHOLDERS EXTERNAL STAKEHOLDERS Propose intention of retrofit - define objective and expectations, exchange attitudes towards retrofitting Pre-retrofit survey; data collection and energy performance meassurement - goal and target establishment Quantify retrofit measures, cost-benefit analysis, develop action plans client review and comments Government POLICY STANDARD COMMITMENT FINANCIAL  SUPPORT ENERGY  SUPPORT ACADEMIC REPORT TECHNOLOGY  DEVELOPMENT MEDIA PUBLIC PRESSURE SUSTAINABLE DEVELOPMENT  PROMOTION Financial Institution / Bank ESCO NGO (Environment ORG) Researcher  / Educator Professional Association Media, Labor Union, Public Owner / Occupier Energy Consultant / Facility Manager ESCO - MWS Contractor Implementation & Commissioning Post retrofit survey' Client Review & Comments Finish retrofit INFLUENCE
mengadopsi pendekatan pembelajaran mesin untuk peringkat kelayakan kredit selama dekade terakhir (Dupont, dkk., 2020).  Namun, salah satu kelemahan paling signifikan dari pendekatan pembelajaran  mesin  di  sektor  penilaian  kelayakan  kredit  adalah  ketidakmampuan  mereka untuk menjelaskan dan menganalisis hasilnya.
Banyak penulis, termasuk Athey, (2017); Christopher et al., (2018); Mullainathan & Spiess,  (2017);  Varian,  (2014);  Athey  &  Imbens,  (2019),  menekankan  pembelajaran  mesin yang dicampur dengan ekonomi aktual untuk memecahkan masalah bisnis dan kebijakan dunia nyata.  Penelitian  ini  menunjukkan  bahwa  model  yang  paling  optimal  harus  dipilih  dari pembelajaran  mesin.  Tujuan  penulis  adalah  untuk  menggunakan  teknik  fitur  dan pengklasifikasi  pembelajaran  mesin  untuk  meningkatkan  kekuatan  prediksi  model  regresi logistik.  Melalui  teknik  penggunaan  pembelajaran  mesin,  penulis  merekomendasikan metodologi kelayakan kredit terbaik untuk penyedia perusahaan layanan ESCO . Dengan kata lain, banyak penilaian kelayakan kredit saat ini masih menggunakan model ekonometrik yang berasal dari tahun 1960-an, ketika industri kartu kredit tumbuh sangat cepat dan membutuhkan prosedur  keputusan  yang  memadai.  Oleh  karena  kesederhanaan  dan  interpretasi  yang sederhana,  pengunaan  regresi  logistik  akhirnya  menjadi  model  penilaian  standar  di  sektor perbankan saat ini. Sebagian besar bank internasional masih menggunakan model statistik ini, terutama  skor  kelayakan,  untuk  memperkirakan  kemungkinan default sebagai  bagian  dari persyaratan permodalan (Basel III) atau perkiraan kerugian kredit yang bermasalah (IFRS 9).
Sebagian besar algoritma pembelajaran mesin dianggap "kotak hitam" karena proses penilaian dan persetujuan kredit sulit dijelaskan kepada konsumen dan regulator. Hal ini sejalan dengan kekhawatiran otoritas keuangan mengenai tata kelola  dari pengunaan tools ‘ artificial intelligence ’  dan  kebutuhan  untuk  interpretasinya  di  lingkungan  perbankan  dan  lembaga keuangan,  terutama  dalam  bisnis  penilaian  kredit.  Sementara  itu,  kelayakan  kredit  retrofit secara  historis  juga  dinilai  oleh ESCO khususnya  kelayakan  atas  investasi  proyek  retrofit. Kelayakan kredit retrofit diperlukan untuk mencegah timbulnya bahaya default atas investasi, sehingga kelayakan kredit retrofit memainkan peran penting dalam keputusan investasi ESCO . Proses  kelayakan  kredit  pada  investasi  retrofit  ini  identik  dengan  pinjaman  di  kalangan perbankan atau organisasi keuangan lainnya.  Oleh sebab itu, laporan kelayakan kredit sering digunakan untuk menilai  faktor seleksi pinjaman  keuangan. Ada dua tujuan  model prediksi, yaitu  1)  Menentukan  model  ideal  dalam  memprediksi  kelayakan  kredit  oleh  model pembelajatan  mesin  untuk  mengantisipasi  terjadinya  penyesuaian  risiko  kredit  dan  2) Menentukan  metode  kelayakan  untuk  meminimalkan  risiko  kredit  dalam  proses  layanan
retrofit  pada ESCO .  Dengan  studi  kasus,  penelitian  ini  bertujuan  untuk  menunjukkan bagaimana ESCO dapat meningkatkan keputusan investasi proyek retrofit hemat energi dengan akurat melalui penggunaan algoritma pembelajaran mesin.

## TELAAH TEORETIS
Dalam penelitian empiris sebelumnya, telah ditunjukkan bahwa model logit campuran sering  menunjukkan  akurasi  prediksi  yang  lebih  buruk  daripada  model  logit  multinomial ( MNL ) yang lebih sederhana (Cherchi & Cirillo, 2010). Oleh karena itu, dalam penelitian ini MNL digunakan  untuk  menganalisis  fitur  utama  untuk  menentukan  investasi  retrofit  ketika variabel independen dihadapkan dengan beberapa kemungkinan. Ketika menggunakan model pilihan  diskrit,  seperti MNL ,  diasumsikan  bahwa  probabilitas  diperkirakan  linier  dalam parameternya.  Hal  ini  memastikan  bahwa  peningkatan  ukuran  variabel  independen  akan meningkatkan  atau  mengurangi  kemungkinan  pilihan.  Pemilihan  regresi  logistik  di  dalam penelitian  ini  dikarenakan  model  regresi  logistik  juga  digunakan  dalam  model  skor  kredit perbankan dan lembaga keuangan. Dalam model kelayakan kredit perbankan, Wiginton (1980) menggunakan model regresi logistik. Kemudian,  Cramer (2004) menciptakan beberapa jenis regresi  logistik  tambahan  yang  masih  digunakan  oleh  kalangan  perbankan  saat  ini.  Model ekonometrik  ini  juga  banyak  digunakan  oleh  industri  kartu  kredit  yang  didasarkan  pada maksimalisasi utilitas acak (Ben-Akiva & Boccara, 1995). Sejak awal tahun 1970-an, model MNL telah  mendominasi  penelitian  karena  dasar  statistik  dan  kapasitasnya  secara  akurat menggambarkan perilaku keputusan manusia, tetapi kritik atas model MNL dialamatkan karena gagal menjelaskan perbedaan output yang dihasilkan oleh tiap peneliti.
Sementara  itu,  model  logit  juga  dapat  digunakan  untuk  memecahkan  tantangan klasifikasi  yang  merupakan  cara  lain  untuk  melihat  opsi  pemodelan  diskrit.  Di  sisi  lain, kemajuan  dalam  model  logit,  terutama  didorong  oleh  penyempurnaan  asumsi  model, peningkatan kesesuaian model, dan interpretasi perilaku yang lebih baik dari hasil output model (Hensher & Greene, 2002; Johnstone & Tan, 2014). Dengan kata lain, akurasi prediksi model dengan sample yang lebih besar menghasilkan estimasi parameter model yang lebih baik dalam menekankan hubungan antara karakteristik input dan variabel output (Mullainathan & Spiess, 2017).  Di  lain  sisi,  dalam  analisis  yang  mengunakan  kecerdasan  buatan,  pengklasifikasi pembelajaran mesin, seperti CART , NN , dan SVM secara akurat mereplikasi perilaku kelayakan kredit.
Dalam banyak penelitian ini, pengklasifikasi pembelajaran mesin mengungguli model logit  konvensional  dalam  banyak  kasus.  Hal  ini  tentu  tidak  mengherankan  bahwa pengklasifikasi pembelajaran mesin mengungguli model logit dalam tugas yang membutuhkan analisis prediksi. Dibandingkan dengan model logit, pembelajaran mesin menawarkan struktur model  yang  lebih  fleksibel.  Model  ini  tidak  memerlukan  banyak  asumsi  matematika  kritis, misalnya  membatasi  struktur  model  dan  mengasumsikan  distribusi  spesifik  dalam  istilah kesalahan apriori (Christopher et al., 2018). Pemurnian asumsi model, peningkatan kesesuaian model, dan peningkatan interpretasi perilaku output model adalah kekuatan pendorong utama di  balik  perkembangan  dalam  pembelajaran  mesin.  Kritik  khas  atas  prediksi  pembelajaran mesin adalah “Pembelajaran mesin seperti sebuah kotak hitam”. Dalam pembelajaran mesin, output model  yang  digunakan  sulit  untuk  membantu  dalam  menginterpretasi  perilaku. Meskipun demikian, banyak alat interpretasi pembelajaran  mesin telah dikembangkan untuk mengekstrak informasi dari model  pembelajaran mesin  saat ini. Hal tersebut memungkinkan pembelajaran mesin dapat dimengerti.

## METODE
Secara  keseluruhan,  meskipun  model  kelayakan  kredit  unggul  dalam  pembelajaran mesin,  hal  ini  membutuhkan  sejumlah  besar  data mentah.  Salah  satu  metode  yang  dipinjam pembelajaran  mesin  dari  statistik  adalah  fungsi sigmoid .  Kurva  berbentuk  S  dapat mengambarkan angka absolut mulai dari nilai 0 dan 1. Para penenliti menggunakan sigmoid untuk  memetakan  prediksi  probabilitas  dalam  pembelajaran  mesin.  Ketika  mengirim input melalui  fungsi  prediksi  dan  memberikan  skor  probabilitas  antara  0  dan  1,  penulis mengantisipasi pengklasifikasi untuk menawarkan satu set output . Model probabilitas dataset sampel kemudian diubah menjadi model regresi logistik. Penelitian ini mencoba menganalisis prediksi  kelayakan  kredit  proyek  retrofit  sebagai  ' default  credit '  atau  ‘kredit  yang  gagal’. Dengan demikian, penulis merumuskan fungsi sigmoid untuk kelas pertama sebagai  ' default ' dan  model  regresi  logistik  ‘ default ’  direpresentasikan  sebagai  P  ( Creditworthiness  = default|credit-score ).  Hal  ini  juga  dapat  diungkapkan  dengan  cara  penulis  memodelkan probabilitas ‘ default ’ bahwa input (X) milik kelas default (Y = 1); oleh karena itu, P(X) = P(Y =1| X) dapat mewakili  ‘ default ’ secara formal. Ketika hanya ada dua nilai yang dimasukkan sebagai output prediksi suatu objek, regresi logistik adalah strategi klasifikasi biner yang paling benar dalam  memprediksi output prediksi. Sebagai contoh, peneliti mampu  mengidentifikasi
apakah  seseorang  adalah  laki-laki  (0)  atau  perempuan  (1)  berdasarkan  usia,  pendapatan tahunan, tinggi badan, berat badan, dan kriteria lainnya.
Namun,  sebelum  proses  pembelajaran  mesin,  penulis  melakukan  perhitungan  total biaya kepemilikan dan hasil investasi melalui analisis biaya siklus hidup atau life cycle analysis ( LCC )  –  lihat  Gambar  1.  Analisis LCC adalah  sebuah  metode  strategi  investasi  yang menghitung  total  biaya  kepemilikan,  manajemen,  pemeliharaan,  dan  buangan  aset  ( waste ) perusahaan (Fuller &bPetersen, 1996). Ini mewakili jumlah total uang yang diperlukan untuk memperoleh, mengoperasikan, dan mempertahankan aset untuk jangka waktu tertentu (Mearig et  al.,  1999).  Akibatnya,  analisis LCC adalah  cara  yang  bagus  untuk  membandingkan  biaya investasi ketika ESCO memiliki dua proyek yang berbeda hasil investasinya. Metode LCC yang digunakan  di  sini  adalah  untuk  menghitung  "risiko  pengembalian"  pada  proyek  investasi retrofit  efisiensi  energi  dibandingkan  dengan  investasi  lainnya  atau  standar  pengembalian investasi yang disebut sebagai ‘ hurdle rate ’. Proyek energi efisiensi memiliki keuntungan bagi pelanggan  karena  menghemat  investasi  awal  dan  mengurangi  biaya  operasional.  Semua keuntungan tahunan yang diprediksi dari proyek energi efisiensi serta biaya investasi retrofit, biaya transaksi ekonomi, dan biaya-biaya lainnya yang dibayarkan di awal akan diinvestigasi dalam penelitian ini.
Kemudian risiko pengembalian proyek  juga  dihitung dengan  menggunakan analisis biaya  siklus  hidup  ( LCC ).  Ini  dilakukan  untuk  menghitung  nilai  bersih  investasi  peralatan hemat  energi  agar  dapat  ditentukan  dengan  tepat.  Biaya  penghematan  dihitung  berdasarkan nilai  waktu  uang  ( time  value  of  money )  dan  ini  akan  berfluktuasi  dari  waktu  ke  waktu.
Sementara  pengeluaran  harus  dihitung  dalam  mata  uang  konstan  ketika  menghitung perhitungan nilai sekarang ( PV ) (Mearig et al., 1999). Saat menghitung LCC , depresiasi dan pajak  harus  juga  disertakan.  Metode  depresiasi  yang  paling  umum  digunakan  di  sini  adalah mengikuti  metode  garis  lurus.  Efek  nilai  penghematan  berkaitan  dengan  perbedaan  dalam keputusan  tipe  proyek  retrofit  dianalisa.  Hasilnya,  proyek  retrofit  yang  mengunakan  tipe kontrak ESA , memiliki pengembalian investasi yang lebih buruk daripada proyek retrofit yang mengunakan  model ESPC . Oleh karena  dasar  program  kontrak retrofit  yang digunakan oleh kedua model kontrak tersebut menggunakan nilai bersih ( NPV ) dalam menganalisa nilai bersih proyek  retrofit  (Branson,  1979).  Sementara  itu,  nilai  saat  ini  ( NPV )  yang  digunakan, mempertimbangkan  arus  kas  positif  ( inflow )  masa  depan  yang  dipergunakan  sebagai Net Present Value ( NPV ).
Secara  keseluruhan,  model  pengambilan  keputusan  yang  lengkap  masih  diperlukan untuk  memilih  metode  retrofit  energi  yang  paling  efektif,  berikut  tahapan  selanjutnya:  1) Menghitung  perkiraan  biaya  investasi  untuk  membangun  proyek  efisiensi  energi,  2) Melakukan  penelitian  biaya  siklus  hidup  ( LCC )  secara  menyeluruh,  dan  3)  Memilih pendekatan  retrofit  biaya  optimal.  Akan  terlihat  bahwa  variabel  utama  dalam  analisis LCC memengaruhi berapa banyak dana yang diperlukan untuk mengganti (retrofit) peralatan yang ada.  Maka  strategi  pengambilan  keputusan  didasarkan  pada  bagaimana  menghitung keuntungan ekonomi dari biaya siklus hidup peralatan pencahayaan hemat energi selama masa hidupnya  dan  menetapkan  anggaran  yang  meminimalkan  total  biaya  siklus  hidup  proyek. Strategi  berikutnya  adalah  bagaimana  proyek  ini  didanai  atau  dilakukan  untuk  menentukan strategi pembiayaan retrofitting terbaik untuk memaksimalkan keuntungan konservasi energi dan meningkatkan penghematan energi di masa depan.
Laba  atas  investasi  tahunan  ( ROI )  dari  investasi  retrofit  diperoleh  melalui  dua pendekatan.  Biaya  investasi  untuk  peralatan  hemat  energi  adalah  yang  terbesar,  diikuti  oleh biaya pemeliharaan dan layanan, penggantian, energi, administrasi, pajak, perbaikan, dan sisa buangan  produk,  menurut  prosedur  perhitungan LCC .  Di  lain  pihak,  suku  bunga  memiliki dampak  langsung pada  perhitungan tingkat pengembalian  investasi. Tingkat bunga  mungkin saja berfluktuasi  selama proyek  dijalankan. Tingkat  bunga  diskonto atau disebut hurdle rate berada diantara 4% sampai dengan 6% per tahun atas tingkat inflasi dianggap sebagai patokan yang  masuk  akal  di  dalam  perhitungan  sebuah  proyek.  Umur  rata-rata  lampu  hemat  energi adalah  empat  tahun.  Biaya  investasi  awal  ( investment  capital  -  IC ),  biaya  konsumsi  energi ( energy cost - EC ), dan biaya pemeliharaan dan penggantian ( maintenance and replacement- M&R )  dipilih  sebagai  faktor  biaya  untuk  memperhitungkan  tingkat  pengembalian.  Dengan demikian persamaan dapat ditulis sebagai berikut: LCC = IC + PV EC + PV MR or LCC = IC + PV.
Metodologi  yang  digunakan  untuk  menetapkan  kelayakan  proyek  adalah  sebagai berikut:  1)  Menyiapkan  tinjauan  analisis LCC untuk  setiap  kontrak  proyek  retrofit  dan menentukan  apakah  tipe  kontrak ESPC atau ESA yang  layak;  2)  Menghitung  jumlah keuntungan dari masing-masing pilihan ini dengan mengukur nilai internal rate of return - IRR , dengan  mempertimbangkan  perkiraan  tingkat  pengembalian  ( hurdle  rate );  3)  Menggunakan nilai NPV untuk membandingkan dan memprioritaskan opsi proyek, dan 4) Memaksimalkan proyek  efisiensi  energi  untuk  menentukan  opsi  mana  yang  paling  tepat  untuk  dilakukan pergantian.  Profitabilitas  kelayakan  keuangan  konsumen  diperiksa  terlebih  dahulu,  diikuti
dengan  perhitungan  nilai  pengembalian  proyek  ( payback period ).  Tingkat  pengembalian internal  menggunakan  nilai  sekarang  arus  kas  masa  depan  untuk  mengevaluasi  tingkat keuntungan  atau  profitabilitas. Hurdle  rate atau  suku  bunga  wajib  adalah  tingkat  bunga diskonto wajib bagi sebuah proyek untuk menentukan kriteria proyek tersebut dapat diterima atau  ditolak  untuk  menentukan  efisiensi  investasi.  Jika IRR lebih  dari  tingkat  pengembalian proyek, maka proyek ini dianggap sebagai sebuah investasi yang menarik.
Tingkat  pengembalian  yang  diperlukan  dihitung  dengan  menyesuaikan  tingkat pengembalian  internal  untuk  setiap  risiko  proyek.  Konsep  yang  paling  relevan  dalam retrofitting proyek adalah  menilai  semua konsekuensi  resiko pada arus kas dan  menentukan periode  yang  benar,  termasuk  perubahan  harga input (harga  energi  dan  investasi  awal) diprediksi,  kompensasi  untuk  pajak,  dan  analisis  sensitivitas  ( The  US  Environmental Protection  Agency ,  2008).  Jika  biaya  modal  dan  risiko  meningkat,  korporasi  harus menghasilkan keuntungan  yang  lebih  signifikan dari proyek  yang dieksekusi. Investor harus mendapatkan tingkat pengembalian yang lebih baik atas investasi awal mereka dibandingkan dengan  tingkat IRR yang  disyaratkan,  demikian  standar  investasi  proyek  menurut  standar Energy Star EPA .
Gagalnya  proyek retrofit  yang  diakibatkan  oleh  ketidakmampuan  pembayaran pelanggan  atas  bagi  hasil  atau default ,  membuat  biaya  investasi  awal  ( upfront  investment ) sebuah  proyek  retrofit  menjadi  pertimbangan  yang  signifikan  bagi ESCO .  Oleh  karena  itu, proses prosedur investasi retrofit diperlakukan sama dengan prosedur pinjaman perbankan atau lembaga keuangan lainnya. Penulis melalui penelitian ini mengekplorasi proses ESCO dalam menentukan  kelayakan  kredit  pelanggan  sehingga  penulis  meneliti  variabel  mana  yang memungkinkan  proyek  retrofit  akhir  dijalankan  oleh  MWS.  Pertama,  penulis  menggunakan teknik  tradisional  untuk  menganalisa  aplikasi  proyek  retrofit.  Laporan  kelayakan  kredit digunakan  untuk  menentukan  kriteria  seleksi  keuangan  pelanggan.  Kriteria  penting  adalah investasi di awal, faktor pendapatan, faktor pendapatan tambahan, jangka waktu pengembalian, hasil investasi, dan atribut klien. Penulis kemudian menggunakan pembelajaran mesin untuk meramalkan  kemungkinan  kejadian default di  masa  depan.  Karakteristik  yang  diperlukan untuk membuat perkiraan kemudian diintegrasikan ke dalam algoritma MNL . Peluang memilih kelas  diprediksi  menggunakan  regresi  logistik.  Retrofit,  misalnya  dapat  dimodelkan  sebagai investasi 'Return  /  Risk' yang  ditolak,  ditahan,  atau  diterima.  Model  regresi  logistik  dapat dinyatakan sebagai P (Retrofit = Rejected Return-Risk ) untuk investasi 'Return / Risk' tertentu, seperti yang ditunjukkan pada Gambar 2.

## Gambar 2. Algoritma Analisa Kredit Sumber: Dimodifikasi dari Frank Emmert-Streib et al. (2020)

## PEMBAHASAN
Penelitian ini mengambil studi kasus retrofit pergantian lampu hemat energi di gedung perkantoran  atau  pelanggan  SHJ.  MWS  adalah  distributor  lampu  hemat  energi  nasional  dan salah  satu  dari  lima  distributor  lampu  teratas  di  Jakarta  dan  wilayah  sekitarnya.  MWS mendorong  pelanggan  untuk  membeli  lampu  hemat  energi.  Besarnya  penghematan  biaya energi adalah faktor yang paling penting dalam menentukan keberhasilan proyek retrofit. Di sisi lain, biaya investasi lampu dan lamanya pemakaian lampu menjadi bagian paling penting bagi perhitungan proyek retrofit. Besarnya biaya penghematan yang paling baik adalah ketika pergantian lampu tradisional dengan lampu hemat energi dapat menutup biaya investasi lampu atau yang memiliki waktu pengembalian kurang dari dua belas bulan.
Tabel 1 di atas menunjukkan beberapa opsi pengunaan peralatan yang berbeda (energi efisiensi  vs  konvensional)  yang  dibandingkan.  Oleh  karena  peningkatan  jam  penggunaan pencahayaan atau kenaikan harga utilitas (listrik) per watt yang ditetapkan oleh penyedia listrik negara  (PLN),  penghematan  biaya  utilitas  pada  lampu  hemat  energi  atas  pencahayaan konvensional  akan  mempersingkat  waktu  pengembalian  proyek  retrofit.  Dengan  kata  lain, periode  pengembalian  yang  singkat  (proporsi  total  biaya  konsumsi  layanan  dibandingkan dengan  penghematan  biaya  yang  direalisasikan)  sangat  bermanfaat  dan  tidak  menimbulkan risiko yang besar terhadap proyek retrofit ini.
Analisis  sensitivitas  dijalankan  pertama  kali  sebagai  proses  awal  menentukan kelayakan investasi retrofit energi efisiensi – lihat Gambar 1. Untuk penelitian ini, hasil analisis sensitivitas di dalam Tabel 2, dihitung untuk menentukan bagaimana variabilitas dalam kinerja model hemat energi dapat dikaitkan dengan pemakaian jam lampu berjalan dan tarif daya pada berbagai tingkat. Hal ini dapat digunakan untuk menentukan faktor yang paling penting dalam
menghitung  efisiensi  energi  berdasarkan  penggunaan  energi  oleh  pelanggan.  Dampak  dari banyak  faktor input tak  terduga  pada  jam  kerja  dan  perubahan  harga  daya  adalah  alat  ukur ekonomi-teknologi ( economic-technology factors ) yang mudah dipahami. Kelangsungan hidup proyek  retrofit  dapat  ditentukan  oleh  jumlah  penghematan  energi  yang  dapat  disimpan. Sensitivitas  tersebut  menjadi  patokan  atas  kemungkinan  penghematan  biaya  utilitas  bagi perusahaan MWS dan pelanggan SHJ. Berikutnya adalah tingkat diskonto atas investasi yang digunakan  atas  biaya  penghematan  yang  dapat  disimpan.  Tujuan  dari  penelitian  ini  adalah untuk  melihat  bagaimana  perhitungan  kelayakan  kredit  mempengaruhi  kelangsungan  hidup proyek retrofit.
Tabel 1. Analisis Sensitivitas untuk Penghematan Biaya Listrik IDR Hemat/Thn (%) KONSUMSI / JAM / HARI 77,8% 8 7 6 5 4 3 2 1 T AR IF / W A T T - PE R -JAM
1.467 77,8% 68,1% 58,3% 48,6% 38,9% 29,2% 19,4% 9,7% 1.540 81,7% 71,5% 61,3% 51,0% 40,8% 30,6% 20,4% 10,2% 1.617 85,8% 75,0% 64,3% 53,6% 42,9% 32,2% 21,4% 10,7% 1.698 90,0% 78,8% 67,5% 56,3% 45,0% 33,8% 22,5% 11,3% 1.783 94,5% 82,7% 70,9% 59,1% 47,3% 35,5% 23,6% 11,8% 1.872 99,3% 86,9% 74,4% 62,0% 49,6% 37,2% 24,8% 12,4% 1.966 104,2% 91,2% 78,2% 65,1% 52,1% 39,1% 26,1% 13,0% 2.064 109,4% 95,8% 82,1% 68,4% 54,7% 41,0% 27,4% 13,7% 2.167 114,9% 100,5% 86,2% 71,8% 57,5% 43,1% 28,7% 14,4% 2.276 120,7% 105,6% 90,5% 75,4% 60,3% 45,2% 30,2% 15,1% 2.390 126,7% 110,9% 95,0% 79,2% 63,3% 47,5% 31,7% 15,8% 2.509 133,0% 116,4% 99,8% 83,1% 66,5% 49,9% 33,3% 16,6% 2.635 139,7% 122,2% 104,8% 87,3% 69,8% 52,4% 34,9% 17,5% 2.766 146,7% 128,3% 110,0% 91,7% 73,3% 55,0% 36,7% 18,3% 2.905 154,0% 134,7% 115,5% 96,2% 77,0% 57,7% 38,5% 19,2%

## Sumber: Kompilasi penulis
Kisaran jangka waktu pengembalian ( payback period ), tingkat pengembalian internal ( IRR ),  dan  nilai  bersih  ( NPV )  adalah  rasio  yang  sering  dijadikan  standar  prosedur  di  dalam manajemen proyek. Informasi tersebut dapat digunakan untuk menemukan variabel input yang paling berpengaruh dalam analisis tingkat pengembalian. Membagi insentif penghematan biaya energi  dengan  berbagai  tarif  diskonto  mulai  dari  8%  hingga  20%  banyak  digunakan  dalam skenario proyek ESA . Kebanyakan persentase insentif penghematan biaya energi harus dibagi dengan ESCO berkisar di antara  50% sampai dengan 70%.  Sementara pembagian bagi  hasil
penghematan bagi pelanggan berkisar antara 30% hingga 50%, diberikan lebih sedikit dari bagi hasil yang diterima oleh ESCO .
Diskusi  dan  negosiasi  diperlukan  untuk  mencapai  kesepakatan.  Dalam  hal  ini, probabilitas bagi hasil yang mungkin terjadi adalah 50/50 bagi pelanggan SHJ dan perusahaan MWS.  Kedua  belah  pihak  mungkin  akan  kembali  bernegosiasi  untuk  menentukan  tingkat diskonto  atas  investasi  yang  sudah  dikeluarkan.  Dengan  penjelasan  di  atas,  durasi pengembalian  atau  tingkat  diskonto  ( hurdle  rate ), IRR ,  dan NPV dihitung  menggunakan insentif  bagi  hasil  atas  biaya  penghematan  yang  terjadi  baik  bagi  perusahaan  MWS  dan pelanggan  SHJ.  Tingkat  diskonto  yang  umum  ditawarkan  pada  proyek  retrofit  oleh  MWS berkisar mulai dari 8% hingga 20% per tahun. Sementara waktu pengembalian tingkat invesatsi proyek  retrofit  yang  paling  menguntungkan  bagi  perusahaan  MWS  berkisar  dari  satu  tahun hingga satu setengah tahun.
Pelanggan  SHJ  dan  perusahaan  MWS  harus  berkomunikasi  dan  menegosiasikan syarat  dan  ketentuan  dalam  menyelesaikan  proposal  proyek.  Selain  pertimbangan  yang ditunjukkan  pada  Gambar  2  di  atas,  MWS  menggunakan  analisis  data  untuk  menentukan kelayakan tawaran kontrak ESPC dan ESA kepada pelanggan SHJ. Tingkat keuntungan yang dibutuhkan, nilai investasi, dan laba atas investasi ( ROI ) dipelajari melalui analisis LCC . MWS juga mengevaluasi prioritas dan rencana investasi proyek retrofitnya setiap tahun untuk melihat apakah  modal  yang  ditanggung  MWS  masih  dapat  memenuhi gearing  ratio yang  sehat. Sementara SHJ adalah sebuah perusahaan perkantoran yang memberikan layanan penyewaan kantor di daerah segitiga emas DKI Jakarta  dengan pendapatan sewa sebagai  sumber utama pendapatan SHJ.
Dengan  bantuan  MWS,  SHJ  dapat  mengeksekusi  proyek  energi  efisiensi  dan memanfaatkan  kombinasi  lampu  hemat  energi  untuk  mengurangi  pengeluaran  biaya  energi secara tahunan. Di sisi lain, SHJ menggunakan data dan proyeksi yang sama disediakan oleh MWS untuk melakukan penelitian analisis biaya risiko-manfaat dalam memilih kontrak proyek dari  jenis  kontrak ESPC atau  kontrak ESA .  Baik  SHJ  dan  MWS  menimbang  ulang  data investasi,  memeriksa  ulang  fakta  penghematan  yang  mungkin  terjadi,  menghitung  manfaat jangka pendek atau jangka panjang, menyusun strategi implementasi, dan berbagi insentif atas penghematan biaya energi di antara mereka berdua.
Kemudian  MWS  menawarkan  evaluasi  lengkap  terhadap  arus  kas, NPV , payback period ,  dan IRR proyek  retrofit  kepada  SHJ  berdasarkan  perkiraan  perhitungan  teknis ( economic-technology  factors ).  Perhitungan  pengembalian  proyek  investasi  dihitung
menggunakan Total Cost  of Ownership ( TCOO ) untuk gedung perkantoran SHJ di  kawasan segitiga  emas  DKI.  Evaluasi  perhitungan TCOO dinegosiasikan  sebagi  bentuk  transparansi untuk  menunjukkan  apakah  proyek  retrofit  ini  layak  untuk  dapat  diselesaikan  oleh  mereka berdua.
Pada  studi  kasus  proyek  retrofit  gedung  parkir  yang  dimiliki  oleh  SHJ,  arus  kas pelanggan dan likuiditas keuangan, sebagai hasilnya memiliki tingkat pengembalian ( payback period ) sekitar 1,60 tahun tanpa tingkat bunga diskonto dan 1,74 tahun dengan tingkat bunga diskonto sebesar 12% per tahun. Siklus pengembalian proyek retrofit gedung parkir SHJ adalah proyek risiko yang bersifat sangat rendah karena proyek retrofit tersebut memberikan tingkat penghematan  yang  cukup  besar.  Untuk  arus  kas  keseluruhan  proyek  sepanjang  lima  tahun menurut  perhitungan  nilai  bersih  ( NPV )  adalah  Rp  3,95  miliar.  Indeks  profitabilitas  proyek retrofit  ini adalah 3,64 kali,  yaitu sebesar Rp 1,98 miliar. Nilai IRR yang didapat melampaui tingkat yang diperlukan sebesar 38,07 persen. Hal ini menunjukkan bahwa proyek retrofit ini sangat layak untuk ditindaklanjuti.
Pada  tahap  akhir,  kelayakan  kredit  pelanggan  dan  memperhitungan  risiko default menjadi pelanggan lebih penting bagi ESCO . Sebagai tahap akhir setelah analisis LCC , MWS mengevaluasi  skor  kredit  SHJ  dengan  memperhitungkan  hasil  akhir  analisis LCC .  Terlihat bahwa pembelajaran mesin  yang digunakan untuk menjalankan kemungkinan proyek retrofit itu  gagal  atau default dikarenakan  kemampuan  keuangan  SHJ  yang  memburuk.  Analisis hubungan  sebab-akibat  melalui  pembelajaran  mesin  mengunakan  fitur  kelayakan  keuangan SHJ  dengan  variabel  input  yang  dihasilkan  digunakan  oleh  MWS.  Kategori  proyek  retrofit, yaitu  proyek  retrofit  ditolak  mengunakan dummy =0, proyek ditahan  mengunakan dummy =1, dan proyek diterima mengunakan dummy =2.
Tabel  3  di  bawah  menunjukkan  variabel  independen  yang  digunakan  dalam pembelajaran mesin, antara lain investasi awal dimuka, faktor pendapatan, faktor pendapatan tambahan, durasi pengembalian, pengembalian investasi, dan atribut klien.

## Tabel 3. Variabel Dependen dan Indenpenden
No Aspect Input Variable Membership Function Range 1 Perjanjian Proyek Tipe Perjanjian ESA and ESPC
ESA = 0.8 - 1.0 ESPC = 0.5 - 0.7 2 Investasi awal Faktor
Toleransi High Risk, Medium and Low Risk High Risk: Tolerance > 1.5 Bio Medium Risk: Tolerance
>750 Mio and <=1.5 Bio
Low Risk: Tolerance <=750 Mio 3 Revenue Factors Margin Proyek High, Medium, and
Low
High: Margin > 30%
Medium: Margin 10 - 30% Low : Margin > 10% 4 Tambahan
Pendapatan
Biaya Bunga
High,
Medium, and Low High : Interest Loan > Time Deposit Rate
Medium : Interest Loan = Time Deposit Rate
Low : Interest Loan < Time
Deposit Rate 5 Tingkat
Pengembalian Tahun
Pengembalian High Risk, Medium and Low Risk High Risk : Years > 3 Years Medium Risk : 1 - 3 years Low Risk : Years <= 1 6 Hasil Investasi NPV
High, Medium, and Low High : NPV >30% of Upfront Investment
Medium: NPV > 10%-30% of Upfront Investment
7 Pelanggan Tipe Pelanggan High Risk, Medium and Low Risk High Risk = 1 Medium = 0.5 - 1
Low Risk = 0.2 - 0.5
Sumber: Kompilasi penulis
Pembelajaran mesin di dalam penelitian ini digunakan untuk memprediksi kelayakan skors  kredit  pelanggan  dalam  proyek  pembiayaan  retrofit.  Proses  pengembangan  model prediktif MNL meliputi dataset , persiapan data, pengembangan satu set  pelatihan, pemilihan algoritma,  pelatihan  model,  pengujian  model,  penilaian  model,  dan  implementasi.  Dalam rangka meningkatkan hasil prediktif, simulasi dijalankan secara berulang beberapa kali dengan
konfigurasi  yang  berbeda.  Visualisasi  temuan  dapat  dicapai  dalam  berbagai  cara.  Matriks klasifikasi  memberikan  informasi  tentang  membandingkan  hasil  klasifikasi  yang  dilakukan oleh sistem (model) dengan hasil klasifikasi yang sebenarnya. Hasilnya menunjukkan bahwa keakuratan  model  diukur  secara  umum  berdasarkan  contoh  yang  diklasifikasikan  dengan benar. The confusion matrix didapat dan digambarkan pada Gambar 3 di bawah ini.
Penulis  menelaah akurasi prediktif diprioritaskan saat memilih  model  pembelajaran mesin.  Akurasi  prediktif  pada  model MNL memiliki  empat output alternatif,  yaitu False Positives ( FP ), True Positives ( TP ), False Negatives ( FN ), dan True Negatives ( TN ). Kemudian penulis  menghitung  ambang  batas  yang  diberikan  ( TN ).  Tingkat  misklasifikasi  adalah persentase prediksi yang salah dari jumlah total kasus. Tingkat misklasifikasi ditentukan oleh ambang batas yang digunakan. Oleh karena itu, prediksi ini adalah indikator akurasi prediksi yang  diterima  secara  luas.  Persentase  akurasi  model  ini  dihitung  sebagai  berikut:  Tingkat Akurasi = FP + FN / ( TP + TN + FP + FN ) = 42 + 296 + 98 / (70 + 380 + 134) = 74,6 persen.
Dengan  kata  lain,  menurut  perhitungan  menggunakan  regresi  logistik  multinomial, nilai  akurasi  data  prediksi  dengan  data  uji  adalah  74,65  persen.  Kurva Receiver  Operating Characteristics ( ROC )  menunjukkan false  positive  rate ( FPR )  pada  sumbu  Y  versus true positive rate ( TPR ) pada sumbu X di atas kisaran nilai ambang  batas. Ini  merupakan teknik standar  (biasanya  dalam  nilai  persentil).  Tingkat  prediksi  yang  dihasilkan  mengacu  pada persentase prediksi yang benar di antara semua data pengujian, yaitu sebagai berikut: Tingkat Prediksi = 296 / (380) = 77,894%, Tingkat Positif Palsu ( FPR ) = 296 / (380) = 82,22% dan True Positive Rate , disebut sebagai Recall atau 'Tingkat Sensitivitas'.
Secara bersamaan, model berbasis algoritma MNL menunjukkan hasil terbaik dalam matriks lain dari "Area di bawah kurva ROC . Kurva ROC yang ideal sejajar dengan sumbu Y, yang  tidak  mungkin  dicapai.  Akibatnya,  model  terbaik  yang  dipilih  adalah  ketika  kurva memiliki  kemiripan  dengan  kurva  ideal  itu.  Area  di  bawah  kurva ROC ( AUROC ),  mimiliki angka antara 0 dan 2, secara tradisional digunakan untuk meringkas kurva ROC . Semakin baik modelnya,  semakin  besar AUROC . AUC adalah  ukuran  keberhasilan  gabungan  yang memperhitungkan semua ambang klasifikasi prediksi yang didapat.
Kemungkinan model klasifikasi menilai bahwa contoh positif acak yang lebih tinggi dari contoh negatif acak adalah salah satu cara untuk melihat AUC . Kurva ROC adalah grafik yang  menunjukkan  seberapa  baik  model  klasifikasi  melakukan  ambang  klasifikasi keseluruhan.  Dua  parameter  diplot  pada  kurva  ini.  Angka  prediksi TPR  vs  FPR diplot  pada kurva ROC di  berbagai  ambang  klasifikasi.  Menurunkan  ambang  klasifikasi  menyebabkan
lebih  banyak  hal  diklasifikasikan  sebagai  predisi  positif,  menghasilkan False  Positives dan True Positives lebih tinggi.
Gambar 1. Confusion Matrix of Creditworthiness of Retrofitting
Sumber: Penulis – Output
Sementara  itu  berdasarkan  nilai LLR  p-value  model  MNL ini  adalah  0,000,  yang berarti nilai apabila LLR p-value kurang dari 0,01 atau 1%, maka model MNL dianggap 'sangat baik.' Nilai P = nilai dari setiap variabel yang ada tercatat di bawah P>|z| kurang dari 0,01 atau 1%. Untuk Pseudo R-Squared tercatat adalah 0,467 atau 46,70%, lihat Tabel 4 di bawah ini.
Tabel 4. Proses Log Data Deep Variable EXPERT_JUDGE No Observations 2.332 Model MNLogit Df Residual 2.316 Method MALE Df Model 14 Date Wed , 24 Mar 2021 Pseudo R-Squared 0,467 Time 15.27.29 Log-Likelihood -1.144,000 Converged TRUE LL-Null -2.147,000 Covariance Non-robust LLR p- value 0,000 Deep Variable EXPERT_JUDGE A: 2.319,953 No. Iterations 9 BIC: 2.412,024 Converged 1 Scale 1 Sumber: Penulis – Output
Menurut  Tabel  5  di  bawah,  dari  nilai pseudo-R-Squared , R-Square sendiri  adalah persentase  yang  menunjukan  pengaruh  semua  variabel  independen  pada  variabel  dependen (proyek  retrofit)  sebesar  46,70%.  Kemudian  nilai  persamaan  untuk  model  regresi  logistik multinomial  yang  digunakan  untuk  rasio  kategori  log  proyek  retrofit, dummy angka  2 menyatakan  proyek  retrofit  diterima  dan  proyek  retrofit  ditahan  dinyatakan  dengan dummy angka 1 yang dihitung = 6,504 + 3,960 (Perjanjian Proyek) - 0,513 (Investasi Dimuka) - 2,209 (Faktor Pendapatan) - 0,489 (Faktor Pendapatan Tambahan) - 0,548 (Pengembalian Investasi) - 1,305 (Pelanggan) - 0,781 (Jenis Pelanggan). Berdasarkan regresi individu pada Tabel 5 di bawah,  data  menunjukkan  bahwa  setiap  rasio  log  antara  2  (diterima)  dan  1  (ditahan), menunjukkan bahwa setiap 1 unit dari setiap perjanjian proyek tambahan, akan ada tambahan 3,960  unit  hasil output log  regresi  yang  menentukan  apakah  proyek  retrofit  tersebut  dapat diterima = 2 atau dapat ditahan = 1.
Di sisi lain, model regresi logistik multinomial untuk rasio kategori log proyek retrofit, dummy angka  2  menyatakan  proyek  diterima  dan  proyek  retrofit  ditolak  dinyatakan  dengan dummy angka  0  (ditolak),  dengan  perhitungan  5,170  +  8,371  (Perjanjian  Proyek)  -  1,006 (Investasi Dimuka) - 3,929 (Faktor Pendapatan) - 0,021 (Faktor Pendapatan Tambahan) - 0,050 (Pengembalian Investasi) - 2,220 (Pelanggan) + 1,439 (Jenis Pelanggan). Berdasarkan regresi individu dalam Tabel 5 di bawah, data menunjukkan bahwa setiap rasio log antara 2 (diterima) dan 0 (ditolak), itu  menyatakan  bahwa  setiap 1 unit dari  setiap perjanjian proyek tambahan, akan ada tambahan 8,371 unit hasil output log regresi yang menentukan apakah proyek retrofit tersebut dapat diterima = 2 dan dapat ditolak = 1. Rinciannya ada di Tabel 5 berikut ini:

## Tabel 2. Hasil Regresi untuk Nilai Dummy 2 dan Dummy 1
EXPERT_JUDGE=1=2
Coeff Std. Error z P>|z| [0,025 0,975] Const 6,504 0,691 9,409 0,000 5,148 7,858 Project Agreement 3,960 0,284   13,922 0,000 3,402 4,517 Upfront Invesment -0,514 0,103 -4,969   0,000 -0,716 - 0,311 Revenue Factors -2,209 0,140   -14,484   0,000 -2,303 -1,754 Additional Revenue Factors -0,489 0,105 -4,765   0,000 -0,694 - 0,284 Investment Return -0,548 0,103 -5,276   0,000 -0,752 -0,344 Customer -1,305 0,118   -11,083   0,000 -1,535 -1,074 Type of Customer (0,781) 0,169 4,531 0,000 0,435 1,986
Sumber: Penulis – Output

## KESIMPULAN
Di Indonesia, proyek investasi retrofit energi efisiensi layak untuk dijalankan karena memiliki  keuntungan  dapat  menghemat  konsumsi  energi.  Praktek  investasi  retrofit diperkirakan  meningkat  popularitasnya  setelah  semua  negara  di  dunia  setuju  untuk berkomitmen  mengurangi  penggunaan  bahan  bakar  fosil  dan  perjanjian  perubahan  iklim ditandatangani di Glasgow pada tahun 2021. Proyek investasi retrofit energi efisiensi ini dapat mengurangi konsumsi energi bagi industri, mengurangi kebutuhan pasokan energi primer yang harus  dipasok  oleh  negara,  serta  menghasilkan  banyak  bisnis  dan  pekerjaan  baru.  Melalui pengembangan  proyek  investasi  retrofit,  dipastikan  ekonomi  Indonesia  akan  tumbuh  dan mengalami  perubahan  yang  signifikan.  Ini  dimungkinkan  karena  teknologi  dan  peralatan energi efisiensi sudah banyak beredar di pasaran. Namun, sampai saat ini, ada begitu banyak hambatan nonpasar dan pasar yang menghalangi praktek retrofit energi efisiensi.
Sehingga  praktek  investasi  proyek  retrofit  MWS  diharapkan  akan  banyak memunculkan ESCO di Indonesia dan mendorong asosiasi, industri, dan pengambil kebijakan untuk  menempatkan  langkah-langkah  kebijakan  implementasi  penghematan  energi  di Indonesia  yang  lebih efektif. Proyek  investasi retrofit efisiensi  saat ini  bukan  menjadi  fokus kebijakan pemerintah dan  industri saat  ini. Hasil  studi kasus  ini  menunjukkan  bahwa alasan yang membuat pemilik bangunan enggan atau ragu melakukan proyek retrofit masih terlampau besar. Menurut penelitian ini, proyek retrofit sangat realistis dan dapat menghemat biaya energi perusahaan. Analisis biaya-manfaat seharusnya memiliki peran penting dan menjadi salah satu faktor  terpenting  yang  memengaruhi  keputusan  konsumen  dalam  mengeksekusi  proyek retrofit.
Temuan  studi  kasus  ini  membantu  memperjelas  faktor-faktor  yang  memengaruhi keputusan  perusahaan  dalam  menilai  proyek  kelayakan  kredit  retrofit  dan  mengeksekusi proyeknya. Penelitian ini memperlihatkan bagaimana MWS menafsirkan sifat dan konsekuensi dari  kontrak ESPC dan ESA .  Saat  ini  MWS  memiliki  masalah  mendasar  terkait  bagaimana menghitung keuntungan retrofit, tingkat pengembalian, persentase nilai efisiensi energi yang harus  dibagi  dengan  pelanggan,  dan  perkiraan  penghematan  biaya  energi  yang  harus didistribusikan  secara  adil,  baik  kepada  pelanggan  dan  juga  perusahaan.  Pertimbangan nonkeuangan  termasuk  instalasi  dan  pemeliharaan  peralatan  dan  garansi  pencahayaan  juga menjadi  pertimbangan  perusahaan.  Baik  pelanggan  SHJ  atau  perusahaan  MWS  tentu  akan melihat  bagaimana  hasil  keuntungan  proyek  retrofit  memberikan  manfaat  yang  sama  bagi mereka berdua. Pelanggan SHJ tentu juga akan sangat tertarik pada teknologi peralatan hemat
energi, konsumsi daya dan estimasi tabungan, serta peralatan yang ramah lingkungan. Selama wawancara,  manajemen MWS  juga  menyatakan bahwa pelanggan  SHJ  sangat yakin tentang program investasi retrofit yang mereka tawarkan.
Secara  trasional,  MWS  memutuskan  apakah  pembiayaan  kredit retrofitting proyek akan terus dilakukan hanya dengan memastikan bahwa pelanggan memenuhi kriteria dan dapat menutupi  semua  risiko  melalui  analisis  pembelajaran  mesin.  Keputusan  akhir  dibuat  oleh manajemen MWS secara aklamasi berdasarkan analisis pembelajaran mesin ini. Di penelitian ini,  penulis  merancang  kredit  kelayakan  proyek  retrofit  atau  dapat  juga  dikatakan scoring model menggunakan pembelajaran  mesin. Model ini penulis  sebut sebagai  ‘ Retrofitting Risk Modelling  System ’. Pemodelan prediktif  ‘ Retrofitting  Risk  Modelling  System ’  ini digunakan untuk mendeteksi kelayakan kredit pembiayaan retrofit.
Model  prediktif  ini  dibangun  mengunakan  model  multinomial  logit  berbasis pembelajaran  mesin.  Model  ini  dibangun  menggunakan  algoritma Python dan  optimalisasi performance atau  optimalisasi  keuntungan  dalam  proyek  ini  menjadi  tujuan  penelitian  ini. Hasil perhitungan menggunakan analisa pembelajaran mesin multinomial menunjukkan bahwa nilai  akurasi  data  prediksi  dengan  data  uji  adalah  74,658%.  Hasil  tingkat  prediksi  mengacu pada  persentase  prediksi  yang  benar  di  antara  semua  data  pengujian  adalah  77,894%. Sementara  tingkat  Positif  Sejati  disebut Recall atau 'Sensitivity  Rate' karena  didefinisikan sebagai beberapa kasus positif yang diidentifikasi dengan benar ( TPR ) adalah 82,222%. Oleh karena itu, sistem permodelan pembelajaran mesin  model  multinomial logit dapat digunakan untuk membantu MWS dalam memprediksi risiko kredit retrofit.
Di lain sisi, kelayakan kredit pelanggan juga sangat penting bagi kelangsungan hidup ESCO .  Banyak  faktor,  terutama  karakteristik  kredibilitas  pelanggan  adalah  faktor  penting untuk dipertimbangkan di samping nilai perhitungan pengembalian proyek secara kuantitatif. Akibatnya,  penulis  merekomendasikan  bahwa  setiap ESCO harus  memiliki  model  prediksi kelayakan kredit yang memadai untuk memperhitungkan kredit skoring pelanggan. Selain itu, teknik pembelajaran mesin dapat membantu ESCO dalam melakukan sistem kelayakan kredit tersebut. Penelitian ini  juga menemukan bahwa pembangunan model prediktif menggunakan teknik pembelajaran mesin itu tidak mudah, ditambah model juga harus dengan mudah dapat diakses oleh non-ahli. Namun, penulis menemukan bahwa metode pembelajaran mesin untuk prediksi kelayakan kredit dalam proyek retrofit layak untuk dicoba dan diterapkan pada ESCO lainnya  di  Indonesia.  Dengan  demikian,  diharapkan  bahwa  praktek  baru  ini  akan  tumbuh, popular, dan menjadi standar di antara ESCO .
Oleh karenanya, penelitian ini diproyeksikan untuk memberikan dua kontribusi untuk ilmu pengetahuan. Pertama dan yang terutama, penelitian ini dimaksudkan untuk menjadi salah satu sumber  pengetahuan  pada  model penilai kelayakan kredit berbasis  pembelajaran  mesin. Kedua,  penelitian  ini  diproyeksikan  menjadi  salah  satu  sumber  data  utama  pada  model pembelajaran  mesin.  Sementara  itu,  Bidang  Praktisi  Industri  di  bidang  energi  efisiensi diharapkan mendapat manfaat dari penelitian ini.

## DAFTAR PUSTAKA
Almeida, A. De, Santos, B., Paolo, B., & Quicheron, M. (2014). Solid state lighting review – Potential and challenges in Europe. Renewable and Sustainable Energy Reviews , 34 , 30–48.
Athey, S. (2017). The Impact of Machine Learning on Economics, (September), 1–27.
Athey, S., & Imbens, G. W. (2019). Machine Learning Methods Economists Should Know About . Sloan Foundation .
Ben-Akiva,  M.,  &  Boccara,  B.  (1995).  Discrete  choice  models  with  latent  choice  sets. International Journal of Research in Marketing , 12 (1), 9–24.
Bennich, P. (2015). Test Report – Clear, Non-Directional LED Lamps.
Branson, W. H. (1979). Macroeconomic Theory And Policy .
Breiman, L. (2001). Random Forests.
Cherchi, E., & Cirillo, C. (2010). Day-to-day variability and habit in modal choices: a mixed logit model on panel data. In XVI PANAM (pp. 1–19). Portugal.
Christopher,  M.,  Belghith,  A.,  Weinreb,  R.  N.,  Bowd,  C.,  Goldbaum,  M.  H.,  Saunders,  L.  J.,  … Zangwill,  L.  M.  (2018). Retinal  nerve  fiber  layer  features  identified  by  unsupervised  machine learning  on  optical  coherence  tomography  scans  predict  glaucoma  progression. Investigative Ophthalmology and Visual Science , 59 (7), 2748–2756.
Cramer,  J.  A.  (2004).  A  Systematic  Review  of  Adherence  With  Medications  for  Diabetes. Diabetes Care , 27 (5), 1218–1224.
Dobbs,  R.,  Pohl,  H.,  Lin,  D.-Y.,  Mischke,  J.,  Garemo,  N.,  Hexter,  J.,  …  Nanavatty,  R.  (2013). Infrastructure productivity: How to save $1 trillion a year.
Dupont, L., Fliche, O., & Yang, S. (2020). Governance of Artificial Intelligence in Finance. Retrieved from https://acpr.banque-
france.fr/sites/default/files/medias/documents/20200612_ai_governance_finance.pdf
Fornara, F., Pattitoni, P., Mura, M., & Strazzera, E. (2016). Predicting intention to improve household energy efficiency: The role of value-belief-norm theory, normative and informational influence, and specific attitude. Journal of Environmental Psychology , 45 , 1–10.
Frankel, D., Heck, S., & Tai, H. (2013). Sizing the potential of behavioral energy-efficiency initiatives in the US residential market. McKinsey&Company .
Fuller,  S.  K.,  &  Petersen,  S.  R.  (1996).  LCCosting  Manual  for  the  Federal  Energy  Management Program. NIST Handbook 135 .
Grennepois, N., Alvirescu, M., and Bombail, M. (2018). Using random forest for credit risk  models. Deloitte Risk Advisory, September, 2018.
Heesen, F., & Madlener, R. (2016). Technology Acceptance as Part of the Energy Performance Gap in
Energy-  Efficient  Retrofitted  Dwellings . Institute  for  Future  Energy  Consumer  Needs  and Behavior (FCN) .
Hejazi,  F.  A., Ramanathan,  R.  A., &  Jaffar, M.  S.  (2016). Seismic  Response  of  a  Light  Rail  Transit Station Equipped with Braced Viscous Damper. Science & Technology , 24 (2), 273–283.
Hensher, D. A., & Greene, W. H. (2002). The mixed logit model: The state of practice . Working Paper ITS-WP-02-01 (Vol. 30).
Husin,  N.  I.,  Ahmad,  A.  C.,  Wahid,  A.  M.  A.,  &  Kamaruzzaman,  S.  N.  (2017).  Energy  Efficiency Criteria for Green Highway. Social Science & Humanities , 25 , 119–128.
Johnstone, M. L., & Tan, L. P. (2014). Exploring the  Gap Between Consumers’ Green Rhetoric and Purchasing Behaviour. Journal of Business Ethics , 132 (2), 311–328.
Lessmann,  S.,  Baesens,  B.,  Seow,  H.  V.,  &  Thomas,  L.  C.  (2015).  Benchmarking  state-of-the-art classification  algorithms  for  credit  scoring:  An  update  of  research. European  Journal  of Operational Research , 247 (1), 124–136.
Liang, X., Peng, Y., & Shen, G. Q. (2016). A game theory based analysis of decision making for green retrofit under different occupancy types. Journal of Cleaner Production , 137 , 1300–1312.
McWilliams, J. A., & Walker, I. S. (2005). Home Energy Article : A Systems Approach to Retrofitting Residential HVAC Systems. Lawrence Berkeley National Laboratory .
Mearig, T., Coffee, N., & Morgan, M. (1999). Life Cycle Cost Analysis Handbook .
Mullainathan, S., & Spiess, J. (2017). Machine learning: An applied econometric approach. Journal of Economic Perspectives , 31 (2), 87–106.
Polzin, F., von Flotow, P., & Nolden, C. (2016). Modes of governance for municipal energy efficiency services - The case of LED street lighting in Germany. Journal of Cleaner Production , 139 , 133– 145.
Ruparathna, R., Hewage, K., & Sadiq, R. (2017). Economic evaluation of building energy retrofits: A fuzzy based approach. Energy and Buildings .
Stern, P. C. (2011). Contributions of Psychology to Limiting Climate Change. American Psychologist , 66 (4), 303–314.
US Environmental Protection Agency. (2008). ENERGY STAR - Building Upgrade Manual.
Varian, H. R. (2014). Big data: New tricks for econometrics. Journal of Economic Perspectives , 28 (2), 3–28.
West, D. (2000). Neural network credit scoring models. Computers and Operations Research , 27 (11– 12), 1131–1152.
Wiginton,  J.  C.  (1980).  University  of  Washington  School  of  Business  Administration  Cambridge University Press. Journal of Financial and Quantitative Analysis , XV (3), 757–770.
Yobas, M. B., Crook, J. N., & Ross, P. (2000). Credit scoring using neural and evolutionary techniques. IMA Journal of Mathematics Applied in Business and Industry , 11 (2), 111–125.