## PENILAIAN KELAYAKAN CALON PENYEDIA JASA KONSTRUKSI PENGADAAN BARANG/JASA PEMERINTAH MENGGUNAKAN MACHINE LEARNING
Eva Yustina 1 , Mokhamad Amin Hariyadi 2, Cahyo Crysdian 3*
1 Dinas Komunikasi dan Informatika Kota Batu
2,3 Magister Teknik Informatika, Universitas Islam Negeri Maulana Malik Ibrahim, Malang, Indonesia cahyo@ti.uin-malang.ac.id

## ABSTRAK
Pengadaan  Barang/Jasa  Pemerintah  bidang  konstruksi  menjadi  kunci  terlaksananya  pembangunan infrastruktur pada pemerintah pusat maupun daerah. Dalam menentukan calon penyedia jasa konstruksi dengan metode  pengadaan  langsung  merupakan  tugas  dari  Pejabat  Pengadaaan  Barang/Jasa.  Dengan  banyaknya  calon penyedia  jasa  konstruksi  yang  ada  maka  perlu  dilakukan  penilaian  kelayakan  calon  penyedia  jasa  konstruksi. Penelitian  ini  menggunakan  metode Decision  Tree dan Random  Forest untuk  penilaian  calon  penyedia  jasa konstruksi berupa perseroan terbatas maupun commanditare vennootschap dengan menggunakan dataset terdiri dari 154 record yang terdiri dari 5 variabel antara lain: tenaga ahli, pengalaman kerja, kualitas hasil pekerjaan, menang tender, dan nilai kontrak. Hasil Akurasi metode Random Forest lebih tinggi dibandingkan dengan dengan metode Decision Tree. Metode Random Forest menghasilkan akurasi sebesar 90,91% dengan nilai Area Under Curve (AUC)  sebesar  0,471,  sedangkan  metode Decision  Tree menghasilkan  akurasi  sebesar  84,85%,  dengan nilai Area Under Curve (AUC) sebesar 0,693.
Keyword : Pengadaan Barang/Jasa, Decision Tree, Random Forest

## 1. PENDAHULUAN
Pengadaan  Barang/Jasa  Pemerintah  bidang konstruksi menjadi kunci terlaksananya pembangunan  infrastruktur  pada  pemerintah  pusat maupun  daerah.  Sesuai  dengan  Peraturan  Presiden Nomor  12  Tahun  2021  Tentang  Perubahan  atas Peraturan Presiden Nomor 16 Tahun 2018 Tentang Pengadaan  Barang/Jasa  Pemerintah.  Pengadaan konstruksi  dapat  menggunakan  metode  tender, penunjukan  langsung  dan  pengadaan  langsung. Metode tender dipergunakan apabila nilai konstruksi lebih  dari  Rp.  200.000.000,00  (Dua  Ratus  Juta Rupiah), metode penunjukan langsung dipergunakan apabila terjadi keadaan kahar/bencana,  dan  metode  penunjukan  langsung dipergunakan  untuk  pekerjaan  dengan  nilai  paling besar Rp. 200.000.000,00 (Dua Ratus Juta Rupiah) [1].
Dalam  menentukan  calon  penyedia  jasa konstruksi  dengan  metode  pengadaan  langsung merupakan tugas dari Pejabat Pengadaaan Barang/Jasa. Pejabat Pengadaan Barang/Jasa hendaknya  menerapkan  prinsip  :  efisien,  efektif, transparan, terbuka, bersaing, adil dan akuntabel [1].
Dengan  banyaknya  calon  penyedia  jasa konstruksi yang ada maka perlu dilakukan penilaian kelayakan.  Pendekatan  yang  populer  digunakan untuk prediksi adalah klasifikasi. Metode klasifikasi banyak  dipergunakan  dalam  penelitian  antara  lain: Linear Regression, Naive Bayes,, Logistic Regression,  Support  Vector  Machine,  Neural Networks, Random Forest dan Decision Tree [2]. Pada penelitian yang dilakukan oleh Sasa Ani
Arnomo  tentang  penentuan  kelayakan  kredit
menggunakan  metode Decision  Tree didapatkan hasil akurasi sebesar 98% [3]. Kemudian penelitian yang  dilakukan  oleh  Shamala  Palaniappan  untuk mengidentifikasi nasabah potensial dalam berlangganan  deposito  jangka  panjang  dengan membandingkan  metode  Naïve  Bayes, Random Forest dan Decision Tree didapatkan akurasi 86,27
% dengan menggunakan Naïve Bayes , akurasi 88,81% dengan menggunakan Random Forest , dan akurasi 90,68% dengan menggunakan Decisiin Tree
[4] . Pada  penelitian  ini  menggunakan  data  primer yang  diperoleh  dari  Sistem  Informasi  Kinerja Penyedia (sikap.lkpp.go.id). Dataset terdiri dari 154 record  yang  akan  digunakan  dalam  penilaian kelayakan  calon  penyedia  jasa  konstruksi  dengan membandingkan metode Decision Tree dan Random Forest . Penelitian ini dimaksudkan untuk membantu pejabat  pengadaan  dalam  menilai  kelayakan  calon penyedia jasa konstruksi.

## 2. TINJAUAN PUSTAKA
2.1   Penyedia Jasa Konstruksi dalam Pengadaan Barang/Jasa Pemerintah Pengertian penyedia dan pekerjaan konstruksi telah  diatur  dalam  Peraturan  Presiden  Republik Indonesia Nomor 16 Tahun 2018 tentang Pengadaan Barang/Jasa Pemerintah, Dalam mendapatkan calon penyedia  barang/jasa  terdapat  4  (empat)  metode yang dipergunakan antara lain: seleksi, tender/seleksi  internasional,  penunjukan  langsung dan pengadaan langsung. Untuk pekerjaan konstruksi  dapat  menggunakan  metode  tender, penunjukan  langsung  dan  pengadaan  langsung.
Metode  tender  dipergunakan  untuk  pengadaan pekerjaan konstruksi minimal nilai Rp. 200.000.000,00  (Dua  Ratus  Juta  Rupiah)  dan dilaksanakan  oleh  panitia  pengadaan.  Pengadaan langsung  merupakan  metode  pemilihan  untuk mendapatkan penyedia barang/pekerjaan konstruksi/jasa konsultasi/jasa lainnya yang bernilai paling banyak Rp. 200.000.000,00 (Dua Ratus Juta Rupiah) dan dilakukan oleh pejabat pengadaan [1].
Pemilihan  penyedia  jasa  untuk  pekerjaan kostruksi  dengan  menggunakan  metode  pengadaan langsung dilakukan oleh pejabat pengadaan dengan mempertimbangkan  beberapa  persyaratan  sesuai dengan jenis pekerjaan tersebut.

## 2.2 Decision Tree
Dengan menerapkan  serangkaian  aturan keputusan Decision Tree dapat dipergunakan untuk membagi data yang besar menjadi himpunan record yang  lebih  kecil  [5]. Decision  Tree merupakan sebuah  struktur  pohon  dimana  setiap node mempresentasikan atribut yang telah diuji dan node daun  mempresentasikan  kelompok  kelas  tertentu [6].  Untuk  menyusun  pohon  keputusan  dengan tahapan:
a. Tentukan Atribut sebagai root ;
b. Tentukan cabang dari setiap nilai;
c. Bagi kasus dalam setiap cabang;
d. Proses  diulang  untuk  setiap  cabang  hingga semua kasus memiliki kelas yang sama [7]. Pemilihan  atribut  yang  akan  dijadikan root yaitu  dengan  menghitung  nilai  efektivitas  suatu atribut  dalam  klasifikasi  data  ( gain )  dari  semua atribut,  dan gain dengan  nilai  tertinggi  dijadikan root pertama.  Sebelum  menentukan  nilai gain diperlukan  perhitungan  nilai  informasi  yang menyertakan ukuran ketidakpastian dari atribut atau dikenal dengan entropy [8].
Persamaan menghitung nilai Entropy :
𝐸𝑛𝑡𝑟𝑜𝑝𝑦 (𝑆) =   ∑ 𝑛 𝑗=1 𝑝𝑖. 𝑙𝑜𝑔2𝑝𝑖 (1)
dengan:
S = Himpunan Kasus n = Jumlah partisi S
pi = Proporsi Si terhadap S
Persamaan menghitung nilai gain :
𝐺𝑎𝑖𝑛(𝑆, 𝐴) = 𝐸𝑛𝑡𝑟𝑜𝑝𝑦(𝑆) − ∑ 𝑛 𝑖=1 |𝑆𝑖| |𝑠| +
𝐸𝑛𝑡𝑟𝑜𝑝𝑦(𝑆𝑖) (2) dengan: S = Himpunan Kasus
A = Atribut n = jumlah partisi atribut A S i | = Jumlah Kasus Pada Partisi ke-i |S|  = Jumlah Kasus dalam S
2.3 Random Forest Metode Random Forest
merupakan pengembangan  dari  metode  CART,  dengan menerapkan  metode aggregating  (bagging)  dan random feature selection [9]. Metode ini terdiri dari beberapa pohon keputusan yang dibangun menggunakan  variabel  acak  sehingga  terbentuk hutan  ( forest ).  Kumpulan  data  yang  terdiri  atas n amatan  dan p peubah  penjelas,tahapan Random Forest sebagai berikut [9]: 1. Tahapan bootstrap dengan melakukan penarikan contoh acak berukuran n dengan pemulihan pada gugus data.
2. Tahapan random feature selection yaitu dengan menggunakan bootstrap , tree dibangun  sampai ukuran  maksimum  tanpa  melakukan pruning . Setiap node dipilih  dengan m peubah  penjelas secara random dengan ketentuan m < p (pemilah)
3. Langkah 1 dan 2 diulang  hingga k kali sehinga terbentuk hutan yang terdiri dari k pohon.

## 3. METODE PENELITIAN
3.1   Desain Penelitian
Pada penelitian ini, terdapat beberapa langkah yang  dilakukan  secara  berurutan  dimulai  dari pengumpulan  data,  desain  sistem,  eksperimen, komparasi  dan  kesimpulan.  Alur  desain  penelitian dapat dilihat pada Gambar 1.

## Gambar 1. Desain Penelitian

## 3.2   Pengumpulan Data
Pengumpulan  data  bagian  terpenting  dalam penelitian,  dimana  data  yang  tersedia  menjadi penentu pada proses pengolahan dan analisis.  Data yang  digunakan  merupakan  data  primer,  dimana data  dikumpulkan  secara  langsung  dari  hasil penilaian penyedia oleh Pejabat Pembuat Komitmen (PPK)  pada  laman  https://sikap.lkpp.go.id/  [10], data  tersebut  merupakan  data  penyedia  jasa konstruksi sebanyak 154 dataset yang terdiri dari 5 variabel yaitu jumlah tenaga ahli, pengalaman kerja, kualitas hasil pekerjaan, jumlah menang tender dan jumlah nilai kontrak.

## 3.3.   Desain Sistem
Penelitian  ini  digunakan  untuk  menilai kelayakan  calon  penyedia  jasa  konstruksi  dengan metode Decision  Tree dan random  forest .  Alur proses desain sistem pada Gambar 2.

## Gambar 2. Desain Sistem
Tahap  selanjutnya  menentukan rule layak dengan  memperhatikan  relevansi  semua  variabel. Berikut rule penilaian  layak  dengan  relevansi variabel pada tabel 1.
Tabel 1. Aturan Penilaian Layak
Variabel Kriteria Tenaga Ahli Memiliki lebih dari 3 Orang Pengalaman Kerja Pernah mengerjakan minimal 4 pekerjaan Kualitas Hasil Pekerjaan Lebih dari 80% Menang Tender Pernah menang tender 3 kali Nilai Kontrak Lebih dari Rp. 200.000.000,-

## 4. HASIL DAN PEMBAHASAN
Pengujian  dilakukan dengan  membagi dataset menjadi  dua:    data  latih  dan  data  uji.  Data  latih merupakan  data  yang  berfungsi  untuk  membangun dan  melatih  model  klasifikasi.  Sedangkan  data  uji merupakan data yang dipergunakan untuk pengujian menggunakan  klasifikasi  yang  sebelumnya  sudah dibangun  dengan  data  latih  [11].  Pembagian  data latih dan data uji pada umumnya menggunakan data latih sebanyak 70-80% dan data uji 20-30% dari data yang tersedia. Berdasarkan pengujian secara empiris yang dilakukan oleh Afshin Ghomami menyimpulkan  bahwa  “pembagian  yang  terbaik untuk data latih dan data uji adalah 80% : 20%” [12]. Pada penelitian ini pembagian data latih dan data uji sebesar  80%  :  20%.    Pengujian  dilakukan  dengan menggunakan  metode Decision  Tree dan Random Forest.
4.1   Eksperiment dengan Decision Tree Decision  Tree digunakan  untuk  menentukan prediksi  dengan  menggunakan  dataset  yang  telah dilakukan feature  extraction terlebih  dahulu.
Flowchart  proses  prediksi  dengan  menggunakan Decision Tree seperti Gambar 3.
Gambar 3. Flowchart Decision Tree
Pada  Gambar  3  terdapat feature  extraction dengan  menentukan  kelas  rekomendasi  yang diperoleh  dengan  menerapkan  aturan  yang  telah dibuat pada Tabel 1.
Dengan menggunakan persamaan 2 didapatkan pohon  keputusan  dengan  tenaga  ahli  sebagai  akar ( root ) seperti pada Gambar 3.
Gambar 4. Pohon Keputusan
Dari  eksperimen  yang  dilakukan  didapatkan akurasi  84,85%,  nilai Area  Under  Curve (AUC)
0,693.  AUC  digunakan  mengukur  hasil  akurasi sebagai  indikator  kinerja  model  yang  dijalankan. Garis vertical sebagai garis dengan true form positif dan false positive sebagai garis horizontal [13].
Gambar 5. Grafik AUC Decision Tree
4.2   Eksperiment dengan Random Forest
Metode Random  Forest digunakan  untuk menentukan  prediksi  dan  didapatkan  100  pohon ( tree ).  Setiap  variabel  yang  dipergunakan  dapat menjadi akar (root) maupun daun ( leaf ). Kumpulan tree tersebut membentuk hutan ( forest ).
Hasil akurasi dari eksperimen  yang dilakukan sebesar  90,91%,  dengan  nilai Area  Under  Curve (AUC) sebesar 0,471.
Gambar 6. Grafik AUC Random Forest
5. KESIMPULAN DAN SARAN
Hasil  pengujian Decision  Tree dan Random Forest untuk  penilaian  calon  penyedia  jasa konstruksi  digunakan  pada  penelitian  ini  diperoleh akurasi Random  Forest lebih  tinggi  dibanding dengan Decision Tree.
Random Forest menghasilkan  akurasi  90,91%  dengan  nilai Area
Under  Curve (AUC)  0,471,  sedangkan Decision Tree menghasilkan  akurasi  84,85%,  dengan  nilai Area  Under  Curve (AUC)  0,693,  hal  ini menunjukkan  bahwa  Random Forest lebih  cocok digunakan  untuk  penilaian  kelayakan  calon penyedia jasa konstruksi. Untuk mendapatkan hasil yang lebih baik, penelitian ini dapat dikembangkan dengan menggunakan metode klasifikasi lainnya.

## DAFTAR PUSTAKA
[1]  Indonesia,  “Peraturan  Presiden  Nomor  12 Tahun 2021 tentang Perubahan atas Peraturan Presiden  Nomor  16  Tahun  2018  Tentang Pengadaan
Barang/Jasa Pemerintah.”
Lembaran  Negara  Republik  Indonesia  Tahun
2021  Nomor  63,  Sekretariat  Negara,  Jakarta, 2021.
[2]  T. Hall, S. Beecham, D. Bowes, D. Gray, and S. Counsell, “A systematic literature review on fault  prediction  performance  in  software engineering,” IEEE Transactions on Software Engineering ,  vol.  38,  no.  6.  pp.  1276–1304, 2012.
[3]  S.  A.  Arnomo,  A.  A.  Fajrin,  Y.  Siyamto,  S. Fairuz,  and  N.  Sadikin,  “Evaluasi  Model Decision  Tree  Pada  Keputusan  Kelayakan Kredit,” Indonesia, 2023.
[4]  S.  Palaniappan,  A.  Mustapha,  C.  Feresa,  M. Foozy, and R. Atan, “Customer Profiling using
Classification Approach for Bank Telemarketing,” Malaysia, 2017.
[5]  M. J. A Berry and G. S. Linoff, “Data Mining Techniques:  For  Marketing,  Sales,  and Customer  Relationship  Management,  Second Edition”, Wiley Publishing, Inc, 2004.
[6]  J.  Han et  al. ,  “Data  Mining Concept  and Techniques”, Morgan Kaufmann Publishers, San Fransisco, 2006.
[7]  A.  H.  Nasrullah,  “Implementasi  Algoritma Decision  Tree  Untuk  Klasifikasi  Produk Laris,” Jurnal  Ilmiah  Ilmu  Komputer ,  vol.  7, no. 2, pp. 45–51, 2021.
[8]  Y.  .  Mardi,  “Data  Mining :  Klasifikasi Menggunakan  Algoritma  C4.5,” J.  Edik Inform. ,vol. 2, no. 2, pp. 213–219, 2017.
[9]  Breiman  L,  “Random  Forest”,  Machine Learning 45:5-32, Kluwer Acadecic Publisher , Netherlands, 2001.
[10]  https://sikap.lkpp.go.id/
[11]  R.  Darmawan  and  S.  Amini,  “Perbandingan Hasil Sentimen Analysis Menggunakan Algoritma  Naïve  Bayes  dan  K-Nearest Neighbor  pada  Twitter  Comparison  of Sentiment Analysis Results Using Naïve Bayes and  K-  Nearest  Neighbor  Algorithm  on Twitter,” 2022.
[12]  A.  Gholamy,  V.  Kreinovich,  and  O. Kosheleva,  “A  Pedagogical  Explanation  A Pedagogical Explanation Part of the Computer Sciences Commons,” 2018
[13]  C.  Vercellis,  “Business  Intelligence:  Data Mining  and  Optimization  for  Decision Making”, John Wiley & Sons, Ltd., Publication , 2011