J URNAL T EKNOLOGI DAN M ANAJEMEN - V OL . 19 N O . 2 (2021) 87-94

## Jurnal Teknologi dan Manajemen
ISSN (Print) 1693-2285

## Artikel Penelitian

## Perbandingan Performa Model Data Mining untuk Prediksi Dropout Mahasiwa
Muchamad Taufiq Anwar 1 , Denny Rianditha Arief Permana 1
1 Politeknik STMI Jakarta, Jl Letjend Suprapto No 26, Jakarta Pusat, 10510, Indonesia

## I NFORMASI A RTIKEL

## A B S T R A K
Diterima           : 16 Juli 2021 Direvisi            : 09 Agustus 2021
Diterbitkan       : 28 Agustus 2021
Penentuan  teknik/model  data  mining  yang  tepat  pada  sebuah  kasus  sangat  penting  untuk mendapatkan model yang baik (tingkat akurat tinggi dan kesesuaiannya dengan masalah yang dipecahkan). Penelitian ini bertujuan untuk membandingkan performa teknik data mining untuk diterapkan  pada  kasus  prediksi dropout mahasiswa.  Perbandingan  performa  dilakukan menggunakan  library PyCaret pada  Python  untuk  melakukan  pemodelan  menggunakan  14 model  /  teknik  data  mining  yaitu: Extreme  Gradient  Boosting,  Ada  Boost  Classifier,  Light Gradient  Boosting  Machine,  Random  Forest  Classifier,  Gradient  Boosting  Classifier,  Extra Trees  Classifier,  Decision  Tree  Classifier,  K  Neighbors  Classifier,  Naive  Bayes,  Ridge Classifier,  Linear  Discriminant  Analysis,  Logistic  Regression,  SVM  -  Linear  Kernel, dan Quadratic  Discriminant  Analysis .  Metrik  evaluasi  performa  model  yang  digunakan  yaitu Accuracy,  AUC,  Recall,  Precision,  F1,  Kappa ,  dan MCC ( Matthews  correlation  coefficient ). Hasil  eksperimen  menunjukkan  bahwa  kasus  prediksi dropout mahasiswa  lebih  tepat  jika dimodelkan  dengan  model  berbasis ensemble  learner dan  pohon  keputusan  dengan  akurasi mencapai 99%. Pohon keputusan memiliki keunggulan dibandingkan model lain seperti SVM - Linear Kernel dan Quadratic Discriminant Analysis karena ia dapat dengan lebih detil dalam memisahkan  data  ke  dalam  kedua  kelas  target.  Setelah  dilakukan  penyesuaian  atribut, pembuangan data dengan missing values , dan parameter tuning , didapatkan hasil akurasi yang mirip  dari berbagai model yaitu sebesar  87%.  Perbedaan akurasi  antar  model menjadi  sangat kecil di saat atribut data yang digunakan sedikit.
K ATA K UNCI
klasifikasi, machine learning, perbandingan performa data mining, pycaret

## K ORESPONDENSI
E-mail Author Korespondensi: taufiq@stmi.ac.id E-mail Co-Author: dennyrian76@stmi.ac.id

## PENDAHULUAN
Teknik Data Mining (DM) atau yang secara lebih umum merupakan  lingkup  teknik Machine  Learning (ML) merupakan  cara-cara  untuk  memprediksi  sebuah keadaan berdasarkan  pemodelan  terhadap  data.  Hingga  saat  ini sudah  banyak  terdapat  teknik  DM/ML  yang  tersedia  dan masing-masing  memiliki  karakteristik  tersendiri.  Dalam sebuah  usaha  penyelesaian  masalah  dengan  teknik DM/ML, kita perlu memilih dan menggunakan teknik yang tepat  agar  model  prediktif  yang  dihasilkan  memiliki performa  yang  baik  dan  cocok  dengan  masalah  yang dipecahkan. Untuk mengetahui model yang terbaik, dapat dilakukan dengan melakukan beberapa eksperimen untuk menguji setiap model yang ada.
Riset  oleh  Anwar  pada  tahun  2021  untuk  prediksi  kasus dropout mahasiswa hanya menggunakan satu model saja, yaitu  C4.5  (Muchamad  Taufiq  Anwar,  Heriyanto,  & Fanini, 2021). Hal tersebut memunculkan pertanyaan baru
apakah  memang  model  C4.5  merupakan  model  terbaik untuk diterapkan dalam kasus tersebut, sehingga penelitian ini  bertujuan  untuk  mengetahui  teknik  DM  yang  terbaik untuk diterapkan pada kasus prediksi dropout mahasiswa. Dengan  ditemukannya  model  yang  terbaik,  maka  model akhir  yang  digunakan  akan  memiliki  akurasi  yang  tinggi dalam kemampuan prediksinya. Riset tentang perbandingan  teknik  DM  semacam  ini  sesungguhnya umum  untuk  dikerjakan,  seperti  misalnya  riset  (M  T Anwar, Hadikurniawati, Winarno, & Widiyatmoko, 2020) yang  membandingkan  performa  tiga  teknik data  mining untuk prediksi hujan, riset (Arbain & Balakrishnan, 2019) yang  membandingkan  enam  teknik  DM  untuk  prediksi penyakit hati, riset (Luo et al., 2017) yang membandingkan tiga  teknik  DM  untuk  prediksi  penyakit  jantung  bawaan, dan  lain  sebagainya.  Dalam  alur  kerja  pengembangan model  prediksi,  hendaknya  memang  diperlukan  tahapan pembandingan  performa  teknik  DM  untuk  menentukan teknik atau model apa yang paling tepat untuk digunakan. Kasus  prediksi dropout yang  digunakan  dalam  penelitian ini  merupakan  sebuah  masalah  /  kasus  klasifikasi.
Sebanyak 14 teknik DM akan dibandingkan performanya dalam  memprediksi  kemungkinan  seorang  mahasiswa untuk dropout /lulus.  Model  yang  terbaik  dapat  diketahui berdasarkan  dari  metrik  evaluasi  performa  model  seperti akurasi dan lain-lain.

## METODE
Metode  penelitian  dalam  riset  ini  ditunjukkan  pada Gambar  1.  Data  yang  digunakan  dalam  penelitian  ini merupakan  data  yang  juga  digunakan  pada  riset  Anwar tahun 2021 (Muchamad Taufiq Anwar et al., 2021). Data terdiri dari 10 kolom Indeks Prestasi Semester dengan tipe data numerik dan satu kolom kelas tujuan dengan tipe data nominal  yang  terdiri  dari  dua  kelas  yaitu  “Lulus”  dan “DO”. Secara keseluruhan terdapat  979 baris data dalam dataset ini.
Pemrosesan  awal  data  ( data  pre-processing )  dilakukan untuk  menangani  entri  data  yang  terdapat  nilai  kosong ( missing  values ).  Proses  ini  disebut  juga  dengan  istilah imputasi, yaitu pemberian nilai dugaan ke dalam entri data yang  sebelumnya  kosong.  Teknik  imputasi  yang  paling umum  diterapkan  dalam  data  numerik  adalah  dengan menggunakan  nilai  rata-rata  dari  masing-masing  atribut. Selain  imputasi,  terdapat  opsi  lain  untuk  menangani  data dengan missing values , yaitu dengan membuang entri data yang  memiliki missing  values tersebut.  Proses  penangan missing values ini penting untuk dilakukan karena sebagian besar teknik DM tidak dapat memproses data yang terdapat missing  values di  dalamnya.  Adapun  tahap  pemilihan atribut  dilakukan  dalam  eksperimen  lanjutan  untuk menguji pengaruh atribut terhadap akurasi model.

## Gambar 1. Metode penelitian
Data yang telah siap olah kemudian akan diproses oleh 14 macam model DM yaitu: Extreme Gradient Boosting, Ada Boost  Classifier,  Light  Gradient  Boosting  Machine, Random  Forest  Classifier,  Gradient  Boosting  Classifier, Extra  Trees  Classifier,  Decision  Tree  Classifier,  K
Neighbors  Classifier,  Naive  Bayes,  Ridge  Classifier, Linear Discriminant Analysis, Logistic Regression, SVM - Linear  Kernel, dan Quadratic  Discriminant  Analysis . Dalam  tahap  awal  ekperimen,  semua  model  akan dijalankan dengan menggunakan setelan standar ( default ). Untuk mengusahakan performa yang lebih baik, beberapa model  dapat  dilakukan  ‘ parameter  tuning ’,  yaitu  dengan mengubah-ubah  setelan  parameter  modelnya.  Terakhir, evaluasi performa model dilakukan dengan teknik 10-fold cross-validation di mana 90% data dijadikan sebagai data training dan 10% lainnya menjadi data testing dan diulang 10  kali  untuk  setiap  bagian  yang  berbeda.  Sementara metrik  evaluasi  performa  model  yang  digunakan  yaitu Accuracy, AUC, Recall, Precision, F1, Kappa , dan MCC ( Matthews correlation coefficient ). Proses penyiapan data, eksperimentasi pemodelan, dan pengujian performa ke-14 model  DM  akan  dibantu  dengan  menggunakan library bernama  PyCaret  pada  Python.  Pycaret  memungkinkan kita untuk menguji banyak model secara mudah dan cepat.
PyCaret  merupakan library  lowcode untuk  ML  dalam Python  (Ali,  2020). Lowcode berarti  ia  hanya membutuhkan  sangat  sedikit  kode  dalam  pengunaannya. PyCaret  sendiri  terinspirasi  dari package bernama caret ( Classification  And  REgression  Training )  pada  bahasa  R yang memiliki fungsi yang mirip, yaitu menyederhanakan proses  pembuatan  model  ML.  PyCaret  pada  dasarnya merupakan wrapper yang memanfaatkan beberapa library dan framework ML  seperti scikit-learn,  XGBoost, Microsoft  LightGBM,  spaCy dan  lain-lain.  PyCaret  versi stabil pertama (versi 1.0.0) dipublikasikan oleh Moez Ali pada  April  2020.  Saat  ini  sudah  ada  beberapa  riset  yang menggunakan library ini untuk berbagai keperluan seperti klasifikasi  deformasi  jembatan  (Avendano,  Otero,  & Otero,  2021),  klasifikasi  citra  satelit  (Larsen,  Noever, MacVittie, & Lilly, 2021), prediksi fraksi tak-terikat dalam plasma  manusia  (Mulpuru  &  Mishra,  2021),  prakiraan kasus  covid-19  di  India  (Hota,  Handa,  &  Shrivas,  2021), dan  deteksi  anomasi  data  curah  hujan  harian  (Herho, Fajary, & Irawan, 2021).
Proses  yang  dapat  dilakukan  oleh  PyCaret  antara  lain adalah penyiapan data, pemodelan, pembandingan model, parameter  tuning ,  dan  abstraksi  model.  Dari  banyaknya kemampuan  PyCaret  ini,  ada  kalanya  sebuah  riset  hanya menggunakan  sebagian  saja  dari  proses  yang  terdapat dalam  PyCaret  tersebut.  Misalnya  dalam  sebuah  riset, PyCaret digunakan hanya untuk keperluan memilih model ML yang terbaik berdasarkan akurasinya (Kuhn & George, 2021). PyCaret juga ada kalanya khusus digunakan untuk menyiapkan data untuk kemudian diproses oleh algoritma ML,  selain  juga  digunakan  untuk    menguji  performa berbagai teknik ML (Aguilar-Dominguez, Ejeh, Dunbar, & Brown,  2021).  Selain  itu,  PyCaret  juga  dapat  digunakan untuk hyperparameter-tuning dengan menggunakan teknik
grid  search (Terragni,  Fersini,  Galuzzi,  Tropeano,  & Candelieri, 2021). PyCaret dapat juga dikustomisasi untuk keperluan  tertentu  seperti  yang  dilakukan  oleh  (do Nascimento et al., 2021) untuk keperluan analisis prediktif pada  laboratorium  kesehatan.  PyCaret  merupakan  salah satu  dari  banyak framework autoML lainnya  seperti PyTorch , Theano ,  dan  lain  sebagainya  (Gain  &  Hotti, 2021).  Menurut  riset  (Gain  &  Hotti,  2021),  PyCaret memiliki keunggulan karena ia kompatibel dengan Google Colaboratory (Colab)  dan  aplikasi  BI  ( business intelligence ).  PyCaret  sendiri  memiliki  beberapa  modul yaitu  klasifikasi,  regresi, clustering , Association  Rule Mining ,  deteksi  anomali,  dan Natural  Language Processing .  Dalam  kasus  ini,  PyCaret  digunakan  untuk klasifikasi.  Versi  PyCaret  yang  digunakan  dalam eksperimen ini adalah versi 2.3.1.

## HASIL DAN DISKUSI
Pada percobaan pertama, seluruh data digunakan dan pada entri data yang terdapat missing values dilakukan imputasi dengan  cara  mengambil  rerata  untuk  masing-masing atribut.  Dalam  penelitian  ini  juga  tidak  dilakukan penyeimbangan  kelas.  Selengkapnya,  setelan  eksperimen pertama dengan PyCaret ditunjukkan pada Tabel 1. Hasil perbandingan  performa  ke-14  model  ditunjukkan  pada Tabel  2.  Waktu  yang  diperlukan  untuk  melakukan keseluruhan eksperimen pada 14 model berkisar antara 20- 30 detik dengan spesifikasi komputer i3 dual-core 2.0 GHz dan RAM 8 GB.
Tabel  1.  Setelan  eksperimen  PyCaret  dengan  menggunakan seluruh data dan imputasi untuk data dengan missing values Description Value session_id 3082 Target StatusTerakhir Target Type Binary Label Encoded DO: 0, Lulus: 1 Original Data (979, 11) Missing Values TRUE Numeric Features 10 Categorical Features 0 Ordinal Features FALSE High Cardinality Features FALSE High Cardinality Method None Transformed Train Set (685, 10) Transformed Test Set (294, 10) Shuffle Train-Test TRUE Stratify Train-Test FALSE Fold Generator StratifiedKFold Fold Number 10 CPU Jobs -1
Use GPU FALSE Log Experiment FALSE Experiment Name clf-default-name USI d7af Imputation Type simple Iterative Imputation Iteration None Numeric Imputer mean Iterative Imputation Numeric Model None Categorical Imputer constant Iterative Imputation Categorical Model None Unknown Categoricals Handling least_frequent Normalize FALSE Normalize Method None Transformation FALSE Transformation Method None PCA FALSE PCA Method None PCA Components None Ignore Low Variance FALSE Combine Rare Levels FALSE Rare Level Threshold None Numeric Binning FALSE Remove Outliers FALSE Outliers Threshold None Remove Multicollinearity FALSE Multicollinearity Threshold None Clustering FALSE Clustering Iteration None Polynomial Features FALSE Polynomial Degree None Trignometry Features FALSE Polynomial Threshold None Group Features FALSE Feature Selection FALSE Feature Selection Method classic Features Selection Threshold None Feature Interaction FALSE Feature Ratio FALSE Interaction Threshold None Fix Imbalance FALSE Fix Imbalance Method SMOTE
Tabel  2.  perbandingan  performa  14  model  ML  dengan menyertakan seluruh data dan imputasi misisng values
Model Accu racy AU C Re cal l Pr ec. F1 Ka pp a M CC Extreme Gradient Boosting 0.99 71 0.9 98 6
1 0.9 95 8 0.9 97 9 0.9 932 0.9 93 3 Decision Tree Classifier 0.99 56 0.9 94 4 0.9 97 9 0.9 95 8 0.9 96 8 0.9 898 0.9 9 Random Forest Classifier 0.99 56 0.9 99
2 1 0.9
93 7 0.9 96 8 0.9 898 0.9 9 Extra Trees Classifier 0.99 56 0.9 99 7 1 0.9
93 7 0.9 96 8 0.9 898 0.9 9 Ada Boost Classifier 0.99 42 0.9 93 5 0.9 97 9 0.9 93 6 0.9 95 7 0.9 865 0.9 86 6 Light Gradient Boosting Machine 0.99 42 0.9 98 6 0.9 97 9 0.9 93 6 0.9 95 7 0.9 865 0.9 86 6 Gradient Boosting Classifier 0.99 41 0.9 91 7 0.9 97 9 0.9 93 7 0.9 95 7 0.9 864 0.9 86 6 K Neighbors Classifier 0.95 33 0.9 89 8 0.9 44 4 0.9 87 0.9 65 0.8 948 0.8 97 7 Naive Bayes 0.89 19 0.9 81 9 0.8 46 1 0.9 95 2 0.9 14 0.7 711 0.7 90 9 Logistic Regression 0.88 33 0.9 13 8 0.9 59 4 0.8 83 3 0.9 19 0.7 117 0.7 23 4 Linear Discriminant Analysis 0.87 15 0.9 03 7 0.9 93 6 0.8 47 4 0.9 14 1 0.6 663 0.7 03 2 Ridge Classifier 0.86 86 0 0.9 93 6 0.8 44 2 0.9 12 3 0.6 582 0.6 96 6 SVM - Linear Kernel 0.81 45 0 0.8 32
9 0.9 00
2 0.8 53
9 0.5
908 0.6 19 3 Quadratic Discriminant Analysis 0.73 71 0.6 42 9 0.9 40 4 0.7 77 9 0.8 34 9 0.2 155 0.2 24 6
Perlu  diperhatikan  bahwa  hasil  eksperimen  bisa  sedikit berbeda  ketika  dijalankan  pada  waktu  yang  lain  (meski perbedaannya  sangat  kecil)  karena  beberapa  teknik  ML seperti Random  Forest dan Extreme  Gradient  Boosting menggunakan  inisiasi  acak.  Selain  itu,  data training dan data testing juga  dipilih  secara  acak.  Hasil  eksperimen menunjukkan  bahwa  kasus  prediksi dropout mahasiswa lebih tepat jika dimodelkan dengan model berbasis pohon keputusan  dengan  akurasi  mencapai  99%.  Di  sisi  lain, model  seperti  Linear  SVM  dan  QDA  kurang  tepat  untuk digunakan  karena  teknik  tersebut  memiliki  jumlah  dan bentuk hyperplane yang terbatas dalam membagi “ruang” data  menjadi  kedua  kelas  –  sementara  model  berbasis pohon  keputusan  dapat  memiliki  lebih  banyak  garis
pembatas  yang  membuat  pemisahan  antara  kedua  kelas menjadi lebih akurat seperti diilustrasikan pada Gambar 2. Dengan  demikian,  disimpulkan  bahwa  kasus  klasifikasi mahasiswa dropout lebih  tepat  jika  diprediksi  dengan model  berbasis  pohon  keputusan  karena  ia  lebih  sesuai dengan karakteristik masalah.
(a)
(b)
Gambar 2. Ilustrasi perbandingan garis pemisah ( hyperplane ) (garis warna hijau) pada kasus (a) Linear SVM dan (b) Pohon keputusan ( Decision Tree )
Pola  lain  yang  tampak  adalah  bahwa  teknik ensemble learning seperi Extreme  Gradient  Boosting dan Random Forest juga  memiliki  keunggulan  dibandingkan  dengan teknik  “tradisional”  seperti Naïve  Bayes .  Namun  patut diperhatikan  juga  bahwa  pohon  keputusan  tunggal  juga memiliki akurasi yang sangat  baik dan sebanding  dengan teknik ensemble learning . Hal ini dapat dijelaskan karena jumlah atribut yang tidak cukup banyak (sepuluh atribut) dan  jumlah  data  yang  sekitar  1000  yang  membuat perbedaan akurasi antara teknik ensemble decision tree dan single decision tree tidak terpaut banyak.
Perlu  diperhatikan  bahwa  PyCaret  melakukan  imputasi terhadap  data  dengan missing  values karena  ia  harus menguji 14 model ML sekaligus, sementara sebagian besar teknik  ML  tidak  dapat  memproses  data  dengan missing values .  Hal  ini  menjadi  masalah  dalam  eksperimen pertama. Imputasi  ini menyebabkan mahasiswa yang DO pada semester 2 yang seharusnya tidak memiliki nilai IPS 3 sampai IPS8 menjadi memiliki nilai IPS untuk semester setelah ia DO. Imputasi semacam ini tentunya tidak tepat untuk  dilakukan  dalam  kasus  ini.  Percobaan  kedua dilakukan  dengan  hanya  menggunakan  atribut  IPS1  dan IPS2 dan menghilangkan baris data yang memiliki missing values .  Eksperimen  ini  sekaligus  untuk  membandingkan dengan  penelitian  sebelumnya  yang  menemukan  bahwa atribut yang paling berpengaruh dalam prediksi DO adalah IPS1 dan IPS2 (Muchamad Taufiq Anwar et al., 2021).

## Penanganan missing values, penyesuaian atribut, dan parameter tuning
Ketika  hanya  digunakan  dua  atribut  yaitu  IPS1  dan  IPS2 dan  menghilangkan  data  dengan missing  values sehingga menghasilkan  927  data,  hasil  uji  performanya  adalah seperti ditunjukkan pada Tabel 3. Hasil eksperimen kedua ini  menunjukkan  bahwa  secara  umum  nilai  akurasi  yang didapat  lebih  rendah  dari  eksperimen  pertama.  Hal  ini dapat  dapat  dipahami  karena  pada  eksperimen  pertama digunakan lebih banyak atribut. Perlu dicatat bahwa pada eksperimen  pembandingan  model,  hal  tersebut  hanya digunakan  untuk  mengetahui  kemampuan  dasar  dari masing-masing teknik ML / DM. Hal ini perlu dilanjutkan dengan parameter  tuning untuk  mendapatkan  performa terbaik dari sebuah model. Paramater tuning ini juga dapat dilakukan dengan PyCaret dengan perintah “ tune model ”. Di sini dilakukan parameter tuning untuk beberapa model, yaitu Logistic  Regression (LR), Extreme  Gradient Boosting (XGB), Decision  Tree (DT),  dan SVM  -  Linear Kernel (L-SVM). Perbandingan performa keempat model tersebut  antara  sebelum  dan  sesudah parameter  tuning ditunjukkan pada Tabel 4.
Tabel  3.  Perbandingan  performa  14  model  ML  dengan menyertakan  hanya  data  lengkap  (tanpa misisng  values ),  tanpa imputasi, dan hanya menggunakan atribut IPS1 dan IPS2
Model Acc ura cy AU C Rec all Pre c. F1 Ka ppa MC C Logistic Regression 0.8 75 0.8 453 0.9
854 0.8 65 0.9 211 0.6 265 0.6 609 Naive Bayes 0.8 673 0.8 438 0.9 687 0.8 679
0.9 153
0.6 128 0.6 36 Ada Boost Classifier 0.8 672 0.8 014 0.9 729 0.8 655 0.9 157 0.6 085 0.6 37 Gradient Boosting Classifier 0.8 642 0.8 109
0.9 583
0.8 713 0.9 123 0.6 126 0.6 321 K Neighbors Classifier 0.8 611 0.8 234 0.9 5 0.8 738 0.9 098 0.6 086 0.6 248
Linear Discriminant Analysis 0.8 564 0.8 45 0.9 917 0.8 431 0.9 11 0.5 517 0.6 077 SVM  -  Linear Kernel 0.8 55 0 0.9 75 0.8 516 0.9 083 0.5 653 0.6 103 Quadratic Discriminant Analysis 0.8 533 0.8 269 0.9 645 0.8 563 0.9 068 0.5 674 0.5 948 Ridge Classifier 0.8 518 0 0.9 917 0.8 383 0.9 083 0.5 353 0.5 941 Extreme Gradient Boosting 0.8 457 0.7 885 0.9 271 0.8 73 0.8 984 0.5 772 0.5 904 Random  Forest Classifier 0.8 442 0.8 037 0.9 333 0.8 665 0.8 983 0.5 665 0.5 787 Light  Gradient Boosting Machine 0.8 441 0.8 113 0.9 292 0.8 696 0.8 979 0.5 69 0.5 803 Extra Trees Classifier 0.8 381 0.7 885 0.9 188 0.8 699 0.8 931 0.5 587 0.5 679 Decision  Tree Classifier 0.7 81 0.7 323 0.8 353 0.8 648 0.8 486 0.4 502 0.4 551
Tabel 4. Perbandingan performa 4 model ML antara model dasar dan model setelah dilakukan parameter tuning
Mode l Base Model Tuned-Up Model Accur acy Recall Precisi on Accur acy Recall Precisi on LR 0.875 0.9854 0.865 0.8765 0.9854 0.8665 XGB 0.8457 0.9271 0.873 0.8657 0.9771 0.861 DT 0.781 0.8353 0.8648 0.8703 0.9812 0.8629 L- SVM 0.8550 0.9750 0.8516 0.8612 0.9771 0.8566
Hasil parameter  tuning menunjukkan  bahwa  model Decision Tree (DT) yang memiliki akurasi terendah dalam perbandingan model dasar, kini setelah dilakukan tuning , akurasi bisa mencapai 0.8703 – sudah setara dengan model terbaik. Sementara model terbaik yaitu Logistic Regression ketika  di- tuning hanya  terjadi  peningkatan  minimal menjadi  0.8765.  Begitu  pun Extreme  Gradient  Boosting akurasinya hanya naik  sedikit  menjadi  0.8657. Ini berarti DT  dapat  menerima  manfaat  dari parameter  tuning dibandingkan model lain (bahkan untuk model yang lebih kompleks  seperti  RF  dan  XGB  sekalipun  yang  mana mereka  seharusnya  bisa  lebih  mengambil  manfaat  dari parameter  tuning (M  T  Anwar  et  al.,  2020;  Muchamad Taufiq Anwar, 2021; Hadikurniawati, Anwar, Marlina, & Kusumo,  2021)).  Setelah  dilakukan tuning ,  hasil  akhir akurasi  antar  model  menjadi  mirip,  yaitu  sebesar  87%. Dengan  demikian  dapat  disimpulkan  bahwa  pengaruh pilihan model terhadap akurasi adalah sangat kecil.
Ketika  dilakukan parameter  tuning pada  DT, Recall mengalami  perbaikan,  sementara precision tidak.  Hal  ini berarti  bahwa parameter  tuning pada  DT  mengakibatkan pengurangan  pada  prediksi  negatif  yang  salah  ( False-
Negatif) yaitu  ketika  mahasiswa  yang  sebenarnya  “DO” justru  diprediksi  sebagai  “Lulus”.  Dalam  kasus  seperti prediksi  DO  ini, Recall menjadi  metrik  yang  penting karena ia mengukur keberhasilan model dalam memprediksi  secara  benar  apakah  seorang  mahasiswa masuk pada kelas DO yang mana hal itu menjadi hal yang perhatian  dalam  penanganan  masalah  DO.  Hasil  pohon keputusan  dan confusion  matrix untuk  model  DT ditunjukkan pada Gambar 3 dan Gambar 4. Kelas 0 adalah kelas  “DO”  sementara  kelas  1  adalah  “Lulus”.  Hasil akurasi  dari  model  DT  ini  sedikit  berbeda  dari  riset sebelumnya karena ada sedikit perbedaan pada data, teknik splitting dalam  pembuatan  pohon  keputusan  (riset sebelumnya  menggunakan entropy ,  sementara  riset  ini menggunakan gini  index ),  dan  kedalaman  pohon.  Hasil tune-up untuk  model  DT  ditunjukkan  pada  Tabel  5.  Dari 10  eksperimen  untuk 10-fold  cross-validation terlihat bahwa  variasi  akurasi  (ataupun  metrik  peforma  lainnya) dari ke-10 model tersebut sangat kecil.
Tabel 4. Perbandingan performa 4 model ML antara model dasar dan model setelah dilakukan parameter tuning
Fold Accu racy AUC Reca ll Prec. F1 Kap pa MC C 0 0.876 9 0.764 7 1 0.857 1 0.923 1 0.624 3 0.673 6 1 0.861 5 0.754 3 0.979 2 0.854 5 0.912 6 0.586 6 0.619 5 2 0.923 1 0.852 9 1 0.905 7 0.950 5 0.78 0.799 6 3 0.876 9 0.764 7 1 0.857 1 0.923 1 0.624 3 0.673 6 4 0.892 3 0.813 1 0.979 2 0.886 8 0.930 7 0.691 9 0.709 3 5 0.876 9 0.764 7 1 0.857 1 0.923 1 0.624 3 0.673 6 6 0.876 9 0.802 7 0.958 3 0.884 6 0.92 0.655 2 0.665 1 7 0.815 4 0.704 0.937 5 0.833 3 0.882 4 0.460 6 0.478 3 8 0.859 4 0.760 4 0.958 3 0.867 9 0.910 9 0.581 4 0.597 8 9 0.843 8 0.705 9 1 0.824 6 0.903 8 0.506 9 0.582 7 Mean 0.870 3 0.768 8 0.981 2 0.862 9 0.918 0.613 5 0.647 3 SD 0.027 1 0.043 2 0.021 8 0.023 3 0.016 9 0.085 1 0.080 9
Meski hanya menggunakan dua atribut, model DT terbaik dalam  kasus  ini  memiliki  pohon  keputusan  yang  sedikit lebih kompleks dibanding riset Anwar (Muchamad Taufiq Anwar  et  al.,  2021).  Dibandingkan  dengan  riset sebelumnya,  titik  batas  pada  IPS1  mirip  sedangkan  pada IPS2  berbeda. Feature  importance untuk  model  DT ditunjukkan  pada  Gambar  5.  Sama  seperti  riset sebelumnya,  IPS1  lebih  berpengaruh  dalam  prediksi  DO dibanding IPS2.
Gambar 3. Hasil pohon keputusan untuk model DT yang telah dilakukan parameter tuning
Gambar 4. Confusion Matrix untuk model DT
Gambar 5. Feature importance untuk model DT
Dalam kasus jumlah atribut sangat sedikit, maka performa model  cenderung  identik.  Perbedaan  performa  baru muncul ketika jumlah atributnya banyak, yang dalam kasus ini  hingga  menimbulkan  perbedaan  akurasi  sebesar  20% untuk  data  dengan  10  atribut.  Secara  umum,  performa
model yang baik adalah yang model ensemble learning dan berbasis  pohon  keputusan,  sementara  model  berbasis hyperplane seperti  Linear  SVM  dan  QDA  kurang  baik dalam memisahkan kedua kelas dari  10 atribut yang ada. Jadi,  dalam  kasus  klasifikasi,  model  yang  baik  adalah model  yang  mampu  memisahkan  kedua  /  beberapa  kelas dengan  teknik ensemble  learning maupun  pohon keputusan.  Hasil  eksperimen  yang  ketiga  ini  (dengan menggunakan hanya dua atribut dan hanya menggunakan data  lengkap,  serta  dilakukan parameter  tuning ) menunjukkan bahwa berbagai model DM memiliki akurasi yang  mirip  yaitu  87%.  Ketika  membandingkan  performa beberapa  model,  riset-riset  biasanya  akan  mendapatkan hasil  akurasi  yang  mirip,  sehingga  dapat  disimpukan bahwa  akurasi  prediksi  lebih  bergantung  kepada  data daripada  pilihan  model,  seperti  yang  pernah  disebutkan juga dalam riset Anwar (M T Anwar et al., 2020).
Gambar 5 menunjukkan bahwa IPS1 merupakan prediktor DO  yang  lebih  kuat  daripada  IPS2.  Untuk  melengkapi eksperimen  sebelumnya,  dilakukan  juga  eksperimen tambahan  dengan  hanya  menyertakan  satu  atribut,  yaitu IPS1.  Ketika  hanya  menggunakan  atribut  IPS1,  akurasi model  adalah  81,8%.  Hasil  ini  berarti  bahwa  DO  atau tidaknya  mahasiswa  dapat  diprediksi  sejak  setelah semester  1  selesai  /  setelah  nilai  IPS1  diketahui  (dengan akurasi  81,8%)  atau  setelah  semester  2  selesai  /  setelah nilai IPS2 diketahui (dengan akurasi 90,6%).

## KESIMPULAN
Penelitian  ini  bertujuan  untuk  membandingkan  performa teknik  data  mining  yang  diterapkan  pada  kasus  prediksi dropout  mahasiswa.  Perbandingan  performa  dilakukan menggunakan library PyCaret pada Python menggunakan 14  model  /  teknik  data  mining  yaitu: Extreme  Gradient Boosting,  Ada  Boost  Classifier,  Light  Gradient  Boosting Machine,  Random  Forest  Classifier,  Gradient  Boosting Classifier,  Extra  Trees  Classifier,  Decision  Tree Classifier,  K  Neighbors  Classifier,  Naive  Bayes,  Ridge Classifier,  Linear  Discriminant  Analysis,  Logistic Regression,  SVM  -  Linear  Kernel, dan Quadratic Discriminant  Analysis .  Hasil  eksperimen  menunjukkan bahwa kasus prediksi dropout mahasiswa lebih tepat  jika dimodelkan dengan model berbasis ensemble learner dan pohon  keputusan  dengan  akurasi  mencapai  99%.  Pohon keputusan memiliki keunggulan dibandingkan model lain seperti Linear SVM dan QDA karena ia dapat dengan lebih detil dalam memisahkan data ke dalam kedua kelas target. Setelah  dilakukan  penyesuaian  atribut,  pembuangan  data dengan missing values , dan parameter tuning , didapatkan hasil akurasi yang mirip dari berbagai model yaitu sebesar 87%. Perbedaan akurasi antar model menjadi sangat kecil di  saat  atribut  data  yang  digunakan  sedikit.  Penelitian berikutnya  dapat  menambahkan  lebih  banyak  lagi  teknik
data  mining untuk  diperbandingkan  performanya  dan diterapkan  pada  data  yang  memiliki  beberapa  atribut tambahan  yang  dapat  memprediksi  kemungkinan  DO seperti misalnya keadaan sosial ekonomi mahasiswa, nilai ketika SMA / sederajat, dan lain sebagainya.

## DAFTAR PUSTAKA
Aguilar-Dominguez,  D.,  Ejeh,  J.,  Dunbar,  A.  D.  F.,  & Brown, S. F. (2021). Machine learning approach for electric  vehicle  availability  forecast  to  provide vehicle-to-home services. Energy Reports , 7 , 71–80. Ali,  M.  (2020). PyCaret:  An  open  source,  low-code machine learning library in Python . Retrieved from https://www.pycaret.org
Anwar,  M  T,  Hadikurniawati,  W.,  Winarno,  E.,  & Widiyatmoko, W. (2020). Performance Comparison of  Data  Mining  Techniques  for  Rain  Prediction Models  in  Indonesia. 2020  3rd  International Seminar on Research of Information Technology and Intelligent Systems (ISRITI) , 83–88.
https://doi.org/10.1109/ISRITI51436.2020.9315460 Anwar, Muchamad Taufiq. (2021). Automatic Complaints Categorization  Using  Random  Forest  and  Gradient Boosting. Advance Sustainable Science, Engineering and Technology , 3 (1), 210106.
Anwar,  Muchamad  Taufiq,  Heriyanto,  L.,  &  Fanini,  F.
(2021).  Model  Prediksi  Dropout  Mahasiswa Menggunakan Teknik Data Mining. Jurnal Informatika Upgris , 7 (1).
Arbain,  A.  N.,  &  Balakrishnan,  B.  Y.  P.  (2019).  A comparison  of  data  mining  algorithms  for  liver disease prediction on imbalanced data. International Journal  of  Data  Science  and  Advanced  Analytics (ISSN 2563-4429) , 1 (1), 1–11.
Avendano,  J.  C.,  Otero,  L.  D.,  &  Otero,  C.  (2021). Application  of  Statistical  Machine  Learning Algorithms for Classification of Bridge Deformation Data  Sets. 2021  IEEE  International  Systems Conference (SysCon) , 1–7. do  Nascimento,  C.  F.,  Dos  Santos,  H.  G.,  de  Moraes Batista, A. F., Roman Lay, A. A., Duarte, Y. A. O., & Chiavegatto Filho, A. D. P. (2021). Cause-specific mortality prediction in older residents of São Paulo, Brazil:  a  machine  learning  approach. Age  and Ageing .
Gain,  U.,  &  Hotti,  V.  (2021).  Low-code  AutoML- augmented Data Pipeline--A Review and Experiments. Journal of Physics: Conference Series , 1828 (1), 12015.
Hadikurniawati,  W.,  Anwar,  M.  T.,  Marlina,  D.,  & Kusumo,  H.  (2021).  Predicting  tuberculosis  drug resistance  using  machine  learning  based  on  DNA sequencing  data. Journal  of  Physics:  Conference Series , 1869 (1), 12093.
Herho, S. H. S., Fajary, F. R., & Irawan, D. E. (2021). On the  statistical  learning  analysis  of  rain  gauge  data over the Natuna Islands .
Hota, H. S., Handa, R., & Shrivas, A. K. (2021). COVID- 19  pandemic  in  India:  Forecasting  using  machine learning techniques. In Data Science for COVID-19
(pp. 503–525). Elsevier.
Kuhn, S., & George, N. (2021). Performance of OpenBCI EEG  Binary  Intent  Classification  with  Laryngeal
Imagery. ArXiv Preprint ArXiv:2107.00045 . Larsen, E., Noever, D., MacVittie, K., & Lilly, J. (2021).
Overhead-MNIST: Machine Learning Baselines for
Image Classification. ArXiv Preprint ArXiv:2107.00436 .
Luo,  Y.,  Li,  Z.,  Guo,  H.,  Cao,  H.,  Song,  C.,  Guo,  X., &
Zhang,  Y.  (2017).  Predicting  congenital  heart defects: A comparison of three data mining methods. PloS One , 12 (5), e0177811.
Mulpuru, V., & Mishra, N. (2021). In Silico Prediction of Fraction Unbound in Human Plasma from Chemical Fingerprint  Using  Automated  Machine  Learning.
ACS Omega , 6 (10), 6791–6797.
Terragni, S., Fersini,  E.,  Galuzzi,  B.  G., Tropeano, P.,  & Candelieri,  A.  (2021).  OCTIS:  Comparing  and Optimizing Topic models is Simple! Proceedings of the 16th Conference of the European Chapter of the Association  for  Computational  Linguistics:  System Demonstrations , 263–270.