## JEPIN
(Jurnal Edukasi dan Penelitian Informatika)
ISSN(e): 2548-9364 / ISSN(p) : 2460-0741

## Perbandingan Model Klasifikasi untuk Evaluasi Kinerja Akademik Mahasiswa
Rinna Rachmatika #1 , Achmad Bisri #2
# Program Studi Teknik Informatika, Universitas Pamulang Jl. Raya Puspiptek, Buaran, Kec. Pamulang, Kota Tangerang Selatan, Banten 15310
1 rinnarachmatika@unpam.ac.id
2 achmadbisri@unpam.ac.id
Abstrak — Dunia  pendidikan  saat  ini  mengalami  kompetisi yang begitu ketat, terutama pada era digital seperti saat ini, dimana  salah  satunya  yaitu  pendidikan  tinggi  yang  saling berkompetisi  dalam  meraih  peringkat  terbaik.  Instrumen dalam dunia pendidikan seperti penerimaan mahasiswa baru hingga  kelulusan  dapat  dievaluasi  berdasarkan  kinerja mahasiswa  agar  terwujudnya  pendidikan  yang  berkualitas. Pengambilan  keputusan  dalam  evaluasi  kinerja  akademik mahasiswa pada kelulusan tepat waktu dan tidak tepat waktu dapat  dilakukan  dengan  penambangan  data  pendidikan ( educational  data  mining ).  Berbagai  model  klasifikasi  data mining pada pendidikan telah banyak dilakukan para peneliti. Namun,  secara  umum  sulit  untuk  menentukan  model klasifikasi terbaik dari berbagai metode pada evaluasi kinerja akademik mahasiswa dengan kasus yang sama. Tujuan dari penelitian  ini  untuk  menentukan  model  klasifikasi  yang memiliki kinerja terbaik pada prediksi kelulusan mahasiswa tepat waktu yang dievaluasi berdasarkan empat dataset yaitu TI-Reg.A,  TI-Reg.B,  AK-Reg.A,  dan  AK-Reg.B.  Indikator dalam  evaluasi  kinerja  model  berdasarkan  peringkat  rata- rata  akurasi.  Hasil  eksperimen  menunjukkan  bahwa  model klasifikasi  random  forest  memiliki  kinerja  terbaik  pada sebagian  dataset  dan  memiliki  nilai  akurasi  rata-rata peringkat  tertinggi  dibandingkan  model  GBT.  Sedangkan, model  DT,  NB, k -NN,  LR,  NN,  MLP,  dan  SVM  memiliki kinerja yang sama baik.
Kata  kunci — Educational  Data  Mining, Klasifikasi , Akademik, Kelulusan, Prediksi.
Abstract — The world of education is currently experiencing intense  competition,  especially  in  the  current  digital  era. Where higher education competes with each other to achieve the best rank. Instruments in the world of education, such as the admission of new students to graduation can be evaluated based on university student academic performance in order to realize  quality  education.  Decision  making,  using  the evaluation  of  university  student  academic  performance  in predicting graduation  on time  can be done with educational data  mining.  Various  data  mining,  classification  models  in education  have  been  carried  out  by  many  researchers. However,  it  is  generally  difficult  to  determine  the  best classification  model  from  various  methods  in  evaluating university student academic performance with the same case. The  purpose  of  this  study  is  to  determine  the  classification
model  that  has  the  best  performance  in  predicting  student graduation on time, which is evaluated based on four datasets, namely  TI-Reg.A,  TI-Reg.B,  AK-Reg.A,  and  AK-Reg.B. Indicators in the evaluation of model performance are based on accuracy average rank. The experimental results show that the  random  forest  classification  model  has  the  best performance  of  a  portion  of  the  dataset  and  has  the  highest average  accuracy  rank  compared  to  the  GBT  model. Meanwhile,  the  DT,  NB,  k-NN,  LR,  NN,  MLP,  and  SVM models have the same good performance.
Keywords — Educational  Data  Mining,  Classification, Academic, Graduation, Prediction.

## I. P ENDAHULUAN
Educational data mining (EDM) adalah pengembangan model  yang  dapat  mengeksplorasi  data-data yang berasal dari  konteks  pendidikan  untuk  meningkatkan  kinerja pendidikan [1]. EDM dapat disimpulkan sebagai gabungan disiplin  ilmu  komputer,  statistik,  dan  pendidikan  yang menggunakan  teknik  data  mining  untuk  mengubah  data menjadi informasi dan pengetahuan yang berguna.
Kompetisi dalam dunia pendidikan begitu ketat pada era digital dalam meraih peringkat terbaik. Berbagai hal dalam dunia  pendidikan  mulai  dari  penerimaan  mahasiswa  baru hingga  kelulusan  dan  evaluasi  kinerja  mahasiswa merupakan  instrumen  yang  harus  dilakukan  agar terwujudnya pendidikan yang baik dan memenuhi standar pendidikan.  Pendidikan  tinggi  dengan  jumlah  mahasiswa yang  besar  perlu  memperhatikan  kinerja  mahasiswa baik dari  penerimaan  mahasiswa  baru  sebagai  input  maupun lulusan mahasiswa sebagai output. Pengambilan keputusan dalam evaluasi kinerja mahasiswa dapat dilakukan dengan penambangan data pendidikan ( educational data mining ). Penelitian  pada  bidang  EDM  telah  banyak  dilakukan dengan  berbagai  teknik  data  mining  yang  kemudian dilakukan  pemodelan  dengan  model  pembelajaran  mesin ( machine  learning )  untuk  mengekstrak  informasi  secara otomatis  yang  melibatkan  data  latih  ( training )  dan  uji ( testing ), sehingga dapat mengevaluasi maupun memprediksi  hasil  di  masa  mendatang.  Sulitnya
menentukan  model  klasifikasi  terbaik  dari  sembilan metode  membuat  peneliti  mencoba  menganalisisnya. Beberapa  model  klasifikasi  seperti  gradient  boosted  trees untuk  menentukan  kelulusan  tepat  atau  tidak  tepat  waktu dalam  menangani  masalah  ketidakseimbangan  kelas  [2], kemudian  penelitian  dengan  menggunakan  metode klasifikasi  decision  tree  dan  adaboost  [3].  Metode  naive bayes,  metode  yang  mudah  dipahami  dan  juga  menjadi pilihan bagi peneliti untuk membuat prediksi. Naïve bayes dan  neural  network  digunakan  untuk  prediksi  masa  studi mahasiswa  [4]  dengan  sampel  mahasiswa  yang  lulus  dan drop-out.  Dalam  penelitian  yang  memberikan  gambaran tentang  teknik  data  mining  yang  telah  digunakan  untuk memprediksi  kinerja  siswa,  algoritma  prediksi  dapat digunakan  untuk  mengidentifikasi  atribut  yang  paling penting  dalam  sebuah  data  siswa  sehingga  memberikan manfaat  bagi  siswa,  pendidik  dan  institusi  [5].  Dunia pendidikan  saat  ini  berkembang  pesat  karena  banyaknya informasi  siswa  yang dapat digunakan  untuk  menemukan pola yang berharga yang berkaitan dengan perilaku belajar siswa. Institusi pendidikan dapat memanfaatkan pendidikan  data  mining  untuk  mengetahui  kinerja  siswa yang  dapat  mendukung  institusi  dalam  mengakui  kinerja siswa  [6].  Mengukur  kinerja  akademik  siswa  merupakan tantangan karena kinerja akademik siswa bergantung pada berbagai  faktor  [7]. Educational  data  mining ,  melibatkan algoritma  dengan  teknik  statistik  untuk  membantu menginterpretasikan  kinerja  akademis  siswa  [8].  Tujuan utama  perguruan  tinggi  adalah  memberikan  pendidikan yang  berkualitas  kepada  para  mahasiswanya.  Salah  satu cara  untuk  mencapai  tingkat  kualitas  tertinggi  adalah dengan mengidentifikasi faktor-faktor yang mempengaruhi kinerja akademik mahasiswa berdasarkan pola dalam data yang  tersedia  (catatan  siswa  dan  kursus)  yang  dapat berguna untuk memprediksi kinerja siswa [9]. Data Mining telah banyak digunakan untuk memprediksi kinerja siswa, dalam  penelitian  [10]  dilakukan  seleksi  fitur  untuk menyeleksi  atribut  yang  berpengaruh  tinggi  terhadap kinerja  mahasiswa  Jurusan  Teknik  Industri  Universitas Islam Indonesia.
Pada penelitian ini, kami mengusulkan sembilan metode machine  learning yang populer sebagai  model klasifikasi yaitu decision  tree  (DT),  support  vector  machine  (SVM), neural network (NN), naïve Bayes (NB), gradient boosted trees (GBT), random forest (RF), logistic regression (LR), k -nearest  neighbors  ( k -NN),  auto  multilayer  perceptron (MLP).  Dari  sembilan  model  klasifikasi  yang  memiliki kinerja terbaik akan dipilih sebagai solusi terhadap evaluasi kinerja  akademik  mahasiswa.  Tujuan  dari  penelitian  ini, untuk  mengidentifikasi  model  yang  memiliki  kinerja terbaik  pada  evaluasi  kinerja  akademik  mahasiswa berdasarkan dengan dataset kelulusan.

## II. M ETODE
Secara sistematis penelitian ini dibagi ke dalam beberapa tahapan  penelitian  yaitu,  yakni  mengumpulkan  data, dilanjutkan  dengan  mengolah  data,  lalu  usulan  model klasifikasi, kemudian melakukan eksperimen dan
pengujian,  dan  pada  tahap  akhir  dilakukan  evaluasi  dan model  dilakukan  tahap  validasinya,  seperti  yang ditunjukkan dalam Gambar. 1 yaitu Tahapan Penelitian.

## Gambar. 1 Tahapan penelitian

## A. Tahapan Pengumpulan Data
Dalam  tahapan  pertama  ini,  peneliti  melakukan pengumpulan data mentah yang akan diproses, dimana data tesebut  peneliti  peroleh  dari  IT Centre Universitas Pamulang dan data tersebut bersifat khusus. Data yang di dapatkan adalah data akademik  program studi, fakultas dan data mahasiswa yang diambil dari lulusan tahun 2017/2018 Universitas Pamulang.

## B. Tahapan Pengolahan Data
Pada  proses  ini,  peneliti  mengolah  seluruh  data  dari hasil  yang  sudah  dikumpulkan  dengan  melakukan data cleaning atau  pembersihan  data  guna  mengatasi  masalah yang biasa ditemukan seperti nilai yang tidak ada, anomaly, data tidak sesuai atau adanya redundansi atau pengulangan data.  Setelah  itu,  data  dikelompokkan  lalu  dipilah  sesuai dengan jenis dan fungsinya untuk di distribusikan ke dalam data testing dan training ,  lalu  diterapkan  didalam  model- model  klasifikasinya.  Dari  hasil  pengolahan  data,  didapat sebesar  1174 instance ,  yang  menunjukkan  datasets akademik  prodi  Teknik  Informatika  dan  Akuntansi  yang dibagi dalam Reguler A dan B, ditunjukkan pada Tabel I.
TABEL I D ATASETS K ELULUSAN Dataset Tepat Tidak Jml TI-Reg.A 139 233 372 TI-Reg.B 79 194 273 AK-Reg.A 22 200 222 AK-Reg.B 32 275 307
Gambar. 2 Grafik datasets akademik TABEL III
K ARAKTERISTIK D ATASETS K ELULUSAN No Fitur Keterangan 1 Umur Umur Mahasiswa 2 JK Jenis Kelamin 3 Reg. Reguler Shift 4 IPS1 IP Semester 1 5 IPS2 IP Semester 2 6 IPS3 IP Semester 3 7 IPS4 IP Semester 4 8 IPS5 IP Semester 5 9 IPS6 IP Semester 6 10 Label Class (Tepat atau Tidak)
Tabel I adalah dataset berdasarkan  kinerja akademik dari Prodi Teknik Informatika dan Akuntansi Reguler A dan B yang  sudah  melalui  proses  pengolahan.  Gambar.2 merupakan  gambar  grafik datasets akademik  yang didapatkan  dari  hasil  pengolahan.  Tabel  II  adalah  bentuk dari karakteristik dataset akademik yang digunakan untuk membuat  model  atau  metode  klasifikasi  pada  evaluasi kinerja mahasiswa yaitu, umur, lalu jenis kelamin (JK), lalu diambil dua program studi yaitu prodi Teknik Informatika Strata  1  dan  Prodi  Akuntansi  Strata  1,  lalu  jenis  kelas reguler yang terdiri dari reguler A dan B, dan IPS (Indeks Prestasi  Semester)  dari  semester  awal  (satu)  hingga semester  enam,  dengan  status  kelulusan  mahasiswa  yang tepat waktu lulusnya dan tidak tepat waktu sebagai sebuah label atau class.

## C. Usulan Model
Pada  Gambar.3,  model  yang  diusulkan  terdiri  dari sembilan  metode  yaitu decision  tree (DT), support vector machine (SVM), neural networks (NN), naïve Bayes (NB), gradient boosted trees (GBT), random forest (RF), logistic regression  (LR), k -nearest  neighbors  ( k -NN),  auto multilayer  perceptron  (MLP),  yang  mampu  melakukan pemodelan  klasifikasi.  Dari  proses  pengumpulan  data,
kemudian  data  yang  diperoleh  dilakukan  pre-processing yaitu  proses cleaning data  dan preparing sebelum  data ditransformasikan  sebagai  data training yang  selanjutnya akan diterapkan pada sembilan metode klasifikasi dengan 10 fold cross-validation , dimana total data trainingnya ada (satu)  bagian  dijadikan  data  uji  coba (testing) dan  ada (sembilan) bagian yang lain dijadikan sebagai data latihan (training) ,  dan  proses  tersebut  dilakukan  berulang  secara bergantian hingga mendapat nilai hasil secara keseluruhan sehingga dapat di ambil nilai rata-ratanya. Hasil dari model klasifikasi yang dibangun akan dilakukan proses pengujian dengan beberapa sampel yang telah dibagi sebagai testing . Dari sembilan model akan dilakukan perbandingan dengan mengukur tingkat keakuratannya.
Gambar. 3 Skema usulan model
1)  Decision Tree : merupakan metode data mining yang dipakai  dalam  membangun  model  klasifikasi  untuk memprediksi  suatu  variabel.  Model  ini  dapat  menangani sejumlah  data  yang  besar  dan  rumit  tanpa  harus  merubah struktur  parametrik  yang  rumit.  Jika  ukuran  sampel  data cukup  besar,  data  dapat  dibagi  menjadi datasets  training dan datasets validasi [11].
2)  Random  Forest :  sebuah  metode  yang  dapat menganalisa data berdasarkan jenis teknik regresi tertentu. Dengan  munculnya  daya  komputasi  yang  lebih  tersebar luas,  Model  yang  membutuhkan  matematika  yang  lebih kompleks  menjadi  semakin  umum.  Terutama  di  era big data dan machine  learning saat  ini.  Random  forest  [12] adalah  teknik  pohon  regresi  yang  menggunakan  agregasi bootstrap  dan  pengacakan  prediktor  untuk  mencapai tingkat akurasi prediksi yang tinggi..
3)  Gradient Boosted Tree: metode yang dapat membuat suatu  pohon  keputusan  berdasarkan  tingkatan  di  dalam struktur pohon  untuk  memperbaiki  kesalahan.  Metode ini merupakan  algoritma  prediksi  yang  secara  berurutan menghasilkan  model  berupa  kombinasi  linier  dari  pohon keputusan,  dengan  menyelesaikan  masalah  optimasi berdimensi tak hingga [13].
4)  Naïve  Bayes :  metode  yang  biasa  dipakai  untuk mengklasifikasi  data  pada  kelas  tertentu,  kemudian  pola tersebut digunakan untuk memperkirakan atau memprediksi sehingga dapat diambil suatu keputusan yang tepat [5].
𝑃(𝑌|𝑋) = 𝑃(𝑌)∗𝑃(𝑋|𝑌) 𝑃(𝑋) (1)
5)  K-Nearest  Neighbor :  merupakan  metode  klasifikasi  data yang dapat bekerja secara sederhana daripada algoritma klasifikasi lainnya. KNN merupakan  metode  klasifikasi  yang  populer dalam  data  mining  dan  statistik  karena  implementasinya yang  sederhana  dan  kinerja  klasifikasi  yang  signifikan. Algoritma k -NN [14] bekerja dengan klasifikasi setiap data agar tidak ditemukan class yang sama dalam proses klasifikasi.
(2)
6)  Logistic  Regression :  merupakan  metode  klasifikasi  yang sudah terbukti sangat kuat dengan angka probabilitas yang dapat menangani masalah klasifikasi multiclass [15].
𝑙𝑜𝑔 ( 𝜋 𝜋−1) 𝐶0 + 𝐶1𝑋1 + 𝐶2𝑋2 +   … + 𝐶𝑛𝑋𝑛   (3)
7)  Neural Network : secara sederhana bisa melakukan deteksi lengkap tanpa keraguan bahkan dalam hubungan non-linier yang kompleks antara dependen dan variabel independen berdasarkan jaringan [16].
Y = 1 + 2 X 1 + 3 X 2 + 4 X 3 (4)
8)  Auto Multilayer Perceptron (MLP) : metode dengan jaringan saraf tiruan yang merupakan model klasifikasi yang bekerja seperti pada jaringan saraf makhluk hidup [17].
(5)
9)  Support Vector Machine : metode klasifikasi, dimana setiap pemodelan  memiliki  konsep  yang  matang  secara  sistematis, metode  SVM  dapat  mengatasi  klasifikasi  dan  regresi  baik  yang linier mapun yang non linier [18].

## (6)

## D. Eksperimen dan Pengujian
Dalam  melakukan  tahapan  ini,  peneliti  menggunakan aplikasi  Rapidminer  sebagai analytics  tool .  Pada  tahapan ini dilakukan eksperimen untuk mendapatkan sebuah hasil dari  model  ( rule )  yang  digunakan  sebagai  uji  coba pada evaluasi  maupun  prediksi.  Eksperimen  dilakukan  dengan beberapa model untuk membandingkan dan mencari model terbaik.

## E. Evaluasi dan Hasil
Pada tahapan ini, hasil eksperimen akan dibahas model yang telah dihasilkan untuk mengetahui kinerja dari model dalam  menentukan  capaian  yang  diperoleh.  Standarisasi untuk evaluasi dan prediksi tingkat kesalahan dalam model klasifikasi dengan menggunakan 10 validasi silang (10-fold cross-validation) dan  untuk  mengevaluasi  keakuratan menggunakan akurasi dan dilakukan pengujian dengan uji
t untuk  mengetahui  adanya  perbedaan  sampel  yang berpasangan dan uji Friedman untuk mengetahui peringkat dari rata-rata dari model klasifikasi pada semua kumpulan data ( dataset ).
TABEL IIIII
C ONFUSION M ATRIX Prediksi Aktual Tidak Tepat Tidak TP FP Tepat FN TN 𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦(𝐴𝐶𝐶) = 𝑇𝑃+𝑇𝑁 𝑇𝑃+𝐹𝑃+𝐹𝑁+𝑇𝑁 (7)
Pada Tabel III merupakan bentuk confusion matrix hasil dari sebuah model yang dibangun, yaitu, True positive (TP) adalah  nilai class positif  yang  diidentifikasikan  benar, Kemudian, true  negative (TN)  adalah  nilai class negatif yang  diidentifikasikan  benar. False  positive (FP)  adalah nilai class positif  yang  diidentifikasikan  salah, False negative (FN) adalah nilai class negatif yang diidentifikasikan  salah.  Model  dari  metode  klasifikasi dilakukan pengujian penilaian berdasarkan accuracy [19].

## III. H ASIL DAN P EMBAHASAN
Pada penelitian ini, eksperimen dilakukan menggunakan komputer  dengan  spesifikasi  Intel®  Core™  i3-8130U 2.20GHz  (4  CPUs),  8GB  RAM  dan  sistem  operasi Windows 10 64bit dan RapidMiner version 9.7.
TABEL IVV H ASIL C ONFUSION M ATRIX Datasets TP FP FN TN ACC TI-Reg.A 68 26 3 16 74.34 TI-Reg.B 55 17 4 7 74.70 AK-Reg.A 61 6 0 1 91.18 AK-Reg.B 82 8 1 2 90.32
TABEL V P ERBANDINGAN A KURASI Model TI- Reg.A TI- Reg.B AK- Reg.A AK- Reg.B Rata- rata Rank DT 70,80 68,67 83,82 88,17 77,87 4,13 RF 74,34 74,70 91,18 90,32 82,63 8,38 GBT 76,99 77,11 89,71 83,87 81,92 7,00 NB 64,60 60,24 86,76 79,57 72,79 1,25 k -NN 69,91 68,67 89,71 88,17 79,12 4,75 LR 70,80 65,06 89,71 90,32 78,97 5,75 NN 71,68 63,86 89,71 89,25 78,62 5,13 MLP 68,14 63,86 89,71 89,25 77,74 4,13 SVM 66,37 66,27 89,71 89,25 77,90 4,50
Gambar. 4 Grafik perbandingan nilai accuracy
Pada Tabel IV terlihat hasil dari bentuk confusion matrix sebuah  model  yang  dibangun  untuk  mengetahui  kinerja berdasarkan nilai TP, FP, FN dan TN.
Tabel  V  menunjukkan  perbandingan  nilai  akurasi  dari sembilan model pada empat dataset. Sedangkan Gambar. 4 menunjukkan  nilai  perbandingan  akurasi dalam  bentuk grafik,  dimana  nilai  persentase  terkecil  atau  minimum  di dalam hasil akurasi adalah 72,79% dan nilai terbesar atau maksimumnya adalah 82,63%.
Pada hasil eksperimen, ada tujuh model klasifikasi yang berada di bawah nilai rata-rata 80% dan di atas 70% yaitu DT,  NB, k -NN,  LR,  NN,  MLP,  dan  SVM.  Tujuh  model tersebut memiliki kinerja yang sama bagus. Namun ada dua model yang memiliki kinerja lebih unggul yaitu model RF dan GBT yang memiliki nilai rata-rata kinerja di atas 80%. Model RF lebih unggul dibandingkan dengan model GBT pada penerapan dataset AK-Reg.A dan AK-Reg.B dengan masing-masing nilai di atas 90%. Namun model RF tidak sebagus model GBT pada penerapan dataset TI-Reg.A dan TI-Reg.B.
Dalam  penelitian  ini,  dilakukan  pengujian  hipotesis menggunakan  uji t sampel berpasangan. Menurut [20] uji statistik ( t-Test ) dilakukan dengan menggunakan nilai taraf signifikan  5%.  Suatu  hipotesis  diterima  atau  ditolak berdasarkan  dengan  aturan,  jika nilai p >  0,05,  maka  H 0 diterima dan H a ditolak, jika nilai p < 0,05, maka H 0 ditolak dan  H a diterima.  Pada  tahap  pengujian, t-Test digunakan untuk  menguji  sembilan  model  klasifikasi,  dimana  ketika pengujian,  dikatakan  sebagai  hasil  uji  yang  signifikan apabila mendapatkan nilai p ≤ 0,05.
TABEL VI U JI S EMBILAN M ODEL PADA P RODI TI-R EG A
Model  DT  RF  GBT  NB k -NN  LR NN  MLP  SVM
DT 0,326  0,921  0,074  0,350  0,551  0,907  0,934  0,175 RF 0,533  0,294  0,055  0,088  0,337  0,546  0,554 GBT 0,199  0,408  0,582  0,987  0,992  0,326 NB 0,010 0,014 0,066  0,216  0,732 k -NN 0,668  0,264  0,436 0,033 LR 0,435  0,610  0,050 NN 0,997  0,175 MLP 0,342 SVM
TABEL VII
U JI S EMBILAN M ODEL PADA P RODI TI-R EG B Model  DT  RF  GBT  NB  k-NN  LR NN  MLP  SVM DT 0,879  0,643  0,568  0,784  0,792  0,470  0,155  0,993 RF 0,756  0,707  0,707  0,902  0,410  0,220  0,882 GBT 1,000  0,551  0,869  0,292  0,392  0,659 NB 0,510  0,847  0,224  0,302  0,599 k-NN 0,654  0,768  0,203  0,797 LR 0,386  0,323  0,799 NN 0,064  0,501 MLP 0,184
SVM TABEL VIII U JI S EMBILAN M ODEL PADA P RODI AK-R EG A
Model  DT  RF  GBT  NB k -NN  LR NN  MLP  SVM DT 0,836  0,408  0,067  0,412  0,248  0,248  0,106  0,248 RF 0,308 0,027 0,485  0,270  0,270  0,096  0,270 GBT 0,567  0,149  0,094  0,094 0,050 0,094 NB 0,006 0,001 0,001 0,000 0,001 k -NN 0,791  0,791  0,387  0,791 LR 1,000  0,363  1,000 NN 0,363  1,000 MLP 0,363 SVM
TABEL IX U JI S EMBILAN M ODEL PADA P RODI AK-R EG B
Model  DT  RF  GBT  NB k -NN  LR NN  MLP  SVM DT 0,489  0,749  0,131  0,058  0,148 0,033 0,431 0,033 RF 0,381  0,063  0,130  0,353  0,068  0,827  0,068 GBT 0,219  0,075  0,149  0,050  0,340  0,050 NB 0,018 0,029 0,014 0,059 0,014 k -NN 0,512  0,730  0,316  0,730 LR 0,316  0,600  0,316 NN 0,211  1,000 MLP 0,211 SVM
Dari  setiap  tabel  uji t sembilan  model  yang  sudah dihasilkan,  maka  untuk  nilai  uji t memiliki  aturan,  yaitu, apabila  nilai p <  0,05  terdapat  perbedaan  pada  taraf signifikan yaitu 5%, dan apabila nilai p > 0,05, maka tidak ada perbedaan antara sebelum dan sesudah. Pada Tabel VI, ada tiga perbedaan yang signifikan yaitu NB dengan k -NN dengan nilai 0,010 dan LR sebesar 0,014, sedangkan k -NN dengan SVM sebesar 0,033. Pada Tabel VII, dari sembilan metode tidak ada perbedaan yang signifikan dengan nilai p > 0,05. Pada Tabel VIII, ada tujuh perbedaan yang signifikan, diantaranya  yaitu  RF  dengan  NB  nilainya  sebesar  0,027, kemudian  GBT  dengan  MLP  0,050,  selanjutnya  NB
dengan k -NN 0,006, LR 0,001, NN 0,001, MLP 0,000, dan SVM  0,001.  Pada  Tabel  IX,  ada  enam  perbedaan  yang terlihat  yaitu  antara  DT  dan  NN  sebesar  0,033  dan  SVM 0,033,  kemudian  NB  dengan k -NN  0,018,  LR  0,029,  NN 0,014, dan SVM 0,014.
Uji  Friedman  juga  digunakan  untuk  memberikan peringkat ( rank ) rata-rata dari setiap model klasifikasi pada semua dataset dan juga untuk menguji signifikan perbedaan akurasi  diantara  sembilan  model.  Berdasarkan  hasil  uji Friedman  pada  Tabel  V,  peringkat  tertinggi  pada  model klasifikasi RF dengan nilai rata-rata peringkat sebesar 8,38. Nilai  Asymp.  Sig.  diperoleh  dari  hasil  signifikan  dengan nilai  sebesar  0,021  lebih  kecil  dari  0,05  dan  dinyatakan sebagai adanya perbedaan nilai rata-rata.

## IV. K ESIMPULAN
Pada  penelitian  ini,  disampaikan  laporan  mengenai perbandingan  evaluasi  kinerja  akademik  mahasiswa, dimana  model  klasifikasi  yang  dibangun  menggunakan sembilan  metode. Dari hasil eksperimen dan  analisis, ada tujuh model klasifikasi yang sama bagus yaitu DT, NB, k - NN, LR, NN, MLP, dan SVM. Namun, pada model lain ada dua  model  yang  lebih  unggul  dibandingkan  tujuh  model tersebut  yaitu  model RF dan  GBT. Kedua model tersebut memiliki kinerja model yang sebanding. Namun, model RF lebih unggul dibandingkan dengan model GBT pada hasil nilai rata-rata. Disisi lain, model RF memiliki keunggulan pada  evaluasi  menggunakan  dataset  AK-Reg.A  dan  AK- Reg.B dengan nilai masing-masing di atas 90%. Sedangkan, model GBT unggulan pada evaluasi menggunakan dataset TI-Reg.A  dan  TI-Reg.B  dengan  nilai  masing-masing  di atas  70%.  Berdasarkan  uji  Friedman,  bahwa  model  RF memiliki  peringkat  tertinggi  dengan  nilai  rata-rata peringkat  sebesar  8,38.  Jadi,  dapat  disimpulkan  bahwa perbandingan  pada  sembilan  model  klasifikasi  yang dievaluasi berdasarkan empat dataset, model random forest unggul dan dapat diandalkan. Dalam hal ini, model random forest  dapat  dijadikan  solusi  untuk  evaluasi  kinerja akademik mahasiswa.
U CAPAN T ERIMA K ASIH / A CKNOWLEDGMENT
Terima  kasih  kepada  semua  pihak  yang  telah memberikan  dukungan,  terutama  peneliti  ucapkan terimakasih atas bantuan berupa dana Hibah dari Direktorat Jendral  Penguatan  Riset  dan  Pengembangan,  Kementrian Riset  Teknologi  dan  Perguruan  Tinggi  dan  tentunya  juga kepada  Universitas  Pamulang  yang  telah  memberikan kontribusi kepada penelitian ini.
R EFERENSI
[1] C. Romero and S. Ventura, “Educational data mining and learning analytics: An updated survey,” WIREs Data Min. Knowl. Discov. , vol. 10, no. 3, pp. 1–21, May 2020, doi: 10.1002/widm.1355.
[2] A.  Bisri  and  R.  Rachmatika,  “Integrasi  Gradient  Boosted  Trees dengan SMOTE dan Bagging untuk Deteksi Kelulusan Mahasiswa,”
J. Nas. Tek. Elektro dan Teknol. Inf. , 2019, doi: 10.22146/jnteti.v8i4.529.
[3] “Penerapan  Adaboost  untuk  Penyelesaian  Ketidakseimbangan Kelas  pada  Penentuan  Kelulusan  Mahasiswa  dengan  Metode Decision Tree,” J. Intell. Syst. , 2015.
[4] A. Azahari, Y. Yulindawati, D. Rosita, and S. Mallala, “Komparasi Data Mining Naive Bayes dan Neural Network memprediksi Masa Studi Mahasiswa S1,” J. Teknol. Inf. dan Ilmu Komput. , vol. 7, no.
3, p. 443, May 2020, doi: 10.25126/jtiik.2020732093.
[5] A.  M.  Shahiri,  W.  Husain,  and  N.  A.  Rashid,  “A  Review  on Predicting Student’s Performance Using Data Mining Techniques,” 2015, doi: 10.1016/j.procs.2015.12.157.
[6] B. K. Francis and S. S. Babu, “Predicting Academic Performance of Students Using a Hybrid Data Mining Approach,” J. Med. Syst. , 2019, doi: 10.1007/s10916-019-1295-4.
[7] B. Guo, R. Zhang, G. Xu, C. Shi, and L. Yang, “Predicting Students Performance  in  Educational  Data  Mining,”  2016,  doi: 10.1109/ISET.2015.33.
[8] C. Jalota and R. Agrawal, “Analysis of Educational Data Mining using Classification,” 2019, doi: 10.1109/COMITCon.2019.8862214.
[9] N. A. Yassein, R. G. M Helali, and S. B. Mohomad, “Predicting Student  Academic  Performance  in  KSA  using  Data  Mining Techniques,” J. Inf. Technol. Softw. Eng. , 2017, doi: 10.4172/2165- 7866.1000213.
[10]  A.  U.  Khasanah  and  Harwati,  “A  Comparative  Study  to  Predict Student’s  Performance  Using  Educational  Data  Mining Techniques,” 2017, doi: 10.1088/1757-899X/215/1/012036.
[11]  Y.  Y.  Song  and  Y.  Lu,  “Decision  tree  methods:  applications  for classification  and  prediction,” Shanghai  Arch.  Psychiatry ,  2015, doi: 10.11919/j.issn.1002-0829.215044.
[12]  S.  J.  Rigatti,  “Random  Forest,” J.  Insur.  Med. ,  2017,  doi: 10.17849/insm-47-01-31-39.1.
[13]  G.  Biau,  B.  Cadre,  and  L.  Rouvière,  “Accelerated  gradient boosting,” Mach. Learn. , 2019, doi: 10.1007/s10994-019-05787-1.
[14]  S. Zhang, X. Li, M. Zong, X. Zhu, and R. Wang, “Efficient kNN classification with different numbers of nearest neighbors,” IEEE Trans. Neural Networks Learn. Syst. , 2018, doi:
10.1109/TNNLS.2017.2673241.
[15]  E.  Christodoulou,  J.  Ma,  G.  S.  Collins,  E.  W.  Steyerberg,  J.  Y. Verbakel,  and  B.  Van  Calster,  “A  systematic  review  shows  no performance  benefit  of  machine  learning  over  logistic  regression for clinical prediction models,” Journal of Clinical Epidemiology . 2019, doi: 10.1016/j.jclinepi.2019.02.004.
[16]  S.  Liu et  al. ,  “Cambricon:  An  Instruction  Set  Architecture  for Neural Networks,” 2016, doi: 10.1109/ISCA.2016.42.
[17]  C.  Zhang et  al. ,  “A  hybrid  MLP-CNN  classifier  for  very  fine resolution  remotely  sensed  image  classification,” ISPRS  J.
Photogramm. Remote Sens. , 2018, doi:
10.1016/j.isprsjprs.2017.07.014.
[18]  D.  A.  Pisner  and  D.  M.  Schnyer,  “Support  vector  machine,”  in Machine Learning: Methods and Applications to Brain Disorders , 2019.
[19]  S.  ElAtia,  D.  Ipperciel,  and  O.  R.  Zaïane, Data  Mining  And Learning Analytics: Applications in Educational Research . 2016.
[20]  I.  H.  Witten,  E.  Frank,  M.  A.  Hall,  and  C.  J.  Pal, Data  Mining: Practical Machine Learning Tools and Techniques . 2016.