## JEPIN
(Jurnal Edukasi dan Penelitian Informatika)
ISSN(e): 2548-9364 / ISSN(p) : 2460-0741
No. 3 Desember 2023

## Perbandingan Performansi Support Vector Machine
( Svm ) dan Backpropagation untuk Klasifikasi Studi Mahasiswa Undiksha
Dwi Prima Handayani Putri #1 , Ni Putu Novita Puspa Dewi #2 , I Ketut Purnamawan #3 , Ni Wayan Marti #4
# Program Studi Ilmu Komputer, Jurusan Teknik Informatika, Universitas Pendidikan Ganesha Jl. Udayana No.11, Singaraja, Bali
1 dwi.prima@undiksha.ac.id
2 novita.puspa.dewi@undiksha.ac.id
3 purna@undiksha.ac.id
4 wayan.marti@undiksha.ac.id
Abstrak—  Kelulusan  mahasiswa  tepat  waktu  merupakan salah  satu  tujuan  dalam  setiap  universitas,  tidak  terkecuali Universitas
Pendidikan Ganesha. Permasalahan ketidaklulusan  mahasiswa  tepat  waktu  tidak  hanya  akan menimbulkan permasalahan bagi mahasiswa tersebut, tetapi juga  pada  akreditasi  kampus.  Langkah  preventif  dapat dilakukan dengan mengidentifikasi mahasiswa yang berpotensi  studinya  mengalami  masalah.  Solusi  ini  dapat dilakukan  dengan  membuat  model  machine  learning  yang dapat  mengklasifikasikan  apakah  seorang  mahasiswa terindikasi  bermasalah  atau  tidak.  Pada  penelitian  ini, kinerja model SVM dan Backpropagation akan dibandingkan.  Penelitian  ini  menggunakan  sejumlah  4100 instances d engan  features  seperti  indeks  prestasi  semester dari semester satu sampai enam, IPK, jumlah satuan kredit semester  dari  semester  satu  sampai  enam,  SKS  komulatif, nominal  UKT,  penghasilan  orang  tua,  dan  asal  daerah mahasiswa.  Terdapat  tiga  buah  percobaan  untuk  proporsi pembagian  dataset  dengan  proporsi  pembagian  dataset terbaik  pada  90%:10%  dan  nilai  k=4  untuk  K-Fold  Cross Validation. Model SVM dengan kernel polinomial memberikan  performa  terbaik  dengan  akurasi  97%,  begitu pula  dengan  model  Backpropagation  yang  menggunakan fungsi  aktivasi  sigmoid  memiliki  performa  terbaik  pada akurasi  97%.  Sehubungan  dengan  perbandingan  hasil Confusion  Matrix  serta  kurva  AUC,  model  Backpropagation menujukkan  performa  yang  sedikit  lebih  unggul  daripada model SVM. Pada proses pembuatan model, arsitektur serta parameter-parameter  pada  model  harus  diperhatikan  agar model terbaik dapat dihasilkan.
Kata kunci — Klasifikasi, SVM, Backpropagation, Kernel, Activation Function

## I. P ENDAHULUAN
Salah  satu  indikator  keberhasilan  mahasiswa  dalam mendapatkan  gelar  sarjana  adalah  lulus  tepat  waktu  [1]. Kelulusan  mahasiswa  tepat  waktu  merupakan  salah  satu tujuan  dalam  setiap  universitas,  tidak  terkecuali
Universitas  Pendidikan  Ganesha.  Berbagai  usaha  akan dilakukan agar mahasiswa tidak sampai putus kuliah atau DO ( Drop  Out ).  Hal  ini  dilakukan  karena  terdapat kebijakan kampus dalam mengatasi mahasiswa- mahasiswa  yang  dianggap  bermasalah.  Universitas Pendidikan  Ganesha  juga  memiliki  kebijakan  tersendiri dalam  menangani  hal  tersebut  yang  tertulis  dalam pedoman  studi.  Kebijakan  tersebut  adalah  untuk mahasiswa  program  studi  S1,  jika  sampai  akhir  semester keempat  tidak  dapat  menghasilkan  kredit  minimal  40  sks dengan  nilai  minimum  pada  setiap  mata  kuliah  C,  maka akan  diberikan  peringatan  tertulis  oleh  (PA)  yang diketahui oleh Ketua Program Studi, Dekan, dan diberikan remidi  [2].  Peringatan  ini  juga  akan  disampaikan  kepada orang  tua  mahasiswa.  Adapun  remidi  akan  diberikan kepada mahasiswa bersangkutan untuk lima SKS atau dua mata  kuliah.  Mahasiswa  akan  dinyatakan  gagal  dan tergolong mahasiswa putus belajar (DO) jika hasil remidi tetap D.
Permasalahan  mahasiswa  tidak  lulus  tepat  waktu t idak hanya  akan  menimbulkan  permasalahan  bagi  mahasiswa tersebut,  tetapi  juga  pada  lingkungan  tempat  belajar. Akreditasi  program  studi  dan  universitas  merupakan contohnya.  Adapun  langkah  awal  untuk  mencegah permasalahan tersebut adalah dengan melakukan identifikasi apakah  seorang  mahasiswa  terindikasi bermasalah  atau  tidak.  Identfikasi  ini  akan  dilakukan dengan  melakukan  kategorisasi  pada  mahasiswa  yang sudah belajar selama enam semester. Hal ini didasari oleh pedoman studi Universitas Pendidikan Ganesha yang telah dijelaskan  sebelumnya  sehingga  indikasi  mahasiswa bermasalah  atau  tidak  dapat  dilakukan  sejak  dini. Pemodelan  dengan machine  learning dapat  dilakukan untuk  menghasilkan  model  klasifikasi.  Dengan  adanya model ini, indikasi mahasiswa bermasalah atau tidak dapat dilakukan  lebih  cepat.  Adapun  yang  dimaksud  dengan
mahasiswa bermasalah adalah mahasiswa yang menyelesaikan  studi  lebih  dari  delapan  semester  atau mahasiswa  yang  DO.  Mahasiswa  yang  tidak  bermasalah merupakan  mahasiswa  yang  dapat  menyelesaikan  studi antara semester tujuh atau delapan.
Machine  learning telah  diketahui  performanya  dalam memberikan  solusi  pada  permasalahan  terkait  dengan domain pendidikan. Penelitian mengenai prediksi kelulusan  mahasiswa  menggunakan SVM telah  dilakukan pada  studi  kasus  yang  berbeda  [3][4].  Tidak  hanya terbatas  pada SVM ,  model  jaringan  syaraf  tiruan  pun digunakan  pada  prediksi  kelulusan  [5][6].  Prediksi kelulusan  [3]  terbatas  pada  penggunaan  data  akademik seperti  IPK  dan  jumlah  bimbingan  sebagai  fitur pembelajaran.  Selain  itu,  model  prediksi  kelulusan  [3] dikembangkan dengan Rapid Miner. Pemodelan klasifikasi  [4]  tidak  membandingkan  lebih  dari  satu algoritma machine  learning .  Pada  proses  pelatihan  dan pengujian  model,  penelitian  [5]  tidak  menggunakan K- Fold  Cross  Validation untuk  membagi  dataset.  Adapun pada  penelitian  [6],  penelitian  juga  hanya  terbatas  pada data akademik seperti IPS dan SKS.
Seperti  yang  telah  dijelaskan  sebelumnya, SVM dan Backpropagation akan  diaplikasikan  pada  kali  ini. SVM dipilih karena SVM adalah salah satu metode terbaik untuk memecahkan  masalah  klasifikasi,  baik  klasifikasi  linier maupun  non-linier  [7].  Adapun Backpropagation dipilih karena  algoritma  ini  dikatakan  sangat  powerful  dan hampir  selalu  “cocok”  dengan  berbagai  permasalahan machine learning [8]. Pada  penelitian  ini,  pemodelan  klasifikasi  studi mahasiswa  akan  dilakukan  dengan  menggunakan  data yang  tidak  terbatas  pada  data  akademik  saja.  Data-data non  akademik  seperti  nominal  UKT,  penghasilan  orang tua, dan asal daerah sebagai fitur pembelajaran. SVM dan Backpropagation akan  digunakan  untuk  pemodelan  dan akan  dibandingkan  performansinya  dalam  melakukan klasifikasi.  Adapun  dataset  yang  digunakan  pada penelitian  kali  ini  adalah  sampel  data  mahasiswa Undiksha.  Model  akan  dilatih  menggunakan  dataset tersebut  sehingga  akan  tercipta  model  yang  dapat melakukan  klasifikasi  indikasi  dini  mahasiswa  yang bermasalah atau tidak.

## II. M ETODE
Pada  Gambar  1  dapat  dilihat  bahwa  terdapat  beberapa langkah  atau  proses  untuk  mendapatkan  sebuah  model. Proses  tersebut  diawali  dengan  pengumpulan  dataset  dan studi  literatur, dataset  preprocessing , dataset  splitting , training  model , testing  model ,  dan  cek  performansi  dari setiap model.  Baik SVM maupun Backpropagation model melewati proses yang sama. Namun, penetapan parameter dari  setiap  arsitektur  model  dapat  berbeda  untuk mendapatkan akurasi terbaik dari setiap model.
Pada  proses  pengumpulan  data,  peneliti  memperoleh seluruh  data  dari  UPT  Teknik  Informatika  dan Komunikasi Undiksha. Wawancara atau pencarian dataset secara manual tidak dilakukan oleh peneliti. Pengumpulan dataset  berlangsung  pada  bulan  Agustus  2022.  Adapun untuk  studi  literatur  pada  penelitian  ini  diperoleh  dengan
cara mencari artikel pada jurnal-jurnal tertentu di internet, serta membaca buku-buku terkait.
Proses  selanjutnya  adalah dataset  preprocessing yang lebih  lengkapnya  dapat  dibaca  pada  bagian  III  Hasil  dan Pembahasan.  Langkah  berikutnya  adalah  pembangunan model machine  learning dengan  algoritma SVM serta Backpropagation , khususnya training process .
Pada  tahap  akhir  pembuatan  model,  akan  dilakukan pengujian  terhadap  model  yang  dibuat.  Pengujian  model akan  dilakukan  menggunakan  data  tunggal  baru  yang tidak  digunakan  pada training maupun validation  set . Adapun  performa  model  akan  diuji  dengan Confusion Matrix dan kurva ROC . Performa SVM dan Backpopagation akan  dibandingkan  sehingga  model terbaik  untuk  klasifikasi  pada  penelitian  ini  dapat diketahui.
Gambar. 1 Framework penelitian

## A. Deskripsi Dataset
Setelah  melalui  tahapan dataset  preprocessing , pembaca  dapat  melihat  fitur-fitur  dataset  yang  sudah bersih  dan  siap  digunakan  pada  Tabel  1.  Proses data cleaning , data  labeling dan data  separating dapat pembaca  temukan  pada  bagian  II  Hasil  dan  Pembahasan. Selain  langkah-langkah  tersebut,  peneliti  selanjutnya mengintegrasi,  mentransformasi  serta  menghilangkan outliers pada  dataset.  Langkah  terakhir  adalah  pelabelan dan  pemisahan  data  menjadi training  set , validation  set, dan testing set .
Dataset  yang  digunakan  pada  penelitia  kali  ini  berasal dari  data  mahasiswa  Undiksha  angkatan  2015  dan  2016, semester  1  s.d.  semester  6.  Seperti  yang  telah  dijelaskan pada  pendahuluan,  alasan  penggunaan  data  mahasiswa dari  semester  satu  sampai  semester  enam  berdasar  pada pedoman  studi  Universitas  Pendidikan  Ganesha.  Hal-hal tersebutlah  yang  mendasari  bahwa  pengklasifikasian mahasiswa  bermasalah  atau  tidak  sekiranya  akan  baik dilakukan ketika mahasiswa tersebut telah mencapai akhir semester  enam.  Penggunaan  enam  buah  semester  juga
diharapkan  dapat  meningkatkan  akurasi  model  klasifikasi yang akan dibuat.
TABEL I D ESKRIPSI D ATASET No Nama Fitur Deskripsi Fitur 1. ips 1 IPS mahasiswa pada semester 1. 2. ips 2 IPS mahasiswa pada semester 2. 3. ips 3 IPS mahasiswa pada semester 3. 4. ips 4 IPS mahasiswa pada semester 4. 5. ips 5 IPS mahasiswa pada semester 5. 6. ips 6 IPS mahasiswa pada semester 6. 7. ipk IPK mahasiswa selama enam semester. 8. sks 1 SKS mahasiswa pada semester 1. 9. sks 2 SKS mahasiswa pada semester 2. 10. sks 3 SKS mahasiswa pada semester 3. 11. sks 4 SKS mahasiswa pada semester 4. 12. sks 5 SKS mahasiswa pada semester 5. 13. sks 6 SKS mahasiswa pada semester 6.
14. sks komulatif SKS mahasiswa selama enam semester.
15. nominal ukt Nomial UKT dari setiap mahasiswa. 16. penghasilan orang tua Penghasilan  rata-rata  dari  kedua orang tua mahasiswa. 17. buleleng Asal  daerah  mahasiswa  yang  berasal dari kabupaten buleleng.
18. luar buleleng Asal  daerah  mahasiswa  yang  berasal dari luar kabupaten buleleng.
19. luar bali Asal  daerah  mahasiswa  yang  berasal dari luar bali.
B. Support Vector Machine ( SVM )
Support  Vector  Machine ( SVM )  merupakan  metode yang  mengklasifikasikan  data  linear  ataupun  non-linear dengan  mengonversikan  data  tersebut  ke  dimensi  yang lebih  tinggi  sehingga  dimensi  tersebut  mencari  batas keputusan  yang  diperlukan  untuk  memisahkan  kelas  [9]. SVM merupakan salah satu metode klasifikasi yang paling terkenal dan telah bnayak digunakan pada berbagai bidang [10].  Pada SVM ,  terdapat  beberapa  istilah  yang  harus dipahami.  Istilah-istilah  tersebut  diantaranya  adalah support  vector , hyper  plane , boundary  lane ,  dan kernel yang dapat dilihat pada Gambar 2.
Gambar. 2 Ilustrasi Support Vector Machine [11]

## C. Backpropagation
Artificial  Neural  network ( ANN )  atau  Jaringan  Syaraf Tiruan  (JST)  merupakan  algoritma  yang  selalu  “cocok” dengan  permasalahan-permasalaan machine  learning [8].
Secara  luas, backpropagation merupakan  metode  klasik dari neural  network [5] . Salah  satu  metode supervised learning dari ANN yang  cukup  baik  digunakan  dalam memecahkan  permasalahan  klasifikasi  dan  pengenalan adalah backpropagation [12]. Neural  network dapat melakukan  generalisasi  dengan  contoh-contoh  yang diperoleh  dari  pengalaman  belajar  serta  mengabstraksi karakteristik esensial dari masukan walaupun data tersebut dapat dikatan tidak relevan [13].
Backpropagation adalah  algoritma  yang  biasanya digunakan  oleh  perseptron  dengan  banyak  lapisan  untuk melakukan  perubahan  pada  berbagai  bobot  yang terhubung pada neuron-neuron yang terdapat pada lapisan tersebunyi  atau  hidden  layer  jaringan  saraf  tiruan. Backprogation mengubah  nilai  bobot-bobotnya  dalam arah backward atau  mundur  menggunakan error  output . Tahap  perambatan  maju  atau forward  propagation harus dikerjakan terlebih dahulu untuk menemukan error output tersebut.  Neuron-neuron  akan  diaktifkan  menggunakan fungsi  aktivasi  seperti Sigmoid  Biner , Sigmoid  Bipolar , dan  Identitas  pada  saat forward  propagation [14]. Jaringan  syaraf  tiruan  terdiri  dati  tiga  lapisan  penyusun, yaitu input layer , hidden layer , dan output layer .

## III. H ASIL DAN P EMBAHASAN
Dataset  yang  digunakan  pada  penelitian  ini  diperoleh dari  UPT  Teknik  Informatika  dan  Komunikasi  Undiksha. Dataset  tersebut  merupakan  data  mahasiswa  Undiksha angkatan  tahun  2015  dan  2016  dengan  jumlah instance sebanyak 41426. Setelah melalui tahap data preprocessing, total  keseluruhan  dataset  adalah  4100 instances .  Adapun langkah-langkah dataset  preprocessing adalah  sebagai berikut.

## A. Data Cleaning
Data  cleaning merupakan  proses  untuk  mengurangi atau menghapus data-data yang tidak akurat, tidak relevan, maupun  tidak  lengkap  yang  bertujuan  untuk  menghindari kesalahpahaman  analisis  data  [15].    Penghapusan  data- data yang tidak berkaitan, serta pemeriksaan data kembali untuk  menghindari  permasalahan noise , missing  values , dan  sebagainya  perlu  dilakukan  untuk  penggunaan  data secara efektif [16].
Pada  penelitian  ini,  peneliti  mendapatkan  dua  buah sheet dari  sumber  yang  berisi  data  akademik  dan  non akademik. Nama-nama kolom untuk sheet yang berisi data non akademik adalah nim, nama, status DO, prodi, jurusan, fakultas, semester, jenis UKT, nominal UKT, penghasilan orang  tua,  jumlah  saudara,  nilai  TA,  dan  kota.  Data  non akademik  yang  telah  melalui  proses data  cleaning dapat dilihat pada Tabel 2. Kolom nama, prodi, jurusan, fakultas, semester, status DO, jenis UKT, jumlah saudara, dan nilai TA dieliminasi karena kolom-kolom tersebut tidak relevan dengan  tujuan  penelitian  ini.  Pengeliminasian  kolom jumlah saudara yang sepertinya relevan dengan penelitian ini  dilakukan  karena  terdapat  sebanyak  1646 instances yang kosong atau missing values . Adapun nama-nama kolom untuk sheet yang berisi data akademik  adalah  nim,  tahun,  semester,  ips,  sks  semester,
ipk, dan sks komulatif. Data akademik yang telah melalui proses data cleaning dapat dilihat pada Tabel 3.
TABEL II
H ASIL E LIMINASI D ATA N ON A KADEMIK Nim UKT Penghasilan Orang Tua Kota 151101100 1 2400000 500000 SERANG 151101100 2 3550000 2000000 PAYANGAN 151101100 5 2400000 1000000 BULELENG 151101100 8 2400000 1250000 JEMBRANA 151101101 2 2400000 500000 GEROKGAK 151101102 7 2400000 800000 SAPEKEN 151101102 8 3050000 4250000 NEGARA TABEL III H ASIL E LIMINASI D ATA A KADEMIK nim jumlah semester ips 1 … sks komulatif 1511011001 8 3,8 … 143 1511011002 8 3,08 … 143 1511011005 8 2,83 … 143 1511011008 8 3,5 … 144 1511011012 8 2,58 … 139 1511011013 8 3,25 … 141 1511011014 8 3,25 … 140 1511011015 8 3 … 141 1511011021 8 3,25 … 139 1511011022 8 3,17 … 139 1511011023 8 3,33 … 139
Nama-nama  kolom  data  akademik  setelah  proses data cleaning adalah nim, jumlah semester, ips 1, ips 2, ips 3, ips 4, ips 5, ips 6, ipk, sks 1, sks 2, sks 3, sks 4, sks 5, sks 6, dan sks komulatif.
Langkah  selanjutnya  adalah  penggabungan  data akademik pada Tabel 2 dan data non akademik pada Tabel 3.  Nama-nama  kolom  setelah  penggabungan  antara  data akademik dan data non akademik adalah ips 1, ips 2, ips 3, ips 4, ips 5, ips 6, ipk, sks 1, sks 2, sks 3, sks 4, sks 5, sks 6, sks kumulatif, nominal ukt, penghasilan ortu, dan kota. Setelah penggabungan, proses selanjutnya adalah memecah  kolom  “kota”  menjadi  tiga  kategori,  yaitu buleleng,  luar buleleng,  dan  luar  bali  ( one hot  encoding ). Adapun  kolom  dataset  yang  sudah  melalui  proses data cleaning dan one hot encoding (merupakan fitur-fitur final) adalah ips 1, ips 2, ips 3, ips 4, ips 5, ips 6, ipk, sks 1, sks 2,  sks  3,  sks  4,  sks  5,  sks  6,  sks  kumulatif,  nominal  ukt, penghasilan ortu, buleleng, luar buleleng, dan luar bali.
Langkah terakhir adalah menghilangkan outliers. Akan tetapi, proses penghilangan ourliers yang dilakukan hanya sebatas  pada  variabel  atau feature penghasilan_ortu.  Hal ini  disebabkan  karena  fitur-fitur  lainnya  sudah  berada pada range tertentu.

## B. Data Labeling dan Separating
Pada  latar  belakang,  telah  dijelaskan  bahwa  akan terdapat  dua  buah  label  data  yaitu  “bermasalah”  dan “tidak bermasalah”. Mahasiswa  “bermasalah”  merupakan mahasiswa  yang  menyelesaikan  studi  lebih  dari  delapan semester atau mahasiswa yang DO ( drop out ). Mahasiswa yang  tidak  bermasalah  merupakan  mahasiswa  yang  dapat menyelesaikan  studi  antara  semester  tujuh  atau  delapan. Mahasiswa  “bermasalah”  akan  memiliki  label  “1” ( positive  class ),  sedangkan  mahasiswa  yang  “tidak bermasalah”  akan  memiliki  label  “0”  ( negative  class ). Proses  pelabelan  menggunakan  fungsi  “IF”  pada  Excel sehingga  kondisi-kondisi  pelabelan  data  dapat  terpenuhi. Setelah  pelabelan  data,  langkah  selanjutnya  adalah melakukan data  separating atau  pemisahan  data.  Pada penelitian  ini,  perbandingan  porsi  data  untuk training process dan testing process dapat dilihat pada Tabel 4.
TABEL IV P ROPORSI P EMBAGIAN D ATASET Pembagian Data Jumlah Perbandingan Porsi Dataset pada Training Process dan Testing Process Pembagian Data I 90%: 10% Pembagian Data II 85% : 15% Pembagian Data III 80% : 20%
Dapat dilihat bahwa terdapat tiga buah pembagian porsi dataset.  Tidak  ada  aturan  baku  untuk  menentukan  porsi pembagian  dataset  untuk training  process dan testing process [8]. Adapun peneliti mencoba untuk membuat tiga buah  pembagian  dataset  berbeda  untuk  menemukan perilaku  model  terbaik  pada  masing-masing  porsi pembagian dataset.

## C. Data Visualisation dan Data Analysis
Langkah pertama yang dilakukan adalah memvisualisasikan dataset menggunakan pairplot function . Visualisasi  menggunakan pairplot  function dapat  dilihat pada Gambar 3.
Keterangan:
Biru = Mahasiswa tidak bermasalah (0) Orange = Mahasiswa bermasalah (1)
Pairplot  Visualisation pada  Gambar  3  menunjukkan bahwa  masih  terdapat  datapoints  yang  tercampur  antara class  0  dan  1.  Namun,  terdapat  korelasi  yang  baik  antar setiap  Indeks  Prestasi  Semester  maupun  Indeks  Prestasi Komulatif.  Fitur-fitur  tersebut  terkesan  memiliki  korelasi yang  cukup  linear  walaupun  antara  class  0  dan  1  masih sedikit tercampur.

## D. K-Fold Cross Validation dan Data Normalization
Pada  penelitian  ini,  peneliti  melakukan  empat percobaan berbeda pada masing-masing arstitektur model. Adapun  keempat  percobaan  dan  jumlah  fold  pada  setiap percobaan dapat dilihat pada Tabel 5.
TABEL V J UMLAH F OLD PADA S ETIAP P ERCOBAAN Percobaan Jumlah Fold Ke-1 4 Ke-2 5 Ke-3 7 Ke-4 10
Adapun sebelum model melakukan fitting pada dataset, normalisasi  dengan MinMax  scaller perlu  dilakukan. Terdapat  perbedaan  perlakuan  normalisasi  antara  training set dan validation set. Pada training set , digunakan fungsi fit_transform() .  Sedangkan,  pada validation  set hanya digunakan  fungsi transform() . Fit_transform  function digunakan pada training set karena function tersebut akan membantu model untuk mempelajari means dan variance dari  fitur-fitur  pada training  set .  Adapun transform function mengaplikasikan  hasil  dari fit  function pada masing-masing  fitur  di validation  set . Fit  function tidak diterapkan  pada validation  set karena  model  akan menghitung mean dan variances baru. Hal ini juga berarti bahwa  model  memiliki  kesempatan  untuk  mempelajari validation set .

## E. Model Support Vector Machine (SVM)
Visualisasi data menunjukkan bahwa terdapat beberapa fitur  yang  memeiliki  korelasi  yang  baik,  tetapi  masih terdapat percampuran antara class 0 dan class 1 . Beberapa fitur sisanya juga menunjukkan korelasi yang tidak begitu baik. Hal ini menunjukkan bahwa diperlukan degree yang lebih  tinggi  untuk  memisahkan  setiap instances pada dimensi  yang  lebih  tinggi.  Untuk  mencapai  hal  tersebut non-linear  SVM  model akan  diaplikasikan.  Adapun  pada SVM ,  peneliti  telah  mencoba  dua  buah non  linier  kernel , yaitu RBF dan Polynomial .
Kernel  pertama  yang  diaplikasikan  pada SVM  model adalah RBF kernel . Hasil akurasi SVM model menggunakan RBF  Kernel pada training  set dapat  dilihat pada Tabel 6.
TABEL VI . A KURASI V ALIDATION S ET DENGAN RBF K ERNEL
Jumlah Fold Akurasi Model Pembagian Data I Pembagian Data II Pembagian Data III 4 96% 97% 96% 5 97% 96% 96% 7 96% 96% 97% 10 97% 97% 97%
Tabel  6  menunjukkan  bahwa SVM  model dengan RBF kernel memberikan hasil akurasi yang baik. Hal ini berarti SVM Model dengan RBF kernel mampu untuk menangkap pola  dan  relasi  antar  fitur  dalam  proses training .  Adapun hasil dari pengujian SVM model dengan RBF kernel dapat dilihat pada Tabel 7.
TABEL VII
. A KURASI T ESTING S ET DENGAN RBF K ERNEL
Jumlah Fold Akurasi Model Pembagian Data I Pembagian Data II Pembagian Data III 4 97% 84% 60% 5 86% 95% 60% 7 88% 97% 60% 10 95% 97% 60%
Pada  Tabel  7,  dapat  dilihat  bahwa  pengujian SVM model dengan RBF kernel menghasilkan overvfitted model . Model  mampu  untuk  menangkap  pola  dan  relasi  antar fitur  dalam  proses training .  Namun,  model  tidak  dapat mengklasifikasikan testing set dengan baik.
Kernel selanjutnya yang diaplikasikan pada SVM model adalah Polynomial  Kernel .    Hasil  akurasi SVM  model menggunakan Polynomial  Kernel pada  training  set  dapat dilihat pada Tabel 8.
TABEL VIII A KURASI V ALIDATION S ET SVM DENGAN P OLYNOMIAL K ERNEL Jumlah Fold Akurasi Model Pembagian Data I Pembagian Data II Pembagian Data III 4 97% 97% 97% 5 97% 97% 98% 7 97% 98% 97% 10 97% 98% 98%
SVM  model dengan Polynomial  kernel mampu  untuk menangkap  pola  dan  relasi  antar  fitur  dalam  proses training.  Adapun hasil dari pengujian SVM model dengan Polynomial Kernel dapat dilihat pada Tabel 9.
Tabel  9  menunjukkan  bahwa  pengujian SVM model dengan Polynomial kernel memberikan hasil akurasi baik pada  Pembagian  Data  I  dan  II,  tetapi  mengalami overfitting pada  dataset  dengan  Pembagian  Data  III.  Hal ini  menunjukkan  bahwa  persebaran data  pada  Pembagian Data  III  mungkin  tidak  sebagus  persebaran  data  pada Pembagian  Data  I  dan  II,  sehingga  generalisasi  model pada Pembagian Data III tidak cukup baik.
TABEL IX A KURASI T ESTING S ET DENGAN P OLYNOMIAL K ERNEL Jumlah Fold Akurasi Model Pembagian Data I Pembagian Data II Pembagian Data III 4 96% 97% 96% 5 97% 96% 96% 7 96% 96% 97% 10 97% 97% 97%

## F. Backpropagation Model
Perlakuan  antara SVM dan Backpropagation  model tidak  jauh  berbeda.  Hanya  saja,  terdapat  perbedaan metode machine learning yang digunakan, yaitu SVM dan Backpropagation .  Adapun activation  function yang digunakan pada penelitian ini dapat dilihat pada Tabel 10.
TABEL X A CTIVATION F UNCTION PADA B ACKPROPAGATION No
Activation Function
1. Sigmoid/Logistic
2. Identity
3. Tanh
Activation  function mendefinisikan  bagaimana  jumlah weighted  sum pada  input  diubah  menjadi  output  dari setiap  nodes  pada  setiap  lapisan  di  dalam  jaringan  atau network  [17]. Sigmoid  activation  function memetakan nilai input pada kisaran 0 dan 1, serta memberikan kurva berbentuk  S  yang  halus. Tanh  activation  function memetakan  nilai  input  pada  kisaran  -1  dan  1.  Adapun identity  activation  function memungkinkan  model  untuk secara  langsung  menampilkan  nilai  kontinu  tanpa transformasi non-linier apapun.  Selain activation function , hal  lain  yang  harus  diperhatikan  adalah layer dan nodes pada  masing-masing layer .   Adapun  jumlah  jumlah layer dan  nodes  pada  masing-masing layer pada  penelitian  ini dapat dilihat pada Tabel 11.
TABEL XI L AYERS DAN N ODES PADA B ACKPROPAGATION Layer Jumlah Nodes Input Layer 19 Hidden Layer ke-1 25 Hidden Layer ke-2 10 Output Layer 1
Hidden  layer berfungsi  untuk mengembangkan kompleksitas  neural  network  sehingga  perhitungan function  yang  lebih  rumit  dapat  dilakukan  [8]. Berdasarkan  pernyataan  (Heaton,2008),  jumlah  neuron pada hidden layer adalah kurang dari dua kali banyaknya jumlah  neuron  masukan  [6].  Neuron  masukkan  yang dimaksud adalah fitur-fitur pada dataset, sehingga jumlah neuron  masukan  pada  penelitian  ini  adalah  sebanyak sembilan belas buah.
Pada  peneilitian  ini,  terdapat  lima  buah  arsitektur backpropagation yang  telah  dicoba.  Kelima  arsitektur tersebut dapat dilihat pada Tabel 12.
TABEL XII A RSITEKTUR B ACKPROPAGATION Arsitektur ke - Hidden Layer ke-1 Hidden Layer ke- 2 Output Layer 1 Sigmoid Sigmoid Sigmoid 2 Identity Identity Identity 3 Tanh Tanh Sigmoid 4 Identity Identity Sigmoid 5 Tanh Tanh Tanh
Identity activation function diharapkan dapat membantu model untuk menangkap korelasi linear dalam data.
Hasil  kinerja  dari training  process menggunakan sigmoid activation function dapat dilihat pada Tabel 13.
TABEL XIII A KURASI V ALIDATION S ET A RSITEKTUR KE -1 B ACKPROPAGATION Jumlah Fold Akurasi Model Pembagian Data I Pembagian Data II Pembagian Data III 4 93% 93% 94% 5 95% 94% 94% 7 95% 94% 94% 10 95% 95% 95%
Tabel  13  menunjukkan  bahwa backpropagation model dengan sigmoid  activation  function memberikan  hasil akurasi yang baik. Hal ini berarti backpropagation model dengan sigmoid  activation  function mampu  untuk menangkap  pola  dan  relasi  antar  fitur  dalam  proses training dengan  baik.  Adapun  hasil testing model backpropagation tersebut dapat dilihat pada Tabel 14.
TABEL XIV A KURASI T ESTING S ET A RSITEKTUR KE -1 B ACKPROPAGATION
Jumlah Fold Akurasi Model Pembagian Data I Pembagian Data II Pembagian Data III 4 97% 97% 97% 5 96% 96% 97% 7 96% 84% 96% 10 95% 95% 95%
Tabel  14  menunjukkan  bahwa  model  secara  konsisten bekerja  dengan  baik  pada training  set dan testing  set di berbagai  nilai k .  Hal  ini  juga  menunjukkan  bahwa backpropagation  model dengan sigmoid  activation function tidak menghasilkan overvfitted model . Hasil training model  dengan identity  activation function dapat dilihat pada Tabel 15.
Tabel  15  menunjukkan  bahwa backpropagation  model dengan identity  activation  function mampu  untuk menangkap  pola  dan  relasi  antar  fitur  dalam  proses
training dengan  baik.  Adapun  hasil  dari  pengujian backpropagation dengan identity activation function dapa dilihat pada Tabel 16.
TABEL XV
A KURASI V ALIDATION S ET A RSITEKTUR KE -2 B ACKPROPAGATION Jumlah Fold Akurasi Model Pembagian Data I Pembagian Data II Pembagian Data III 4 94% 94% 95% 5 95% 96% 95% 7 95% 95% 95% 10 95% 96% 95% TABEL XVI A KURASI T ESTING S ET A RSITEKTUR KE -2 B ACKPROPAGATION Jumlah Fold Akurasi Model Pembagian Data I Pembagian Data II Pembagian Data III 4 96% 96% 96% 5 96% 96% 96% 7 89% 92% 91% 10 80% 88% 84% Tabel 16
menunjukkan bahwa pengujian backpropagation dengan identity  activation  function memberikan  hasil  akurasi  yang  baik,  tetapi  tidak  sebaik arsitketur ke-1. Akurasi testing set turun secara signifikan menjadi  80%,  88%,  dan  84%  untuk  k=10.  Hal  ini menunjukkan bahwa model sedikit mengalami overfitting . Model  tidak  mampu  menggeneralisasi  data  sebaik  model arsitektur ke-1.
Arsitektur ke-3 yang dibuat merupakan backpropagation dengan tanh  activation  function pada hidden  layer dan sigmoid  activation  function pada output layer . Hasil backpropagation model training arsitektur ke-
3 dapat dilihat pada Tabel 17.
TABEL XVII A KURASI V ALIDATION S ET A RSITEKTUR KE -3 B ACKPROPAGATION Jumlah Fold Akurasi Model Pembagian Data I Pembagian Data II Pembagian Data III 4 92% 92% 92% 5 93% 94% 92% 7 94% 92% 93% 10 95% 95% 94%
Tabel  17  menunjukkan  bahwa  arsitektur  ke-3 backpropagation  model dapat  memberikan  akurasi tertinggi  sebesar  95%  pada fold ke-10.  Hal  ini  berarti backpropagation  model dengan  arsitektur  ke-3  mampu untuk menangkap pola dan relasi antar fitur dalam proses training  dengan  baik.  Adapun  hasil  dari  pengujian backpropagation dengan arsitektur ke-3 dapat dilihat pada Tabel 18.
TABEL XVIII A KURASI T ESTING S ET A RSITEKTUR KE -3 B ACKPROPAGATION Jumlah Fold Akurasi Model Pembagian Data I Pembagian Data II Pembagian Data III 4 96% 96% 97% 5 92% 96% 93% 7 96% 96% 93% 10 80% 92% 92%
Tabel  18  menunjukkan  bahwa  arsitektur  ke-3 backpropagation  model  memberikan  hasil  akurasi  yang baik.  Namun,  akurasi  testing  set  juga  turun  secara signifikan menjadi 80% untuk k=10 pada Pembagian Data I.  Hal  ini  menunjukkan  bahwa  model  sedikit  mengalami sedikit overfitting. Hasil backpropagation  model training dengan identity activation  function pada hidden  layer dan sigmoid activation  function pada output  layer dapat  dilihat  pada Tabel 19.
TABEL XIX
A KURASI V ALIDATION S ET A RSITEKTUR KE -4 B ACKPROPAGATION Jumlah Fold Akurasi Model Pembagian Data I Pembagian Data II Pembagian Data III 4 91% 92% 92% 5 92% 93% 91% 7 93% 93% 92% 10 94% 93% 93%
Tabel  19  menunjukkan  bahwa  arsitektur  ke-4  mampu untuk menangkap pola dan relasi antar fitur dalam proses training  dengan  baik.  Adapun  hasil  dari  pengujian backpropagation dengan arsitektur ke-4 dapat dilihat pada Tabel 20.
TABEL XX A KURASI T ESTING S ET A RSITEKTUR KE -4 B ACKPROPAGATION
Jumlah Fold Akurasi Model Pembagian Data I Pembagian Data II Pembagian Data III 4 96% 96% 95% 5 95% 96% 96% 7 96% 96% 95% 10 96% 96% 96%
Tabel  20  menunjukkan  bahwa  arsitektur  ke-4 backpropagation  model memberikan  hasil  akurasi  yang baik.  Hal  ini  juga  menunjukkan  bahwa  backpropagation model  dengan  arsitektur  ke-4  tidak  menghasilkan overvfitted  model .  Model  mampu  untuk  menangkap  pola dan  relasi  antar  fitur  dalam  proses training ,  begitupula model dapat mengklasifikasikan testing set dengan baik. Hasil training  backpropagation  model dengan tanh activation  function pada  setiap  lapisan  dapat  dilihat  pada Tabel 21.
TABEL XXI
A KURASI V ALIDATION S ET A RSITEKTUR KE -5 B ACKPROPAGATION
Jumlah Fold Akurasi Model Pembagian Data I Pembagian Data II Pembagian Data III 4 84% 80% 61% 5 90% 87% 80% 7 85% 84% 83% 10 82% 82% 83%
Tabel 21 menunjukkan bahwa arsitekur ke-5 backpropagation model model tidak cukup mampu untuk mempelajari  pola  dasar  dari training  set .  Adapun  hasil dari  pengujian backpropagation dengan  arsitektur  ke-5 dapat dilihat pada Tabel 22.
TABEL XXII A KURASI T ESTING S ET A RSITEKTUR KE -5 B ACKPROPAGATION Jumlah Fold Akurasi Model Pembagian Data I Pembagian Data II Pembagian Data III 4 97% 91% 60% 5 97% 77% 97% 7 92% 88% 96% 10 97% 59% 40%
Tabel  22  menunjukkan  bahwa  arsitektur  ke-5 backpropagation model menunjukkan  bahwa model tidak mampu mempelajari pola-pola  pada training set  seefektif model  lainnya.  Akurasi  set  pelatihan  yang  lebih  rendah menunjukkan  bahwa  model  bekerja  keras  untuk menangkap  hubungan  yang  mendasarinya  dalam  data, yang dapat memengaruhi kemampuan generalisasinya.

## G. Confusion  Matrix  dan  Kurna  ROC  dari  Model-Model

## Terbaik
Berdasarkan  hasil training dan  pengujian  setiap  model menggunakan testing  set ,  penulis  memutuskan  untuk membandingkan  model SVM dan Backpropagation pada fold  =  4.  Hal  ini  disebabkan  karena  pada fold tersebut, keseluruhan  model  cenderung  bekerja  dengan  baik. Adapun  pada SVM ,  peneliti  memilih SVM  model dengan polynomial  kernel .  Model  tersebut  memberikan  hasil akurasi  yang  cukup  tinggi,  baik  pada  proses training maupun  testing.  Adapun  untuk  backpropagation  model, peneliti  memilih backpropagation  model dengan sigmoid activation  function .  Hal  ini  juga  didasari  karena  model tersebut memberikan hasil akurasi yang cukup tinggi, baik pada  proses training maupun testing .  Untuk  mengingat kembali  akurasi training  set dan testing  set dari  kedua model  tersebut,  akurasi  kedua  model  dapat  dilihat  pada Tabel 23.
TABEL XXIII A KURASI M ODEL SVM DAN B ACKPROPAGATION T ERBAIK Model Akurasi SVM 97% Backpropagation 97%
Adapun confusion matrix dari model SVM terbaik dapat dilihat pada Gambar 4 berikut.
Gambar. 4 Confusion Matrix SVM Model Terbaik
Gambar  4  menujukkan  bahwa  model  dapat  menebak kelas  negatif  sebanyak  234  data.  Model  juga  dapat menebak  kelas  positif  dengan  benar  sebanyak  162  data. Namun, model salah menebak kelas negatif sebagai kelas positif  sebanyak  4  data  dan  model  salah  menebak  kelas positif sebagai kelas negatif sebanyak 10 buah data. Total, model  dapat  menebak  baik  kelas  positif  maupun  kelas negative sebanyak 396 data. Sedangkan, total model salah menebak data dengan benar adalah sebanyak 14 buah data.
Adapun  evaluasi SVM model  menggunakan  kurva ROC/AUC dapat dilihat pada Gambar 5.
Gambar. 5 ROC/AUC Curve SVM Model
Pada  Gambar  5,  nilai AUC sebesar  0,98  menunjukkan bahwa  model  memiliki  daya  pembeda  yang  sangat  baik dan  dapat  secara  efektif  membedakan  antara  kelas  positif dan  kelas  negatif.  Adapun  confusion  matrix  dari Backpropagation model dapat dilihat pada Gambar 6.
Gambar  6  menujukkan  bahwa  model  dapat  menebak kelas  negatif  atau  kelas  label  0  dengan  benar  sebanyak 238  data.  Model  juga  dapat  menebak  kelas  positif  atau kelas label 1 degan benar sebanyak 161 data. Model tidak pernah  salah  menebak  kelas  negatif  sebagai  kelas  positif. Namun,  model  salah  menebak  kelas  positif  sebagai  kelas negatif sebanyak 11 buah data.
Adapun
evaluasi Backpropagation model
menggunakan kurva ROC/AUC dapat dilihat pada Gambar 7.
Gambar. 7 ROC/AUC Curve Backpropagation Model
Nilai AUC pada Backpropagation model adalah sebesar 0,99  yang  menunjukkan  bahwa  model  memiliki  daya pembeda  yang  sangat  baik  dan  dapat  secara  efektif membedakan antara kelas positif dan kelas negatif.

## H. Perbandingan Hasil Kinerja Model Terbaik SVM dan Backpropagation
Hasil  akurasi training  process pada Backpropagation model terbaik  memang  tidak  setinggi  hasil  akurasi  dari training process pada SVM model . Namun, Backpropagation  model mampu  meraih  akurasi  yang sama  tinggi  dengan SVM  model pada testing  set ,  yaitu sebesar  97%.  Hal  yang  membuat Backpropagation menjadi sedikit lebih unggul dari SVM model dapat dilihat pada  visualisasi Confusion  Matrix dan  kurva ROC/AUC . Pada SVM , model salah menebak 4 buah data kelas negatif sebagai  kelas  positif  dan  model  salah  menebak  10  buah data  kelas  positif  sebagai  kelas  negatif.  Namun,  pada Backpropagation ,  model  tidak  pernah  salah  menebak kelas  negatif  sebagai  kelas  positif.  Model  hanya  salah menebak 11 buah data kelas positif sebagai kelas negatif. Total  kesalahan  klasifikasi  yang  dilakukan SVM  model adalah  sebanyak  14  buah  data.  Namun,  total  kesalahan yang  dilakukan  oleh  backpropagation  hanya  sebanyak  11 buah data. Hasil kurva AUC Backpropagation adalah 99%, dimana  hasil  tersebut  lebih  tinggi  1%  dari  kurva AUC SVM  model .  Selain  dari  sisi  akurasi, SVM  Model juga mengeksekusi program lebih cepat
daripada
Backpropagation
Model.
SVM
Model hanya menghabiskan  waktu  sebanyak  3,5  detik,  sedangkan Backpropagation  Model menghabiskan  waktu  11,3  detik. Dengan demikian, dapat dinyatakan bahwa Backpropagation  model menghasilkan  performa  yang sedikit lebih baik dari SVM model dari sisi akurasi.
IV. K ESIMPULAN
Penelitian ini telah mampu membandingkan performansi  antara  model SVM dan Backpropagation untuk  klasifikasi  studi  mahasiswa  Undiksha. SVM dan Backpropagation  model terbaik  sama-sama  memberikan hasil  akurasi  sebesar  97%  pada testing  process . Berdasarkan  hasil Confusion  Matrix, model SVM salah menebak  4  data  kelas  negatif  sebagai  kelas  positif  dan model  salah  menebak  10  data  kelas  positif  sebagai  kelas negatif.  Namun,  pada Backpropagation ,  model  tidak pernah  salah  menebak  kelas  negatif  sebagai  kelas  positif. Model  hanya  salah  menebak  11  buah  data  kelas  positif sebagai  kelas  negatif.  Hasil  kurva AUC Backpropagation adalah  99%,  dimana  hasil  tersebut  lebih  tinggi  1%  dari kurva  model AUC  SVM . Backpropagation berhasil menggeneralisai data dengan lebih baik. Backpropagation memiliki keunggulan dalam
menghindari false  positives .  Meskipun  memiliki  sedikit lebih  banyak false  negatives dibandingkan SVM ,  tetapi tidak  adanya false  positives juga  memiliki  nilai  yang penting. Kompleksitas jaringan saraf tiruan sebagai model dapat menyesuaikan diri dengan pola yang kompleks dan non-linear  dalam  data.  Hal  ini  memungkinkannya  untuk menemukan relasi yang lebih rumit antara fitur-fitur yang dapat  membantu  mengidentifikasi  mahasiswa  yang berpotensi lulus terlambat tanpa membuat keputusan yang terlalu  berlebihan  dengan  menyatakan  mahasiswa  yang sebenarnya tidak berisiko sebagai berpotensi bermasalah.
Berdasarkan  penelitian-penelitian  terkait  yang  sudah dijelaskan sebelumnya, penelitian ini berhasil mengasilkan  model  klasifikasi  dengan  menggunakan bahasa pemrograman Python dan K-Fold Cross Validation sebagai  metode  pembagian  dataset.  Penelitian  ini  juga mampu  menghasilkan  sebuah  model  klasifikasi  dengan data-data  non  akademik  sebagai  fitur-fiturnya . Penelitian ini merupakan penelitian studi kasus, dimana  model yang dihasilkan  juga  dapat  diimplementasikan  pasa  kasus  lain dengan prediktor serupa.

## V. S ARAN
Berdasarkan  penelitian  yang  telah  dilakukan,  berikut merupakan  beberapa  saran  yang  dapat  dipertimbangkan untuk  penelitian  selanjutnya.  Peneliti  menyarankan  untuk melakukan hyperparameter tunning pada setiap algoritma machine  learning yang  dipilih  agar  model  dapat menghasilkan  akurasi  yang  terbaik  dengan  parameter- parameter  terbaik.  Penelitian  ini  menggunakan  metode normalization untuk scaling feature . Peneliti menyarankan  untuk  mencoba  metode  lain  seperti standardization untuk penelitian kedepannya.

## R EFERENSI
[1] S. N. Hermawanti, Asriyanik, and A. A. Sunarto, “Implementasi Algoritma  C4.5  untuk  Prediksi  Kelulusan  Tepat  Waktu  (Studi Kasus:  Program  Studi  Teknik  Informatika),”  Jurnal  Ilmiah SANTIKA,  vol.  9,  no.  1,  pp.  853–864,  2019.  Available: http://jurnalummi.agungprasetyo.net/index.php/santika/article/do wnload/552/253
[2] G.  Agung,  Peraturan  Akademik  Undikhsa,  2016.  Available: https://static1.undiksha.ac.id/shakuntala/2019/dok_lembaga/perat uran/5.3.1.3.pdf
[3] U.  Budiyanto  and T.  Fatimah, “Prediksi Kelulusan  Tepat  Waktu Mahasiswa  Menggunakan  Jaringan  Syaraf  Tiruan,”  2019,  pp. 152–160.
[4] Tumini,  “Prediksi  kelulusan  Mahasiswa  Dengan  Metode  Support Vector  Machine  (SVM)  Studi  Kasus  STMIK  Cikarang,” Informatika SIMANTIK, vol. 4, 2019.
[5] Y.  Mukti,  S.  Tinggi,  and  T.  Pagaralam,  “Sistem  Prediksi  Lulus
Tepat  Waktu  Tugas  Akhir  Mahasiswa  Menggunakan  Support Vector Machine (SVM),”
Dec.
2020. https://doi.org/10.32767/JUTIM.V5I2.1050 [6] H.  Mustafidah  and  F.  Halimah,  “Prediksi  Kategori  Kelulusan Mahasiswa,” 2019,
pp. 164–170. https://doi.org/10.1109/ICSCEE.2018.8538397
[7] A.  Pratama,  R.  C.  Wihandika,  and  D.  E.  Ratnawati, “Implementasi  algoritme  support  vector  machine  (SVM)  untuk prediksi  ketepatan  waktu  kelulusan  mahasiswa,”  Jurnal Pengembangan  Teknologi  Informasi Dan  Ilmu Komputer,  vol.  2, April 2018, pp. 1704–1708.
[8] B.  Purnama,  Pengantar Machine  Learning,  Informatika Bandung, 2019.
[9] S. Sharma, S. Srivastava, A. Kumar, and A. Dangi, “Multi-Class Sentiment  Analysis  Comparison  Using  Support  Vector  Machine (SVM)  and  BAGGING  Technique-An  Ensemble  Method,”  in 2018  International  Conference  on  Smart  Computing  and Electronic Enterprise, ICSCEE 2018, July 2018, pp. 1–6.
[10] S.  Cipolla  and  J.  Gondzio,  “Training  very  large  scale  nonlinear SVMs using Alternating Direction Method of Multipliers coupled with  the  Hierarchically  Semi-Separable  kernel  approximations,” EURO  Journal  on  Computational  Optimization,  vol.  10,  2022, 100046. https://doi.org/10.1016/j.ejco.2022.100046
[11] J. Majeed Sadeq, B. Aziz Qadir, and H. Hassan Abbas, “Cars logo recognition  by  using  of  backpropagation  neural  networks,” Measurement: Sensors, vol. 26, Oct. 2022, 100702. https://doi.org/10.1016/j.measen.2023.100702.
[12] K.  Amadea,  F.  A.  Bachtiar,  and  G.  Pangestu,  “Klasifikasi  Pola Pergerakan  Bola  Mata  Menggunakan  Metode  Multilayer Backpropagation,”  Jurnal  Teknologi  Informasi  Dan  Ilmu Komputer, vol. 9, no. 2, p. 391, 2022. https://doi.org/10.25126/jtiik.2022925668.
[13] B.  Fachri,  A.  P.  Windarto,  and  I.  Parinduri,  “Penerapan Backpropagation dan Analisis Sensitivitas pada Prediksi Indikator Terpenting  Perusahaan  Listrik,”  Jurnal  Edukasi  Dan  Penelitian Informatika (JEPIN), vol. 5, no. 2, p. 202, 2019. https://doi.org/10.26418/jp.v5i2.31650.
[14] F. Ayu, “Implementasi Jaringan Saraf Tiruan Untuk Menentukan Kelayakan Proposal Tugas Akhir,” vol. 3, no. 2, pp. 44–53, 2019.
[15] Suripto  and  A.  Sekar,  Teknik  Pre-processing  dan  Classification dalam  Data  Science,  Binus  University,  2022.  Available: https://mie.binus.ac.id/2022/08/26/teknik-pre-processing-dan- classification-dalam-data-science/.
[16] P.  Ajar  and  M.  Kuliah,  “Data  Preparation  Structure  untuk Pemodelan Prediktif Jumlah Peserta Ajar Mata Kuliah,” vol. 9, no.
1, pp. 7–11, 2023.
[17] J.  Brownlee,  “How  to  Choose  an  Activation  Function  for  Deep
Learning,”
2021.
Available: https://machinelearningmastery.com/choose-an-activation- function-for-deep-learning/.