https://jurnal.itg.ac.id/index.php/algoritma DOI: 10.33364/algoritma/v.21-1.1618

## Teknik K-Fold Cross Validation untuk Mengevaluasi Kinerja Mahasiswa
Wijiyanto 1* , Afu Ichsan Pradana 2 , Sopingi 3 , Vihi Atina 4 1,2,3 Institut Teknologi Garut, Indonesia
*email: wijiyanto@udb.ac.id Info Artikel ABSTRAK Dikirim: 19 Februari 2024 Diterima: 26 Maret 2024 Diterbitkan: 20 Mei 2024
Kemampuan  seorang  mahasiswa  untuk  menyelesaikan  perkuliahan dipengaruhi oleh berbagai faktor, termasuk aspek akademik dan non- akademik. Memahami faktor yang mempengaruhinya menjadi sangat penting untuk diketahui dalam rangka mengantisipasi dan mencegah kemungkinan  kegagalan  studinya.  Faktor  yang  bersifat  non- akademik  ternyata  juga  berpengaruh  besar  terhadap  keberhasilan mahasiswa  terutama  dari  faktor  keluarga,  seperti  status  jenjang pendidikan yang diperoleh orang tua, status pekerjaan yang dimiliki orang tua dan penghasilan kedua orang tua. Untuk dapat memahami faktor  tersebut  diperlukan  studi  untuk  memprediksi  kinerja mahasiswa  berdasarkan  faktor  yang  berlatar  belakang  keluarga menggunakan  model machine  learning algoritma support  vector machine , naïve bayes , neural network dan decision tree . Data yang digunakan  sebanyak  365  record  dan  11  atribut  dipisah  untuk  data train sebesar 70% dan untuk data test sebesar 30%, yang selanjutnya digunakan  kfold  cross  validation  untuk  mengevaluasi  hasil menggunakan  parameter  n_split=10  dan  random_state=42.  Pada parameter confusion matrix diperoleh nilai akurasi rata-rata (mean) untuk model support vector machine sebanyak 87,68%, naïve bayes sebanyak 90,97%, neural network sebesar 87,95% dan decision tree sebesar  85,75%.  Sedangkan  hasil  fold  terbaik  untuk  SVM  terletak pada fold ke-10 dengan akurasi 94,44%, untuk NB terletak pada fold ke-4  dengan  nilai  akurasi  97,29%,  untuk  NN  terletak  di  fold  ke-4 dengan  nilai  akurasi  94.59%  serta  untuk  DT  terletak  di  fold  ke-5 dengan  nilai  akurasi  91,89%.  Dengan  demikian  evaluasi menggunakan  k-fold  cross  validation  dapat  digunakan  dalam memprediksi  kinerja  mahasiswa  berdasarkan  atribut  keluarga menggunakan  fold  ke-4  yang  memiliki  akurasi  tertinggi  sebesar 97,29% pada algoritma model naïve bayes dalam rangka untuk lulus dengan tepat waktu.
Kata kunci: Akurasi; Cross Validation ; Kfold;
Kinerja Mahasiswa; Machine Learning ; Mean .

## 1. PENDAHULUAN
Dalam beberapa tahun terakhir, teknik machine learning semakin populer dalam menganalisis data di berbagai bidang,  termasuk  pendidikan.  Salah  satu  aplikasi  menarik  dari  machine  learning  dalam konteks  pendidikan adalah prediksi kinerja mahasiswa dan mengevaluasi kinerja mahasiswa tersebut merupakan aspek yang perlu diperhatikan karena dapat membantu dalam mengukur hasil belajar mereka dan mengidentifikasi area yang perlu  ditingkatkan  dalam  menyelesaikan  pendidikan  secara  tepat  waktu.  Faktor-faktor  yang  berkontribusi terhadap  keberhasilan  mahasiswa  merupakan  hal  utama  yang  layak  dipertimbangkan  untuk  mengantisipasi keberhasilan  studinya.  Memahami  pengaruh  dari  faktor  keluarga  terhadap  kinerja  mahasiswa  merupakan bidang  yang  semakin  menarik  untuk  diteliti.  Dengan  menganalisis  dampak  faktor  tersebut  seperti  tingkat
pendidikan yang dimiliki oleh orang tua, status ekonomi keluarga, struktur keluarga, dan keterlibatan orang tua terhadap keberhasilan mahasiswa [1], kita dapat memperoleh wawasan yang berharga tentang strategi yang efektif  untuk  mendukung  mahasiswa  dalam  perjalanan  akademis  mereka.  Salah  satu  teknik  untuk mengeksplorasi akurasi prediksi kinerja mahasiswa berdasarkan atribut keluarga adalah menggunakan evaluasi K-Fold Cross Validation pada model Machine Learning . Evaluasi tersebut akan membantu dalam memastikan model dapat melakukan pengukuran hasil yang lebih stabil terhadap kinerjanya [2].
Machine learning yang digunakan adalah algoritma support vector machine (SVM), naïve bayes (NB), neural network (NN) dan decision tree (DT). Dari keempat algoritma yang digunakan akan dievaluasi menggunakan cross  validation yang  merupakan  salah  satu  cara  yang  dipakai  untuk  mengukur  lebih  akurat  dalam  model klasifikasi machine learning [3] karena, cross validation merupakan salah satu metode resampling data yang digunakan untuk memperkirakan kesalahan prediksi model yang sebenarnya serta untuk menyetel parameter model [4]. Selain itu cv_kfold adalah perintah pasca estimasi yang mengimplementasikan prosedur validasi silang  k-lipatan  setelah  regresi  yang  memungkinkan untuk memilih  jumlah  fold  "k"  dan pengulangan yang akan dijalankan berdasarkan model yang telah diestimasi sebelumnya [5]. Menerapkan k-fold cross validation , dapat diperoleh pengetahuan tentang seberapa baik model yang kita gunakan dalam menggeneralisasi data baru dan  membuat  keputusan yang  lebih  tepat  tentang kesesuaiannya  untuk  mengevaluasi  kinerja  mahasiswa[6]. Selain itu, validasi silang k-fold membantu mengurangi bias dan masalah overfitting yang dapat muncul saat mengevaluasi  kinerja  mahasiswa  [7],[8] serta  untuk  menentukan  jumlah  iterasi  yang  maksimal  untuk digunakan dalam menvalidasi silang Kfold-nya [9] dan dalam beberapa kondisi, k-fold cross validation dapat menaikkan nilai akurasi klasifikasi ground-truth hingga 25% [10].
Penelitian  sebelumnya  yang menenerapkan k-fold  cross  validation oleh  [11]  dengan  memakai  jumlah  k=30 menggunakan  decision  tree  C4.5  menghasilkan  nilai  akurasi  sebanyak  96,00%  dan  algoritma  KNN menghasilkan nilai akurasi sebanyak 95,33%, demikian juga halnya yang dilakukan oleh [12] dan [13] yang juga menggunakan decision tree diperoleh nilai akurasi sebanyak 87,1% dan 90,92%. Sementara dalam [14] yang  menggunakan algoritma support  vector  machine menghasilkan  nilai  akurasi  sebanyak  91,76%.  Untuk algoritma naïve bayes menggunakan  jumlah  k=10  pada  penelitian[6]  diperoleh  akurasi  sebesar  96,12%  dan hasil tertinggi sebesar 82,94% pada k=5 juga digunakan untuk klasifikasi status gizi balita [15] pada algoritma neural network diperoleh akurasi sebesar 79.48% pada k=7.
Dalam  penelitian  yang  dilakukan  oleh  Huzain  Azis dan  kawan  kawan  [16]  juga  menerapkan  metode  cross validation  dalam  meningkatkan  performa  klasifikasinya  menggunakan  k-fold=10,  hasil  yang  menggunakan perbandingan data 50:50 diperoleh akurasi sebesar 82%. Arisandi dan kawan kawan, menerapkan 10-fold cross validation untuk mengklasifikasikan data status gizi menggunakan pemodelan naïve bayes memperoleh hasil tertinggi pada k=6 dengan rata-rata akurasi pada setiap iterasi sebesar 88,46% [17]. Sementara  teknik cross validation (k=10) juga digunakan untuk mengklasifikasikan bunga iris menggunakan perbandingan data 80% menggunakan pemodelan SVM diperoleh akurasi sebesar 92,6% [18].
K-Fold  Cross  Validation telah  diimplementasikan  dalam  menilai  kinerja  model  machine  learning  pada penelitian sebelumnya dengan hasil yang beragam dengan cara memisahkan dataset menjadi data train dan data test.  Proses  ini  dapat  membantu  menentukan  apakah  model  memiliki  kinerja  yang  baik  dan  mencegah overfitting atau underfitting . Dengan demikian, studi ini diharapkan dapat memberikan dampak penting dalam penerapan machine learning menggunakan validasi silang k-fold cross validation untuk meningkatkan akurasi, khususnya algoritma SVM, NB, NN dan DT sebagai model kalsifikasi dalam memprediksi kinerja mahasiswa supaya dapat menyelesaikan pendidikanya secara tepat waktu.

## 2. METODE PENELITIAN
Untuk  memberikan  arah  penelitian  yang  lebih  baik, pada  gambar 1  terlihat  tahapan  yang  dilakukan  dengan pengumpulan  dataset, preprocessing,  split  data,  penentuan  K-fold  cross  validation,  modelling,  confusion matrix dan evaluation .
Gambar 1. Tahapan penelitian
1) Dataset
Dataset  merupakan  kumpulan  data  terstruktur  terdiri  atas  entitas  relevan  untuk  dianalisis  dan memiliki peranan yang sangat penting dalam ha hasil akhir atas suatu pemodelan yang digunakan. Dataset  privat  yang  digunakan  dalam  penelitian  eksperimen  ini  menggunakan  365 record  dan 11 atribut termasuk labelnya yang berasal dari data lulusan 2023 di Fakultas Ilmu Komputer Universitas Duta  Bangsa  Surakarta  yang  berbentuk csv .  Tabel  1  menunjukan  ringkasan  statistik  deskriptif tentang  Dataset  yang  digunakan  terdiri  dari  Count  yang  merupakan  Jumlah  entri  non-null  dalam setiap atribut, Mean merupakan nilai rata-rata dari setiap atribut, Std (Standard Deviation) nilai dari setiap atribut, Minmerupakan Nilai minimum dari setiap atribut, 25% merupakan Kuartil pertama (25th percentile) dari data setiap atribut, 50% merupakan Median (50th percentile) dari data setiap atribut,  75%  merupakan  Kuartil  ketiga  (75th  percentile)  dari  data  setiap  atribut  dan  Max  yang merupakan nilai maksimal dari setiap atribut.
Tabel 1. Distribusi statistik dataset yang digunakan
jk asal umur pendidikan_ayah id_pekerjaan_ayah ….. keterangan count 365.000.000 365.000.000 365.000.000 365.000.000 365.000.000 ….. 365.000.000 mean 0.315068 0.150685 23.010.959 2.723.288 3.821.918 ….. 0.876712 std 0.465181 0.358233 2.028.611 1.214.668 1.971.935 ….. 0.329218 min 0.000000 0.000000 20.000.000 0.000000 0.000000 ….. 0.000000 25% 0.000000 0.000000 22.000.000 2.000.000 2.000.000 ….. 1.000.000 50% 0.000000 0.000000 23.000.000 3.000.000 4.000.000 ….. 1.000.000 75% 1.000.000 0.000000 23.000.000 3.000.000 5.000.000 ….. 1.000.000 max 1.000.000 1.000.000 43.000.000 6.000.000 7.000.000 ….. 1.000.000
2) Preprocessing
Preprocessing merupakan  kegiatan  dalam  menganalisis  data  sebelum  melakukan  langkah membangun  model machine  learning dalam  rangka  untuk  meningkatkan  kualitas  data  serta memastikan  data  cocok  digunakan  dengan  proses  pembuatan  model.  Tahap  ini  melakukan penseleksian atribut yang tidak memiliki relevansi data yang berhubungan dengan keluarga. kedua adalah membersihkan data yang tidak memiliki nilai atau kosong ( missing value ).
3) Split Data
Pemisahan data merupakan langkah untuk membagi data menjadi dua kelompok yang berbeda yang digunakan  sebagai  data training dan  kelompok  data  untuk testing .  Tujuannya  untuk  mengukur kinerja dari model pada data testing yang tidak dipergunakan dalam proses training , sehingga dapat memperkirakan kemampuan model yang digunakan dalam mengeneralisasi data testing yang akan diuji. Dataset di bagi menggunakan perbandingan 70:30 dimana 70% untuk data training dan 30% untuk  data testing .
4) K-Fold Cross Validation
K-fold cross validation merupakan cara statistikal yang digunakan dalam evaluasi performan dari model yang akan dibangun[19]. Selain itu k-fold cross validation adalah cara yang efektif dalam menggabungkan  atribut  dan  setting  parameter machine  learning dalam  melatih  model prediction yang  lebih  baik[20].  Dataset  akan  dibagi  menggunakan  10-fold  dengan  ukuran  yang  sama  pada setiap fold-nya, sehingga mempunyai 10 subset data. Untuk setiap 1 k-fold data testing akan di cross
validation dengan  9  k-fold    data training [21]  [11]  seperti  yang  terlihat  pada  skema k-fold  cross validation gambar 2. Kelebihan menggunakan K-Fold Cross Validation adalah dalam rangka untuk meningkatan estimasi kinerja yang lebih stabil dan akurat dengan cara menghitung rata rata hasil dari “k” iterasi dan mencapai resiko empiris yang lebih rendah, daripada hanya membaginya  ke dalam data training dan data testing saja [22]. Kelebihan lain menggunakan K-Fold Cross Validation dapat meminimalisasi resiko overfitting dengan cara melatih dan menguji model dengan berbagai kombinasi data[10].
Gambar 2. skema kfold cross validation
5) Modelling Classification
a. Support Vector Machine Metode Machine  Learning yang  sering  digunakan  adalah Support  Vector  Machine (SVM), terutama dalam mengatasi masalah klasifikasi dan regresi di ruang dimensi tinggi [23]. SVM bertujuan utama untuk menemukan hyperplane optimal yang dapat memisahkan kelas-kelas yang berbeda secara efisien di dalam ruang fitur.
b. Naïve Bayes
Algoritma Naïve  Bayes merupakan  model  probabilistik  yang  bertujuan  untuk  memprediksi kategori  dari  data  sampel  yang  dinyatakan  dengan  probabilitas.  Pengklasifikasi  Bayes didasarkan  pada  teorema  probabilitas  bersyarat  Bayes.  Teorema  ini  mengukur  probabilitas bersyarat  dari  sebuah  variabel  acak  atau  variabel  kelas  yang  diberikan  pengamatan  yang diketahui tentang nilai-nilai dari sekumpulan variabel acak lainnya atau variabel karakteristik [24].
𝑃(𝑌|𝑋) = 𝑃(𝑋|𝑌)𝑃(𝑌) 𝑃(𝑋) (1)
c. Neural Network
Sebagian  besar  penelitian  yang  dilakukan  dalam  jaringan  syaraf  tiruan  terinspirasi  dan dipengaruhi oleh pengetahuan tentang sistem biologis karena didasarkan pada ide meniru otak manusia,  dengan neuron yang  berfungsi  sebagai  elemen  komputasi  (dasar)  dalam  sistem. Neural  Network merupakan  serangkaian  unit  pemrosesan  kecil  yang  memiliki  inspirasi  dari cara  kerja  sistem  saraf  pada manusia.  Keunggulan utama  jaringan  saraf  tiruan  terletak pada adaptabilitasnya yang tinggi; mereka dapat menyesuaikan struktur dan memecahkan masalah dengan memproses informasi eksternal dan internal melalui koneksi yang kompleks di dalam jaringannya [25].
d. Decision Tree
Decision Tree (DT) adalah machine learning algorithms sederhana yang diawasi untuk tugas regresi  dan  klasifikasi.  namun  demikian,  DT  digunakan  untuk  mengklasifikasikan  masalah.
Bentuknya seperti pohon, di mana simpul bagian dalam mencirikan fitur-fitur dataset, cabang- cabang menandakan aturan keputusan, dan setiap simpul daun menandakan hasil [3] [13].
6) Confusion Matrix
Confusion  matrix adalah  tabel  untuk  dipergunakan  dalam  mengevaluasi  klasifikasi  model  dalam mencari performa model pada sebuah data testing yang telah diketahui labelnya. Confusion matrix terdiri dari empat sel yaitu true positif (TP), true negative (TN), false positif (FP) dan false negative (FN).  Confusion  matrix  berisi  informasi  yang  sebenarnya  dan  perkiraan  untuk  sistem pengklasifikasian, urutan pengujian ditabulasikan dalam matriks kerancuan di mana class yang akan diprediksi ditampilkan dahulu di atas matrik dan class yang diamati terdapat di sebelah kiri. Tiap sel berisikan  angka  yang  mencerminkan  jumlah  kasus  aktual  dari  kelas  yang  diamati  yang  ingin diprediksi [26] [27].
7) Evaluation
Akurasi adalah metrik yang membantu untuk mengetahui seberapa tepat atau dekat hasilnya dengan nilai  sebenarnya,  memberikan  informasi  tentang  kemungkinan  kesalahan  yang  dapat  ditemukan dalam  klasifikasi.  Persamaan  (2)  menunjukkan  rumus  untuk  menentukan  akurasi  algoritma klasifikasi, di mana akurasi bergantung pada jumlah TP, TN, FP, FN [28].
accuracy(%) = ( 𝑇𝑃 + 𝑇𝑁 𝑇𝑃 + 𝑇𝑁 + 𝐹𝑃 + 𝐹𝑁 ) 𝑥100 (2)

## 3. HASIL DAN PEMBAHASAN
Hasil  dan  pembahasan  dalam  penelitian  ini  menggunakan  data  berdasarkan  atribut  keluarga  yang  memiliki kontribusi yang besar dalam menentukan hasil kinerja mahasiswa selama perkuliahan. Evaluasi menggunakan 10 Fold cross Validation menggunakan model machine learning yaitu Support Vector Machine (SVM), Naïve Bayes , Neural Network dan Decision Tree .

## 3.1 Dataset Preparation
Dari dataset yang digunakan tersebut telah di cek setiap atributnya untuk mengetahui distribusi dari masing masing atribut yang digunakan. Seperti pada gambar 3 terdapat temuan bahwa mahasiswa yang ibunya tidak bekerja  lebih  banyak  yang  lulus  tepat  waktu,  demikian  pula  dari  mahasiswa  yang  lulus  tepat  waktu  semua, mereka memiliki ayah yang mempunyai penghasilan paling besar.
(a)
(b)
Gambar 3. (a). Hasil cek atribut id pekerjaan ibu (b). Hasil cek atribut id pekerjaan ayah.
Selain distribusi setiap atribut dicek, juga dilakukan cek korelasi antar atribut dan distribusi data untuk semua atribut menggunakan boxplot yang terdapat pada Gambar 4 dan 5.
Gambar 4. Korelasi antar atribut
Dari gambar 4 terlihat bahwa warna terang pada heatmap mengindikasikan bahwa kovariansnya tinggi seperti pada  atribut  id_jenjang_pendidikan_ibu,  sedangkan  warna  gelap  pada  heatmap  menunjukkan  bahwa kovariansnya rendah seperti pada atribut id_pengahasilan_ibu.
Gambar 5. Distribusi data semua atribut
Selain itu juga dilakukan seleksi atribut yang tidak memiliki relevansi data yang berhubungan dengan keluarga. dan membersihkan data yang tidak memiliki nilai atau kosong ( missing value ).

## 3.2 Modelling
Dataset dibagi menjadi data training dan data testing dengan perbandingan 70:30, di mana 70% (255 record) digunakan sebagai data training dan 30% (110 record) sebagai data testing. Selanjutnya masing masing model pada machine learning (SVM, NB, NN dan DT) diuji coba menggunakan nilai parameter random_state=42 dan n_split=10 pada k-fold cross validation dan hasilnya terlihat di tabel 2.
Tabel 2.Hasil kinerja pada masing masing model
Fold Accuracy model SVM NB NN DT 1 81.08 83.78 81.08 83.78 2 89.18 89.18 83.78 78.37 3 89.18 86.48 89.18 86.48 4 83.78 97.29 94.59 89.18 5 89.18 91.89 89.18 91.89 6 91.66 91.66 88.88 83.33 7 83.33 88.88 83.33 80.55 8 86.11 88.88 86.11 83.33 9 88.88 97.22 88.88 88.88 10 94.44 94.44 94.44 91.66 Mean 87.68 90.97 87.95 85.75
Dari Tabel 2 terlihat bahwa masing masing model telah memiliki kinerja akurasi yang baik, dimana masing masing  model  memiliki  rata  rata  nilai  akurasi  untuk  support  vector  machine  sebesar  87.68%,  naïve  nayes sebesar 90.97%, neural network sebesar 87.95% dan decision tree sebesar 85.75%. sedangkan hasil confusion matrix untuk data test terlihat di Gambar 6 untuk masing masing model yang digunakan.
(a) (b) (c) (d)
Gambar 6. Confusion matrix data testing (a) SVM, (b) NB, (c) NN, (c) DT
Dari gambar 6 terlihat hasil visualisasi kinerja masing masing model dengan membandingkan nilai prediksi dengan nilai aktual menggunakan data testing.

## 3.3 Evaluation
Pada tahap ini, dapat dilihat hasil akurasi pada data training dan data testing yang lebih stabil. Dari Gambar 7 dapat dilihat bahwa akurasi untuk data testing lebih tinggi dibanding dengan data training kecuali untuk model yang menggunakan decision tree , dimana hasil data test lebih rendah dari hasil dari data training.
Gambar 7. Hasil akurasi data train dan data test
Sedangkan dari masing-masing model yang dievaluasi dengan K -Fold Cross Validation dapat diketahui fold terbaik dan akurasi tertingginya.
Tabel 3. Hasil fold terbaik Model Fold Terbaik Akurasi Suport Vector Machines with KFold 10 94.44 Naïve Bayes with KFold 4 97.29 Neural Network with KFold 4 94.59 Decision Tree with KFold 5 91.89
Dari tabel 3 dapat dilihat bahwa untuk pemodelan support vector machine fold terbaik terdapat pada 10-Fold dengan  akurasi  mencapai  94,44%,  pemodelan  menggunakan naïve  bayes fold  terbaik  terdapat  pada  4-Fold dengan akurasi mencapai 97,29%, pemodelan menggunakan neural network fold terbaik terdapat pada 4-Fold dengan akurasi mencapai 94.59% dan pemodelan menggunakan decision tree fold terbaik terdapat pada 5-Fold dengan akurasi mencapai 91,89%.

## 4. KESIMPULAN
Berdasarkan  hasil  eksperimen  yang  telah  dilakukan,  bahwa  model  klasifikasi  yang  bangun  dengan K-Fold Cross Validation memiliki kestabilan akurasi yang lebih baik, sehingga dapat digunakan untuk memprediksi kinerja mahasiswa untuk selesai tepat waktu. Dataset sebanyak 365 record dipisah dengan perbandingan 70:30 menggunakan  nilai  parameter random_state =42  dan n_split =10  pada k-fold  cross  validation .  Berdasarkan parameter confusion matrix menunjukkan rata-rata ( mean ) akurasi untuk setiap model, dimana support vector machine besarnya 87,68%, naïve bayes besarnya 90,97%, neural network sebesar 87,95% dan decision tree sebesar 85,75%. Sedangkan hasil fold terbaik untuk SVM terletak di fold ke-10 dengan nilai akurasi 94,44%, NB terletak di fold ke-4 dengan niali akurasi 97,29%, NN terletak di fold ke-4 dengan nilai akurasi 94.59% serta DT terletak di fold ke-5 dengannilai akurasi 91,89%. Selain itu untuk pemodelan decision tree ditemukan perbedaan perbandingan yang cukup besar antara akurasi data testing lebih kecil dibandingkan dengan akurasi
0,7500 0,8000 0,8500 0,9000 0,9500 1,0000 1,0500 SVM NB NN DT Training Accuracy Test Accuracy
pada data trainingnya. Dengan demikian evaluasi menggunakan k-fold cross validation dapat digunakan dalam memprediksi kinerja mahasiswa menggunakan fold ke-4 yang memiliki akurasi tertinggi sebesar 97,29% pada algoritma naïve bayes . Untuk penelitian selanjutnya dapat digunakan pemodelan machine learning lain dengan menambah fold yang lebih besar dalam rangka meningkatkan akurasi yang lebih tinggi.

## REFERENSI
[1] A.  Salam  and  J.  Zeniarja,  “Classification  of  deep  learning  convolutional  neural  network  feature extraction for student graduation prediction,” Indones. J. Electr. Eng. Comput. Sci. , vol. 32, no. 1, p. 335, Oct. 2023, doi: 10.11591/ijeecs.v32.i1.pp335-341.
[2] J. M. Gorriz, F. Segovia, J. Ramirez, A. Ortiz, and J. Suckling, “Is K-fold cross validation the best model selection method for Machine Learning?,” Jan. 29, 2024, arXiv : arXiv:2401.16407. Accessed: Feb. 07, 2024. [Online]. Available: http://arxiv.org/abs/2401.16407
[3] Department  of  Computer  Science  and  Informatics,  University  of  Energy  and  Natural  Resources, Sunyani,  Ghana,  I.  K.  Nti,  O.  Nyarko-Boateng,  and  J.  Aning,  “Performance  of  Machine  Learning Algorithms with Different K Values in K-fold CrossValidation,” Int. J. Inf. Technol. Comput. Sci. , vol. 13, no. 6, pp. 61–71, Dec. 2021, doi: 10.5815/ijitcs.2021.06.05.
[4] D. Berrar, “Cross-Validation,” in Encyclopedia of Bioinformatics and Computational Biology , Elsevier, 2019, pp. 542–545. doi: 10.1016/B978-0-12-809633-8.20349-X.
[5] F.  Rios-Avila, CV_KFOLD:  Stata  module  to  implement  k-fold  cross-validation  procedures . econpapers.repec.org, 2022.
[Online].
Available:
https://econpapers.repec.org/software/bocbocode/s458798.htm
[6] A. Tholib, M. N. Fadli Hidayat, S. Yono, R. Wulanningrum, and E. Daniati, “Comparison of C4.5 and Naive  Bayes  for  Predicting  Student  Graduation  Using  Machine  Learning  Algorithms,” Int.  J.  Eng. Comput. Sci. Appl. IJECSA , vol. 2, no. 2, pp. 65–72, Sep. 2023, doi: 10.30812/ijecsa.v2i2.3364.
[7] Z. Lyu et al. , “Back-Propagation Neural Network Optimized by K-Fold Cross-Validation for Prediction of Torsional Strength of Reinforced Concrete Beam,” Materials , vol. 15, no. 4, p. 1477, Feb. 2022, doi: 10.3390/ma15041477.
[8] M. K. Mayangsari, I. Syarif, and A. Barakbah, “Evaluation of Stratified K-Fold Cross Validation for Predicting Bug Severity in Game Review Classification,” Kinet. Game Technol. Inf. Syst. Comput. Netw. Comput. Electron. Control , Jul. 2023, doi: 10.22219/kinetik.v8i3.1740.
[9] O. Oyedele, “Determining the  optimal number of folds to use  in a K-fold cross-validation: A  neural network  classification  experiment,” Res.  Math. ,  vol.  10,  no.  1,  p.  2201015,  Dec.  2023,  doi: 10.1080/27684830.2023.2201015.
[10]  J. White and S. D. Power, “k-Fold Cross-Validation Can Significantly Over-Estimate True Classification Accuracy  in  Common  EEG-Based  Passive  BCI  Experimental  Designs:  An  Empirical  Investigation,” Sensors , vol. 23, no. 13, p. 6077, Jul. 2023, doi: 10.3390/s23136077.
[11]  R. Tuntun, K. Kusrini, and K. Kusnawi, “Analisis Perbandingan Kinerja Algoritma Klasifikasi dengan Menggunakan  Metode  K-Fold  Cross  Validation,” J.  MEDIA  Inform.  BUDIDARMA ,  vol.  6,  no.  4,  p. 2111, Oct. 2022, doi: 10.30865/mib.v6i4.4681.
[12]  S.  Linawati,  S.  Nurdiani,  K.  Handayani,  and  L.  Latifah,  “Prediksi  Prestasi  Akademik  Mahasiswa Menggunakan Algoritma Random Forest Dan C4.5,” J. Khatulistiwa Inform. , vol. 8, no. 1, Jun. 2020, doi: 10.31294/jki.v8i1.7827.
[13]  D. Selvida and P. H. Putra, “Optimization of cross-validation testing on the decision tree and k-nearest neighbor in classifying election data,” vol. 7, no. 3, 2023.
[14]  O.  Chamorro-Atalaya et  al. ,  “K-Fold  Cross-Validation  through  Identification  of  the  Opinion Classification Algorithm for the Satisfaction of University Students,” Int. J. Online Biomed. Eng. IJOE , vol. 19, no. 11, Aug. 2023, doi: 10.3991/ijoe.v19i11.39887.
[15]  N.  Nurainun,  E.  Haerani,  F.  Syafria,  and  L.  Oktavia,  “Penerapan  Algoritma  Naïve  Bayes  Classifier Dalam  Klasifikasi  Status  Gizi  Balita  dengan  Pengujian  K-Fold  Cross  Validation,” J.  Comput.  Syst. Inform. JoSYC , vol. 4, no. 3, pp. 578–586, May 2023, doi: 10.47065/josyc.v4i3.3414.
[16]  H. Azis, P. Purnawansyah, F. Fattah, and I. P. Putri, “Performa Klasifikasi K-NN dan Cross Validation Pada Data Pasien Pengidap Penyakit Jantung,” Ilk. J. Ilm. , vol. 12, no. 2, pp. 81–86, Aug. 2020, doi: 10.33096/ilkom.v12i2.507.81-86.
[17]  R.  R.  R.  Arisandi,  B.  Warsito,  and  A.  R.  Hakim,  “Aplikasi  Naïve  Bayes  Classifier  (NBC)  Pada Klasifikasi Status Gizi Balita Stunting Dengan Pengujian K-Fold Cross Validation,” J. Gaussian , vol. 11, no. 1, pp. 130–139, May 2022, doi: 10.14710/j.gauss.v11i1.33991.
[18]  A. Desiani et al. , “Penerapan Metode Support Vector Machine Dalam Klasifikasi Bunga Iris,” Indones. J. Appl. Inform. , vol. 7, no. 1, p. 12, Apr. 2023, doi: 10.20961/ijai.v7i1.61486.
[19]  Y.  N.  Fuadah,  I.  D.  Ubaidullah,  N.  Ibrahim,  F.  F.  Taliningsing,  N.  K.  Sy,  and  M.  A.  Pramuditho, “Optimasi  Convolutional  Neural  Network  dan  K-Fold  Cross  Validation  pada  Sistem  Klasifikasi Glaukoma,” ELKOMIKA J. Tek. Energi Elektr. Tek. Telekomun. Tek. Elektron. , vol. 10, no. 3, p. 728, Jul. 2022, doi: 10.26760/elkomika.v10i3.728.
[20]  Agung Nugroho and Agit Amrullah, “Evaluasi Kinerja Algoritma K-Nn Menggunakan K-Fold Cross Validation Pada Data Debitur KSP Galih Manunggal,” J. Inform. Teknol. Dan Sains Jinteks , vol. 5, no. 2, pp. 294–300, May 2023, doi: 10.51401/jinteks.v5i2.2506.
[21]  N. Alifiah, D. Kurniasari, A. Amanto, and W. Warsono, “Prediction of COVID-19 Using the Artificial Neural Network (ANN) with K-Fold Cross-Validation,” J. Inf. Syst. Eng. Bus. Intell. , vol. 9, no. 1, pp. 16–27, Apr. 2023, doi: 10.20473/jisebi.9.1.16-27.
[22]  X.  Zhang  and  C.-A. Liu,  “Model  averaging  prediction  by K  -fold  cross-validation,” J. Econom. ,  vol. 235, no. 1, pp. 280–301, Jul. 2023, doi: 10.1016/j.jeconom.2022.04.007.
[23]  S. N. Cahyani and G. W. Saraswati, “Implementation Of Support Vector Machine Method In Classifying School Library Books With Combination Of TF-IDF And WORD2VEC,” J. Tek. Inform. Jutif , vol. 4, no. 6, pp. 1555–1566, Dec. 2023, doi: 10.52436/1.jutif.2023.4.6.1536.
[24]  E. K. Nurnawati, M. Sholeh, R. Y. Ariyana, and E. Almuntaha, “Comparison Of Decision Tree And Naïve Bayes Algorithms In Classification Models To Determine Lecturer Performance Using K Fold Cross Validation,” vol. 14, no. 2, 2023.
[25]  S.  A.  Satriotomo,  U.  A.  Ahmad,  and  P.  Abadi,  “Simulasi  Prediksi  Sintilasi  Ionosfer  Menggunakan Aplikasi Matlab Dengan Metode Neural Network,” vol. 2, no. 1, 2022.
[26]  S. Widodo, H. Brawijaya, and S. Samudi, “Stratified K-fold cross validation optimization on machine learning  for  prediction,” Sinkron ,  vol.  7,  no.  4,  pp.  2407–2414,  Oct.  2022,  doi: 10.33395/sinkron.v7i4.11792.
[27]  M. Shiddiq, F. Candra, B. Anand, and M. F. Rabin, “Neural network with k-fold cross validation for oil palm fruit ripeness prediction,” TELKOMNIKA Telecommun. Comput. Electron. Control , vol. 22, no. 1, p. 164, Oct. 2023, doi: 10.12928/telkomnika.v22i1.24845.
[28]  H.  Hafid,  “Penerapan  K-Fold  Cross  Validation  untuk  Menganalisis  Kinerja  Algoritma  K-Nearest Neighbor pada Data Kasus Covid-19 di Indonesia,” 2023.