## Jurnal Sains dan Teknologi
Volume 12 Number 3, Tahun 2023, pp. 562-571 P-ISSN: 2303-3142 E-ISSN: 2548-8570 Open Access: https://doi.org/10.23887/jstundiksha.v12i3.59816

## A R T I C L E   I N F O
Article history: Received March 20, 2023 Accepted October 13, 2023 Available online October 25, 2023
Kata Kunci: Model prediksi, bagging, boosting, voting.

## Keywords:
Prediction  model,  bagging,  boosting, voting.
This is an open access article under the CC BY-SA license.
Copyright © 2023 by Author. Published by Universitas Pendidikan Ganesha.

## Model  Prediksi  Kinerja  Siswa  Berdasarkan  Data  Log  LMS Menggunakan Ensemble Machine Learning
Mifta Ardianti 1 *, Oky Dwi Nurhayati 2 , Budi Warsito 3
1,2,3 Magister Sistem Informasi, Universitas Diponegoro, Semarang, Indonesia

## A B S T R A K
Institusi  pendidikan  saat  ini  menerapkan  Learning  Management  System  (LMS) sebagai  sarana  pembelajaran  online.  LMS  dapat  merekam  sejumlah  besar  data perilaku siswa pada log LMS. Data perilaku ini dapat dikumpulkan dan digunakan untuk memprediksi kinerj belajar siswa. Sehingga, diperlukan analisis yang dapat mengubah sejumlah data yang tersimpan tersebut menjadi sebuah pengetahuan yang  dapat  meningkatkan  kualitas  pengajaran  pada  institusi  pendidikan.  Pada penelitian ini,  mengusulkan  model  prediksi  kinerja  belajar  siswa  menggunakan ensemble machine learning berdasarkan ekstraksi ciri yang berhubungan dengan interaksi  siswa  pada  LMS.  Pemodelan  dilakukan  dengan  menerapkan  tiga  jenis ensemble machine learning yaitu ; bagging, boosting dan voting. Hasil penelitian menunjukkan bahwa model ensemble machine learning yaitu bagging, boosting dan  voting  berhasil  digunakan  untuk  memprediksi  kinerja  siswa  dengan accuracy  sebesar  81.25%  dengan  percision  0.810,  recall  0.812  dan  f-measure 0.809  yang  diperoleh  model  bagging.  Temuan  pada  penelitian  ini  adalah ensemble  machine  learning  dapat  diterapkan  sebagai  model  prediks  kinerja siswa  berdasarkan  data  Log  LMS.  Institusi  pendidikan  baik  sekolah  maupun perguruan  tinggi  diharapkan  dapat  merancang  sebuah  kurikulum  LMS  untuk meningkatkan  kualitas  akademik  institusi  tersebut.  Selain  itu  institusi pendidikan  dapat  memprediksi  bagaimana  kinerja  siswanya,  sehingga  dapat meningkatkan prestasi akademik.

## A B S T R A C T
Educational institutions are currently implementing Learning Management Systems (LMS) as online learning tools. LMS can  record  a  large  amount  of  student  behavior  data  in  LMS  logs.  This  behavioral  data  can  be  collected  and  used  to predict student learning performance. So, analysis is needed that can change the amount of stored data into knowledge that can improve the quality of teaching in educational institutions. In this research, we propose a prediction model for student  learning  performance  using  ensemble  machine  learning  based  on  feature  extraction  related  to  student interactions in the LMS. Modeling is carried out by applying three types of machine learning ensembles, namely; bagging, boosting and voting. The research results show that the ensemble machine learning model, namely bagging, boosting and voting, was successfully used to predict student performance with an accuracy of 81.25% with a precision of 0.810, recall of 0.812 and f-measure of 0.809 obtained by the bagging model. The finding in this research is that ensemble machine learning can be applied as a student performance prediction model based on LMS Log data. Educational institutions, both schools  and  universities,  are  expected  to  be  able  to  design  an  LMS  curriculum  to  improve  the  academic  quality  of  the institution.  Apart  from  that,  educational  institutions  can  predict how  their  students will perform, so they  can  improve academic achievement.

## 1. PENDAHULUAN
Institusi  pendidikan  saat  ini  menerapkan Learning  Management  System (LMS)  sebagai  sarana dalam pembelajaran online. LMS merupakan aplikasi perangkat lunak atau teknologi berbasis web yang digunakan  untuk  merencanakan,  melaksanakan,  dan  menilai  proses  pembelajaran  tertentu.  Selain menyediakan  konten,  LMS  memungkinkan  untuk  manajemen  dan  evaluasi  tugas,  pelacakan,  dan pelaporan siswa serta dapat menilai kinerja belajar siswa (Prada et al., 2020; Pratomo & Wahanisa, 2021) . Sistem ini menyediakan kemampuan untuk merekam secara ototmatis sejumlah besar data perilaku siswa pada log LMS.  Data  perilaku  belajar  merupakan  data  yang  dihasilkan  oleh  interkasi  siswa  dengan  LMS selama  proses  pembelajaran  dan  disimpan  secara  otomatis  di database .  Data  perilaku  siswa  dapat dikumpulkan  dan  digunakan  secara  ototmatis  untuk  klasifikasi  dan  prediksi  kinerja  belajar  siswa (Pratomo & Wahanisa, 2021; Yan & Au, 2019) . Dalam domain pendidikan, isntitusi tinggi menghasilkan sejumlah besar data yang dikumpulkan dari berbagai sumber salah satunya platform LMS. Secara khusus univeristas atau sekolah, mengmpulkan data setiap tahun dari siswa, yang didalamnya termasuk rincian demografis  (contohnya;  usia,  alamat,  dan  status  sosial  ekonomi)  dan  informasi  lengkap  tentang  data
penerimaan dan kinerja akademik (contohnya; asal sekolah dan hasil ujian) (Nugroho, 2020; Prada et al., 2020) .  Diperlukan  analisis  yang  dapat  mengubah  data  yang  terkumpul  menjadi  sebuah  pengetahuan. Menganalisis sejumlah besar data pendidikan yang tumbuh secara eksponensial adalah tantangan utama yang dihadapi lembaga pendidikan. Faktanya, metode analitik konvensional biasanya tidak praktis untuk mengekstrak  korelasi,  pola  tersembunyi,  dan  wawasan  lain  yang  dapat  bermanfaat  bagi  administrator, guru,  siswa, dan orangtua.  Oleh  karena itu, ada kebutuhan untuk mengeksploitasi alat analitik otomatis untuk menangani jenis  data ini, yang dianggap sebagai  tambang emas untuk mengekstrak pengetahuan pendidikan  yang  berguna.  Pengetahuan  itu  dapat  meningkatkan  kualitas  pengajaran  dan  pembelajaran juga dapat membantu siswa untuk berhasil dalam karir akademis (Alamri et al., 2020; Saputra, 2020) . Salah  satu  teknik  yang  dapat  dgunakan  untuk  analisis  klasifikasi  dan  prediksi  kinerja  belajar siswa  adalah data  mining (Hendrian,  2018;  Sutoyo  &  Almaarif,  2020) . Data  mining atau  penambangan data adalah serangkaian proses untuk mendapatkan pola dari kumpulan data (Sutoyo & Almaarif, 2020; Syahril  et  al.,  2020) . Data  mining akan  menganalisis  data  yang  sudah  ada  dalam database . Data  mining juga  dikenal  dengan Knowladge  Discovey  in  Database (KDD)  yaitu  suatu  aktivitas  yang  meliputi pengumpulan,  penggunaan  data  historis  untuk  menemukan  pola  reguler,  menemukan  pola  yang  besar dalam  kumpulan  data  yang  besar. Data  mining dapat  mengeksplorasi,  memvisualisasikan  dan menganalisis data dengan tujuan untuk mengidentifikasi pola yang berguna untuk memahami kinerja dan perilaku  belajar  siswa (Kadoic  &  Oreski,  2018;  Syahra  et  al.,  2019) . Educational  data  mining (EDM) merupakan proses yang digunakan untuk mengekstrak informasi yang berguna dan mengenali pola dari database pendidikan yang jumlahnya besar. EDM merupakan ranah penelitian yang penting, karena dapat membantu  untuk  meningkatkan  kualitas  pendidikan  dan  dapat  mengukur  keberhasilan  dari  suatu pembelajaran  pada  LMS.  EDM  mengeksplorasi  berbagai  jenis  data  dengan  menggunakan  berbagai algoritma machine  learning untuk  mengekstrak  pengetahuan  yang  mendukung  pengambilan  keputusan dan  pengembangan  sektor  akademik.    EDM  menggunakan  berbagai  teknik  untuk  analisis,  pemrosesan data,  identifikasi  pola,  konstruksi  model  dan  prediksi  hasil (Jamhur,  2020;  Tüfekci  &  Yılmaz,  2020) . Implementasi EDM untuk  memprediksi kinerja siswa  dapat membantu entitas yang  bertanggung jawab untuk mengidentiifkasi siswa yang mungkin membutuhkan lebih banyak bantuan (Fernandes et al., 2018; Jamhur, 2020) . Tujuan EDM adalah untuk mengembangkan metode dan menerapkan teknik data mining , statistik, dan machine learning untuk menganalisis data yang dikumpulkan selama proses pembelajaran (Hendrian, 2018; Qazdar et al., 2019) .
Penelitaian  yang  dilakukan  oleh  peneliti  serupa  untuk  memprediksi  kinerja  akademik  siswa sehingga meningkatkan hasil akademik yang lebih baik. Penelitian tersebut menggunakan algoritma dan teknik klasifikasi Support vector machine (SVM) dan Random Forest (RF) (Adriansyah et al., 2022; Alamri et al., 2020) . Dataset terdiri dari 369 dari pelajaran matematika dan 649 dari pelajaran bahasa portugis. Hasilnya  percobaan  untuk  algortima  SVM  dan  RF  yang  diterapkan  pada  kedua dataset menunjukkan bahwa  akurasi  dalam  kasus  kalsifikasi  biner  mencapai  akurasi  prediksi  sebesar  93%,  sedangkan  pada regresi RMSE terendah adalah 1.13 dalam kasus RF (Adriansyah et al., 2022; Alamri et al., 2020) . Efisiensi penggunaan metode machine learning untuk memprediksi kesulitan yang dihadapi siswa pada semester berikutnya telah dianalisis oleh (Hussain et al., 2018; Qazdar et al., 2019) , hasilnya dapat mengklasifikasi siswa  sesuai  dengan  tingkat  kesulitannya.  Algoritma machine  learning yang  diterapkan  untuk  proses prediksi,  yaitu artificial  neural  network (ANN), logstic  regression (LR), naive  bayes (NB), support  vector machine (SVM), dan decisison tree (DT) (Hussain et al., 2018; Qazdar et al., 2019) . Evalauasi menggunakan teknik  RMSE  dan Cohen’s  kappa  cooefficient .  Pemilihan  fitur  menggunakan alpha  investing untuk pemeringkatan  fitur  input  yang  akan  digunakan  dalam  model  prediksi  kinerja  siswa.  Hasil  penelitian menunjukkan  bahwa  SVM  dan  ANN  adalah  model  yang  paling  cocok  untuk  memprediksi  kinerja  siswa (Hussain et al., 2018; Qazdar et al., 2019). Penelitian tentang model prediktif untuk menganalisis masalah yang  dihadapi  oleh  siswa  selama  menggunakan platform pemebelajaran online dilakukan  oleh , model predktif tersebut  dapat  membantu instruktur  mengidentifikasi siswa yang beresiko diawal untuk  dapat menghindari kasus putus sekolah. Penggunaan algoritma machine learning (ML) dan deep learning (DL) untuk  mengklasifikasi  perilaku  belajar  siswa  sesuai  dengan  variabel  belajaranya.  Selanjutnya,  performa dari  berbagai  algoritma  ML  tersebut  dibandingkan  dengan  menggunakan  akurasi,  presisi, recall dan f1 score . Hasil menunjukkan  bahwa nilai siswa, waktu  menggunakan paltform dan banyaknya keterlibatan siswa  merupakan  faktor  penting  dalam pembelajaran online. Hasil  penelitian  menunjukkan  bahwa  model prediksi  yang  dilatih  menggunakan random  forest (RF)  memberikan  hasil  terbaik  dengan  rata-rata precision 0.92%, recall 0.91%, f1-score = 0.91% dan akurasi sebesar 80% . Selain  menggunakan  teknik  klasifikasi machine  learning tunggal,  beberapa  penelitian menggunakan  teknik ensemble  machine  learning. Teknik ensemble  machine  learning memiliki  kelebihan dapat  memperbaiki  algoritma machine  learning tunggal  yang  digunakan  sehingga  memperoleh  akurasi terbaik (Fahd et al., 2021; Rawat & Malhan, 2019) . Analisis hubungan antara kinerja siswa pada e-learning
menggunakan data  mining sebagaiman  dilakukan  oleh (Almutairi  et  al.,  2019;  Prasetyo  &  Nurhidayah, 2021) , menentukan faktor utama yang mempengaruhi kinerja siswa dipilih dengan menggunakan metode seleksi fitur. Metode machine learning yang digunakan dan diuji untuk memprediksi kinerja siswa yaitu random  forest,  logstic  regression, XGBoost,  MLP  dan ensemble  learning juga  menggunakan bagging dan voting .  Dari  semua  metode  tersebut random  forest mendapatkan  akurasi  tertinggi  mencapai  77%. Hasilnya  menunjukkan  bahwa data  mining dapat  secara  akurat  memprediksi  tingkat  kinerja  siswa (Almutairi et al., 2019; Hendrian, 2018) . Penelitian serupa dilakukan untuk membangun  model klasifikasi hybrid (voting) yang digunakan untuk menganlisis kinerja siswa dengan temuan bahwa model klasifikasi hybird lebih efisien untuk prediksi kinerja siswa  berdasarkan data terkait dengan  akurasi sebesar 98% (Indahyanti et al., 2022; Rawat & Malhan, 2019) . Penelitian ensemble technique yaitu bagging dan boosting untuk  meningkatkan  performa  dari  algoritma machine  learning dilakukan  oleh,  hasilnya  dari  semua algoritma machine learning dan teknik ensemble diuji dengan berbagai faktor seperti akurasi, sensivitas, dan f1-score diperoleh  nilai  akurasi  terbaik  diantara  algortima  klasifikasi machine  learning sebesar 86.83%    dari Naive  Bayesian dan  91.76%  dari ensemble  tachnique  boosting .  Penelitian  terkait  prediksi kinerja siswa berdasarkan fitur perilaku belajar  pada e-learning yang diusulkan oleh peneliti serupa yang menemukan  bahwa  ada  hubungan  yang  kuat  antara  perilaku  belajar  pada e-learning dengan  prestasi akademik (Amrieh  et  al.,  2016;  Suhartono,  2017) .  Algoritma machine  learning yang  digunakan,  yaitu artificial  neural  network,  naive  bayes dan decision  tree .  Metode ensemble  bagging,  boosting dan random forest diterapkan  untuk  meningkatkan  kinerja  algoritma machine  learning .  Hasil  akurasi  model  yang diusulkan mencapai akurasi lebih dari 80%.  Oleh karena itu, pada penelitian ini, teknik ensemble machine learning akan  digunakan  untu  prediksi  kinerja  belajar  siswa  berdasarkan  perilaku  belajar  pada  LMS. Penelitian ini juga akan mencari korelasi antar variabel dan feature importance pada data perilaku belajar siswa  ( students  performance  dataset) .  Selanjutnya,  susunan  dari  makalah  ini  adalah  sebagai  berikut. Bagian 2 menjelaskan tentang  metode penelitian, teori ensemble machine  learning ,  matriks  pengukuran performa algoritma, dan penjelasan mengenai dataset beserta metadata-nya. Selanjutnya, pada bagian 3 akan  dijelaskan  hasil  dan  pembahasan  penelitian  yang  berisi  performansi ensemble  machine  learning, korelasi  antar  variabel, feture  importance dan  detail  pembahasanya.  Terakhir,    keseimpulan  dari penelitian ini disajikan pada bagian 4.

## 2. METODE
Jenis  penelitian  ini  adalah  penelitian  eksperimen. Dataset yang  digunakan  dalam  penelitian  ini dikumpulkan dari sebuah LMS yang dikenal dengan Kalboard 360. Terdapat 16 fitur dan tiga kelas yaitu low,  medium ,  dan high. Dalam  penelitian  ini  menggunakan  tiga  kelas  tersebut  untuk  klasifikasi  kinerja akademik siswa. Dataset tersebut diklasifikasikan ke dalam tiga kategori utama yaitu: (1) Demografi; (2) Latar belakang akademik; dan (3) Perilaku siswa dalam penggunaan LMS (Amrieh et al., 2016; Injadat et al., 2020) . Tabel 1 menunjukkan fitur dan deskripsi pada dataset.
Tabel 1. Fitur dan deskripsi dataset
Kategori fitur Fitur Deskripsi Fitur Demografi Kebangsaan Kebangssaan Jenis Kelamin P / L Tempat Lahir Tempat Lahir Relasi Orang tua Fitur Latar Belakang Pendidikan Tahap Dasar, Menangah, Atas Tingkat kelas Tingkat kelas ID Kelas Kelas A, B, C Semester Semester 1 atau 2 Topik Kursus yang diambil Kehadiran Kehadiran siswa Fitur Perilaku Diskusi grup Perilaku siswa selama menggunakan LMS. Mengunjungi situs Raise hands Melihat pengumuman
Proses  diskritisasi  untuk  mengubah dataset dari  kategorikal  menjadi  nilai  numerik,  yang mewakili  label  kelas  dari  kasus  klasifikasi.  Kemudian dataset tersebut  dibagi  menjadi  tiga  interval nominal  ( high-level,  medium-level ,  dan low  level )  berdasarkan  total  nilai. Low-level mencakup  nilai  0
smapai  69, medium-level mencakup  nilai  70  sampai  89,  dan  interval high-level mencakup  nilai  90-100 (Amrieh et al., 2016; Injadat et al., 2020) . Gambar 2 menunjukkan pembagian dataset kedalam tiga label kelas.
Gambar 1. Pembagian Datase t ke dalam Tiga Kelas
Selanjutnya diterapkan normalisasi data untuk menskalakan nilai atribut ke dalam rentang kecil (0,0 hingga 1,0). Hal ini dilakukan untuk memprecepat proses learning dengan mencegah atribut dengan rentang yang besar. Setelah itu diterapkan seleksi fitur untuk mengidentifikasi fitur apa saja yang penting dalam prediksi kinerja siswa. Peneltian ini menggunakan teknik feture importance dari algoritma random forest untuk seleksi fitur. Kemudian dari 480 dataset dibagi menjadi data training dan test , selanajutnya masuk  ke  tahap  proses  data  untuk  mengimplementasikan  model ensemble  machine  learning. Metode ensemble adalah  teknik  pembelajaran  mesin  yang  menggabungkan  beberapa  model  dasar  untuk menghasilkan  satu  model  prediksi  yang  optimal,  karena ensemble  model menggunakan  lebih  dari  satu model  untuk  dilatih  menggunakan  teknik  tertentu  sehingga  mengurangi  tingkat  kesalahan  dan meningkatkan kinerja model (Ashraf et al., 2020; Fahd et al., 2021) .   Terdapat tiga teknik yang populer untuk menggabungkan prediksi dari model yang berbeda, yaitu : bagging, boosting dan voting (Almutairi et al., 2019; Kamal & Ahuja, 2019) . Penelitian ini menggunakan model bagging boosting , dan voting. Bagging adalah gabungan dari bootstrap dan agregating, tujuannya untuk megurangi varians dari classifier  decision  tree .  Metode bagging membagi dataset menjadi  berbagai  subset  untuk training yang dipilih  secara  acak  dengan  substitusi.  Selanjutnya  subset  data  ini  dilatih  menggunakan decision  tree (Almutairi et al., 2019; Amrieh et al., 2016) . Rata-rata hasil yang diperoleh dari setiap subset data diambil yang  memberikan  hasil  terbaik  dibandingkan  dengan classifier tunggal.  Salah  satu  algoritma  yang termasuk  tipe baggin g  adalah random  forest. Boosting merupakan  salah  satu  metode ensamble untuk meningkatkan performance pada  suatu  algoritma  dengan  mengkombinasikan classifier yang  lemah menjadi classifier yang  kuat (Ashraf  et  al.,  2020;  Saleem  et  al.,  2021) .  Penelitian  ini,  menggunakan AdaBoost sebagai algoritma dasar pada model ensemble boosting karena AdaBoost merupakan salah satu algoritma boosting yang  dapat  diterapkan  dalam  kombinasi  algoritma machine  learning lainnya. Voting ensemble  learning adalah  metodelogi ensemble  machine  learning yang  menggunakan  banyak  metode sebagai  pengganti  metode  klasifikasi  tunggal  untuk  meningkatkan  kinerja  model (Ashraf  et  al.,  2020; Injadat  et  al.,  2020) . Voting dapat  membangun  beberapa  model  (dari  tipe  yang  berbeda)  dan  statistik sederhana (seperti menghitung rata-rata) digunakan untuk menggabungkan model prediksi. Penelitian ini menggunakan  algoritma logstic  regression dan support  vector  machine (SVM)  yang  digabungkan  pada model voting. Keseluruhan  analisis  dan  kinerja  model  dijelaskan  pada  bagian  hasil  dan  pembahasan. Perhitungan kinerja model dalam confusion matrix berdaarkan nilai true positif (TP), true negative (TN), false positive (FP) dan false negative (FN). Nilai TP merupakan data positif yang diprediksi benar, nilai TN adalah data negatif yang diprediksi benar, nilai FP merupakan data negatif namun diprediksi sebagai data positif dan nilai FN merupakan data positif namun dipredksi sebagai negatif (Safitri et al., 2022; Utami et al., 2021) .  Bentuk dari confusion matrix ditampilkan pada Tabel 2 .
Tabel 2. Confusion Matrix
Aktual Prediksi True False True TP (True Positive) FP (False Positive) False FN (False Negative) TN (True Negative)
Berdasarkan tabel confusion matrix , dapat dievaluasi dengan menghitung nilai akurasi, recall, dan precision . Nilai  akurasi  menggambarkan  seberapa  akurat  sistem  dapat  mengklasifikasikan  data  secara benar (Safitri et al., 2022; Utami et al., 2021) . Perhitungan akurasi dengan persamaan 1, berikut ini :
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = 𝑇𝑃+𝑇𝑁 𝑇𝑃+𝑇𝑁+𝐹𝑃+𝐹𝑁 × 100% (1)
Nilai precision adalah  nilai  perbandingan  dari  data  yang  diprediksi  benar  positif  dibandingkan dengan  keseluruhan  hasil  yang  diprediksi  positif.  Perhitungan  nilai precision dapat  dilakkan  dengan persamaan 2, berikut ini :
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = (𝑇𝑃) (𝑇𝑃+𝐹𝑃) × 100% (2)
Nilai recall (sensitifitas)  adalah  nilai  perbandingan  dari  data  yang  diprediksi  benar  positif dibandingkan  dengan  keseluruhan  data  yang  benar  positif.  Perhitungan  nilai recall dapat  dilakukan dengan persamaan 3 :
𝑅𝑒𝑐𝑎𝑙𝑙 = (𝑇𝑃) (𝑇𝑃+𝐹𝑁) × 100% (3)
Nilai f-Measure adalah  nilai  timbal  balik  yang  diperoleh  dari  perhitungan recall dan  presisi. Perhitungan f-Measure dapat dilakukan dengan persamaan 4 :
𝐹 𝑀𝑒𝑎𝑠𝑢𝑟𝑒 =  2  × 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 ×𝑟𝑒𝑐𝑎𝑙𝑙 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛+𝑟𝑒𝑐𝑎𝑙𝑙 × 100% (4)

## 3. HASIL DAN PEMBAHASAN
Hasil Dataset yang telah  diolah pada tahap preprocessing kemudian dibagi dua  menjadi data training dan test. Pembagianya yakni data training sebanyak 384 data dan test sebnyak 96 data dengan porsi besar pada data training. Hubugan antar variabel pada dataset , dianalisis menggunakan korelasi peearson . Pada Gambar  3 menunjukkan  korelasi  positif  yang  sangat  kuat  antar  atribut Mengunjungi  Sumber dengan atribut raisehands yaitu  sebesar  0.69.  Artinya,  semakin  sering  mengunjungi  sumber,  maka  frekuensi raisehands akan semakin besar. Selain itu atribut raisehands juga memiliki korelasi positif dengan atribut MelihatPengumuman yaitu sebesar 0.64.
Gambar 2. Hasil Korelasi Variabel
Selanjutnya  adalah  analisis  fitur  untuk  mengidentifikasi  fitur  apa  saja  yang  penting  dalam prediksi  kinerja  siswa.  Seleksi  fitur  pada  penelitian  ini  menggunakan  metode embedded dengan  teknik random  forest  importance. Hasil  seleksi  fitur  ditunjukkan  pada Gambar  4 .  Fitur MengunjungiSumber memiliki  nilai  yang  paling  tinggi.  Artinya  fitur  tersebut  paling  berpengaruh.  Sedangkan  fitur  yang termasuk  dalam  topik  pembelajaran  seperti  IT,  BahasaArab,  dan  BahasaPrancis  memiliki  nilai  paling rendah sehingga fitur tersebut dapat diabaikan.
Gambar 3. Hasil Seleksi Fitur
Berdasarkan  hasil  model training didapatkan  bahwa  nilai  akurasi  terbaik  menggunakan  model bagging .  Model training dilakukan menggunakan nilai parameter default pada setiap algoritma. Setelah dilakukan training, maka tahap selanjutnya adalah testing untuk melihat seberapa baik performa model tersebut menggunakan data yang tidak ada di data training. Hasil akurasi pada tahap training dan testing dapat dilihat pada Tabel 3 .
Tabel 3. Hasil Akurasi Training Dan Testing Model EL Akurasi Skor Training Testing Bagging 0.9974 0.8125 Boosting 0.7292 0.7292 Voting 0.7474 0.8021
Nilai akurasi terbaik ditunjukkan pada model bagging dengan nilai akurasi skor testing sebesar 81.25%. Hasil tersebut menunjkkan bahwa model bagging dapat digunakan sebagai model untuk prediksi kinerja  siswa,  walaupun  nilai  akurasi  yang  didapatkan  belum  memuaskan.  Oleh  karena  itu,  penelitian lebih lanjut di masa depan perlu dilakukan guna memperbaiki tingkat akurasinya. Gambar 4 menampilkan pebandingan hasil prediksi kinerja siswa dari model training dan test , dari masing-masing model ensemble machine learning.
Gambar 4. Hasil Akurasi Model Ensemble Machine Learning

## Pembahasan
LMS  merupakan  aplikasi  perangkat  lunak  atau  teknologi  berbasis  web  yang  digunakan  untuk merencanakan,  melaksanakan,  dan  menilai  proses  pembelajaran  tertentu.  Selain  menyediakan  konten, LMS  memungkinkan  untuk  manajemen  dan  evaluasi  tugas,  pelacakan,  dan  pelaporan  siswa  serta  dapat menilai  kinerja  belajar  siswa (Prada  et  al.,  2020;  Pratomo  &  Wahanisa,  2021). Sistem  ini  menyediakan kemampuan  untuk  merekam  secara  ototmatis  sejumlah  besar  data  perilaku  siswa  pada log LMS.  Data perilaku  belajar  merupakan  data  yang  dihasilkan  oleh  interkasi  siswa  dengan  LMS  selama  proses pembelajaran  dan  disimpan  secara  otomatis  di database .  Data  perilaku  siswa  dapat  dikumpulkan  dan
digunakan  secara  ototmatis  untuk  klasifikasi  dan  prediksi  kinerja  belajar  siswa (Pratomo  &  Wahanisa, 2021; Yan & Au, 2019). Dalam domain pendidikan, isntitusi tinggi menghasilkan sejumlah besar data yang dikumpulkan dari berbagai sumber salah satunya platform LMS. Secara khusus univeristas atau sekolah, mengmpulkan  data  setiap  tahun  dari  siswa,  yang  didalamnya  termasuk  rincian  demografis  (contohnya; usia,  alamat,  dan  status  sosial  ekonomi)  dan  informasi  lengkap  tentang  data  penerimaan  dan  kinerja akademik  (contohnya;  asal  sekolah  dan  hasil  ujian) (Nugroho,  2020;  Prada  et  al.,  2020). Diperlukan analisis yang dapat mengubah data yang terkumpul menjadi sebuah pengetahuan. Menganalisis sejumlah besar data pendidikan yang tumbuh secara eksponensial adalah tantangan utama yang dihadapi lembaga pendidikan. Faktanya, metode analitik konvensional biasanya tidak praktis untuk mengekstrak korelasi, pola  tersembunyi,  dan  wawasan  lain  yang  dapat  bermanfaat  bagi  administrator,  guru,  siswa,  dan orangtua. Oleh karena itu, ada kebutuhan untuk mengeksploitasi alat analitik otomatis untuk menangani jenis  data  ini,  yang  dianggap  sebagai  tambang  emas  untuk  mengekstrak  pengetahuan  pendidikan  yang berguna.  Pengetahuan  itu  dapat  meningkatkan  kualitas  pengajaran  dan  pembelajaran  juga  dapat membantu siswa untuk berhasil dalam karir akademis (Alamri et al., 2020; Saputra, 2020).
Salah  satu  teknik  yang  dapat  dgunakan  untuk  analisis  klasifikasi  dan  prediksi  kinerja  belajar siswa  adalah data  mining (Hendrian,  2018;  Sutoyo  &  Almaarif,  2020). Data  mining atau  penambangan data adalah serangkaian proses untuk mendapatkan pola dari kumpulan data (Sutoyo & Almaarif, 2020; Syahril  et  al.,  2020). Data  mining akan  menganalisis  data  yang  sudah  ada  dalam database . Data  mining juga  dikenal  dengan Knowladge  Discovey  in  Database (KDD)  yaitu  suatu  aktivitas  yang  meliputi pengumpulan,  penggunaan  data  historis  untuk  menemukan  pola  reguler,  menemukan  pola  yang  besar dalam  kumpulan  data  yang  besar. Data  mining dapat  mengeksplorasi,  memvisualisasikan  dan menganalisis data dengan tujuan untuk mengidentifikasi pola yang berguna untuk memahami kinerja dan perilaku  belajar  siswa (Kadoic  &  Oreski,  2018;  Syahra  et  al.,  2019). Educational  data  mining (EDM) merupakan proses yang digunakan untuk mengekstrak informasi yang berguna dan mengenali pola dari database pendidikan yang jumlahnya besar. EDM merupakan ranah penelitian yang penting, karena dapat membantu  untuk  meningkatkan  kualitas  pendidikan  dan  dapat  mengukur  keberhasilan  dari  suatu pembelajaran  pada  LMS.  EDM  mengeksplorasi  berbagai  jenis  data  dengan  menggunakan  berbagai algoritma machine  learning untuk  mengekstrak  pengetahuan  yang  mendukung  pengambilan  keputusan dan  pengembangan  sektor  akademik.    EDM  menggunakan  berbagai  teknik  untuk  analisis,  pemrosesan data,  identifikasi  pola,  konstruksi  model  dan  prediksi  hasil (Jamhur,  2020;  Tüfekci  &  Yılmaz,  2020) . Implementasi EDM untuk  memprediksi kinerja siswa  dapat membantu entitas yang  bertanggung jawab untuk mengidentiifkasi siswa yang mungkin membutuhkan lebih banyak bantuan (Fernandes et al., 2018; Jamhur, 2020). Tujuan EDM adalah untuk mengembangkan metode dan menerapkan teknik data mining , statistik, dan machine learning untuk menganalisis data yang dikumpulkan selama proses pembelajaran (Hendrian, 2018; Qazdar et al., 2019).
Penelitaian  yang  dilakukan  oleh  peneliti  serupa  untuk  memprediksi  kinerja  akademik  siswa sehingga meningkatkan hasil akademik yang lebih baik. Penelitian tersebut menggunakan algoritma dan teknik klasifikasi Support vector machine (SVM) dan Random Forest (RF) (Adriansyah et al., 2022; Alamri et al., 2020). Dataset terdiri dari 369 dari pelajaran matematika dan 649 dari pelajaran bahasa portugis. Hasilnya  percobaan  untuk  algortima  SVM  dan  RF  yang  diterapkan  pada  kedua dataset menunjukkan bahwa  akurasi  dalam  kasus  kalsifikasi  biner  mencapai  akurasi  prediksi  sebesar  93%,  sedangkan  pada regresi RMSE terendah adalah 1.13 dalam kasus RF (Adriansyah et al., 2022; Alamri et al., 2020). Efisiensi penggunaan metode machine learning untuk memprediksi kesulitan yang dihadapi siswa pada semester berikutnya telah dianalisis oleh (Hussain et al., 2018; Qazdar et al., 2019), hasilnya dapat mengklasifikasi siswa  sesuai  dengan  tingkat  kesulitannya.  Algoritma machine  learning yang  diterapkan  untuk  proses prediksi,  yaitu artificial  neural  network (ANN), logstic  regression (LR), naive  bayes (NB), support  vector machine (SVM), dan decisison tree (DT) (Hussain et al., 2018; Qazdar et al., 2019). Evalauasi menggunakan teknik  RMSE  dan Cohen’s  kappa  cooefficient .  Pemilihan  fitur  menggunakan alpha  investing untuk pemeringkatan  fitur  input  yang  akan  digunakan  dalam  model  prediksi  kinerja  siswa.  Hasil  penelitian menunjukkan  bahwa  SVM  dan  ANN  adalah  model  yang  paling  cocok  untuk  memprediksi  kinerja  siswa (Hussain et al., 2018; Qazdar et al., 2019). Penelitian tentang model prediktif untuk menganalisis masalah yang  dihadapi  oleh  siswa  selama  menggunakan platform pemebelajaran online dilakukan  oleh , model predktif tersebut  dapat  membantu instruktur  mengidentifikasi siswa yang beresiko diawal untuk  dapat menghindari kasus putus sekolah. Penggunaan algoritma machine learning (ML) dan deep learning (DL) untuk  mengklasifikasi  perilaku  belajar  siswa  sesuai  dengan  variabel  belajaranya.  Selanjutnya,  performa dari  berbagai  algoritma  ML  tersebut  dibandingkan  dengan  menggunakan  akurasi,  presisi, recall dan f1 score .  Hasil menunjukkan  bahwa nilai siswa, waktu  menggunakan paltform dan banyaknya keterlibatan siswa merupakan faktor penting dalam pembelajaran online. Hasil penelitian menunjukkan bahwa model prediksi  yang  dilatih  menggunakan random  forest (RF)  memberikan  hasil  terbaik  dengan  rata-rata
precision 0.92%, recall 0.91%, f1-score =  0.91%  dan  akurasi  sebesar  80%.    Selain  menggunakan  teknik klasifikasi machine learning tunggal, beberapa penelitian menggunakan teknik ensemble machine learning. Teknik ensemble  machine  learning memiliki  kelebihan  dapat  memperbaiki  algoritma machine  learning tunggal yang digunakan sehingga memperoleh akurasi terbaik (Fahd et al., 2021; Rawat & Malhan, 2019) . Analisis hubungan antara kinerja siswa pada e-learning menggunakan data mining sebagaiman dilakukan oleh (Almutairi  et  al.,  2019;  Prasetyo  &  Nurhidayah,  2021), menentukan  faktor  utama  yang mempengaruhi kinerja siswa dipilih dengan menggunakan metode seleksi fitur. Metode machine learning yang  digunakan  dan  diuji  untuk  memprediksi  kinerja  siswa  yaitu random  forest,  logstic  regression, XGBoost, MLP dan ensemble learning juga menggunakan bagging dan voting . Dari semua metode tersebut random forest mendapatkan akurasi tertinggi mencapai 77%. Hasilnya  menunjukkan  bahwa data  mining dapat  secara  akurat  memprediksi  tingkat  kinerja siswa (Almutairi  et  al.,  2019;  Hendrian,  2018). Penelitian  serupa  dilakukan  untuk  membangun    model klasifikasi hybrid (voting) yang digunakan untuk menganlisis kinerja siswa dengan temuan bahwa model klasifikasi hybird lebih  efisien  untuk  prediksi  kinerja  siswa  berdasarkan  data  terkait  dengan  akurasi sebesar 98% (Indahyanti et al., 2022; Rawat & Malhan, 2019). Penelitian ensemble technique yaitu bagging dan boosting untuk meningkatkan performa dari algoritma machine learning dilakukan oleh, hasilnya dari semua  algoritma machine  learning dan  teknik ensemble diuji  dengan  berbagai  faktor  seperti  akurasi, sensivitas,  dan f1-score diperoleh  nilai  akurasi  terbaik  diantara  algortima  klasifikasi machine  learning sebesar  86.83%    dari Naive  Bayesian dan  91.76%  dari ensemble  tachnique  boosting .  Penelitian  terkait prediksi  kinerja  siswa  berdasarkan  fitur  perilaku  belajar    pada e-learning yang  diusulkan  oleh  peneliti serupa yang menemukan bahwa ada hubungan yang kuat antara perilaku belajar pada e-learning dengan prestasi  akademik (Amrieh  et  al.,  2016;  Suhartono,  2017). Algoritma machine  learning yang  digunakan, yaitu artificial  neural  network,  naive  bayes dan decision  tree .  Metode ensemble  bagging,  boosting dan random  forest diterapkan  untuk  meningkatkan  kinerja  algoritma machine  learning .  Hasil  akurasi  model yang diusulkan  mencapai akurasi lebih  dari 80%.   Oleh  karena itu, pada  penelitian ini,  teknik ensemble machine learning akan digunakan untu prediksi kinerja belajar siswa berdasarkan perilaku belajar pada LMS. Penelitian ini juga akan mencari korelasi antar variabel dan feature importance pada data perilaku belajar siswa ( students performance dataset) .

## 4. SIMPULAN
Pada  penelitian  ini  mengimplementasikan  metode ensemble  machine  learning untuk  prediksi kinerja siswa berdasarkan data log LMS telah dilakukan. Penelitian ini menggunakan dataset dari sebuah LMS  yaitu  Kalboard  360,  yang  berisi  480  data  dengan  16  variabel.  Setelah  dilakukan  pengolahan  data, variabel yang digunakan sabanyak tujuh (7) variabel yaitu ; Jenis kelamin, raisehands, MengunjungiSumber, MelihatPengumuman, diskusi, jumlah kehadiran diatas-7 atau dibawah-7 dan label kelas high, medium , dan low sebagai  label output . Korelasi  pearson yang  diterapkan  pada  penelitian  ini  menghasilkan  variabel MengunjungiSumber memiliki  korelasi  positif  dengan  variabel raisehands .  Selanjutnya  pada  analisis feature  importance variabel  MengungjungiSumber  memiliki  nilai  yang  paling  tinggi.  Hasil  penelitian menunjukkan  bahwa  model ensemble  machine  learning yaitu bagging,  boosting  dan  voting berhasil digunakan  untuk  memprediksi  kinerja  siswa  dengan accuracy sebesar  81.25%  dengan percision 0.810, recal l 0.812 dan f-measure 0.809 yang diperoleh model bagging . Institusi pendidikan baik sekolah maupun perguruan  tinggi  diharapkan  dapat  merancang  sebuah  kurikulum  LMS  untuk  meningkatkan  kualitas akademik  institusi  tersebut.  Selain  itu  institusi  pendidikan  dapat  memprediksi  bagaimana  kinerja siswanya, sehingga dapat meningkatkan prestasi akademik.

## 5. DAFTAR PUSTAKA
Adriansyah, I., Mahendra, M. D., Rasywir, E., & Pratama, Y. (2022). Perbandingan Metode Random Forest Classifier  dan  SVM  Pada  Klasifikasi  Kemampuan  Level  Beradaptasi  Pembelajaran  Jarak  Jauh Siswa.
Bulletin of Informatics and Data Science , 1 (2), 98 – 103. https://doi.org/10.61944/bids.v1i2.49.
Alamri,  L.  H.,  Almuslim,  R.  S.,  Alotibi,  M.  S.,  Alkadi,  D.  K.,  Ullah  Khan,  I.,  &  Aslam,  N.  (2020).  Predicting Student  Academic  Performance  using  Support  Vector  Machine  and  Random  Forest. PervasiveHealth:  Pervasive  Computing  Technologies  for  Healthcare , PartF16898 ,  100 – 107. https://doi.org/10.1145/3446590.3446607. Almutairi, S., Shaiba, H., &  Bezbradica, M. (2019). Predicting Students’ Academic Performance and Main Behavioral Features Using Data Mining Techniques. Communications in Computer and Information Science , 1097 CCIS , 245 – 259. https://doi.org/10.1007/978-3-030-36365-9_21.
Amrieh,  E.  A.,  Hamtini,  T.,  &  Aljarah,  I.  (2016).  Mining  Educational  Data  to  Predict  Student’s  academic Performance using Ensemble Methods. International Journal of Database Theory and Application ,
9 (8), 119 – 136. https://doi.org/10.14257/ijdta.2016.9.8.13. Ashraf, M., Zaman, M., & Ahmed, M. (2020). An Intelligent Prediction System for Educational Data Mining Based on Ensemble and Filtering approaches. Procedia Computer Science , 167 (2019), 1471 – 1483. https://doi.org/10.1016/j.procs.2020.03.358.
Fahd,  K.,  Miah,  S.  J.,  &  Ahmed,  K.  (2021).  Predicting  student  performance  in  a  blended  learning environment  using  learning  management  system  interaction  data. Applied  Computing  and Informatics . https://doi.org/10.1108/ACI-06-2021-0150. Fernandes, E., Holanda, M., Victorino, R., & Erven, G. (2018). Educational data mining : Predictive analysis of  Academic  Performance  of  Public  School  Students  in  the  Capital  of  Brazil. Journal  of  Business Research , 94 , 335 – 343. https://doi.org/10.1016/j.jbusres.2018.02.012.
Hendrian,  S.  (2018).  Algoritma  Klasifikasi  Data  Mining  Untuk  Memprediksi  Siswa  Dalam  Memperoleh
Bantuan Dana Pendidikan. Faktor Exacta , 11 (3). https://doi.org/10.30998/faktorexacta.v11i3.2777.
Hussain,  S.,  Dahan,  N.  A.,  Ba-alwi,  F.  M.,  &  Ribata,  N.  (2018).  Educational  Data  Mining  and  Analysis  of Students ’ Academic Performance Using WEKA. Indonesian Journal of Electrical Engineering and Computer Science , 9 (2), 447 – 459. https://doi.org/10.11591/ijeecs.v9.i2.pp447-459. Indahyanti,  U.,  Azizah,  N.  L.,  &  Setiawan,  H.  (2022).  Educational  Data  Mining  on  Student  Academic Performance  Prediction:  A  Survey. Procedia  of  Social  Sciences  and  Humanities , 3 ,  1442 – 1447. https://doi.org/10.21070/pssh.v3i.344.
Injadat, M., Moubayed, A., Nassif, A. B., & Shami, A. (2020). Systematic ensemble model selection approach for educational data mining.
Knowledge-Based Systems , 200 , 105992. https://doi.org/10.1016/j.knosys.2020.105992.
Jamhur,  H.  (2020).  Pemodelan  Prediksi  Predikat  Kelulusan  Mahasiswa  Menggunakan  Fuzzy  C-Means Berbasis  Particle  Swarm  Optimization. TeknoIS:  Jurnal  Ilmiah  Teknologi  Informasi  Dan  Sains , 10 (1), 13 – 24. https://doi.org/10.36350/jbs.v10i1.79.
Kadoic, N., & Oreski, D. (2018). Analysis of student behavior and success based on logs in Moodle. 2018
41st  International  Convention  on  Information  and  Communication  Technology,  Electronics  and Microelectronics, MIPRO 2018 - Proceedings , 654 – 659. https://doi.org/10.23919/MIPRO.2018.8400123.
Kamal,  P.,  &  Ahuja,  S.  (2019).  An  ensemble-based  model  for  prediction  of  academic  performance  of students in undergrad professional course. Journal of Engineering, Design and Technology , 17 (4), 769 – 781. https://doi.org/10.1108/JEDT-11-2018-0204.
Nugroho, M. Y. A. (2020). Metode, media, dan problematika pembelajaran pai berbasis daring di tingkat madrasah aliyah. Paramurobi: Jurnal Pendidikan Agama Islam , 3 (2), 1 – 14. https://doi.org/10.32699/paramurobi.v3i2.1573.
Prada, M. A., Dominguez, M., Vicario, J. L., Alves, P. A. V., Barbu, M., Podpora, M., Spagnolini, U., Pereira, M. J. V., & Vilanova, R. (2020). Educational Data Mining for  Tutoring Support in Higher Education: A Web-Based  Tool  Case  Study  in  Engineering  Degrees. IEEE  Access , 8 ,  212818 – 212836. https://doi.org/10.1109/ACCESS.2020.3040858.
Prasetyo,  M.  M.,  &  Nurhidayah,  N.  (2021).  The  effect  of  internet  use  on  improving  student  learning outcomes.
Journal of Education Technology , 5 (4), 511 – 519. https://doi.org/10.23887/jet.v5i4.40748.
Pratomo, I. W. P., & Wahanisa, R. (2021). Pemanfaatan Teknologi Learning Management System (LMS) di Unnes Masa Pandemi Covid-19: Utilization of Learning Management System (LMS) Technology at Unnes  during  the  Covid-19  Pandemic. Seminar  Nasional  Hukum  Universitas  Negeri  Semarang , 7 (2), 547 – 560. https://doi.org/10.15294/snhunnes.v7i2.730.
Qazdar, A., Er-Raha, B., Cherkaoui, C., & Mammass, D. (2019). A machine learning algorithm framework for predicting students performance: A case study of baccalaureate students in Morocco. Education and Information Technologies , 24 (6), 3577 – 3589. https://doi.org/10.1007/s10639-019-09946-8. Rawat, K. S., & Malhan, I. V. (2019). A Hybrid Classification Method Based on Machine Learning Classifiers to Predict Performance in Educational Data Mining. In Lecture Notes in Networks and Systems (Vol. 46). Springer Singapore. https://doi.org/10.1007/978-981-13-1217-5_67. Safitri, S. N., Setiadi, H., & Suryani, E. (2022). Educational Data Mining Using Cluster Analysis Methods and Decision . 5 (158), 448 – 456. https://doi.org/10.29207/resti.v6i3.3935.
Saleem,  F.,  Ullah,  Z.,  Fakieh,  B.,  &  Kateb,  F.  (2021).  Intelligent  decision  support  system  for  predicting student’s e -learning performance using ensemble machine learning. In Mathematics (Vol. 9, Issue 17). https://doi.org/10.3390/math9172078.
Saputra, A. (2020). Pendidikan Dan Teknologi: Tantangan Dan Kesempatan. Indonesian Journal of Islamic Educational Management , 3 (1), 21 – 33. https://doi.org/10.24014/ijiem.v3i1.9095.
Suhartono,  E.  (2017).  Systematic  Literatur  Review  (SLR):  Metode,  Manfaat,  Dan  Tantangan  Learning Analytics Dengan Metode Data Mining di Dunia Pendidikan Tinggi. Jurnal Ilmiah INFOKAM , 13 (1). https://doi.org/10.53845/infokam.v13i1.123.
Sutoyo,  E.,  &  Almaarif,  A.  (2020).  Educational  Data  Mining  untuk  Prediksi  Kelulusan  Mahasiswa Menggunakan  Algoritme  Naïve  Bayes  Classifier. Jurnal  RESTI  (Rekayasa  Sistem  Dan  Teknologi Informasi) , 4 (1), 95 – 101. https://doi.org/10.29207/RESTI.V4I1.1502. Syahra, Y., Syahril, M., & Yusnidah, Y. (2019). Implementasi data mining dengan menggunakan algoritma fuzzy subtractive clustering dalam pengelompokan nilai untuk menentukan minat belajar siswa smp  primbana  Medan. Jurnal  SAINTIKOM  (Jurnal  Sains  Manajemen  Informatika  Dan  Komputer) , 17 (1), 54 – 63. https://doi.org/10.53513/jis.v17i1.113.
Syahril, M., Erwansyah, K., & Yetri, M. (2020). Penerapan Data Mining untuk menentukan pola penjualan peralatan  sekolah  pada  brand  wigglo  dengan  menggunakan  algoritma  apriori. Jurnal  Teknologi Sistem Informasi Dan Sistem Komputer TGD , 3 (1), 118 – 136. https://doi.org/10.53513/jsk.v3i1.202.
Tüfekci, A., & Yılmaz, E. A. G. (2020). Educational Data Mining. Engineering Education Trends in the Digital Era , 70 – 82. https://doi.org/10.4018/978-1-7998-2562-3.ch004. Utami, D. Y., Nurlelah, E., & Hasan, F. N. (2021). Comparison of Neural Network Algorithms, Naive Bayes and  Logistic  Regression  to  predict  diabetes. Journal  of  Informatics  and  Telecommunication Engineering , 5 (1), 53 – 64. https://doi.org/10.31289/jite.v5i1.5201. Yan,  N.,  &  Au,  O.  T.-S.  (2019).  Online  learning  behavior  analysis  based  on  machine  learning. Asian Association of Open Universities Journal , 14 (2), 97 – 106. https://doi.org/10.1108/aaouj-08-2019- 0029 .