JUTIS (Jurnal Teknik Informatika Unis) Vol. 9 No. 1 Bulan April 2021                                                                                                                   p-ISSN: 2252-5351 Program Studi Teknik Informatika – Fakultas Teknik
Universitas Islam Syekh-Yusuf Tangerang

## Akurasi Prediksi Nilai Mahasiswa menggunakan Informasi Kontekstual pada Personalisasi Sistem Rekomendasi
Lena 1 , Riyan Leandros 2 , Dina Fitria Murad 3
1,2,3 Information Systems, BINUS Online Learning, Bina Nusantara University, Jakarta, 11480
dmurad@binus.edu 1,2,3

## Abstrak
Pembelajaran online, terutama di pendidikan tinggi, semakin mendapat perhatian di banyak negara dalam sepuluh tahun terakhir karena memberikan beberapa keuntungan bagi pelajar termasuk fleksibilitas pembelajaran ruang dan waktu. Keterlibatan siswa dalam pembelajaran online  memiliki  faktor  penting  bagi  siswa  untuk  menyelesaikan  program  studinya  dan mencapai  tujuan  pembelajaran  yang  direncanakan.  Tidak  seperti  pembelajaran  di  kelas, pembelajaran  online  tidak  menyediakan  sumber  daya  seperti  instruktur  untuk mempertahankan  keterlibatan  siswa  tetapi  Sistem  Manajemen  Pembelajaran  (LMS).  Salah satu  pendekatan  untuk  meningkatkan  keterlibatan  siswa  adalah  dengan  mempersonalisasi materi  pembelajaran  yang  dikelola  secara  otomatis  oleh  LMS.  Paper  ini  menyajikan  hasil eksperimen  sistem  rekomendasi  context-aware  yang  tertanam  di  LMS  untuk  meningkatkan keterlibatan siswa dalam pembelajaran online dengan mempersonalisasi materi pembelajaran yang  direkomendasikan  kepada  siswa  yang  ditargetkan.  Metode  Penelitian  menggunakan metode  user  collaborative  filtering  dengan  pendekatan  K-Nearest  Neighbor  (KNN)  terkait prediksi nilai mahasiswa dengan menambahkan fitur informasi kontekstual. Hasil Penelitian ini membuktikan bahwa metode KNN dengan k=3 memiliki akurasi hasil  prediksi mencapai 85%. Hasil penelitian ini menunjukkan bahwa informasi kontekstual sebagai fitur tambahan pada profil siswa meningkatkan korelasi antara nilai aktual dan nilai prediksi menggunakan user collaborative filtering.
Kata kunci: user collaborative filtering, KNN, informasi kontekstual

## A. Pendahuluan
Keberhasilan  implementasi  sistem  rekomendasi  dibidang e-commerce telah menarik minat para peneliti untuk mengaplikasikan sistem rekomendasi dibidang e- learning (Liu & Shih, 2008) (Kerkiri et al., 2007) (Chen et al., 2005).  Salah satu dasar penggunaan  sistem  rekomendasi  di  bidang  pendidikan  adalah  teori  pembelajaran sosial (Chournazidis, 2013) yang menyatakan bahwa seseorang bisa  belajar dengan mengamati  perilaku  orang  lain  dan  hasilnya  cenderung  mempengaruhi  perilaku orang  tersebut  (mahasiswa).  Meskipun  demikian,  sebuah  sistem  rekomendasi dibidang online learning merupakan sebuah sistem rekomendasi yang bersifat domain specific karena memiliki kebutuhan khusus yaitu item yang direkomendasikan harus sesuai dengan urutan materi dari program pembelajaran sasaran rekomendasi (target user).  Rekomendasi  harus  mempertimbangkan  informasi  kontekstual  dari  sasaran rekomendasi  antara  lain  program  pendidikan  yang  sedang  diambil,  silabus  mata kuliah, dan capaian pembelajaran (hasil evaluasi pembelajaran).
JUTIS (Jurnal Teknik Informatika Unis) Vol. 9 No. 1 Bulan April 2021                                                                                                                   p-ISSN: 2252-5351 Program Studi Teknik Informatika – Fakultas Teknik
Universitas Islam Syekh-Yusuf Tangerang
Dengan demikian, sistem rekomendasi dibidang online learning harus mampu memberikan rekomendasi yang bersifat personalisasi. Hal ini sesuai dengan penelitian (Thai-Nghe  et  al.,  2011)  dan  Nanopulos  et  al.  (2015)  yang  menyimpulkan  bahwa “bahkan  untuk  peserta  didik  dengan  minat  dan  selera  yang  sama  sekalipun,  perlu direkomendasikan  berbagai  kegiatan  belajar,  tergantung  pada  tingkat  kemahiran masing-masing, tujuan pembelajaran dan konteks. Misalnya, mahasiswa yang tidak memiliki pengetahuan sebelumnya dalam domain tertentu harus disarankan untuk mempelajari  materi  pembelajaran  dasar  terlebih  dahulu,  di  mana  mahasiswa  yang lebih  maju harus disarankan untuk  melanjutkan  dengan materi  yang  lebih  spesifik (Klašnja -mili,  2015).  Taghipou.,  et.all  menyatakan  bahwa  pengguna  juga  dapat digambarkan oleh pola perilaku mereka, seperti pola penjelajahan situs (dalam sistem rekomendasi berbasis Web) (Taghipour et al., 2007), atau pola pencarian perjalanan (dalam  sistem  rekomendasi  perjalanan)  (Mahmood  &  Ricci,  2009).  Selain  itu,  data pengguna  dapat  mencakup  hubungan  antar  pengguna  seperti  tingkat  kepercayaan antara sesama pengguna (Ricci, F., Rokach, L., & Shapira, 2011). Sistem rekomendasi menggunakan informasi ini untuk merekomendasikan item kepada pengguna yang sebelumnya  dan  disukai  oleh  pengguna  yang  serupa  atau  terpercaya  (secara  pola pembelian mengikuti pengguna sebelumnya).
Secara umum, sistem rekomendasi dapat dikelompokkan kedalam 4 (empat) kelompok  sebagai  berikut  (Ricci,  F.,  Rokach,  L.,  &  Shapira,  2011):  (1)  collaborative filtering, (2) content-based, (3) hybrid, dan (4) context-aware.
Tujuan pemberian rekomendasi adalah memberikan rekomendasi berdasarkan sumber belajar yang mirip dengan melihat item (misalnya konteks pembelajaran saat ini)  dan  membimbing  mahasiswa  dalam  memilih  sumber  belajar  yang  baik  untuk meningkatkan proses pembelajaran mereka.
Sebuah recommender  system adalah  sebuah  sistem  berbasis  komputer  yang dirancang untuk memberikan rekomendasi kepada pemakainya.  Di dalam  konteks pembelajaran online, sebuah recommender system adalah sebuah sistem yang dirancang untuk  memberikan  rekomendasi  yang  cerdas  kepada  mahasiswa  mengenai langkah/proses  yang  harus  dilakukan,  bahan  bacaan  atau  latihan,  atau  sumber informasi yang berkaitan dengan topik/mata kuliah didasarkan kepada pilihan yang telah  dilakukan  oleh  peserta  pembelajaran  sebelumnya  (Za,  2002).  Di  dalam memberikan  rekomendasi  kepada  mahasiswa,  sebuah recommender  system menggunakan  model  statistika  yang  ditraining  secara supervised dengan  algoritma pembelajaran berdasarkan input dari mahasiswa sebelumnya.
Sementara  itu,  di  penelitian  ini,  sistem  rekomendasi  diberikan  berdasarkan persentase  hasil  prediksi.  Beberapa  metode  yang  sudah  digunakan  peneliti sebelumnya adalah NLP (Vijay et al., 2018), collaborative filtering methods (Rechkoski et al., 2018)(Nie et al., 2020), dan KNN (Bag et al., 2019) (Yousafzai et al., 2020). KNN merupakan  algoritma  klasifikasi  yang  paling  sederhana  dalam  mengklasifikasikan sebuah  gambar  kedalam  sebuah  label.  Metode  ini  mudah  dipahami  dibandingkan metode lain karena mengklasifikasikan berdasarkan jarak terdekat dengan objek lain (tetangga).  Sehingga  yang  menjadi research  question di  dalam  penelitian  ini  adalah,
JUTIS (Jurnal Teknik Informatika Unis) Vol. 9 No. 1 Bulan April 2021                                                                                                                   p-ISSN: 2252-5351 Program Studi Teknik Informatika – Fakultas Teknik
Universitas Islam Syekh-Yusuf Tangerang
seberapa tinggi akurasi hasil prediksi nilai mahasiswa  menggunakan metode KNN pada user collaborative filtering ?

## B. Metode
Penelitian ini menggunakan metode KNN pada user collaborative filtering . Pemilihan user  collaborative  filtering dilakukan  berdasarkan  beberapa  peneliti  sebelumnya  yang berhasil mendapatkan hasil prediksi terbaik menggunakan user collaborative filtering (Song et  al.,  2017)(Murad, Hassan,  et  al.,  2020)(Murad,  Heryadi,  et  al.,  2020)(Sheehan &  Park, 2012). Adapun model Penelitian yang dilakukan mengacu kepada gambar 1.
Gambar 1. Model Penelitian

## C. Hasil dan Pembahasan
Tahapan Penelitian yang dilakukan berdasarkan gambar 1 menggunakan dataset penelitian dengan data dummy pembelajaran di BINUS Online Learning jurusan Sistem Informasi. Adapun langkah-langkah yang dilakukan sebagai berikut:
1. Dataset dinormalkan sehingga semua data memiliki atribut dan range penilaian yang sama
2. Data di scaling menjadi [0,1]
3. Data yang di scale kemudian di rating kemudian di filter
4. Menggunakan user context associate terkait penggunaan informasi kontekstual
5. Kemudian dihitung kedekatan jarak antar user dan untuk semua user
6. Menggunakan metode KNN untuk k=3 dan 5 untuk melakukan prediksi nilai
7. Menggunakan  rule  base  (Tabel  1)  kemudian  hasil  prediksi  dijadikan  sebagai  dasar pemberian rekomendasi.
JUTIS (Jurnal Teknik Informatika Unis) Vol. 9 No. 1 Bulan April 2021                                                                                                                   p-ISSN: 2252-5351 Program Studi Teknik Informatika – Fakultas Teknik
Universitas Islam Syekh-Yusuf Tangerang
Tabel 1.

## Rule base sistem rekomendasi
Boundary Values of predicted Set of Learning Outcome 𝐹 < 10 LO1-The  system  analysis  and  information  system  development,  LO1- Requirement determination, LO1-Use-case analysis, LO2-Process modeling, LO2-Data modeling, LO2-The design phase, design strategy, and architecture design,  LO3-Program  design,  LO3-Data  storage  design,  and  LO3-Moving into implementation. 10 ≤ 𝐹 < 20 LO1-Requirement  determination,  LO1-Use-case  analysis,  LO2-Process modeling, LO2-Data modeling, LO2-The design phase, design strategy, and architecture  design,  LO3-Program  design,  LO3-Data  storage  design,  and LO3-Moving into implementation. 20 ≤ 𝐹 < 30 LO1-Use-case analysis, LO2-Process modeling, LO2-Data modeling, LO2-The design phase, design strategy, and architecture design, LO3-Program design, LO3-Data storage design, and LO3-Moving into implementation. 30 ≤ 𝐹 < 40 LO2-Process modeling, LO2-Data modeling, LO2-The design phase, design strategy,  and  architecture  design,  LO3-Program  design,  LO3-Data  storage design, and LO3-Moving into implementation 40 ≤ 𝐹 < 50 LO2-Data modeling, LO2-The design phase, design strategy, and architecture desig 50 ≤ 𝐹 < 60 LO2-The design phase, design strategy, and architecture desig 60 ≤ 𝐹 < 70 LO3-Program  design,  LO3-Data  storage  design,  and  LO3-Moving  into implementation. 70 ≤ 𝐹 < 80 LO3-Data storage design, and LO3-Moving into implementation. 80 ≤ 𝐹 < 90
LO3-Moving into implementation.
Kinerja  sistem  rekomendasi  yang  diusulkan  diukur  guna  mengetahui penyimpangan skor FIN matakuliah yang diprediksi dengan skor FIN yang sebenarnya menggunakan Mean Square Error (MSE).
𝑀𝑆𝐸 = ∑ (𝑝 𝑢,𝑖 −𝑟 𝑢,𝑖 ) 2 𝑖 𝑛 (1)
Hasil  prediksi  FIN  di  menggunakan  algoritma  k-Nearest  Neighbor  sebagai  dasar untuk menghitung tetangga terdekat (dengan k = 3) dan jarak Euclidian sebagai fungsi jarak menghasilkan hasil prediksi terlihat pada tabel 2 berikut ini.
Gambar 2. Hasil prediksi dengan k=3
JUTIS (Jurnal Teknik Informatika Unis) Vol. 9 No. 1 Bulan April 2021                                                                                                                   p-ISSN: 2252-5351 Program Studi Teknik Informatika – Fakultas Teknik
Universitas Islam Syekh-Yusuf Tangerang
Sementara  itu,  untuk  k=5  menghasilkan  hasil  prediksi  mengacu  pada  gambar  3 dibawah ini
Gambar 3. Hasil prediksi dengan k=5

## D. Kesimpulan
Meskipun  perbedaannya  tidak  signifikan  dalam  hal  prediksi  variasi  output pembelajaran, sistem pemberi rekomendasi dengan informasi kontekstual sebagai fitur tambahan  memberikan  beberapa  keuntungan  bagi  manajemen  pembelajaran  online. sehingga dapat disimpulkan:
1. Prediksi  nilai  FIN  menggunakan  context  dan  tanpa  menggunakan  contex,  tidak mengalami  perbedaan  yang  signifikan,  namun  terdapat  selisih  yang  masih  dalam range nilai yang sama.
2. Penggunaan  context  dapat  memprediksi  nilai  FIN  untuk  mahasiswa  yang  belum memiliki riwayat pembelajaran (nilai awal = 0 atau belum menempuh matakuliah)
3. Output  Nilai  Prediksi  yang  diperoleh  akan  menjadi  data  training  pada  tahap berikutnya untuk membuat model RECSYS

## Daftar Pustaka
Bag, S., Ghadge, A., & Tiwari, M. K. (2019). An integrated recommender system for improved accuracy  and  aggregatediversity. Computers  &  Industrial  Engineering , 130 ,  187 – 197. https://doi.org/10.1016/j.cie.2019.02.028
Chen, C. M., Lee, H. M., & Chen, Y. H. (2005). Personalized e-learning system using Item Response Theory. Computers and Education , 44 (3), 237 – 255. https://doi.org/10.1016/j.compedu.2004.01.006
Chournazidis,  A.  J.  (2013).  Functionality  and  Feasibility  of  Knowledge  Management  in Enterprises. Procedia - Social and Behavioral Sciences , 73 , 327 – 336. https://doi.org/10.1016/j.sbspro.2013.02.059
Kerkiri, T., Manitsaris, A., & Mavridou, A. (2007). Reputation metadata for  recommending
JUTIS (Jurnal Teknik Informatika Unis) Vol. 9 No. 1 Bulan April 2021                                                                                                                   p-ISSN: 2252-5351 Program Studi Teknik Informatika – Fakultas Teknik
Universitas Islam Syekh-Yusuf Tangerang
personalised e-learning resources. SMAP07 - Second International Workshop on Semantic Media Adaptation and Personalization , 110 – 115. https://doi.org/10.1109/SMAP.2007.4414396 Klašnja -mili, A. (2015). Recommender systems in e-learning environments : a survey of the state-of- the-art and possible extensions . https://doi.org/10.1007/s10462-015-9440-z Liu, F. J., & Shih, B. jiun. (2008). E-learning activity-based material recommendation system. Interactive Technology and Smart Education , 4 (4), 200 – 207. https://doi.org/10.1108/17415650880001105
Mahmood,  T.,  &  Ricci,  F.  (2009).  Improving  recommender  systems  with  adaptive conversational  strategies. Proceedings  of  the  20th  ACM  Conference  on  Hypertext  and Hypermedia - HT ’09 , January , 73. https://doi.org/10.1145/1557914.1557930
Murad, D. F., Hassan, R., Wahi,  W., & Wijanarko, B. D. (2020). A User-Item Collaborative Filtering System to Predict Online Learning Outcome. Advances in Science, Technology and Engineering Systems , 5 (5), 117 – 121. https://doi.org/10.25046/aj050516 Murad, D. F., Heryadi, Y., Isa, S. M., & Budiharto, W. (2020). Personalization of Study Material based  on  Predicted  Final  Grades  using  Multi-criteria  User-collaborative  Filtering Recommender System. Education and Information Technologies , May (III). https://doi.org/10.1007/s10639-020-10238-9
Nie, M., Xiong, Z., Zhong, R., Deng, W., & Yang, G. (2020). Career choice prediction based on campus  big  data-mining  the  potential  behavior  of  college  students. Applied  Sciences (Switzerland) , 10 (8). https://doi.org/10.3390/APP10082841
Rechkoski, L., Ajanovski, V. V, & Mihova, M. (2018). Evaluation of grade prediction using model-based  collaborative  filtering  methods. 2018  IEEE  Global  Engineering  Education Conference (EDUCON) , 1096 – 1103. https://doi.org/10.1109/EDUCON.2018.8363352
Ricci, F., Rokach, L., & Shapira, B. (2011). Introduction to Recommender Systems Handbook.
In Recommender Systems Handbook , Springer , Boston , MA , 1 – 35. https://doi.org/10.1007/978-0-387-85820-3
Sheehan, M., & Park, Y. (2012). pGPA: A personalized grade prediction tool to aid student success. RecSys’12 - Proceedings of the 6th ACM Conference on Recommender Systems , 309 – 310. https://doi.org/10.1145/2365952.2366027
Song, Y., Ji, W., & Liu, S. (2017). Research on personalized hybrid recommendation system.
IEEE  CITS  2017  -  2017  International  Conference  on  Computer,  Information  and Telecommunication Systems , 133 – 137. https://doi.org/10.1109/CITS.2017.8035321
Taghipour,  N.,  Kardan,  A.,  &  Ghidary,  S.  (2007).  Usage-based  web  recommendations:  a reinforcement  learning  approach. …  of  the  2007  ACM  Conference  on  … ,  113 – 120. https://doi.org/10.1145/1297231.1297250
Thai-Nghe,  N.,  Drumond,  L.,  Horváth,  T.,  Nanopoulos,  A.,  &  Schmidt-Thieme,  L.  (2011). Matrix  and  Tensor  Factorization  for  Predicting  Student  Performance. Undefined . https://www.semanticscholar.org/paper/Matrix-and-Tensor-Factorization-for- Predicting-Thai-Nghe-Drumond/7b8023dbac03bff5bd283ab1b5929ec4cbdf77b7
Vijay, D., Bohra, A., Singh, V., Akhtar, S. S., & Shrivastava, M. (2018). Corpus Creation and Emotion  Prediction  for  Hindi-English  Code-Mixed  Social  Media  Text .  128 – 135. https://doi.org/10.18653/v1/n18-4018
Yousafzai,  B.  K.,  Hayat,  M.,  &  Afzal,  S.  (2020).  Application  of  machine  learning  and  data mining  in  predicting  the  performance  of  intermediate  and  secondary  education  level student. Education  and  Information  Technologies .  https://doi.org/10.1007/s10639-020- 10189-1 Za, O. R. (2002). Building a Recommender Agent for e-Learning Systems .