## JEPIN
(Jurnal Edukasi dan Penelitian Informatika)
ISSN(e): 2548-9364 / ISSN(p) : 2460-0741
April 2022
Klasifikasi Loyalitas Pengguna Sistem E-Learning Menggunakan Net Promoter Score dan Machine Learning
Didi Supriyadi #*1 , Sisilia Thya Safitri #2 , Rona Nisa Sofia Amriza #3 , Daniel Yeri Kristiyanto #4
# Program Studi Sarjana Sistem Informasi, Fakultas Informatika, Institut Teknologi Telkom Purwokerto Jl. D.I. Panjaitan No. 128 Purwokerto, 53147
1 didisupriyadi@ittelkom-pwt.ac.id
2 sisil@ittelkom-pwt.ac.id
3 rona@ittelkom-pwt.ac.id
4 daniel@ittelkom-pwt.ac.id
Abstrak— E-Learning merupakan salah satu produk layanan berbasis  teknologi  informasi  yang  dikembangkan  dengan tujuan  untuk  meningkatkan  kualitas  pembelajaran  pada perguruan tinggi. Kesuksesan implementasi sistem e-learning tidak lepas dari peran aktif dan kesetiaan pengguna (customer loyalty) untuk memberikan penilaian maupun feedback untuk peningkatan  kualitas  layanan  yang  meliputi  efektivitas, efisiensi dan kepuasan dari kegunaan e-learning secara terus menerus.  Kepuasan  pelanggan  berdampak  positif  terhadap retensi  pelanggan,  hingga  pembelian  produk  atau  jasa lanjutan  pelanggan  dan  kepuasan  pelanggan  dianggap sebagai  faktor  utama  loyalitas  pelanggan.  Kegunaan  e- learning dapat diukur menggunakan kerangka kerja System Usability  Scale  (SUS).  Sedangkan  untuk  mengetahui  tingkat loyalitas pengguna e-learning dapat menggunakan pendekatan  Net  Promoter  Scale  (NPS).  Penelitian  ini bertujuan untuk membandingkan algoritma  Decision Trees, Naïve Bayes, dan K-Nearest Neighbor (KNN) untuk klasifikasi tingkat  loyalitas  pengguna  e-learning  dengan  pendekatan kategori berdasarkan NPS. Dataset terdiri atas 100 data yang berasal  dari  penilaian  kepuasan  pengguna  dari  dosen  dan mahasiswa  sebagai  pengguna  e-learning.  Dataset  dibagi menjadi  80:20  untuk  data  training  dan  data  testing. Penerapan  metode  10-fold  cross  validation  pada  pengujian ketiga model algoritma berhasil menghindarkan model dari kondisi  underfitting  maupun  overfitting.  Pengujian  kinerja dari  tiap  –  tiap  model  algoritma  machine  learning menggunakan  confusion  matrix  yang  meliputi  parameter accuracy,  sensitivity,  dan  precision.    Hasil  pengujian menunjukkan  bahwa  algoritma  Decision  Trees  memiliki tingkat  akurasi  terbaik  yaitu  sebesar  95%,  diikuti  dengan Naïve  Bayes  dengan  tingkat akurasi  sebesar 90%  dan  KNN dengan tingkat akurasi sebesar 85%.
Kata  kunci — E-Learning,  Customer  Loyalty,  NPS,  Decision Trees, Naïve Bayes, KNN

## I. P ENDAHULUAN
Loyalitas  pelanggan  atau  konsumen  ( customer  loyalty ) merupakan  salah  satu  indikator  keberhasilan  bisnis
organisasi,  baik  organisasi profit maupun non-profit oriented . Loyalitas pelanggan merupakan wujud kesetiaan pelanggan  kepada  penyedia  jasa  ataupun  produk  dalam menggunakan  jasa  atau  produk  yang  disediakan  secara berkelanjutan. Loyalitas pelanggan dapat terjadi dikarenakan  kepuasan  pelanggan  yang  tinggi  terhadap kualitas jasa atau produk yang dirasakan dan biasanya akan cenderung  untuk  merekomendasikan  jasa  atau  produk tersebut kepada orang lain. Literatur penelitian menjelaskan  bahwa  kepuasan  pelanggan  terhadap  produk ataupun  jasa  akan  mempengaruhi  keputusan  pelanggan untuk  menggunakan  kembali  atau  tidak  terhadap  produk atau jasa yang digunakan sebelumnya [1].
E-Learning pada  sebuah  perguruan  tinggi  merupakan salah  satu  produk  layanan  berbasis  teknologi  informasi yang  dikembangkan  dengan  tujuan  untuk  meningkatkan kualitas pembelajaran. E-Learning merupakan sarana yang sangat  berperan  strategis  bagi  Lembaga  ataupun  instansi Pendidikan  termasuk  bagi  perguruan  tinggi  di  masa pandemik  COVID-19  dengan  diberlakukannya  kebijakan sistem pembelajaran dalam jaringan ( daring ). Kesuksesan implementasi sistem e-learning tidak lepas dari peran aktif dan  kesetiaan  pengguna  untuk  memberikan  penilaian maupun feedback untuk peningkatan kualitas layanan dari e-learning secara  terus  menerus.  Untuk  itu,  Institut Teknologi Telkom Purwokerto atau IT Telkom Purwokerto senantiasa  melakukan  evaluasi  kepuasan customer termasuk  dosen  dan  mahasiswa  terhadap  setiap  layanan yang dapat dinilai dari aspek kegunaan atau usability .
Seorang  pelanggan  menggunakan  produk  ataupun  jasa dengan  tujuan  untuk  memperoleh  manfaat  dari  jasa maupun  produk  tersebut.  Beberapa  tujuan  tersebut  antara lain  efektivitas,  efisiensi  serta  kepuasan[2],  [3].  Tujuan tersebut  sesuai  dengan  definisi  dari usability menurut International  Organization for Standardization (ISO)  [4]. Penelitian yang pernah dilakukan di IT Telkom Purwokerto untuk  mengukur  tingkat usability dari  sistem e-learning
adalah  menggunakan  kerangka  kerja System  Usability Scale (SUS). SUS merupakan instrument pengujian tingkat kegunaan  atau usability suatu  sistem  yang  paling popular untuk  menguji  sistem  dari  persepsi  kegunaan  ( perceived usability ) [5] [6] yang dinilai valid dan reliabel[7]. Menurut Sauro  [8],  skor  SUS  dapat  dikorelasikan  dengan kecenderungan  pengguna  ke  dalam  klasifikasi  loyalitas pengguna berdasarkan Net Promoter Scale (NPS). Kepuasan pelanggan berdampak positif terhadap retensi pelanggan,  hingga  pembelian  produk  atau  jasa  lanjutan pelanggan  dan  kepuasan  pelanggan  dianggap  sebagai faktor utama loyalitas pelanggan [9]. Organisasi termasuk IT  Telkom  Purwokerto  dalam  menjalankan  setiap  bisnis proses organisasi, terkadang dihadapkan pada situasi untuk membuat  keputusan  yang  relevan  dengan  kesetiaan  dan retensi klien mereka (mahasiswa maupun dosen).
Pengambilan keputusan yang relevan dengan kesetiaan ataupun  loyalitas  pelanggan  pada  sebuah  organisasi perusahaan dapat dikembangkan dengan pendekatan model analitis  prediksi  yang  biasanya  dikembangkan  dengan pendekatan  algoritma machine  learning [10]. Machine learning merupakan  salah  satu  fokus  dari  penelitian  di bidang Artificial  Intelligence (AI)  yang  saat  ini  banyak dikembangkan.  Perkembangan  AI  maupun  machine learning  telah  banyak  memberikan  perubahan  yang signifikan dalam berbagai bidang termasuk bidang biologi, Pendidikan maupun pemasaran [11].
Makalah penelitian ini bertujuan untuk mengimplementasikan model algoritma klasifikasi machine  learning dan  mengukur  performa  masing  – masing  model  untuk  menyelesaikan  permasalahan klasifikasi loyalitas pengguna sistem e-learning berdasarkan  data  kuesioner usability sistem  dengan pendekatan  SUS  dan  kategori  loyalitas  pengguna berdasarkan  NPS.  Beberapa  algoritma machine  learning yang  popular  digunakan  untuk  klasifikasi  antara  lain algoritma Decision  Trees [12],  [13],  algoritma Naïve Bayes [13]–[15], dan algoritma K-Nearest Neighbor (KNN) [12], [16].

## II. M ETODE P ENELITIAN
Tahap  penelitian  yang  dilakukan  untuk  klasifikasi loyalitas  pengguna  sistem e-learning dengan  pendekatan kerangka kerja System Usability Scale , Net Promoter Scale , dan  algoritma machine  learning dengan  studi  kasus  pada sistem e-learning IT  Telkom  Purwokerto  sebagaimana ditunjukkan dalam Gambar 1.

## A. Analisis Masalah dan Kebutuhan
Analisis  masalah  dan  kebutuhan  dilakukan  dengan tujuan  untuk  menemukan  permasalahan  yang  dihadapi organisasi  dalam  hal  ini  adalah  IT  Telkom  Purwokerto. Tahap  ini  dilakukan  untuk  menentukan  ruang  lingkup, maupun cara menyelesaikan permasalahan yang tepat bagi organisasi.  Hal  ini  dilakukan  dengan  cara  observasi langsung  dengan  melihat  permasalahan  –  permasalahan yang  dihadapi  dan  studi  literatur  untuk  mencari  referensi
dari hasil – hasil penelitian sebelumnya untuk menentukan solusi dari permasalahan yang dihadapi.
Gambar 1. Tahapan penelitian yang dikembangkan

## B. Data Collection
Tahap data  collection terbagi  beberapa  tahapan  di dalamnya. Tahapan tersebut meliputi mendefinisikan data yang  dibutuhkan  dan  relevan  dengan  permasalahan pengguna  sistem e-learning di  IT  Telkom  Purwokerto. Data  yang  dibutuhkan  adalah  data  tingkat  kepuasan pengguna  sistem e-learning ,  sehingga  ditetapkan  cara untuk  memperoleh  data  tersebut  dengan  melakukan pengukuran tingkat  kepuasan pengguna sistem e-learning di  IT  Telkom  Purwokerto.  Tahap  selanjutnya  adalah menentukan  responden  yang  akan  diberikan  instrument pengukuran  kepuasan  penggunaan  sistem e-learning . Respondennya  meliputi  dosen  dan mahasiswa  IT Telkom Purwokerto.  Setelah  ditentukan  kebutuhan  data  dan respondennya,  selanjutnya  adalah  menyusun  instrument atau  kuesioner  untuk  pengukuran  tingkat  kepuasan pengguna sistem e-learning IT Telkom Purwokerto.
1. System Usability Scale (SUS)
Instrumen kuesioner disusun menggunakan pendekatan System Usability Scale (SUS).  Hasil usability dari sebuah sistem  direpresentasikan  dalam  rentang  nilai  0  –  100  [3], [17]. SUS kuesioner tersusun atas 10 indikator pernyataan yang  masing  –  masing  indikator  harus  dinilai  oleh responden  menggunakan skala  likert 1  -  5  (sangat  tidak setuju – sangat setuju). selanjutnya dihitung score dari hasil penilaian  tiap  responden.  SUS  memiliki  aturan  dalam perhitungan score untuk tiap responden dengan menggunakan  aturan  setiap  indikator  penilaian  dengan bilangan ganjil (X1, X3, X5, X7, dan X9) maka penilaian responden  dikurangi  1  dan  setiap  indikator  penilaian dengan bilangan genap (X2, X4, X6, X8, dan X10) maka 5 dikurangi score penilaian dari responden yang selanjutnya jumlah dari keseluruhannya dikalikan dengan bilangan 2,5 [2]. Perhitungan score SUS  dilakukan sebanyak sejumlah responden.
2. Net Promoter Scale (NPS)
Net  Promoter  Score atau  yang  dikenal  dengan  NPS merupakan salah satu tolak ukur kepuasan pelanggan yang digunakan  untuk  mengukur  seberapa  besar  kemungkinan pelanggan  akan  merekomendasikan  produk  atau  jasa kepada  orang  lain[10].  Klasifikasi  loyalitas  pelanggan menurut NPS terbagi menjadi 3 (tiga) meliputi Detractor , Netral  atau Passive ,  dan  Promoter.  Penentuan  NPS dihitung  dari  proporsi  penilaian  pengguna  sebagai responden  terhadap  kegunaan  dari  suatu  jasa  ataupun produk. Penentuannya adalah jika penilaian pengguna ≤ 60 maka kategori Detractor , jika penilaian pengguna antara 70 s.d 80 maka kategori Passive dan jika penilannya antara 90 s.d 100 maka kategori Promoter [3]. Adapun kecenderungan dari ketiga kategori loyalitas tersebut dapat dijelaskan  sebagai  berikut,  bahwa  jika  pengguna  masuk dalam  kategori Promoter ,  maka  mereka  akan  cenderung terus  menggunakan  jasa  maupun  produk  dan  akan merekomendasikan kepada orang lain, sedangkan kategori Detractor kecenderungannya  akan  menyebarkan  berita negatif sebagai akibat dari ketidakpuasannya terhadap jasa maupun produk dan untuk kategori Passive kecenderungannya  mereka  tidak  akan  melakukan  hal apapun terhadap jasa ataupun produk yang mereka gunakan [18].

## C. Implementasi
Tahap implementasi merupakan tahap pemrosesan data dan  pengembangan  model  klasifikasi  loyalitas  pengguna sistem e-learning IT  Telkom  Purwokerto  dengan menggunakan  alogoritma machine  learning .  Tahap implementasi  diawali  dengan  data  input  dilakukan pre- processing untuk  memeriksa missing data,  memeriksa feature dan label, dan memeriksa distribusi data untuk data pelatihan  dan  data  pengujian.  Untuk  mengukur  kinerja beberapa algoritma machine learning yang diimplementasikan dilakukan dengan menggunakan metode k-fold  cross  validation dimana  data  target  dibagi menjadi k subset  pelatihan  dan  set  pengujian  untuk menghindari  kondisi underfitting maupun overfitting [19] seperti Gambar 2.
Gambar 2. Metode K-Fold cross validation [20]
Model dikatakan underfitting Ketika model mengalami high  loss dan  akurasi  yang  rendah  atau  dengan  kata  lain underfitting merupakan  kondisi  dimana  model machine learning memiliki error yang  sangat  tinggi  pada  data pelatihan dan errornya juga tinggi pada data pengujian, dan dikatakan overfitting Ketika model mengalami low loss dan akurasi  yang  rendah  atau  dengan  kata  lain overfitting merupakan  kondisi  dimana  model machine  learning
memiliki error yang  sangat  rendah  pada  data  pelatihan tetapi  errornya  tinggi  pada  data  pengujian. Fungsi  Loss merupakan fungsi yang merepresentasikan performa suatu model  dalam  memprediksi  target. Fungsi  Loss dikatakan baik jika error yang dihasilkan rendah.

## D. Pengujian
Tahap  ini  merupakan  tahap  pengujian  atau  tahap evaluasi  masing  –  masing  model  yang  diterapkan. Pengujian dilakukan dengan mengukur kinerja dari ketiga algoritma machine learning yang diterapkan menggunakan data uji.  Beberapa algoritma klasifikasi machine learning yang diterapkan meliputi algoritma Decision Trees , Naïve Bayes , dan K-Nearest  Neighbor (KNN). Ketiga algoritma tersebut  diujicobakan  dengan  dataset  dan  diukur  kinerja masing – masing model menggunakan confusion matrix .
1. Decision Trees
Decision  Trees merupakan  salah  satu  algoritma machine learning yang terbimbing ( Supervised Learning ). Algoritma  ini  digambarkan  dengan  penggunaan  beberapa cabang  ( node ) seperti  contoh  ditunjukkan pada Gambar 3 untuk  merepresentasikan  semua  kemungkinan  keluaran dari  sebuah  keputusan  berdasarkan  kondisi  tertentu[12], [21]. Algoritma ini sangat popular yang menyajikan model pengambilan keputusan yang diekspresikan dengan aturan if  –  then yang  menghubungkan  kondisi  tertentu  dari variabel  prediktor  dengan  nilai  target  tertentu  [10]. Beberapa  algoritma  yang  dibangun  dengan  pendekatan Decision  Trees meliputi: Classification  and  Regression Trees (CART), Iterative Dichotomiser 3 (ID3), C4.5, dan
Chi squared Automatic Interaction Detection (CHAID)[22].
Gambar 3. Keputusan berbelanja menggunakan decision trees [12]
2. Naïve Bayes
Naïve  Bayes merupakan  algoritma  klasifikasi  yang paling  sederhana  yang  mampu  melakukan  klasifikasi dengan cepat pada data label [12]. Naïve Bayes Classifier bekerja  dengan  pendekatan  pengelompokan  elemen  yang identic  berdasarkan  teorema  probabilitas  Bayes[14],  [23]. Persamaan  1  menunjukkan  persamaan  matematis  dari algoritma klasifikasi Naïve Bayes [16], [23].
Dimana: P(k|a) = probabilitas posterior, P(k) = probabilitas kelas sebelumnya, P(a|k) = likelihood,
P(a) = prediktor
Sedangkan  persamaan  2  di  atas  menunjukkan  deret probabilitas posterior hingga bilangan ke- n [23].
3. K-Nearest Neighbor (KNN)
K-Nearest  neighbor (KNN)  memiliki  kemampuan seperti  decision  trees  dalam  menyelesaikan  permasalahan baik  klasifikasi  maupun  regresi  [12].  Permasalahan klasifikasi memiliki nilai diskrit sebagai nilai keluarannya dan  permasalahan  regresi  memiliki  nilai  bilangan  real sebagai  nilai  keluarannya  [24].  Algoritma  ini  merupakan algoritma  klasifikasi machine  learning sederhana  yang banyak  diterapkan  di  perusahaan.  Algortima  klasifikasi KNN bekerja seakan – akan terdapat tetangga terdekat yang menyimpan suatu kejadian serupa, dan memberikan tanda atau  sinyal  untuk  suatu  kejadian  tertentu.  Dengan  cara tersebut, KNN menyimpan semua kejadian yang sesuai dan mengklasifikasikan  kejadian  –  kejadian  baru  dengan mempertimbangkan  semua  sinyal  dari  tetangga.  Setiap kejadian  diukur  dengan  menggunakan  fungsi  jarak  dari k tetangga  terdekat.  KNN  menggunakan  jarak  Euclidean, Hamming,  Minkowski  dan  Manhattan  untuk  menentukan jarak antara k tetangga terdekat. Hamming digunakan untuk kategorikal sedangkan Euclidean, Manhattan, dan Minkowski  adalah  fungsi  kontinu.  Jika k =  1,  hal  itu menunjukkan  bahwa  hanya  ada  satu  kelas  dari  tetangga terdekat yang sesuai dengan suatu kejadian tertentu [12].

## E. Analisis Hasil
Setelah dilakukan pengujian dari ketiga model algoritma machine learning yang diterapkan menggunakan data uji, tahap  selanjutnya  adalah  menganalisis  hasil  pengujian dengan  mengamati  performa  tiap  model  dengan menggunakan  parameter Confusion  matrix yang  meliputi accuracy , sensitivity , dan precision . Adapun formula dari parameter confusion  matrix adalah  sebagai  berikut[25], [26].
Parameter accuracy merepresentasikan  persentase pengguna e-learning yang  di  prediksi  benar  sebagai “ Detractor ”,  “ Passive ”,  maupun  “ Promoter ”  dari keseluruhan pengguna. Parameter sensitivity merepresentasikan  persentase  pengguna e-learning yang diprediksi  sebagai  “ Detractor ”  dibandingkan  dengan keseluruhan pengguna yang sebenarnya sebagai “ Detractor ”.  Sedangkan Precision merepresentasikan
persentase  pengguna e-learning yang  benar  sebagai “ Detractor ”  dari  keseluruhan  pengguna  yang  diprediksi sebagai “ Detractor ”.

## F. Kesimpulan
Tahap  ini  merupakan  tahap  menyimpulkan  dari  hasil pengujian kinerja tiap – tiap algoritma klasifikasi machine learning untuk  klasifikasi  loyalitas  pengguna  sistem e- learning IT Telkom Purwokerto.

## III. H ASIL D AN P EMBAHASAN
Model klasifikasi menggunakan machine learning yang dikembangkan  untuk  membandingkan  kinerja  algoritma Decision  Trees,  Naïve  Bayes dan K-Nearest  Neighbor (KNN)  ditunjukkan  Gambar  4  menggunakan software Rapidminer  Studio  Versi  9.8.  Model  tersebut  digunakan untuk  klasifikasi  loyalitas  pengguna  sistem e-learning . Dataset  yang  berhasil  dikumpulkan  berdasarkan  hasil kuesioner  kepuasan  pengguna  sistem e-learning pada Institut Teknologi (IT)  Telkom Purwokerto  sebanyak 100 dataset seperti pada Gambar 4. Data tersebut dikumpulkan pada  tahun  2020.  Selanjutnya  membagi  dataset  ke  dalam data latih dan data uji dengan perbandingan sebesar 80:20 pada setiap model yang diimplementasikan.
Gambar 4. Dataset dari kuesioner SUS dan NPS
Gambar  5.  Pengembangan  model  klasifikasi  loyalitas  pengguna E- learning

## A. Metrik Kinerja untuk Model Decision Trees
Hasil pengujian kinerja dari  model klasifikasi  loyalitas pengguna sistem e-learning IT Telkom Purwokerto dengan algoritma Decision  Trees menggunakan confusion  matrix ditunjukkan  pada  Tabel  1.  Hasilnya  dapat  dihitung  dan diketahui  bahwa  akurasi  algoritma Decision  Tree menggunakan  persamaan  (3)  di  atas  untuk  klasifikasi loyalitas  pengguna  sistem e-learning IT  Telkom
P(k|a) = 𝑝 ( 𝑘 𝑎 ) 𝑝 ( 𝑘 ) 𝑝 ( 𝑎 ) (1) 𝑃 𝑘 𝐴 ) = 𝑝 ( 𝑎 1 𝑘 ) 𝑥 𝑝 ( 𝑎 2 𝑘 ) 𝑥 … … . . 𝑝 ( 𝑎 𝑛 𝑘 ) 𝑥𝑝 ( 𝑘 ) (2)
𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 𝑇𝑃 + 𝑇𝑁 𝑇𝑃 + 𝑇𝑁 + 𝐹𝑃 + 𝐹𝑁 (3)
𝑆𝑒𝑛𝑠𝑖𝑡𝑖𝑣𝑖𝑡𝑦 ( 𝑟𝑒𝑐𝑎𝑙𝑙 ) = 𝑇𝑃 𝑇𝑃 + 𝐹𝑁 (4)
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =
𝑇𝑃 𝑇𝑃 + 𝐹𝑃 (5)
Purwokerto  sebesar  95%  yang  diperoleh  berdasarkan perhitungan berikut:
Accuracy = (TP + TN) / (TP + TN + FP + FN) = (4 + 15) / (4 + 15 + 0 + 1) = 19/20  = 0,95 atau 95%
T ABEL I C ONFUSION M ATRIX M ODEL D ECISION T REES
True Passive Detractor Promoter Cl.Precision P r e d ic te d Passive 4 0
0 100,00% Detractor 1 15 0 93,75% Promoter 0 0 0 0,00%
Cl. Recall 80,00% 100,00% 0,00%

## B. Metrik Kinerja untuk Model Naïve Bayes
Hasil pengujian kinerja dari  model klasifikasi  loyalitas pengguna sistem e-learning IT Telkom Purwokerto dengan algoritma Naïve Bayes ditunjukkan pada Tabel 2 Confusion Matrix . Berdasarkan Tabel 2, dapat dihitung bahwa akurasi algoritma Naïve bayes menggunakan persamaan (3) di atas untuk  klasifikasi  loyalitas  pengguna  sistem e-learning IT Telkom  Purwokerto  sebesar  90%  yang  diperoleh berdasarkan perhitungan berikut:
Accuracy = (TP + TN) / (TP + TN + FP + FN) = (3 + 15) / (3 + 15 + 0 + 2) = 18/20  = 0,90 atau 90%
T ABEL II C ONFUSION M ATRIX M ODEL N AÏVE B AYES
True Passive Detractor Promoter Cl.Precisio n P r e d ic te d Passive 3
0 0 100,00% Detractor 2 15 0 88,24% Promoter 0 0 0 0,00% Cl. Recall 60,00 % 100,00% 0,00%

## C. Metrik Kinerja untuk Model K-Nearest Neighbor
Hasil pengujian kinerja dari  model klasifikasi  loyalitas pengguna sistem e-learning IT Telkom Purwokerto dengan algoritma K-Nearest  Neighbor  (KNN) ditunjukkan  pada Tabel  3 Confusion  Matrix .  Berdasarkan  Tabel  3,  dapat dihitung  bahwa  akurasi  algoritma  KNN  menggunakan persamaan (3) di atas untuk klasifikasi loyalitas pengguna sistem e-learning IT Telkom Purwokerto sebesar 85% yang diperoleh berdasarkan perhitungan berikut:
Accuracy = (TP + TN) / (TP + TN + FP + FN)
= (3 + 14) / (3 + 13 + 1 + 2)
= 17/20  = 0,85 atau 85%
T ABEL III C ONFUSION M ATRIX M ODEL K-N EAREST N EIGHBOUR (KNN)
True Passive Detractor Promoter Cl.Precisio n
P r e d ic te d
Passive 3 1 0 75,00% Detractor 2 14 0 87,50% Promoter 0 0 0 0,00% Cl. Recall 60,00 % 93,33% 0,00%
Berdasarkan  tabel  pengamatan  kinerja  model  dengan confusion  matrix dari  tiap  algoritma  klasifikasi machine learning (Tabel 1, 2 dan 3) diketahui bahwa hasil pengujian menunjukkan  algoritma Decision  Trees merupakan algoritma  yang  mampu  melakukan  klasifikasi  loyalitas pengguna  sistem e-learning IT  Telkom  Purwokerto berdasarkan  kriteria Net  Promoter  Score (NPS)  dengan tingkat  akurasi  terbaik  yaitu  sebesar  95%  dilanjutkan dengan  algoritma  Naïve  Bayes  dengan  tingkat  akurasi sebesar 90% dan KNN dengan tingkat akurasi sebesar 85%.
T ABEL IV K INERJA M ODEL K LASIFIKASI Model Accuracy Training Testing Recall Precision Decision Tree 97,62% 95,00% 60,00% 64,58% Naïve Bayes 98,81% 90,00% 53,33% 62,75% KNN 93,83% 85,00% 51,11% 54,17%
Untuk  mengetahui  dan  menguji  apakah  model mengalami underfitting ataupun overfitting maka dilakukan  pengujian  dengan  metode 10-fold  cross validation pada tiap model. Selanjutnya hasil dari pelatihan dan  pengujian  dianalisis  tingkat  akurasinya  Berdasarkan hasil  implementasi  dan  pengujian  ketiga  algoritma klasifikasi machine learning yang meliputi Decision Trees, Naïve  Bayes ,  dan  KNN  seperti  pada  Tabel  4,  diketahui tingkat akurasi antara hasil pelatihan dan pengujian untuk masing  –  masing  algoritma mengalami  penurunan tingkat akurasi  yang  kecil.  Hal  ini  dapat  dikatakan  bahwa penerapan metode statistik 10-fold cross validation untuk mengevaluasi  kinerja  model  berhasil  menghindarkan model dari kejadian underfitting maupun overfitting .

## IV. K ESIMPULAN
Berdasarkan  hasil  analisis  dari  implementasi  dan pengujian  beberapa  model  algoritma machine  learning seperti Decision  Trees,  Naïve  Bayes dan K-Nearest Neighbor (KNN)  dapat  disimpulkan  bahwa  algoritma tersebut  mampu  bekerja  dengan  baik  untuk  menentukan klasifikasi loyalitas pengguna sistem informasi khususnya sistem e-learning yang diukur berdasarkan kerangka kerja system usability scale (SUS) dan diklasifikasikan menurut Net Promoter Scale (NPS). Hasil penelitian menunjukkan bahwa  Sebagian  besar  loyalitas  pengguna  sistem e- learning di Institut Teknologi Telkom Purwokerto berada pada  level Passive maupun Detractor .  Institusi  perlu meningkatkan  kualitas  layanan  sistem e-learning untuk dapat  meningkatkan  loyalitas  penggunanya  ke  level Promoter .
Penelitian  selanjutnya  dapat  dikembangkan  dengan menambahkan jumlah dataset baik untuk pelatihan maupun pengujian  untuk  mengetahui  kemampuan  maupun meningkatkan  akurasi  algoritma  klasifikasi machine learning untuk mengidentifikasi tingkat loyalitas pengguna sistem e-learning .  Selain  itu  dapat  juga  dilakukan penelitian  lanjutan  dengan  mengubah  indikator  ataupun variabel  pengukuran  kepuasan  pengguna  terhadap
kegunaan  sistem e-learning menggunakan  pendekatan kerangka kerja lain selain SUS.

## R EFERENSI
[1] P. Martínez dan I. Rodríguez, “CSR and customer loyalty : The roles  of  trust  ,  customer  identification  with  the  company  and satisfaction,” Int.  J.  Hosp.  Manag. ,  vol.  35,  hal.  89–99,  2013, doi: 10.1016/j.ijhm.2013.05.009.
[2] I.  H.  N.  Aprilia,  P.  I.  Santoso,  dan  R.  Ferdiana,  “Pengujian Usability  Website  Menggunakan  System  Usability  Scale Website  Usability  Testing  using  System  Usability  Scale,” J.
IPTEK-KOM , vol. 17, no. 1, hal. 31–38, 2015.
[3] D.  Supriyadi,  S.  T.  Safitri,  dan  D.  Y.  Kristiyanto,  “Higher Education  e-Learning  Usability  Analysis  Using  System Usability Scale,” Int. J. Inf. Syst. Technol. , vol. 4, no. 36, hal. 436–446, 2020.
[4] ISO,  “INTERNATIONAL  STANDARD  9241-11:2018 Usability : Definitions and concepts,” 2018.
[5] R. A. Grier, A. Bangor, P. Kortum, dan S. C. Peres, “The system usability scale: Beyond standard usability testing,” Proc. Hum. Factors Ergon. Soc. , hal. 187–191, 2013, doi: 10.1177/1541931213571042.
[6] J. R. Lewis, “Measuring Perceived Usability: The CSUQ, SUS, and UMUX,” Int. J. Hum. Comput. Interact. , vol. 34, no. 12, hal. 1148–1156, 2018, doi: 10.1080/10447318.2017.1418805.
[7] J.  Sauro  dan  J.  R.  Lewis,  “When  designing  usability questionnaires, does it hurt to be positive?,” Conf. Hum. Factors Comput. Syst. - Proc. , no. May 2011, hal. 2215–2223, 2011, doi: 10.1145/1978942.1979266.
[8] J. Sauro, “Does Better Usability Increase Customer Loyalty?,”
Measuring U , 2010. [Daring]. Tersedia pada: http://www.measuringu.com/usability-loyalty.php. [Diakses:
01-Nov-2020].
[9] P.  C.  Verhoef,  “Understanding  the  Effect  of  Efforts  on Customer Retention and,” J.  Mark. ,  vol.  67,  no.  October,  hal. 30–45, 2003.
[10] D. Vélez, A. Ayuso, C. Perales-gonzález, dan J. T. Rodríguez, “Knowledge-Based  Systems  Churn  and  Net  Promoter  Score forecasting  for  business  decision-making  through  a  new stepwise regression methodology,” Knowledge-Based Syst. , vol. 196, hal. 105762, 2020, doi: 10.1016/j.knosys.2020.105762.
[11] L.  Ma  dan  B.  Sun,  “Machine  learning  and  AI  in  marketing  – Connecting  computing  power  to  human  insights,” Int.  J.  Res. Mark. , no. xxxx, 2020, doi: 10.1016/j.ijresmar.2020.04.005.
[12] T.  K.  Balaji,  C.  Sekhara,  R.  Annavarapu,  dan  A.  Bablani, “Machine  learning  algorithms  for  social  media  analysis :  A survey,” Comput.  Sci.  Rev. ,  vol.  40,  hal.  100395,  2021,  doi: 10.1016/j.cosrev.2021.100395.
[13] R.  Nayak,  S.  A.  Jiwani,  dan  B.  Rajitha,  “Materials  Today : Proceedings  Spam  email  detection  using  machine  learning algorithm,” Mater.  Today  Proc. ,  no.  xxxx,  2021,  doi: 10.1016/j.matpr.2021.03.147.
[14] D.  Berrar,  “Bayes  ’  Theorem  and  Naive  Bayes  Classi  fi  er,”
Encyclopedia  of  Bioinformatics  and  Computational  Biology ,
vol.  1.  Elsevier  Inc.,  2018,  doi:  10.1016/B978-0-12-809633- 8.20473-1.
[15] E. M. M. Van Der Heide, R. F. Veerkamp, M. L. Van Pelt, C. Kamphuis,  I.  Athanasiadis,  dan  B.  J.  Ducro,  “Comparing regression  ,  naive  Bayes  ,  and  random  forest  methods  in  the prediction of individual survival to second lactation in Holstein cattle,” J.  Dairy  Sci. ,  vol.  102,  no.  10,  hal.  9409–9421,  2019, doi: 10.3168/jds.2019-16295.
[16] A.  Tella,  A.  Balogun,  N.  Adebisi,  dan  S.  Abdullah,  “Spatial Assessment of PM10 hotspots using Random Forest, K-Nearest Neighbor and Naive Bayes,” Atmos. Pollut. Res. , hal. 101202, 2021, doi: 10.1016/j.apr.2021.101202.
[17] J. Brooke, “SUS - A quick and dirty usability scale. Usability evaluation in industry,” vol. 189, no. 194, hal. 4–7, 1996, doi: 10.4236/9781618961020_0002.
[18] P.  Korneta,  “Net  promoter  score,  growth,  and  profitability  of transportation companies,” Int. J. Manag. Econ. , vol. 54, no. 2, hal. 136–148, 2018, doi: 10.2478/ijme-2018-0013.
[19] M.  Kubat, An  Introduction  to  Machine  Learning ,  2nd  Ed. Springer, 2017.
[20] F.  Maepa,  R.  S.  Smith,  dan  A.  Tessema,  “Support  vector machine  and  artificial  neural  network  modelling  of  orogenic gold  prospectivity  mapping  in  the  Swayze  greenstone  belt  , Ontario , Canada,” Ore Geol. Rev. , vol. 130, no. June 2020, hal. 103968, 2021, doi: 10.1016/j.oregeorev.2020.103968.
[21] D.  Supriyadi  dan  S.  T.  Safitri,  “The  Application  of  C4  .  5 Algorithm to Classify the User Satisfaction of Online Learning System,” Int. J. Inf. Syst. Technol. , vol. 3, no. 36, hal. 323–331, 2020.
[22] G.  S.  Kumar,  “Decision  Trees:  A  step-by-step  approach  to building DTs,” Towards data science , 2020. [Daring]. Tersedia pada:  https://towardsdatascience.com/decision-trees-a-step-by- step-approach-to-building-dts-58f8a3e82596.  [Diakses:  15- Sep-2021].
[23] M. M. S dan A. Yasar, “Intelligent Systems and Applications in Engineering  Performance  Analysis  of  ANN  and  Naive  Bayes Classification Algorithm for Data Classification,” Int. J. Intell.
Syst.  Appl.  Eng. ,  vol.  7,  no.  2,  hal.  88–91,  2019,  doi:
10.1039/b000000x.
[24] O.  Harrison,  “Machine  Learning  Basics  with  the  K-Nearest Neighbors Algorithm,” Towards data science , 2018. [Daring]. Tersedia pada: https://towardsdatascience.com/machine- learning-basics-with-the-k-nearest-neighbors-algorithm- 6a6e71d01761. [Diakses: 15-Sep-2021].
[25] V. L. Miguéis, A. Freitas, P. J. V. Garcia, dan A. Silva, “Early segmentation  of  students  according  to  their  academic performance: A predictive modelling approach,” Decis. Support Syst. ,  vol.  115,  no.  September,  hal.  36–51,  2018,  doi: 10.1016/j.dss.2018.09.001.
[26] S.  Shalev-shwartz,  C.  Science,  S.  Ben-david,  dan  C.  Science, Understanding Machine Learning From Theory to Algorithms . New York, USA: Cambridge University Press, 2014.