Jurnal Teknik Informatika (JUTIF) DOI: https://doi.org/10.20884/1.jutif.2022.3.2.118 Vol. 3, No. 2, April 2022, hlm. 201-209 p-ISSN: 2723-3863 e-ISSN: 2723-3871

## CUSTOMIZATION AND USABILITY TESTING AUTO ESSAY FILE GRADING LMS BASED METACOGNITIVE ASSESSMENT IN ENGINEERING FACULTY
Ridwan Daud Mahande *1 , Jasruddin 2 , Fitrah Asma Darmawan* 3 , Muhammad Ayat Hidayat 4
1,4 Pendidikan Teknik Informatika dan Komputer, Universitas Negeri Makassar, Indonesia
2 Fisika, Universitas Negeri Makassar, Indonesia
3 Pendidikan Vokasi Mekatronika, Universitas Negeri Makassar, Indonesia Email: 1 ridwandm@unm.ac.id , 2 jasruddin@unm.ac.id , 3 fitrahdarmawan@unm.ac.id , 4 m.ayat.hidayat@unm.ac.id
(Naskah masuk: 22 Januari 2022, Revisi : 13 Februari 2022, diterbitkan: 25 April 2022)

## Abstract
Online learning assessment and evaluation has been widely used using the Learning Management system (LMS). However, the form of  the questions is still based on multiple choice. Evaluation  and form of  questions in  LMS need to be developed by exploring metacognitive thinking. The LMS plugin supports Essay-based questions and assessments, it's just that this plugin needs to be supported with file submissions and metacognitive assessment rubrics.  Therefore,  this  research  aims  to  customize  and  test  the  usability  of  Auto  Essay  File  Grading  (AEG) metacognitive assessment  based on LMS. This study uses a quantitative descriptive approach conducted at  the Faculty  of  Engineering,  Universitas  Negeri  Makassar,  with  lecturers  and  students  as  respondents.  Data  were collected through the USE questionnaire and analyzed using descriptive statistics. The results of the analysis of AEG  usability  testing  from  the  point  of  view  of  lecturers  and  students  who  have  the  highest  average  are  a usefulness. For the lowest average of the lecturers is the ease of use and from the student, the side is the ease of learning.  These  results  also  prove  that  the  AEG  application/plugin  needs  improvement  in  terms  of  ease  and practicality  of  use  so  that  users  learn  how  to  use  it  faster. Recommendations  for  ease  of  use  and learning  are discussed and explained further, along with the improved display, answer keywords, and minimizing irrelevant menus.
Keywords : Auto Essay Grading, LMS, Metacognitive.

## MENGUBAHSUAIKAN DAN PENGUJIAN USABILITY AUTO ESSAY FILE GRADING PENILAIAN METAKOGNITIF BERBASIS LMS DI FAKULTAS TEKNIK

## Abstrak
Asesmen dan evaluasi pembelajaran secara online telah banyak digunakan menggunakan Learning Management system (LMS).  Namun  bentuk  soal-soalnya  masih  berbasis multiple  choice .  Evaluasi  dan  bentuk  soal  di  LMS perlu  dikembangkan  dengan  mengeksplor  berpikir  metakognitif. Plugin LMS  telah  mendukung  soal  dan penilaian  berbasis  Essay,  hanya  saja  plugin  ini  perlu  didukung  dengan  pengiriman  berbentuf  file  dan  rubrik penilaian  metakognitif.  Oleh  sebab  itu,  penelitian  ini  bertujuan  untuk  mengkustomisasi  dan  menguji usability Auto  Essay  file  Grading (AEG)  penilaian  metakognitif  berbasis  LMS. Penelitian  ini  menggunakan  pendekatan deskriptif kuantitatif yang dilakukan di Fakultas Teknik  Universitas Negeri Makassar, dengan responden dosen dan mahasiswa. Data dikumpulkan melalui USE kuesioner dan dianalisis menggunakan statistik deskriptif. Hasil analisis  pengujian  usability  AEG  dari  sudut  pandang  dosen  dan  mahasiswa  yang  memiliki  rata-rata  tertinggi adalah usefulness. Untuk rata-rata terendah dari dosen adalah ease of use dan dari sisi mahasiswa adalah ease of learning. Hasil tersebut juga membuktikan bahwa aplikasi/plugin AEG perlu perbaikan dari sisi kemudahan dan kepraktisan  penggunaan  agar  pengguna  lebih  cepat  belajar  penggunaannya.  Rekomendasi  untuk  kemudahan penggunaan  dan  pemebelajaran  dibahas  dan  dijelaskan  lebih  lanjut,  bersama  dengan  perbaikan  tampilan,  kata kunci jawaban dan meminimalisir menu yang kurang relevan.
Kata kunci : Auto Essay Grading, LMS, Metacognitive.

## 1. PENDAHULUAN
Trend  pembelajaran  4.0  menjadi  sebuah keniscayaan  bagi  perguruan  tinggi  terutama  selama
pandemi  covid-19.  Salah  satu  trend  pembelajaran 4.0  adalah  online  learning.  Online  learning  di perguruan tinggi menghadirkan bentuk pembelajaran
yang  baru  dan  memungkinkan  pembelajar  untuk berkolaborasi  dan  berinteraksi  sosial  secara  daring [1].  Demikian  halnya  pada  pendidikan  tinggi vokasional,  penggunaan  bahan  ajar  berbasis  digital yang diintegrasikan dalam e-learning [2], penggunaan perangkat seluler untuk tujuan pembelajaran kejuruan [3], dan evaluasi pembelajaran  yang  dilakukan  secara  online  melalui learning  management  system (LMS).  Hal  ini menunjukkan bahwa online learning telah digunakan untuk  interaksi,  kolaborasi,  pengembangan  konten, evaluasi  untuk  tujuan  pembelajaran  di  perguruan tinggi vokasional.
Hasil  observasi  terbatas  peneliti  menunjukkan bahwa  asesmen  dan  evaluasi  pembelajaran  secara online  telah  banyak  digunakan  menggunakan  LMS, namun cenderung ke pengukuran yang menggunakan soal-soal berbasis multiple choice [2]. Dibutuhkan  bentuk  evaluasi  dan  bentuk  soal  yang memungkinkan  peserta  didik  mengeksplor  berpikir reflektif  dan  metakognitif  mereka  yang  bersifat subjektif  dan  objektif.  Melalui  proses  berpikir metakognitif  ini  diharapkan  peserta  didik  mampu merefleksikan  pembelajaran  mereka  sendiri  dan melakukan  penyesuaian  sehingga  mereka  dapat mencapai  pemahaman  yang  lebih  dalam  [4].  Perlu evalusi  berpikir  metakognitif  berbasis  soal-soal essay di  lingkungan  online.  Begitu  halnya  LMS yang  digunakan  di  Fakultas  Teknik  Universitas Negeri  Makassar,  juga  telah  didukung  oleh  plugin Essay  (Auto-Grade) untuk  mendukung  soal  dan penilaian  berbasis  Essay.  Hanya  saja  plugin  ini belum  menyediakan  pengiriman  berbentuf  file. Selain  itu  plugin  ini  perlu  didukung  dengan  rubrik penilaian  metakognitif.  Rubrik  ini  dapat  digunakan sebagai  indikator  dan/atau  kata  kunci  jawaban  dari soal-soal berbasis kasus dan proyek dari plugin ini.
Penelitian  ini  sangat  penting  dilakukan  untuk mengkustomisasi plugin sebelumnya dengan menambahkan  file  ( statistical  items  File )  dan menyiapkan rubrik penilaian. Plugin ini diberi nama Auto Essay file Grading (AEG). Lebih khusus, untuk menguji  hasil  kustomisasi,  dilakukan  pengujian kegunaan usability .  Hal  ini  dilakukan  untuk memperoleh  saran  dan  masukan  terkait  hasil kustomisasi  berdasarkan  pengalaman  pengguna. Penelitian  ini  bertujuan  untuk  mengkustomisasi  dan menguji usability  Automated  essay  file  grading penilaian metakognitif berbasis online. Penelitian ini sangat  penting  untuk  menghasilkan  sebuah  sistem pemberian  skor  jawaban  essay  secara  otomatis terutama  untuk  soal-soal  yang  berbasis  proyek  dan berbasis  kasus  dalam  pembelajaran  online.  Hasil penelitian  ini  memberikan  plugin  baru  AEG didukung  rubrik metakognitif yang dapat  digunakan dan dikembangkan oleh perguruan tinggi lain.

## 2. REVIEW LITERATUR

## 2.1. Learning Management System
Pembelajaran  berbasis  daring  menggunakan Learning  Management  System (LMS)  merupakan sistem  pengelolaan  pembelajaran  yang  berkembang di  institusi  pendidikan  tinggi  [5]. ICT tools yang paling  representatif  diterapkan  dalam  konteks pembelajaran  yaitu  LMS  yang  difokuskan  pada institusi  pendidikan  bukan  pada  peserta  didik,  yang berarti bahwa LMS tidak terfokus pada hanya  salah satu  stakeholder  saja,  tetapi  semua  komponen pendukung  pembelajaran  dalam  institusi  pendidikan [6].  LMS  memiliki  fungsi  seperti  mengakses  materi dan nilai pembelajaran, berbagi sumber daya dengan peserta didik atau instruktur lain, mengunggah tugas, dan  berkolaborasi  dengan teman  sekelas  [7].  Secara umum,  LMS  mencakup  bagian  struktural  yang membantu  mengelola  administrasi  pembelajaran, membantu  penanganan  interaksi  pengguna  dengan LMS, mendorong interaksi antar pengguna, kolaborasi, komunikasi, pencatatan data, dan berbagi informasi  pembelajaran  [8].  Dalam  penelitian  ini, kustomisasi  plugin Essay (Auto-Grade)  LMS  akan dikustomisasi  dan  diberi  nama auto  essay  file grading (AEG).

## 2.2. Auto Essay Grading (AEG)
Pengukuran dan evaluasi pembelajaran berbasis  jawaban  essay  telah  dimulai  sejak  tahun 1966 [9]. Kemudian dilanjutkan dengan pengembangan  sistem  penilaian  jawaban  essay secara  otomatis  dan  menjadi  topik  utama  dalam penelitian  di  bidang  pengukuran  dan  evaluasi pembelajaran  [10]. Auto  Essay  Grading (AEG) secara  umum  mengandalkan  teknik machine learning yang  menghitung  skor  jawaban  essay dengan  menggunakan  satu  set  variable  teks  [11]. Sistem AEG menilai essay menggunakan kombinasi linguistik  komputasi,  pemodelan  statistik,  dan pemrosesan  bahasa  yang  natural.  Evaluasi  secara otomatis atau AEG mengakui kemampuan teknologi yang  dapat  melakukan  tugas  penilaian  atau pemberian  skor  pada  essay.  Misalnya,  sistem evaluasi  essay  otomatis  dapat  menggabungkan kemampuan  pemrosesan  bahasa  alami  ( Natural Language Processing ) yang memungkinkan analisis struktur  essay  untuk  memberikan  umpan  balik kualitatif  khusus  kepada  penulis  [12].  AEG  dapat dipahami  bahwa  tidak  hanya  manusia  yang  mampu melakukan  penilaian,  tetapi  teknologi machine learning berhasil  meniru  penilaian  yang  dilakukan manusia  [13].  Dalam  penelitian  ini,  AEG  akan dikustomisasi  dengan  menambahkan  file  dan menyiapkan  rubrik  penilaian  sebagai  kata  kunci jawaban untuk soal-soal berbasis proyek.

## 2.3. Metakognitif Skill
Dalam  konteks  pembelajaran  vokasional  yang menekankan pada metode penilaian berbasis kinerja dan  berbasis  proyek  atau  produk,  maka  pengukuran
metacognitive  regulation (perencanaan,  monitoring, dan  evaluasi)  lebih  memungkinkan  untuk  diukur. Hal  ini karena pendidikan vokasional penekanannya pada  penialain  berbasis  kinerja  dimana  peserta didiknya learning  by  doing [18] . Akhir  program pendidikan  vokasional  atau  program  pendidikan profesional,  setiap  peserta  didik  harus  mencapai kompetensi  kerja  terstanadrisasi,  sehingga  dalam program pendidikan ini, penilaian kinerja ( performance-based  assessment )  adalah  metode umum  untuk  menilai  kompetensi  praktik  dalam konteks otentik. Mahasiswa dapat diukur kemampuan berpikir metakognitifnya melalui proses perencanaan,  monitoring,  dan  evaluasi  kinerja ( performance )  mereka  serta  proyek  atau  produk yang mereka buat  [19]. Dalam penelitian ini, rubrik penilaian  digunakan  sebagai  indikator  peneilaian dan/atau  kata  kunci  jawaban  dari  soal-soal  berbasis proyek dalam AEG.

## 3. METODE PENELITIAN
Gambar 1. Tahapan Penelitian
Penelitian ini menggunakan deskriptif kuantitatif.  Penelitian  ini  dilakukan  di  Fakultas Teknik,  Universitas  Negeri  Makassar.  Partisipan penelitian dipilih secara purposive yang terdiri dari 6 orang  Dosen  dan  115  orang  Mahasiswa. Partisipan yang dipilih adalah partisipan yang telah menggunakan AEG. Teknik dan instrumen pengumpulan data menggunakan kuesioner. Kuesioner  dikembangkan  dari  USE  kuesioner  [20]. USE  kuesioner  dikembangkan  sesuai  kebutuhan pengujian  AEG.  USE  kuesioner  terdiri  dari  empat elemen faktor, yaitu usefulness, ease of  use, ease of learning dan satisfaction .  USE  kuesioner  berisi  20 item  pada  skala  Likert  5  poin  (1=“Sangat  Tidak Setuju”; 2=“Tidak Setuju”; 3=”Netral”; 4=”Setuju”; 5  =“Sangat  Setuju”).  Instrumen  pengumpulan  data dibuat  dan  disebarkan  secara  Online  menggunakan Google  Form.  Evaluasi  peserta  didasarkan  pada keseluruhan pengalaman menggunakan AEG. Analisis  data  dilakukan  dengan  menggunakan statistik  deskriptif.  Konversi  ke  presentase  skor untuk  mencari  kriteria  interprestasi  skor  hasil pengujian usability .  Hasil  dari  persentase  skor tersebut  kemudian  dibandingkan  dengan  tabel kriteria interpretasi skor.

## 4. HASIL PENELITIAN

## 4.1. Rubrik Penilaian Metakognitif
Pada  tahap  perencanaan  ini,  dihasilkan  rubrik penilaian  metakognitif  AEG  yang  diadaptasi  dari hasil  penelitian  peneliti  sebelumnya  yang  terdiri dari:  proses perencanaan,  monitoring,  dan  evaluasi [23].  Tabel  4  berikut  merupakan  rubrik  lengkap yang telah disusun berdasarkan indikator-indikator.
Tabel 1. Rubrik Penilaian Metakognitif Aspek Metakognitif Indikator Skor 1 Skor 2 Skor 3 Skor 4 1. Perencanaan (Merencanakan aktivitas belajar mereka sesuai kemampuan memahami materi) ▪ Perencanaannya memuat tujuan akhir pembelajaran yang mereka harapkan dalam pengerjaan proyek. ▪ Perencanaannya memuat indikator- indikator capaian tujuan akhir
pembelajaran yang dapat
terukur dengan baik. ▪ Perencanaannya
memuat prasyarat pengetahuan awal yang Perencanaannya memuat tujuan akhir pembelajaran yang mereka harapkan dalam pengerjaan proyek
▪ Perencanaannya memuat tujuan akhir pembelajaran yang mereka harapkan dalam pengerjaan proyek. ▪ Perencanaannya memuat indikator- indikator capaian tujuan akhir pembelajaran yang dapat terukur dengan baik ▪ Perencanaannya memuat tujuan akhir pembelajaran yang mereka harapkan dalam pengerjaan proyek. ▪ Perencanaannya memuat indikator- indikator capaian tujuan akhir pembelajaran yang dapat terukur dengan baik. ▪ Perencanaannya memuat prasyarat pengetahuan awal yang ▪ Perencanaannya memuat tujuan akhir
pembelajaran yang mereka harapkan dalam pengerjaan proyek.
▪ Perencanaannya memuat indikator- indikator capaian tujuan akhir pembelajaran yang dapat terukur dengan baik.
▪ Perencanaannya memuat prasyarat pengetahuan awal yang

## Analisis Kebutuhan:
Studi lapangan dan literatur

## Perencanaan dan Pengembangan
-Pengembangan Instrumen Usability - Rubrik Metakognitif -Customisasi AEG
Pengujian dan Perbaikan: Uji Coba AEG dan Perbaikan
AEG Metakognitif
dibutuhkan dalam pengerjaan proyek.
▪ Perencanaannya memuat kegiatan- kegiatan belajar yang akan dilakukan dalam menyelesaikan proyek. dibutuhkan dalam pengerjaan proyek dibutuhkan dalam pengerjaan proyek. ▪ Perencanaannya memuat kegiatan- kegiatan belajar yang akan dilakukan dalam menyelesaikan proyek. 2. Monitoring (Memonitoring sendiri aktivitas pembelajaranny a) ▪ Laporan pemantauan belajar memuat ketuntasan- ketuntasan kegiatan belajar
dalam bentuk
item checklist
▪ Laporan pemantauan belajar memuat kendala-kendala yang dihadapi dalam melakukan kegiatan- kegiatan belajar selama proses pengerjaan proyek.
▪ Laporan pemantauan belajar memuat hal-hal yang
telah membantu mereka menyelesaikan setiap kegiatan belajar yang telah dilakukan
▪ Laporan pemantauan belajar memuat strategi-strategi
yang akan dilakukan dalam meminimalisir kendala-kendala yang telah dituliskan sebelumnya.
Laporan pemantauan belajar memuat ketuntasan- ketuntasan kegiatan belajar dalam bentuk item checklist ▪ Laporan pemantauan belajar memuat ketuntasan- ketuntasan kegiatan belajar dalam bentuk item checklist
▪ Laporan pemantauan belajar memuat kendala-kendala yang dihadapi dalam melakukan
kegiatan- kegiatan belajar selama proses pengerjaan proyek. ▪ Laporan pemantauan belajar memuat ketuntasan- ketuntasan kegiatan belajar dalam bentuk item checklist ▪ Laporan pemantauan belajar memuat kendala-kendala yang dihadapi dalam melakukan kegiatan- kegiatan belajar selama proses pengerjaan proyek. ▪ Laporan pemantauan belajar memuat hal-hal yang telah membantu mereka menyelesaikan setiap kegiatan belajar yang telah dilakukan
▪ Laporan
pemantauan belajar memuat ketuntasan- ketuntasan kegiatan belajar dalam bentuk item checklist
▪ Laporan pemantauan belajar memuat kendala-kendala yang dihadapi dalam melakukan kegiatan- kegiatan belajar selama proses pengerjaan proyek. ▪ Laporan pemantauan belajar memuat
hal-hal yang telah membantu mereka menyelesaikan setiap kegiatan belajar yang telah dilakukan ▪ Laporan pemantauan belajar memuat strategi-strategi yang akan dilakukan dalam meminimalisir
kendala-kendala yang telah dituliskan sebelumnya.
3. Evaluasi (Melakukan evaluasi terhadap hasil pekerjaannya sendiri) ▪ Laporannya memuat informasi yang
jelas, runtut, dan lengkap. ▪ Laporan disajikan dengan menyertakan gambar yang sesuai.
▪ Laporannya
menuliskan bahwa semua
proses pengerjaan proyek dilakukan sesuai tahapannya.
▪ Laporannya menuliskan kesimpulan yang baik yaitu yang
merangkum Laporannya memuat informasi yang jelas, runtut, dan lengkap ▪ Laporannya memuat informasi yang jelas, runtut, dan lengkap. ▪ Laporan disajikan dengan menyertakan gambar yang sesuai ▪ Laporannya memuat informasi yang jelas, runtut, dan lengkap. ▪ Laporan disajikan dengan menyertakan gambar yang sesuai. ▪ Laporannya menuliskan bahwa semua proses pengerjaan proyek dilakukan sesuai tahapannya ▪ Laporannya memuat informasi yang jelas, runtut, dan lengkap.
▪ Laporan disajikan dengan menyertakan gambar yang sesuai. ▪ Laporannya menuliskan bahwa semua proses pengerjaan proyek
dilakukan sesuai tahapannya. ▪ Laporannya menuliskan kesimpulan yang baik yaitu yang merangkum
Ridwan Daud Mahande, dkk, Mengubahsuaikan Dan Pengujian Usability … 205
tujuan akhir pengerjaan proyek yang telah dituliskan sebelumnya. tujuan akhir pengerjaan proyek yang telah dituliskan sebelumnya.
(Sumber: [23])

## 4.2. Kustomisasi Auto Essay File Grading
Kustomisasi  Penilaian  Essay  LMS  Moodle dilakukan  dengan  menambahkan statistical  items File pada  Plugin  Essay  (Auto-Grade)  sebelumnya. Selain  itu,  beberapa  menu/item  dihilangkan  untuk memudahkan  penggunaan  aplikasi/plugin.  Hasil kustomisasi  diberi  nama  Plugin Auto  Essay  File Grading (AEG)  yang  dapat  diinstal  pada  bagian Plugin  LMS  Moodle.  Untuk  uji usability dalam penelitian ini, AEG telah diinstal pada LMS berbasis Moodle- Sytem  and  Application  Management  Open Knowledge (SYAM-OK) Universitas Negeri Makassar.  Setelah  di  install  di  LMS  SYAM-OK, AEG  ini  dapat  diakses  dengan  membuka  mata kuliah,  kemudian  menambahkan  Activity  Quiz  -- >Essay-->Auto Essay File Grading. Berikut Tampilan Uji Coba AEG:
Gambar 2. Plugin Auto Essay File Grading
Gambar 3. Laman Soal Auto Essay File Grading
Gambar 4. Laman Pengaturan Tipe dan Kata kunci Jawaban Auto
Essay File Grading
Gambar 5. Skor AEG Mahasiswa
Gambar 6. Hasil Peninjauan Jawaban AEG (Review Attempt)

## 4.3. Analisis Usability Auto Essay File Grading
(AEG)
Setelah AEG dikustomisasi, selanjutnya dilakukan  pengujian usability .  Analisis  dan  temuan dibagi  menjadi  dua  bagian:  Dosen  dan  Mahasiswa. Data  yang  dikumpulkan  dari  USE  kuesionare, dianalisis  oleh  peneliti.  Data  yang  dikumpulkan dianalisis dan dikategorikan ke dalam empat elemen untuk  menentukan  faktor-faktor  yang  berkontribusi terhadap masalah Usability. Empat elemen faktor ini termasuk  Usefulness,  Ease  of  use,  Ease  of  learning, dan  Satisfaction.  Tabel  2  menunjukkan  setiap pertanyaan/pernyataan  dikategorikan  di  bawah elemen faktor.
Tabel 2. Elemen faktor Elemen Faktor Pertanyaan/Pernyataan Usefulness Q1-Q7 Ease of Use Q8 – Q13 Ease of Learning Q14-Q16 Satisfaction Q17-Q20
Usefulness mengacu  pada  kegunaan  AEG selama  proses  pengajaran  dan  pembelajaran  dosen dan  mahasiswa. Ease  of  use menunjukkan kemudahan penggunaan AEG dalam proses pengajaran dan pembelajaran dosen dan mahasiswa. Ease  of  learning mengacu  pada  kemudahan pembelajaran yang dirasakan dari  penggunaan AEG oleh  Dosen  dan  Mahasiswa. Satisfaction mengacu pada  kepuasan  Dosen  dan  Mahasiswa  yang diperoleh setelah memanfaatkan/menggunakan AEG.

## 4.3.1. Analisis Dosen
Data yang terkumpul dianalisis menurut tingkat responden di kalangan Dosen yang ditunjukkan pada Tabel 3. Masalah dan persyaratan berikut diidentifikasi.
Berdasarkan  Tabel  3  tersebut,  menunjukkan bahwa  semua  item  pertanyaan  direspon  baik  oleh Dosen.  Ini  artinya,  semua  elemen  faktor  usability dalam  penelitian  AEG  ini  memperoleh  respon  yang baik  dari  Dosen.  Tidak  ada  satupun  yang menyatakan tidak setuju ataupun sangat tidak setuju
terhadap  item  pertanyaan  dari  setiap  elemen  faktor usability.  Menariknya  ada  satu  pertanyaan  Q18 mendapat  respon  yang  sangat  tinggi,  yaitu  AEG akan  direkomendasikan  ke  teman  lain.  Ini  artinya, AEG  berpotensi  digunakan  oleh  dosen  lain  karena
ada  dukungan  dari  pengguna  sebelumnya.  Dengan demikian,  AEG  akan  semakin  banyak  digunakan oleh  Dosen  untuk  kegiatan  pengajaran  terutama dalam penilaian berbasis Essay, Proyek dan Kasus.
Tabel 3. Data Responden Dosen Pertanyaan/Pernyataan Sangat Setuju Setuju Netral Tidak Setuju Sangat Tidak Setuju Q1: Auto Essay Grading (AEG) membantu saya menjadi lebih efektif dalam memberikan Tugas 3 2 1 - - Q2: AEG membantu saya menjadi lebih produktif 2 3 1 - - Q3: AEG bermanfaat 4 1 1 - - Q4: AEG membantu saya dalam memberikan tugas dan/atau ujian pembelajaran 4 1 1 - - Q5: AEG memudahkan saya melakukan penilaian berbasis Essay/Proyek/Kasus 4 1 1 - - Q6: AEG menghemat waktu saya ketika menggunakannya 4 1 1 - - Q7: AEG sesuai dengan kebutuhan saya 2 3 1 - - Q8: AEG mudah digunakan 1 4 1 - - Q9: Langkah-langkah pengoperasian AEG praktis 1 4 1 - - Q10: AEG dapat disesuaikan dengan kebutuhan 4 1 1 - - Q11: Saya tidak mengalami kesulitan dalam menggunakan AEG 3 2 1 - - Q12: Saya pikir Dosen lain akan menyukai AEG 2 3 1 - - Q13: Saya dapat menggunakan AEG dengan sukses setiap kali saya menggunakannya 3 2 1 - - Q14: Saya belajar menggunakan AEG dengan cepat 4 1 1 - - Q15: Sangat mudah untuk belajar menggunakan AEG 3 2 1 - - Q16 : Saya cepat menjadi terampil dengan AEG 2 3 1 - - Q17 : Saya puas dengan AEG 4 1 1 - - Q18: Saya akan merekomendasikan AEG kepada teman 5 - 1 - - Q19 : AEG bekerja seperti yang saya inginkan 1 4 1 - - Q20: AEG luar biasa bagus 2 3 1 - -
Selanjutnya,  Data  yang  dikumpulkan  dibagi menjadi  empat  elemen  faktor Usefulness,  Ease  of Use,  Ease  of  learning,  dan  Satisfaction .  Gambar  6 menunjukkan  rata-rata  untuk  setiap  elemen  faktor Usability.
Gambar 6. Grafik Persentase Setiap Elemen Faktor Usability Dosen
Menurut  grafik  pada  Gambar  6,  peringkat persentase untuk setiap elemen menunjukkan bahwa dosen cenderung setuju bahwa Usefulness berkontribusi  paling  besar  (88%)  kategori  sangat baik terhadap masalah kegunaan AEG LMS Moodle. Temuan  ini  mengungkapkan  bahwa  Usefulness adalah  perhatian  utama,  dan  sebagian  besar  dosen
mengklarifikasi  bahwa  produktivitas  AEG  dan kesesuaian dengan kebutuhan dosen perlu ditingkatkan.  Tertinggi  berikutnya  adalah  Ease  of learning  dan  satisfaction,  dengan  persentase  87% (Sangat  Baik).  Beberapa  dosen  menyatakan  bahwa membutuhkan  waktu  untuk  belajar  dengan  AEG untuk  bisa  menyatakan  bahwa  AEG  ini  benar  luar biasa.  Namun, Ease  of  Use memegang  nilai persentase  terendah,  menunjukkan  bahwa  langkah- langkah pengoperasion AEG belum praktis.

## 4.3.2. Analisis Mahasiswa
Data yang terkumpul dianalisis menurut tingkat responden di kalangan Mahasiswa yang ditunjukkan pada  Tabel  4.  Masalah  dan  persyaratan  berikut diidentifikasi.
Berdasarkan  Tabel  4,  terdapat  bererapa  item pertanyaan yang memiliki nilai yang lebih tinggi dan nilai  yang  lebih  rendah.  Sehubungan  dengan  itu, penelitian  ini  fokus  pada  dua  pertanyaan  yang memiliki  nilai  lebih  tinggi  dan  nilai  yang  sangat rendah.  Nilai  yang  paling  tinggi  diperoleh  dari akumulasi  tanggapan  responden  yang  memberi jawaban  sangat  setuju  dan  setuju.  Pertanyaan  3 dimana  AEG  sangat  bermanfaat  dan  pertanyaan  8
82% 84% 86% 88% Usefulness Ease of Use Ease of Learning Satisfaction 88% 84% 87% 87%
mudah  digunakan  adalah  nilai  yang  memperoleh tanggapan sangat  tinggi dari mahasiswa. Ini artinya, mahasiswa  merasa  bahwa  AEG  sangat  bermanfaat dan mudah digunakan dalam kegiatan pembelajarannya.  Sementara  nilai  tanggapan  yang rendah  ada  pada  pertanyaan  19  yaitu  AEG  bekerja
sesuai  yang  diinginkan  dan  pertanyaan  Q14 kemampuan  belajar  dengan  cepat  dengan  AEG.  Ini artinya,  AEG  belum  bekerja  sesuai  dengan  yang diinginkan mahasiswa dan mahasiswa membutuhkan waktu  belajar  yang  lebih  untuk  mengetahui  dan memanfaatkan AEG ini.
Tabel 4. Data Responden Mahasiswa Pertanyaan/Pernyataan Sangat Setuju Setuju Netral Tidak Setuju Sangat Tidak Setuju Q1: Auto Essay Grading (AEG) dapat membantu saya menjadi lebih efektif dalam kegiatan pembelajaran 18 37 46 13 - Q2: AEG membantu saya menjadi lebih produktif dalam kegiatan pembelajaran 14 40 47 13 - Q3: AEG bermanfaat 35 38 35 5 2 Q4: AEG membantu saya dalam melakukan/mengerjakan tugas 14 46 45 7 3 Q5: AEG memberikan kemudahan untuk mengoreksi/memperbaiki kekeliruan jawaban tugas 34 27 37 13 4 Q6: AEG menghemat waktu saya ketika menggunakannya 21 34 51 8 1 Q7: AEG sesuai dengan kebutuhan saya dalam pembelajaran 17 30 56 11 1 Q8: AEG mudah digunakan 26 44 32 11 2 Q9: Langkah-langkah pengoperasian AEG lebih praktis 23 42 39 9 2 Q10: AEG dapat menyesuaikan kebutuhan dalam berbagai bentuk/format pengiriman penugasan 24 39 44 6 2 Q11: Saya tidak mengalami kesulitan dalam menggunakan AEG 20 32 50 9 4 Q12: Saya pikir pengguna akan menyukai AEG 15 38 50 10 2 Q13: Saya dapat menggunakan AEG dengan sukses setiap kali saya menggunakannya 17 36 47 13 2 Q14: Saya belajar menggunakan AEG dengan cepat 20 39 39 15 2 Q15: Sangat mudah untuk belajar menggunakan AEG 19 37 44 11 4 Q16: Saya cepat menjadi terampil dengan AEG 14 32 53 14 2 Q17: Saya puas dengan AEG 16 43 40 13 3 Q18: Saya akan merekomendasikan AEG kepada teman 21 33 47 10 4 Q19: AEG bekerja seperti yang saya inginkan 16 39 39 16 5 Q20: AEG sangat bagus 20 41 42 8 4
Selanjutnya,  Data  yang  dikumpulkan  dibagi menjadi  empat  elemen  faktor Usefulness,  Ease  of Use,  Ease  of  learning,  dan  Satisfaction .  Gambar  7 menunjukkan  rata-rata  untuk  setiap  elemen  faktor Usability.
Gambar 7. Grafik Persentase Setiap Elemen Faktor Usability Mahasiswa
Menurut  grafik  pada  Gambar  7,  peringkat persentase untuk setiap elemen menunjukkan bahwa mahasiswa  cenderung  setuju  bahwa  Usefulness  dan Ease  of  use  berkontribusi  paling  besar  (71%) berkategori  sangat  baik  terhadap  masalah  kegunaan
AEG  LMS  Moodle.  Temuan  ini  mengungkapkan bahwa  Usefulness  dan  Ease  of  use  adalah  perhatian utama, dan sebagian besar mahasiswa mengklarifikasi bahwa AEG belum sesuai kebutuhan  mahasiswa  dan  sedikit  mengalami kesulitan  dalam  penggunaan  AEG.  Tertinggi berikutnya  adalah  satisfaction,  dengan  persentase 70% (Sangat Baik). Beberapa mahasiswa menyatakan  bahwa  belum  akan  merekomendasikan ketemannya  mengenai  penggunaan  AEG.  Namun, Ease  of  learning memegang  nilai  persentase terendah,  menunjukkan  bahwa  untuk  terampil menggunakan  AEG  membutuhkan  waktu  lebih banyak.

## 5. PEMBAHASAN
Hasil  pengujian  diklasifikasikan  berdasarkan tingkat jawaban responden. Dari grafik menunjukkan beberapa item dari elemen faktor yang memperoleh  nilai  rendah,  sehingga  item  ini  perlu mendapat  solusi  untuk  perbaikan  AEG  kedepannya. Solusi  yang  dihasilkan  terkait  dengan  item  yang teridentifikasi  memperoleh  nilai  rendah  dibanding
68% 69% 69% 70% 70% 71% 71% Usefulness Ease of Use Ease of Learning Satisfaction 71% 71% 69% 70%
dengan item lain pada masing-masing elemen faktor usability.
Dari sudut pandang dosen menunjukkan bahwa AEG sudah baik, hanya saja pada elemen faktor ease of use membutuhkan perbaikan dan solusi yang lebih baik:
1. Kemudahan penggunaan AEG
2. Langkah-langkah  pengoperasian  AEG  yang lebih praktis
3. Penggunaan AEG oleh dosen lain Dari  sudut  pandang  siswa,  elemen  faktor ease of  learning memiliki  nilai  rerata  paling  rendah. Hal ini  diakibatkan  perolehan  nilai  item  yang  rendah, sehingga  ini  memerlukan  identifikasi  lebih  lanjut untuk menemukan solusi brainstorming:
1. Kecepatan belajar menggunakan AEG
2. Kemudahan belajar menggunakan AEG
3. Kecepatan menjadi terampil dalam
menggunakan AEG Walaupun  demikian,  hasil  pengujian  usability dari  sudut  pandang  dosen  dan  sudut  pandang mahasiswa  sudah  baik.  Hal  ini  ditunjukkan  oleh grafik  bahwa  sebagian  besar  memperoleh  nilai presentase  diatas  60%.  Dari  sudut  pandang  dosen, usefulnes  adalah  elemen  faktor  yang  memperoleh nilai  sangat  tinggi,  sementara  dari  sudut  pandang mahasiswa  juga  usefulness  dan  ease  of  use  yang memperoleh  nilei  presentase  tertinggi.  Ini  artinya, dari  hasil  pengujian  empat  elemen  faktor  usability, elemen  usefulness  yang  dipersepsikan  oleh  dosen dan  mahasiswa  sangat  baik.  Hal  ini  karena kebermanfaatan AEG, membantu dalam memberikan  dan  mengerjakan  penugasan,  serta memberikan  dan mengoreksi  kekeliruan  tugas-tugas berbasis proyek dan berbasis kasus.

## 6. KESIMPULAN DAN SARAN
Dari  hasil  kustomisasi  dengan  penambahan statistical  item  file pada  aplikasi  atau  plugin Auto Essay Grading telah melalui uji coba dan dilakukan pengujian usability terhadap  dosen  dan  mahasiswa. Hasil  pengujian  menunjukkan  bahwa  elemen  faktor usefulness memperoleh nilai tertinggi atau berkategori  sangat  baik  dari  sudut  pandang  dosen maupun  mahasiswa.  Untuk  elemen satisfaction, dosen  maupun  mahasiswa  menujukkan  kepuasan terhadap AEG. Walaupun demikian, hasil pengujian menunjukkan elemen faktor usability yang memperoleh  nilai  rendah  yaitu ease  of  use dari  sisi dosen  dan ease  of  learning dari  sisi  mahasiswa.
Rendahnya  nilai  dari  elemn  ini  disebabkan  oleh kemudahan penggunaan, langkah-langkah pengoperasian, kecepatan belajar dan terampil dalam penggunaan  plugin  AEG.  Hal  ini  dapat  dipahami plugin  baru  tentu  membutuhkan  waktu  proses adaptasi  belajar  dan  tergantung  dari  kecepatan belajar  masing-masing  individu.  Hal  terpenting bahwa  plugin  ini  tidak  terbatas  hanya  pada  saat pengujian dalam penelitian ini, namun penting untuk
dimanfaatkan  dan  dikembangkan  dalam  lingkungan pembelajaran online.
Penelitian ini menyarankan agar kedua elemen faktor  perlu  dididenifikasi  lanjut  dan  mencari  solusi perbaikan.  Perbaikan  dapat  diuji  lebih  luas  pada subjek  yang  lebih  besar  dan  jurusan.  Karena kemungkinan  akan  berbeda  dengan  hasil  pengujian saat  ini.  Hal  ini  pentig  agar  sistem  AEG  dapat  diuji secara berkesinambungan untuk memperoleh aplikasi yang benar-benar mudah, praktis dan sesuai dengan kebutuhan pemebelajaran.

## DAFTAR PUSTAKA
[1] J.  Peter  Ganter, The  Trends  Mapping  Study on  Innovation  in  Technical  and  Vocational
Education  and  Training  (TVET) .  Bonn:  the UNESCO-UNEVOC  International  Centre for Technical  and Vocational Education and Training, 2019.
[2] E. Costello, J. Holland, and C. Kirwan, “The future  of  online  testing  and  assessment : question  quality  in  MOOCs,” Int.  J.  Educ. Technol. High. Educ. , vol. 15, no. 42, pp. 1– 14, 2018.
[3] Y.  Xiong  and  H.  K.  Suen,  “Possibilities  , challenges  and  future  directions,” Int.  Rev. Educ. ,  vol.  64,  pp.  241–263,  2018,  doi: 10.1007/s11159-018-9710-5.
[4] L.  Earl,  S.  Katz,  and  WNCP, Rethinking Classroom  Assessment  with  Purpose  in Mind . Canada, 2006. doi: 10.4135/9781446214695. [5] C. Gautreau, “Motivational Factors
Affecting  the  Integration  of  a  Learning
Management  System  by  Faculty,” J.  Educ. Online , vol. 8, no. 1, pp. 1–25, 2011.
[6] M.  Á.  Conde,  F.  J.  García-peñalvo,  M.  J. Rodriguez-Conde,  M.  Alier,  M.  J.  Casany, and  J.  Piguillem,  “An  evolving  Learning
Management  System  for  new  educational environments  using  2  .  0  tools,”  no. December, pp. 37–41, 2014, doi:
10.1080/10494820.2012.745433.
[7] I. Han and W. S. Shin, “The use of a mobile learning  management  system  and  academic achievement  of  online  students,” Comput. Educ. ,  vol.  16,  pp.  1–24,  2016,  doi: 10.1016/j.compedu.2016.07.003.
[8] B.  S.  Dias  and  J.  A.  Diniz,  “Towards  an Enhanced Learning Management System for
Blended  Learning  in  Higher  Education Incorporating  Distinct  Learners  ’  Profiles,”
J.  Educ.  Technol.  Soc. ,  vol.  17,  no.  1,  pp. 307–319, 2014.
[9] S. Valenti, F. Neri, and A. Cucchiarelli, “An
Overview of Current Research on
Automated Essay Grading,” vol. 2, 2003.
[10] A. B. Firdausiah, D. Oranova, U. L. Yuhana, and  T.  Kita,  “SISTEM  PENILAIAN OTOMATIS JAWABAN ESSAY MENGGUNAKAN  ONTOLOGI  PADA MOODLE,” Telkomnika ,  vol.  6,  no.  3,  pp.
167–172, 2008.
[11] D.  S.  Mcnamara,  S.  A.  Crossley,  R.  D. Roscoe,  L.  K.  Allen,  and  J.  Dai,  “A hierarchical classification approach to automated essay scoring,” Assess. Writ. , vol.
23, pp.
35–59,
2015, doi:
10.1016/j.asw.2014.09.002.
[12] D. Shermis, Mark and J. Burstein, Handbook of  Automated  Essay  Evaluation:  Current Aplications and New Directions . New York, London, 2013.
[13] F.  Wild,  C.  Stahl,  G.  Stermsek,  and  G. Neumann, “Parameters Driving Effectiveness  of  Automated  Essay  Scoring with LSA,” vol. 10, pp. 2–6, 2019.
[14] J. H. Flavell, P. H. Miller, and S. A. Miller, Cognitive Development , 4th ed. New Jersey: Prentice Hall, 1979.
[15] Y.  Yusuf,  R.  Rodding,  H.  Awang,  and  I. Mukhtar,  “Metacognitive  Strategies  in Promoting  the  Development  of  Generic Competences  in  High  TVE  in  Malaysia,”
Pertanika J. Soc. Sci. Humanit. , vol. 25, pp.
247–256, 2017.
[16] D.  Moshman,  “Metacognitive  Theories Revisited,” Educ.  Psychol.  Rev. ,  2017,  doi: 10.1007/s10648-017-9413-7.
[17] E.  R.  Lai,  “Metacognition :  A  Literature Review  Research  Report,” Pearson’s  Res. Rep. , no. April, 2011.
[18] S.  De  Klerk,  B.  P.  Veldkamp,  and  T.  J.  H. M. Eggen, “A framework for designing and developing  multimedia-  based  performance assessment  in  vocational  education,” Educ.
Technol. Res.  Dev. ,  vol.  66,  no.  1,  pp.  147– 171, 2018, doi: 10.1007/s11423-017-9559-5.
[19] P.  F.  Wimmers, Innovation  and  Change  in
Professional Education 13 Assessing Competence  in  Professional  Performance across  Disciplines  and  Professions ,  1st  ed. Switzerland: Springer, 2016.
doi:
10.1007/978-3-319-30064-1.
[20] A.  M.  Lund,  “Measuring  usability  with  the use  questionnaire12,” Usability  Interface ,
vol. 8, no. 2, pp. 3–6, 2001