## APLIKASI PENILAIAN JAWABAN ESAI OTOMATIS MENGGUNAKAN METODE SYNONYM RECOGNITION DAN COSINE SIMILARITY BERBASIS WEB
Imam Mufiid 1 , Sri Lestanti 2 , Ni’ma Kholila 3 1,2,3 Teknik Informatika S1 Universitas Islam Balitar imammufid98@gmail.com

## ABSTRAK
Ujian  merupakan  salah  satu  alat  penilaian  dalam  proses  belajar  mengajar  untuk  menentukan  kualitas pembelajaran. Namun disisi lain ujian merupakan suatu kesibukan tambahan yang harus dilakukan oleh pengajar terutama dalam proses koreksi, karena membutuhkan banyak waktu untuk mencocokkan hasil jawaban peserta didik yang berbeda-beda khusunya pada soal dengan tipe esai. Oleh karena itu dibutuhkan aplikasi yang digunakan untuk mengoreksi jawaban siswa secara otomatis yang diharapakan dapat membantu pengajar untuk mengoreksi jawaban  dari  soal  esai  dengan  cepat  dan  mudah.  Metode  yang  digunakan  pada  penelitian  ini  adalah  metode pengembangan dengan model prototype sebagai metode pengembangan sistem dan metode Cosine Similarity dan Synonym Recognition. Data  uji  yang  digunakan pada  penelitian ini adalah  116  jawaban  siswa  SMA  Alam  Al- Ghifari. Hasil dari penelitian ini adalah sebuah sistem yang memanfaatkan metode Cosine Similarity dan Synonym Recognition dan telah dilakukan pengujian menggunakan uji akurasi RMSE dengan beberapa tahapan. Hasil dari pengujian  RMSE  untuk  total  siswa  20,  50,  100,  116  siswa  pada  jawaban  nomor  1  dan  2  masing-masing mendapatkan nilai error 7.07, 8.00, 6.16, 8.94, 6.78, 8.61, 6.88, dan 8.57. Nilai tersebut cukup tinggi dikarenakan terdapat jawaban siswa yang tidak similar dengan kunci jawaban namun pada nilai actual mendapat nilai yang bagus, terdapat jawaban siswa yang salah ketik, dan terdapat proses yang menyebabkan beberapa term atau kata yang hilang, karena term tersebut termasuk di dalam daftar stopword pada proses filtering .
Keyword : Cosine Similarity, Synonym Recognition, Text Mining, Ujian Esai, Penalaian Otomatis

## 1. PENDAHULUAN
1.1.  Latar Belakang Ujian  adalah  salah  satu  alat  penialaian  dalam proses  belajar  mengajar  yang  dilaksanakan  secara menyeluruh untuk menentukan kualitas pembelajaran dan merupakan suatu alat ukur untuk mengukur perfoma peserta didik. Namun disisi lain ujian  merupakan  suatu  pekerjaan  rumah  dan kesibukan  tambahan  yang  harus  dilakukan  oleh pengajar terutama dalam proses koreksi.
Jawaban  dengan  tipe  esai  memberikan beragam kemungkinan jawaban, tergantung pemahaman  masing-masing  siswa.  Hasil  jawaban tipe  esai  bukan  hanya  benar  atau  salah  tetapi  juga bisa  mengahasilkan  nilai  hampir  benar.  Sehingga skor nilai untuk jawaban essay bisa beragam [1].
Soal  dengan  tipe  esai  tersebut  membutuhkan banyak  waktu  untuk  mencocokkan  hasil  jawaban peserta  didik  yang  berbeda-beda  dengan  jawaban yang  benar,  pengajar  harus  membaca  satu  persatu jawaban peserta didik dan terkadang terdapat tulisan peserta  didik  yang  sulit  dibaca.  Salah  satu kekurangan pada jawaban dengan jenis essay yaitu sulitnya menilai jawaban dan membutuhkan banyak waktu  untuk  mengoreksi.  Pengajar  juga  memiliki kendala  sendiri-sendiri  dalam  proses  koreksi jawaban,  terkadang  koreksi  harus  dibawa  pulang oleh  pengajar,  sedangkan  dirumah  para  pengajar juga    memiliki  tanggung  jawab  yang  tidak  bisa ditinggalkan [2]. Pengajar bukan hanya berkewajiban  mengajar  dan  mengoreksi  jawaban siswa, namun juga memiliki kewajiban administrasi lainnya  seperti  menyusun  Rencana  Pelaksanaan
Pembelajaran, menyusun  silabus, program  tahunan dan  lain  sebagainya,  dimana  kewajiban  tersebut membutuhkan waktu yang tidak sedikit.
Berdasarkan  masalah  tersebut  penelitian  ini mengusulkan sebuah aplikasi penilaian jawaban esai secara  otomatis.  Penilaian  akan  dilakukan  secara otomatis dengan mengenali kata yang mengandung sinonim menggunakan metode synonym recognition dan menghitung nilai kedekatan teks antara jawaban siswa dengan kunci jawaban menggunakan metode cosine  similarity .  Hasil  dari  sistem ini  berupa nilai kemiripan antara kunci jawaban yang dimiliki guru dengan jawaban siswa.
Oleh karena itu peneliti mencoba menerapkan judul  “Aplikasi  Penilaian  Jawaban  Esai  Otomatis Menggunakan  Metode Synonym  Recognition dan Cosine Similarity Berbasis Web”.

## 1.2.  Pembatasan Masalah
Batasan masalah digunakan untuk menghindari  adanya  penyimpangan  atau  pelebaran topik  masalah  agar  penelitian  lebih  terarah,  oleh karena  itu  penulis  memberikan  batasan  masalah sebagai berikut:
1. Penelitian ini hanya berfokus pada perancangan  sistem  penilaian  jawaban  esai otomatis.
2. Penelitian  ini  dilakukan  di  SMA  Alam  Al- Ghifari.
3. Mata pelajaran yang digunakan dalam uji coba penelitian  adalah  Bahasa  Indonesia  dengan total siswa 116 siswa.
Copyright (c) 2021 Jurnal Mnemonic
4. Aplikasi penilaian jawaban esai otomatis yang dibuat untuk sistem berbasis website .
5. Penilaian jawaban esai otomatis bisa digunakan untuk jawaban berbasis teks Bahasa Indonesia.
6. Output yang  dihasilkan  dari  sistem  ini  yaitu nilai  kemiripan  dari  metode cosine  similarity dan  nilai  pengujian  dari  metode  yang digunakan.
7. Pengujian  yang  dilakukan  menggunakan pengujian Root Mean Square Error (RMSE).

## 2. TINJAUAN PUSTAKA
2.1. Penilaian
Menurut  Permendikbud  No.23  Tahun  2016,
penilaian  merupakan  sebuah  proses  pengumpulan dan  pengolahan  informasi  untuk  mengukur pencapaian  hasil  belajar  peserta  didik.  Penilaian adalah kata lain istilah assessment bukan merupakan sebuah evaluasi karena sering disalah artikan.
2.2. Synonym Recognition Synonym Recognition berfungsi untuk mengenali  kata  dengan  penulisan  berbeda  tetapi memiliki  makna  yang  sama. Selama  pengenalan kata,  isi  dokumen  dibandingkan  dengan tesaurus dalam database . Jika kata yang dicari tidak tersedia dalam tesaurus ,  proses  pengenalan  sinonim  tidak dilakukan.  Seluruh  isi  dokumen  dipindai  dan dibandingkan  dengan  kata-kata  dalam tesaurus , kemudian dimodifikasi berdasarkan isi tesaurus .

## 2.3. Cosine Similariy
Cosine  similarity digunakan  dalam  ruang positif, dimana hasilnya dibatasi antara nilai 0 dan 1, jika  nilainya  0  maka  dokumen  tersebut  dikatakan mirip jika hasilnya 1 maka nilai tersebut dikatakan tidak  mirip  [3].  C osine  similarity bisa  hanya dihitung sebagai nilai rentang cosine similarity dari 0 hingga 1 sebagai sudut antara vektor dapat berada di  antara  0  sampai  90  derajat,  semakin  mirip dokumennya maka semakin kecil sudutnya di antara vector [4].

## 2.4. Kajian Penelitian
Salim (2017) pada penelitiannya yang berjudul “Pengembangan  Aplikasi  Penilaiain  Ujian  Essay Berbasis  Online  Menggunakan  Algoritma  Nazief Adriani  dengan  Metode Cosine  Similarity ”,  yang menjadi  masalah  pada  soal  berbentuk  esai  adalah siswa  harus  menjawab  dengan  bentuk  kalimat. Dengan begitu jawaban dapat bervariasi berdasarkan pemikiran siswa. Salah satu kelemahan jawaban dalam bentuk esai adalah sulitnya menilai jawaban  yang  membutuhkan  banyak  waktu. Penelitian  yang  dilakukan  Salim  diperoleh  bahwa tidak  terdapat  beda  yang  besar  antara  mean  nilai siswa  koreksi  otomatis  metode cosine  similarity dengan  koreksi  manual  yaitu  sebesar  1,6  dengan mean koreksi otomatis sebagai variabel lebih besar.
Sejalan dengan penelitian yang dilakukan oleh Salim  (2017),  penelitian  yang  dilakukan  oleh Fataruba  (2018)  menjelaskan  bahwa  pengajar memerlukan  waktu  yang  banyak  untuk  memeriksa jawaban essay ,  semakin  banyak  jumlah  ujian  dan banyaknya  jumlah  pelajar  yang  mengikuti  ujian, maka semakin banyak jumlah ujian yang dikoreksi oleh  pengajar.  Penelitian  tersebut  menggunakan metode Cosine  Similarity dan  mendapatkan  hasil akurasi  sistem  dalam  memberikan  nilai  siswa mencapai  80%  berdasarkan  data  yang  dihitung menggunakan confision matrix.
3. METODE PENELITIAN
3.1. Metode Pengembangan Perangkat Lunak Metode  penelitian  ini  menggunakan  metode pengembangan  dengan  model prototype .  Metode prototyping pada  penelitian  ini  bertujuan  untuk mendapatkan gambaran tentang aplikasi yang dibuat berdasarkan perancangan aplikasi, hasil perancangan aplikasi tersebut berupa prototype yang kemudian akan dievaluasi oleh pengguna. Hasil dari evaluasi pengguna menjadi acuan untuk pembuatan aplikasi yang digunakan sebagai produk akhir.

## 3.2. Teknik Pengumpulan Data
Teknik  pengumpulan  data  pada  penilitian  ini adalah dengan melakukan wawancara dan observasi bertempat di SMA Alam Al-Ghifari yang beralamat di  Jl.  Sumba  GG  III,  Karangtengah,  Kec. Sananwetan,  Kota  Blitar.  Peneliti  melakukan wawancara dengan salah satu guru SMA Alam Al- Ghifari. Pengumpulan data dengan Teknik wawancara  dan  observersi  digunakan  untuk menggali  data  dan  informasi  serta  mengamati subyek yang diteliti.

## 3.3. Membangun Prototype
Membangun prototyping dengan  membuat perancangan  sementara  yang  berfokus  kepada pengguna  dengan  menggunakan diagram context , flowchart sistem, Data  Flow  Diagram,  Entity Relational  Diagram ,  struktur database dan  desain tampilan.  Tahapan  membangung prototype pada penelitian ini sebagai berikut:
3.4. Flowchart Sistem
Berdasarkan hasil Analisa kebutuhan, diperlukan  perancangan  sistem  penilaian  jawaban esai otomatis sehingga dapat membantu pengajar/guru  dalam  menilai  jawaban  esai  secara otomatis. Berikut f lowchart sistem yang digunakan peneliti  dalam  sistem  yang  dibangun  ditampilkan pada gambar 1:
Gambar 1. Flowchart sistem
Langkah pertama pengguna melakukan account  verification ,  kemudian  sistem  akan mengecek apakah pengguna adalah guru atau siswa. Jika  pengguna  adalah  guru,  selanjutnya  pengguna melakukan input kunci  jawaban,  namun  jika pengguna adalah murid maka pengguna melakukan input jawaban. Input yang  dilakukan  oleh  guru maupun  siswa  selanjutnya  dilakukan  proses  teks preprocessing , meliputi 4 tahap yaitu: c ase folding, tokenization, filtering, dan stemming . Hasil dari teks preprocessing tersebut  masuk  ke  tahap synonym recognition , input dari pengguna akan di scan kata per  kata  untuk  dicek  ke  dalam database sinonim, jika kata terdapat pada database sinonim maka kata tersebut  akan  diganti  ke  dalam  bentuk  sinonim, namun  jika  tidak  ada  maka  kata  tersebut  tidak diganti.  Selanjutnya  masuk  ke  tahap  perhitungan kemiripan  dengan  metode cosine  similarity . Jawaban  siswa  dan  kunci  jawaban  guru  hasil synonym  recognition akan  di  hitung  tingkat similaritasnya  menggunakan  rumus  1.  Hasil  dari tingkat  similaritas  kemudian  di  tampilkan  kepada pengguna.

## 3.5. Flowchart Synonym Recognition
Untuk  menggambarkan  proses  dari  metode synonym  recognition ,  maka  penulis  menambahkan flowchart Synonym Recognition seperti gambar 2:
Gambar 2. Flowchart synonym recognition
Dimulai  dari  pengguna  melakukan input dokumen  berupa  jawaban  untuk  siswa,  dan  kunci jawaban  untuk  pengguna  guru.  Dokumen  tersebut selanjutnya masuk ke dalam tahap teks preprocessing tahap  ini  memiliki  4  tahap pemrosesan  yaitu, case  folding,  tokenization, filtering dan stemming . Hasil dari teks preprocessing selanjutnya  dimasukkan  ke  dalam metode synonym recognition . Sistem akan scan kata pada  dokumen  untuk  dicari  sinonimnya  di  dalam database sinonim.  Jika  kata  memiliki  sinonim  di dalam database ,  maka  kata  tersebut  di  ubah  ke dalam  bentuk  sinonimnya,  namun  jika  tidak  ada maka  kata  tersebut  tidak  diganti.  Selanjutnya  hasil synonym recognition di tampilkan.

## 3.6. Flowchart Cosine Similarity
Untuk  menggambarkan  proses  perhitungan menggunakan  metode cosine  similarity ,  penulis menambahkan flowchart  Cosine  Similarity seperti pada gambar 3:
Gambar 3. Flowchart Cosine Similarity
Langkah pertama pada flowchart diatas adalah pengguna  melakukan input dokumen  berupa  kunci jawaban  untuk  pengguna  guru  atau  jawaban  untuk pengguna siswa. Selanjutnya masuk ke dalam proses teks preprocessing ,  hasil  dari  teks preprocessing kemudian  dilakukan  perhitungan term  frequency dari kunci  jawaban  dan  jawaban  siswa.  Hasil term frequency berupa  vektor  dari  dokumen,  vektor tersebut  kemudian  dimasukkan  ke  dalam  rumus perhitungan cosine  similarity .  Setelah  dilakukan perhitungan maka akan ditampilkan nilai kemiripan antara kunci jawaban dan jawaban siswa.

## 3.7. Evaluasi Prototype
Tahap ini dilakukan pengguna untuk mengetahui  apakah prototype yang  memenuhi kebutuhan pengguna. Jika sesuai, maka dilanjutkan pada  langkah  keempat.  Jika  tidak,  maka prototype diperbaiki  dengan  mengulang  tahap  1,  2,  dan  3. Tahap  ini  peneliti  melakukan  evaluasi prototype pada  kegiatan  seminar  proposal,  dan  hasil  dari evaluasi prototype tidak  ditemukan  kekurangan kebutuhan  sistem  pada  tahap prototype ,  maka  dari hasil tersebut peneliti melakukan tahap selanjutnya yaitu pengkodean sistem.

## 3.8. Pengkodean Sistem
Dalam  tahap  ini prototype yang  disetujui dilakukan  pembuatan  sistem  aplikasi  berbasis website  dengan  bahasa  pemrograman  php  dan database  MySQL.  Tahapan-tahapan  pengkodean sistem adalah sebagai berikut:
1. Tahap Preprocessing Proses preprocessing adalah proses tahap awal untuk  melakukan  pemrosesan  teks  sebelum  masuk kedalam  algoritma  yang  digunakan,  dengan memasukkan kunci jawaban dan jawaban siswa.
Table 1. Kunci dan jawaban siswa
Kunci jawaban Jawaban siswa Wawancara adalah tanya jawab antara pewawancara dengan orang yang diwawancarai/narasumber dengan tujuan untuk memperoleh data untuk keperluan tertentu Wawancara ialah tanya jawab antara pewanwancara dengan narasumber untuk memperoleh data tertentu
Kunci  dan  jawaban  siswa  diatas  kemudian masuk  ke  dalam  tahap preprocessing ,  yaitu case folding, tokenization, filtering , dan stemming . Table 2. Hasil case folding Kunci jawaban Jawaban siswa wawancara adalah tanya jawab antara pewawancara dengan orang yang diwawancarai/narasumber dengan tujuan untuk memperoleh data untuk keperluan tertentu wawancara ialah tanya jawab antara pewanwancara dengan narasumber untuk memperoleh data tertentu Table 3. Hasil tokenization Kunci jawaban Jawaban siswa wawancara wawancara adalah ialah tanya tanya jawab jawab antara antara pewawancara pewawancara dengan dengan orang narasumber yang untuk diwawancarai memperoleh narasumber data dengan tertentu tujuan untuk memperoleh data untuk keperluan tertentu Table 4. Hasil Filtering Kunci jawaban Jawaban siswa wawancara wawancara pewawancara pewawancara orang narasumber diwawancarai memperoleh narasumber data tujuan memperoleh data keperluan
Table 5. Hasil stemming Kunci jawaban Jawaban siswa wawancara wawancara wawancara wawancara orang narasumber wawancara oleh narasumber data tuju oleh data
2. Tahap Synonym Recognition
Tahap selanjutnya adalah mencari sinonim dari masing-masing term atau  kata  di  dalam database . Jika term memiliki sinonim di dalam database maka term tersebut  diubah  ke  dalam  sinonimnya, namun jika  tidak  memiliki  sinonimnya  maka  term  tidak diubah. Hasil synonym recognition sebagai berikut:
Table 6. Hasil synonym recognition Kunci jawaban Jawaban siswa wawancara wawancara wawancara wawancara orang informan wawancara oleh informan informasi tuju oleh informasi perlu
3. Tahap Cosine Similarity Jika  proses preprocessing dan synonym recognition selesai  maka  tahap  selanjutnya  adalah mencari  nilai  similaritas  dari  kunci  jawaban  dan jawaban  menggunakan  metode cosine  similarity . Sebelum  menghitung cosine  similarity masing- masing dokumen di cari term frekuensi.
Table 7. Hasil term frequency Term Term dokumen kunci jawaban / term A Term dokumen jawaban siswa / term B wawancara 3 2 orang 1 0 narasumber 1 1 tuju 1 0 oleh 1 1 data 1 1 perlu 1 0
Hasil  dari term frekuensi  diatas  dimasukkan  ke dalam rumus cosine similarity .
𝑆𝑖𝑚𝑖𝑙𝑎𝑟𝑖𝑦(𝐴, 𝐵) = ∑ 𝐴. 𝐵 𝑛 𝑖=0
√∑ (𝐴 𝑖 ) 2 𝑛 𝑖=0 . √∑ (𝐵 𝑖 ) 2 𝑛 𝑖=0 (1)
∑ 𝐴. 𝐵 𝑛 𝑖=0 =  6 + 0 + 1 + 0 + 1 + 1 + 0 = 9
∑ (𝐴 𝑖 ) 2 𝑛 𝑖=0 =  9 + 1 + 1 + 1 + 1 + 1 + 1 = 15
∑ (𝐵 𝑖 ) 2 𝑛 𝑖=0 = 4 + 0 + 1 + 0 + 1 + 1 + 0 = 7 = 9 √15 . √7
= 0.88
Berdasarkan  perhitungan  diatas  hasil  cosine similarity adalah 0.88

## 3.9. Menguji Sistem
Sistem  yang  sudah  menjadi  suatu  perangkat lunak  yang  siap  digunakan,  selanjutnya  sistem dilakukan  pengujian  dahulu  sebelum  digunakan. Pengujian  ini  dilakukan  dengan  uji  akurasi Root Mean  Squared  Error .  Pengujian  ini  dilakukan beberapa tahap untuk memastikan  sistem memiliki nilai error yang minimum.

## 3.10. Evaluasi Sistem
Tahap  evaluasi  sistem  dilalukan  untuk mengevaluasi  apakah  sistem  yang  telah  selesai dibuat dan diuji sesuai dengan yang dibutuhkan. Jika sistem  sudah  sesuai  dengan  kebutuhan,  maka dilakukan  langkah  selanjutnya  yaitu  penggunaan sistem,  jika  sistem  belum  sesuai  kebutuhan  maka mengulangi  langkah  pengkodean  dan  menguji sistem.

## 3.11. Penggunaan Sistem
Tahap  penggunaan  sistem  adalah  tahap terakhir dari pengembangan model prototype . Tahap ini prototype yang selesai diuji, dan dievaluasi siap untuk  digunakan  untuk  memenuhi  kebutuhan permasalahan pengguna
4. HASIL DAN PEMBAHASAN
4.1. Paparan Data Peneliti  melakukan  penelitian  di  SMA  Alam Al-Ghifari  Kota  Blitar  dengan  metode  wawancara dan  observasi.  Hasil  wawancara  yang  dilakukan oleh peneliti bisa disimpulkan bahwa guru memiliki kendala pada proses koreksi jawaban siswa. Kendala yang  dialami  guru  yaitu  proses  koreksi  yang membutuhkan  waktu  koreksi  yang  cukup  lama, karena proses koreksi jawaban yang dilakukan oleh guru masih secara manual.

## 4.2. Implementasi Sistem
Implementasi  sistem  merupakan  tahapan dimana  sistem  menjadi  aplikasi  berbasis website sesuai  dengan  desain  perancangan  yang  telah dijelaskan pada bab sebelumnya.

## 4.3. Halaman Ujian Siswa
Gambar  4  merupakan  halaman  ujian  siswa yang  berfungsi  sebagai  lembar  pengerjaan  siswa terhadap  soal  yang  diberikan.  Halaman  ini
mengimplementasikan  proses text mining ketika siswa melakukan simpan data jawaban.

## Gambar 4. Tampilan halaman ujian siswa

## 4.4. Halaman Tambah Soal
Halaman  tambah  soal  berfungsi  sebagai menambahkan  soal-soal  yang  di  sajikan  ke  dalam tes, Halaman ini hanya dapat di akses oleh level guru dan  jenis  soal  yang  ditambahkan  adalah  jenis  soal esai. Saat guru menambah soal dilakukan proses text mining , hasil dari text mining tersebut disimpan ke dalaman database .
Gambar 5. Tampilan halaman tambah soal

## 4.5. Halaman Evaluasi Tes
Halaman evaluasi tes berfungsi sebagai tempat untuk  koreksi  otomatis  yang  dilakukan  oleh  guru, pada  halaman  ini  proses  algoritma synonym recognition dan cosine  similarity digunakan  untuk
menilai  jawaban  esai  secara  otomatis.  Jawaban siswa  yang  tampil  pada  halaman  ini  adalah  siswa yang sudah menyelesaikan tes secara keseluruhan.
Gambar 6. Tampilan halaman evaluasi tes
4.6. Halaman Hasil Tes
Dari Gambar 7, jika siswa sudah menyelesaikan  tes  maka  akan  tampil  di  halaman hasil  tes.  Guru  dapat  mem- filter data  yang  tampil pada  table  berdasarkan  nama  tes,  kelas,  waktu, bahkan  siswa  yang  sudah  megerjakan  ataupun belum mengerjakan.
Gambar 7. Tampilan halaman hasil tes

## 4.7. Pengujian RMSE
Pengujian  diperlukan  untuk  menvalidasi apakah  sistem  yang  telah  dirancang  telah  sesuai dengan yang diharapkan. Pada penelitian ini peneliti melakukan  pengujian  dengan  beberapa  tahapan dengan jumlah data berbeda, yaitu 20 data, 50 data, 100 data, dan 116 data menggunakan uji Root Mean Squared Error. Hasil dari perolehan nilai eror pada jumlah  siswa  20  pada  jawaban  nomor  1 mendapatkan  nilai  error  7.07,  sedangkan  pada jawaban  nomor  2  mendapatkan  nilai  error  8.00. Begitu  juga  untuk  jumlah  siswa  50  mendapatkan nilai  error  pada  jawaban  nomor  1  dan  nomor  2
masing-masing  6.16  dan  8.94.  Sedangkan  untuk jumlah  siswa  100  dan  116  pada  jawaban  nomor  1 dan  nomor  2  masing-masing  mendapatkan  nilai error 6.78, 8.61, 6.88, dan 8.57. Hasil perolehan nilai error tersebut bisa dilihat pada tabel dibawah.
Table 8. Hasil RMSE Jumlah siswa Hasil RMSE (nilai) Jawaban nomor 1 Jawaban nomor 2 20 7.07 8.00 50 6.16 8.94 100 6.78 8.61 116 6.88 8.57
Dari  beberapa  tahap  pengujian  menggunakan RMSE dengan  data  yang  berbeda,  dapat disimpulkan  bahwa  pengujian  terdapat  nilai RMSE yang  cukup  tinggi  dikarenakan  beberapa hal:
1. Terdapat  jawaban  siswa  yang  tidak  similar dengan  kunci  jawaban  namun  pada  nilai aktual yang diberikan oleh guru mendapatkan  nilai  yang  sempurna,  begitu juga sebaliknya
2. Terdapat kata pada jawaban siswa yang salah ketik, yang mengakibatkan nilai similaritasnya berkurang, padahal secara arti kata  jawaban  tersebut  similar  dengan  kunci jawaban
3. Terdapat proses yang menyebabkan beberapa term atau kata yang hilang, karena term tersebut  termasuk  di  dalam  daftar stopword pada proses filtering .

## 5. KESIMPULAN DAN SARAN
5.1. Kesimpulan Hasil penelitian yang telah dilakukan peneliti dapat disimpulkan sebagai berikut:
1. Perancangan aplikasi sistem penilaian jawaban esai  otomatis  menggunakan  metode cosine similarity dan synonym recognition dilakukan beberapa  tahap  yakni  membuat flowchart sistem,  membuat  DFD  dan  ERD,  membuat rancangan database ,  kemudian  membuat aplikasi itu sendiri.
2. Pengujian  aplikasi  sistem  penilaian  jawaban esai  otomatis  menggunakan  uji  akurasi Root Mean  Squared  Error (RMSE).  Pengujian dilakukan  beberapa  tahapan  dengan  jumlah data  uji  yang  berbeda.  Terdapat  hasil  uji akurasi yang memiliki nilai error yang cukup
tinggi dikarenakan sebagai berikut:
1) Jawaban  siswa  yang  diuji  memiliki tingkat  similaritas  yang  rendah,  namun pada  nilai  aktual  memiliki  nilai  yang tinggi
2) Jawaban  siswa  mengandung  kata  yang salah dalam pengetikan, sehingga mengakibatkan nilai similaritasnya rendah,  padahal  kata  tersebut  memiliki arti yang sama dengan kata yang terdapat pada kunci jawaban.
3) Kata  di  dalam  jawaban masuk  ke  dalam stopword yang  mengakibatkan  kata tersebut hilang pada proses filtering .

## 5.2. Saran
Saran  yang  diberikan  dari  peneliti  untuk penelitian selanjutnya sebagai berikut:
1. Penulis  berharap  untuk  penelitian  selanjutnya bisa  menambahkan  tingkat  similaritas  antara dua buah teks dengan cara mencari kesamaan antar term berdasarkan jenis kata.
2. Diharapkan penelitian selanjutnya dapat dibuat aplikasi  yang  lebih  dinamis  untuk  beberapa mata pelajaran atau beberapa bahasa.
3. Diharapkan  untuk  meningkatkan  pengujian akurasi terhadap metode yang digunakan.

## DAFTAR PUSTAKA
[1]   A. Bastian dan H. Sujadi, “Implementasi dan Pengujian  Aplikasi  Penilaian  Ujian  Essay,” Jurnal J-Ensitec, p. Vol. 05, 2018.
[2]   N. N. E. Smrti, A. Saputra, Zulfachmi dan R. A.  Setiawan,  “Aplikasi  Penilaian  Otomatis Jawaban  Soal  Essay  dengan  Menggunakan Metode K-Nearest Neighbors,”  dalam
Prosiding  -  Seminar  Nasional  Peningkatan Mutu Perguruan Tinggi , Tanjung Benoa-Bali, 2019.
[3]   F.  Fataruba,  “Penerapan  Metode  Cosine Similarity  untuk  Pengecekan  Kemiripan Jawaban Ujian Siswa,” JATI, pp. 88-95, 2018.
[4]   J.  Zizka,  F.  Darena  dan  A.  Svoboda,  Text Mining  Machine  Learning  Principle  and Techniques, Taylor & Francis Group, 2019.
[5]   M.  A.  Salim,  “Pengembangan  Aplikasi Penilaian  Ujian  Essay  Berbasis  Online Menggunakan  Algoritma  Nazief  Adriani dengan Metode Cosine Similarity,” Jurnal IT- EDU, p. Vol. 02, 2017.