Model Penilaian Esai Otomatis Menggunakan Algoritma Rabin- Karp , Dice Coefficient Similarity dan Synonym Recognition Studi Kasus Pada Universitas Budi Luhur
Heru Saputro 1* , Utomo Budiyanto 2 1,2 Fakultas Teknologi Informasi, Teknik Informatika, Universitas Budi Luhur, Jakarta, Indonesia Email: 1* herusaputro649@gmail.com, 2 utomo.budiyanto@budiluhur.ac.id (* : corresponding author)

## Abstrak
Ujian merupakan salah satu cara untuk mengetahui hasil kemampuan pemahaman materi peserta didik dari proses belajar mengajar yang diajarkan pendidik. Pada umumnya sistem ujian sendiri terdapat beberapa tipe  soal  yaitu  dengan  soal  pilihan  ganda  dan  esai.  Implementasi  penilaian  ujian  secara  otomatis  pada umumnya hanyalah ujian dalam bentuk pilihan ganda di laman e-learning. Salah satunya Universitas Budi Luhur dalam melakukan penilaian ujian mahasiswa dalam bentuk soal pilihan ganda sudah memiliki sistem otomatis  penilaiannya  di  laman  e-learning.  Akan  tetapi  untuk  penilaian  esai  belum  memiliki  sistem otomatis.  Jadi  untuk  penilaian  soal  esai,  para  dosen  Universitas  Budi  Luhur  masih  mengoreksi  secara manual. Dari sistem penilaian esai secara manual memerlukan waktu yang cukup lama dan kurang efektif. Berdasarkan  latar  belakang  tersebut,  diperlukan  adanya  sistem  penilaian  esai  secara  otomatis  berbasis website yang  dapat  membantu  dosen  Universitas  Budi  Luhur  dalam  penilaian  hasil  belajar  mahasiswa. Adapun metode yang diusulkan dalam penelitian ini adalah menggunakan metode Algoritma Rabin-Karp , Dice  Coefficient  Similarity dan Synonym  Recognition .  Penelitian  ini  bertujuan  untuk  membuat  sistem penilaian esai secara otomatis yang dapat membantu dosen Universitas Budi Luhur dalam mengoreksi hasil belajar mahasiswa. Sistem ini dapat menghasilkan persentase akurasi hasil koreksi nilai mahasiswa yang tinggi serta mendekati dari penilaian manual dosen nilai akurasinya sebesar 93,75%.
Kata Kunci: Penilaian, Esai, Algoritma Rabin-Karp , Dice Coefficient Similarity , Synonym Recognition

## Abstract
The exam is one way to find out the results of students' material understanding abilities from the teaching and learning process taught by educators. In general, the exam system itself has several types of questions, namely multiple choice questions and essays. Implementation of automatic exam assessment is generally only  a  multiple-choice  exam  on  the  e-learning  page.  One  of  them  is  that  Budi  Luhur  University  in conducting student exam assessments in the form of multiple choice questions already has an automatic scoring system on the e-learning page. However, there is no automatic system for assessing essays. So for the assessment of essay questions, Budi Luhur University lecturers are still correcting them manually. From the manual essay scoring system it takes quite a long time and is less effective. Based on this background, it  is  necessary  to  have  a  website-based  automatic  essay  assessment  system  that  can  assist  Budi  Luhur University lecturers in assessing student learning outcomes. The method proposed in this study is to use the Rabin-Karp Algorithm, Dice Coefficient Similarity and Synonym Recognition. This study aims to create an automatic essay scoring system that can assist Budi Luhur University lecturers in correcting student learning outcomes. This system can produce a high percentage of corrected student score accuracy and is close to the lecturer's manual assessment with an accuracy value of 93.75%.
Keywords: Assessment, Essay, Rabin-Karp Algorithm, Dice Coefficient Similarity, Synonym Recognition

## 1. PENDAHULUAN
Ujian merupakan salah satu cara untuk mengetahui hasil kemampuan pemahaman materi peserta didik dari proses belajar mengajar yang diajarkan pendidik [1]. Pada umumnya sistem ujian sendiri terdapat beberapa tipe soal yaitu dengan soal pilihan ganda, isian singkat dan soal esai. Implementasi penilaian ujian secara otomatis pada umumnya hanyalah ujian dalam bentuk pilihan ganda dan isian singkat di laman e-learning dikarenakan proses penilaian lebih mudah. Akan  tetapi  kekurangan  dari  jenis  soal  tersebut  yaitu  kurangnya  mengukur  kemampuan pemahaman materi mahasiswa dalam penggunaan e-learning [2].
Universitas Budi Luhur salah satunya dalam melakukan penilaian ujian mahasiswa dalam bentuk  soal  pilihan  ganda  sudah  memiliki  sistem  otomatis  penilaiannya  di  laman e-learning Universitas Budi Luhur. Akan tetapi untuk penilaian esai belum memiliki sistem otomatis. Dari sistem penilaian esai secara manual memerlukan waktu yang cukup lama, kurang efektif serta dengan kondisi tertentu karena banyaknya lembar jawab mahasiswa yang harus dikoreksi satu dosen dapat mengakibatkan penilaian kurang objektif dan maksimal [3].
Salah  satu  metode  yang  dapat  digunakan  untuk  pencocokan string adalah  dengan menggunakan algoritma Rabin-Karp . Algoritma Rabin-Karp adalah algoritma pencarian string yang  dikembangkan  oleh  Michael  O.  Rabin  dan  Richard  M.  Karp  pada  tahun  1987  yang menggunakan  fungsi hashing untuk  mencari  pola  dalam string teks.  Algoritma Rabin-Karp memiliki keunggulan pencocokan beberapa string pola [4].
Salah satu metode yang dapat digunakan dalam menghitung kesamaan teks adalah dengan menggunakan Dice Coefficient Similarity . Dice Coefficient Similarity adalah metode pengukuran yang paling umum digunakan untuk menghitung nilai kesamaan menggunakan pendekatan K- Gram [5].
Selain menggunakan Algoritma Rabin-Karp dan Dice Coefficient Similarity . Penelitian ini juga  menggunakan  metode Synonym  Recognition . Synonym  Recognition digunakan  untuk mendeteksi kalimat yang bersinonim dan mengubahnya menjadi kata dasar atau utamanya agar dalam sistem kalimat yang bersinonim jawabannya dapat dibenarkan [6].
Beberapa  penelitian  sebelumnya,  sudah  dilakukan  oleh  Asvarizal  Filcha  dan  Mardhiya Hayaty  [7]  menggunakan  algoritma Rabin-Karp dan Dice  Coefficient  Similarity dalam mengimplementasikan  pada  sistem  pendeteksi  plagiarisme  dokumen  tugas  mahasiswa.  Hasil perhitungan dengan Confusion Matrix mendapatkan nilai akurasi sebesar 90%. Penelitian oleh Hilmi Tsaqif [3], penelitian ini membuat sebuah sistem koreksi jawaban uraian singkat otomatis. Hasil pengujian sistem memperoleh nilai korelasi mencapai 0.85 atau 85%.
Berdasarkan  latar  belakang  tersebut,  diperlukan  adanya  sistem  penilaian  esai  secara otomatis berbasis website yang dapat membantu dosen Universitas Budi Luhur dalam mengoreksi hasil  belajar  mahasiswa.  Adapun  metode  yang  diusulkan  dalam  penelitian  ini  adalah menggunakan metode Algoritma Rabin-Karp untuk menganalisis kesamaan teks atau dokumen, Dice  Coefficient  Similarity untuk  menghitung  hasil  persentase  kesamaan  teks  dan Synonym Recognition untuk mendeteksi kalimat yang bersinonim dan mengubahnya menjadi kata dasar atau utamanya agar dalam sistem kalimat yang bersinonim jawabannya dapat dibenarkan.
Penelitian ini bertujuan mengimplementasi metode Algoritma Rabin-Karp , Dice Coefficient Similarity dan Synonym Recognition untuk membuat sistem penilaian esai secara otomatis yang dapat membantu dosen Universitas Budi Luhur dalam mengoreksi hasil belajar mahasiswa.

## 2. METODE PENELITIAN

## 2.1 Soal Esai
Soal  esai  merupakan  soal  untuk  mengukur  kinerja  siswa  pada  aspek  hasil  belajar  yang kompleks. Disarankan bahwa ketika merancang tes, seseorang mengukur kemampuan peserta tes untuk menganalisis, mengatur, dan mengungkapkan pemikirannya tentang sesuatu hal yang ada di materi belajar [8].
2.2 Ujian Esai
Ujian esai adalah ujian yang soal-soalnya harus dijawab oleh siswa dengan mendeskripsikan, menjelaskan,  mendiskusikan,  membandingkan,  menalar,  dan  mendeskripsikan  bentuk-bentuk yang sejenis dan menggunakan bahasa mereka sendiri [9].
2.3 Penilaian
Berdasarkan  Permendikbud  No.  23  Tahun  2016  definisi  penilaian  yaitu  suatu  proses penggabungan serta penyimpanan informasi untuk menilai hasil belajar siswa [1].
2.4 Text Preprocessing
Text  Preprocessing merupakan  tahapan  yang  biasanya  digunakan  untuk  text  mining. Mengubah teks kembali menjadi bahasa alami merupakan tujuan dari text preprocessing. Tahapan text preprocessing yaitu Case Folding , Punctuation Removal, Tokenizing , Stopword Removal , Stemming , Space Removal [7].
2.5 Algoritma Rabin-Karp
Algoritma Rabin-Karp adalah algoritma pencarian string yang dikembangkan oleh Michael O.  Rabin  dan  Richard  M.  Karp  pada  tahun  1987  yang  menggunakan  fungsi hashing untuk menemukan pola atau pattern dalam string teks. Algoritma Rabin-Karp memiliki beberapa fitur yaitu  penggunaan  K-Gram  dan hashing .  Penerapan  algoritma Rabin-Karp dilakukan  setelah melewati tahap preprocessing .
Algoritma Rabin-Karp memiliki tahapan [7], sebagai berikut:
a. K-Gram
K-Gram merupakan sebuah rangkaian token yang panjang dengan panjang k. Metode K- Gram ini mengambil potongan - potongan karakter huruf sejumlah nilai k dari sebuah teks yang secara kontinuitas dibaca dari awal teks sumber hingga akhir teks sumber [7].
b. Hashing Hashing adalah  salah  satu  cara  untuk  melakukan  pengubahan  karakter  string  menjadi integer yang  disebut  dengan  nilai hash .  Proses  pengubahan  menjadi  nilai hash menggunakan fungsi rolling hash . Nilai hash pada umumnya digambarkan sebagai fingerprint yaitu suatu string pendek  yang  terdiri  atas  huruf  dan  angka  yang  terlihat  acak  (data  biner  yang  ditulis  dalam heksadesimal). Persamaan rolling hash dapat dilihat pada Persamaan (1) dan Tabel Kode ASCII dapat dilihat pada Tabel 1. [7].
𝐻 (𝑐1 … 𝑐𝑘) = 𝑐1 ∗ 𝑏 (𝑘−1) + c2 * 𝑏 (𝑘−2) +. . +𝑐𝑘 ∗ 𝑏 (𝑘−𝑘) (1)
Keterangan: H : substring c : nilai ascii per-karakter
b : konstan bilangan prima
k : banyak karakter
Tabel 1. Kode ASCII Karakter Nilai ANSI ASCII (Desimal) Karakter Nilai ANSI ASCII (Desimal) a 97 n 110 b 98 o 111 c 99 p 112 d 100 q 113 e 101 r 114 f 102 s 115 g 103 t 116 h 104 u 117 i 105 v 118 j 106 w 119 k 107 x 120 l 108 y 121 m 109 z 122 2.6 Dice Coefficient Similarity
Metode yang bisa digunakan dalam menghitung kesamaan teks antara lain Cosine Similarity , Dice  Coefficient  Similarity dan Jaccard  Similarity .  Pada  penelitian  ini  untuk  menghitung kesamaan  teks  dengan  metode Dice  Coefficient  Similarity.  Dice  Coefficient  Similarity adalah
metode  pengukuran  yang  paling  umum  digunakan  untuk  menghitung  nilai  kesamaan menggunakan pendekatan K-Gram, dapat dilihat pada Persamaan (2) [7].
𝑆 = 2 ∗ 𝐶 𝐴 + 𝐵 (2)
Pada Persamaan (2), S merupakan nilai kesamaan atau similarity , A dan B merupakan jumlah dari fingerprint  hash pada teks  1  dan fingerprint  hash pada  teks  2.  C  merupakan jumlah  dari fingerprint hash gabungan A maupun B. Fingerprint hash merupakan hash yang unik dan tidak terduplikasi [7].
2.7 Synonym Recognition
Jawaban  ujian  esai  yang  telah  diolah  pada  tahap Text  Preprocessing akan  dilanjutkan  ke tahap Synonym  Recognition ,  yaitu  proses  menemukan  sinonim  dari  setiap  kata,  kemudian memodifikasinya berdasarkan isi kamus sinonim yang tersedia di database untuk menghindari dua kata yang berbeda tetapi mirip, antara jawaban peserta ujian dan kunci jawaban dari soal esai. Akan tetapi jika kata tersebut tidak tersedia dalam tesaurus, proses pengenalan sinonim tidak akan berjalan atau diproses [10].
2.8 Rancangan Pengujian
Hasil  proses Synonym  Recognition kunci jawaban  dan jawaban  mahasiswa  akan diproses menggunakan  metode  algoritma Rabin-Karp dan  dihitung  hasil similaritynya dengan metode Dice  Coefficient  Similarity . Setelah  itu,  untuk  mengetahui  kinerja  sistem  dilakukan  pengujian dengan  menghitung  akurasi.  Akurasi  digunakan  dalam  perhitungan  keakuratan  nilai  yang diberikan  dari  sistem.  Lebih  banyak  nilai  yang  diberikan  sistem  sesuai  dengan  semestinya (penilaian  manual  dosen)  menunjukkan  lebih  banyaknya  hasil  akurat  dari  sistem  yang  sudah dibuat. Dalam menghitung akurasi sistem menggunakan persamaan perhitungan dengan rumus Persamaan (3) [6].
Akurasi = Jumlah Identifikasi Benar Jumlah Data × 100% (3)

## 3. HASIL DAN PEMBAHASAN

## 3.1 Penerapan Metode
Dalam membuat model penilaian esai otomatis menggunakan Algoritma Rabin-Karp , Dice Coefficient  Similarity dan Synonym  Recognition studi  kasus  pada  Universitas  Budi  Luhur, terdapat langkah-langkah yang merupakan rancangan atau gambaran proses tahapan sistem yang akan dibuat secara rinci bagaimana tahapan metode tersebut dapat dilakukan dari awal sampai akhir sistem berjalan, yang terdapat pada Gambar 1.

## 3.1.1 Pengambilan Data
Tahapan pertama adalah proses pengambilan data jawaban mahasiswa diambil dari form input  yang  tersedia  di  sistem  dan  kunci  jawaban  diambil  dari  database.  Inputan  data jawaban mahasiswa dan kunci jawaban dapat dilihat pada Tabel 2.
Tabel 2. Inputan Data Kunci Jawaban dan Jawaban Mahasiswa
Kunci Jawaban Jawaban Mahasiswa Bus  trans  Jakarta  sekarang  telah  menjadi transportasi utama di Jakarta dan sekitarnya. Bus  trans  Jakarta  telah  menjadi  transportasi dijabodetabek.

## 3.1.2 Preprocessing
Tahapan kedua dari pengambilan data jawaban ujian esai mahasiswa dan kunci jawaban, maka  dilakukan  tahapan Preprocessing yaitu  terdiri  dari  proses Case  Folding , Punctuation Removal, Tokenizing , Stopword Removal , Stemming , Space Removal . Hasil Preprocessing data kunci jawaban dan jawaban mahasiswa dapat dilihat pada Tabel 3.
Tabel 3. Hasil Preprocessing Kunci Jawaban dan Jawaban Mahasiswa Kunci Jawaban Jawaban Mahasiswa bushilangingatjakartapindaheminenjakarta bushilangingatjakartapindahdijabodetabek

## 3.1.3 Synonym Recognition
Tahapan ketiga dari hasil proses stopword removal data jawaban ujian esai mahasiswa dan kunci jawaban dalam tahapan preprocessing , maka dilakukan tahapan Synonym Recognition yaitu tahapan pencarian kesamaan kata dari kalimat jawaban esai mahasiswa dan kunci jawaban dengan kamus sinonim yang ada di database kemudian akan diubah sesuai isi kamus sinonim yang sudah disediakan. Apabila kata yang sudah diproses memiliki kesamaan kata, maka kata tersebut akan diubah menjadi kata utama berdasarkan database kamus sinonim yang sudah disediakan. Apabila kata  yang  sudah  diproses  semua  sudah  tidak  memiliki  kesamaan,  maka  proses Synonym Recognition akan  berhenti.  Hasil Synonym  Recognition data  kunci  jawaban  dan  jawaban mahasiswa dapat dilihat pada Tabel 4.
Tabel 4. Hasil Sinonim Kunci Jawaban dan Jawaban Mahasiswa
Kunci Jawaban bus hilang ingatan jakarta pemindahan eminen jakarta Jawaban Mahasiswa bus hilang ingatan jakarta pemindahan dijabodetabek
3.1.4 Algoritma Rabin-Karp
Tahapan  keempat  setelah  dilakukan  proses Preprocessing, maka  dilakukan  tahapan penerapan algoritma Rabin-Karp yaitu :
a. Proses Parsing K-Gram
Proses Parsing  K-Gram merupakan  sebuah  proses  memecah  data  jawaban  ujian  esai mahasiswa  dan  kunci  jawaban  yang  telah  melewati  tahapan Preprocessing  dan  Synonym Recognition. Hasil K-Gram dilihat pada Tabel 5.
Tabel 5. Hasil K-Gram Kunci Jawaban dan Jawaban Mahasiswa K-Gram {5} Kunci Jawaban {bushi},  {ushil},  {shila},  {hilan},  {ilang},  {langi},  {angin},  {nging},  {ginga}, {ingat},  {ngatj},  {gatja},  {atjak},  {tjaka},  {jakar},  {akart},  {karta},  {artap}, {rtapi}, {tapin}, {apind}, {pinda}, {indah}, {ndahe}, {dahem}, {ahemi}, {hemin}, {emine}, {minen}, {inenj}, {nenja}, {enjak}, {njaka}, {jakar}, {akart}, {karta} Jawaban Mahasiswa {bushi},  {ushil},  {shila},  {hilan},  {ilang},  {langi},  {angin},  {nging},  {ginga}, {ingat},  {ngatj},  {gatja},  {atjak},  {tjaka},  {jakar},  {akart},  {karta},  {artap}, {rtapi},  {tapin},  {apind},  {pinda},  {indah},  {ndahd},  {dahdi},  {ahdij},  {hdija}, {dijab}, {ijabo}, {jabod}, {abode}, {bodet}, {odeta}, {detab}, {etabe}, {tabek}
b. Proses Hashing
Proses Hashing merupakan  sebuah  proses  mengubah  hasil  kata  atau parse dari  proses Parsing K-Gram menjadi sebuah nilai hash . Nilai hash yang didapatkan merupakan masukkan dari algoritma Rabin-Karp . Adapun proses rolling hash memiliki rumus yang dapat dilihat pada Persamaan (1) dan Tabel kode ASCII dapat dilihat di Tabel 1. Adapun hasil perhitungan nilai hash kunci jawaban dan jawaban mahasiswa dapat dilihat pada Tabel 6.
Tabel 6. Hasil Hash Kunci Jawaban dan Jawaban Mahasiswa
Hash Kunci Jawaban {80000},  {91366},  {88774},  {82015},  {82856},  {83615},  {78220},  {85556}, {81474},  {83152},  {85422},  {80654},  {78959},  {89439},  {82248},  {77797}, {83204},  {78969},  {89505},  {88695},  {78550},  {87069},  {83053},  {84917}, {78453},  {77450},  {81620},  {80677},  {85230},  {83212},  {85379},  {80709}, {85689}, {82248}, {77797}, {83204} Jawaban Mahasiswa {80000},  {91366},  {88774},  {82015},  {82856},  {83615},  {78220},  {85556}, {81474},  {83152},  {85422},  {80654},  {78959},  {89439},  {82248},  {77797}, {83204},  {78969},  {89505},  {88695},  {78550},  {87069},  {83053},  {84915}, {78435},  {77387},  {81379},  {79441},  {82502},  {82135},  {76852},  {78867}, {85754}, {79191}, {81232}, {88299}
3.1.5 Dice Coefficient Similarity
Tahapan  kelima  setelah  dilakukan  proses  penerapan  algoritma Rabin-Karp ,  maka dilakukan  tahapan  proses  perhitungan  kesamaan  hasil  jawaban  ujian  esai  mahasiswa  dengan kunci jawaban  menggunakan  metode Dice  Coefficient  Similarity untuk  mengetahui  hasil  nilai mahasiswa. Adapun hasil fingerprint dari kunci jawaban dan jawaban mahasiswa dapat dilihat pada Tabel 7.
Tabel 7. Fingerprint Kunci Jawaban dan Jawaban Mahasiswa Fingerprint Kunci Jawaban {80000},  {91366},  {88774},  {82015},  {82856},  {83615},  {78220},  {85556}, {81474},  {83152},  {85422},  {80654},  {78959},  {89439},  {82248},  {77797}, {83204},  {78969},  {89505},  {88695},  {78550},  {87069},  {83053},  {84917}, {78453},  {77450},  {81620},  {80677},  {85230},  {83212},  {85379},  {80709}, {85689} (Keterangan : Jumlah 33) Jawaban Mahasiswa {80000},  {91366},  {88774},  {82015},  {82856},  {83615},  {78220},  {85556}, {81474},  {83152},  {85422},  {80654},  {78959},  {89439},  {82248},  {77797}, {83204},  {78969},  {89505},  {88695},  {78550},  {87069},  {83053},  {84915}, {78435},  {77387},  {81379},  {79441},  {82502},  {82135},  {76852},  {78867}, {85754}, {79191}, {81232}, {88299} (Keterangan : Jumlah 36) Jumlah Fingerprint yang sama dari Kunci Jawaban dan Jawaban Mahasiswa {80000},  {91366},  {88774},  {82015},  {82856},  {83615},  {78220},  {85556}, {81474},  {83152},  {85422},  {80654},  {78959},  {89439},  {82248},  {77797}, {83204}, {78969}, {89505}, {88695}, {78550}, {87069}, {89505} (Keterangan : Jumlah 23)
Adapun perhitungan kesamaan hasil jawaban ujian esai mahasiswa dengan kunci jawaban dengan menggunakan rumus dice coefficient similarity yang dapat dilihat dibawah ini:
S = ((2*C)/(A+B)) * 100
Diketahui pada Tabel 10 Hasil Fingerprint Kunci Jawaban dan Jawaban Mahasiswa: A = Jumlah Fingerprint Kunci Jawaban = 36 B = Jumlah Fingerprint Jawaban Mahasiswa = 33 C = Jumlah Fingerprint yang sama dari Kunci Jawaban dan Jawaban Mahasiswa = 23
Sehingga, S = ((2*23)/(36+33)) * 100 S = 67% (Dibulatkan)
Berdasarkan perhitungan diatas, diketahui persentase similarity antara kunci jawaban dan jawaban mahasiswa adalah 67%.
3.2 Pengujian
Pengujian  merupakan  salah  satu  hal  yang  harus  dilakukan  dalam  setiap  pengembangan sistem untuk mengevaluasi, menganalisis dan mengetahui hasil tingkat akurasi dari sistem yang dibuat.  Dalam  pengujian  penelitian  ini  menggunakan  studi  kasus  pada  mata  kuliah  Bahasa Indonesia  Universitas  Budi  Luhur  dan  pengujian  ini dilakukan  dengan  beberapa  cara,  sebagai berikut:
3.2.1 Pengujian 1 Dengan Dataset 4 Soal Beserta Kunci Jawaban Pengujian 1 dengan menggunakan dataset 4 soal beserta kunci jawaban mata kuliah bahasa indonesia  dengan  total  35  mahasiswa  dan  140  record  jawaban.  Pada  pengujian  ini  terdapat beberapa  jenis  soal  yang  pertama  terkait  pembuatan  kalimat  efektif,  kedua  perbaikan  kalimat dengan memberikan tanda baca, ketiga pembuatan daftar pustaka, dan terakhir perbaikan susunan kalimat beserta penentuan topik dari sebuah paragraf. Adapun hasil pengujian 1 dengan dataset 4 soal dan kunci jawaban, dapat dilihat pada Tabel 8.
Tabel 8. Hasil Pengujian 1 Dengan Dataset 4 Soal Beserta Kunci Jawaban
No. Nomor Induk Mahasiswa Nilai Dosen (X) Nilai Sistem (Y) Grade Nilai Dosen Grade Nilai Sistem Keterangan 1. Nim 1 100 71 A B Tidak Sama 2. Nim 2 100 64 A C Tidak Sama 3. Nim 3 84 59 A- D Tidak Sama 4. Nim 4 84 61 A- C Tidak Sama 5. Nim 5 100 59 A D Tidak Sama ….35. Nim 35 …. …. …. …. …. Jumlah 3320 2261 Jumlah Data Valid (Sama) 0 Jumlah Data Valid (Tidak Sama) 35
Pada Tabel 8. merupakan hasil pengujian 1 dengan dataset 4 soal dan kunci jawaban. Dari tabel diatas dapat disimpulkan jumlah nilai dosen sebesar 3320 dan nilai sistem sebesar 2261. Adapun  grafik  hasil  pengujian  1 dengan  dataset  4 soal  dan  kunci jawaban,  dapat  dilihat  pada Gambar 2.
Gambar 2. Grafik Hasil Pengujian 1 Dengan Dataset 4 Soal Beserta Kunci Jawaban
Dari  Tabel  8.  hasil  pengujian  1  dengan  dataset  4  soal  dan  kunci  jawaban.  Nilai  yang diberikan oleh dosen dan sistem akan diproses dengan memberikan grading yang berlaku di S1 dan D3 Universitas Budi Luhur untuk melihat jumlah data benar atau validnya. Adapun tabel rentang nilai, dapat dilihat pada Tabel 9.
Tabel 9. Rentang Nilai Rentang Nilai Grade 85-100 A 80-<85 A- 75-<80 B+ 70-<75 B 65-<70 B- 60-<65 C 45-<60 D 0-<45 E
Setelah mendapatkan jumlah data valid, maka tahap selanjutnya menghitung nilai akurasi dengan  membagi  jumlah  data  valid  dengan  total  data  uji  dan  dikalikan  100%  seperti  rumus Persamaan (3).
Akurasi = Jumlah Identifikasi Benar Jumlah Data × 100% Akurasi = 0 35 × 100% Akurasi = 0%
Dapat disimpulkan hasil pengujian 1 dengan dataset 4 soal dan kunci jawaban mendapatkan nilai akurasi 0,00%.
3.2.2 Pengujian 2 Dengan Dataset 2 Soal Beserta Kunci Jawaban Pengujian 2 dengan menggunakan dataset 2 soal beserta kunci jawaban mata kuliah bahasa indonesia  dengan  total  35  mahasiswa  dan  70  record  jawaban.  Pada  pengujian  ini  terdapat beberapa jenis soal yang pertama terkait perbaikan susunan kalimat dari sebuah paragraf, dan kedua perbaikan kalimat menjadi kalimat efektif. Adapun hasil pengujian 2 dengan dataset 2 soal dan kunci jawaban, dapat dilihat pada Tabel 10.
Tabel 10. Hasil Pengujian 2 Dengan Dataset 2 Soal Beserta Kunci Jawaban
No. Nomor Induk Mahasiswa Nilai Dosen (X) Nilai Sistem (Y) Grade Nilai Dosen Grade Nilai Sistem Keterangan 1. Nim 1 100 98 A A Sama 2. Nim 2 100 98 A A Sama 3. Nim 3 60 54 C D Tidak Sama 4. Nim 4 60 99 C A Tidak Sama 5. Nim 5 100 98 A A Sama ….35. Nim 35 …. …. …. …. …. Jumlah 2580 3188 Jumlah Data Valid (Sama) 13 Jumlah Data Valid (Tidak Sama) 22
Pada Tabel 10. merupakan hasil pengujian 2 dengan dataset 2 soal dan kunci jawaban. Dari tabel diatas dapat disimpulkan jumlah nilai dosen sebesar 2580 dan nilai sistem sebesar 3188. Adapun  grafik  hasil  pengujian  2 dengan  dataset  2 soal  dan  kunci jawaban,  dapat  dilihat  pada Gambar 3.

## Gambar 3. Grafik Hasil Pengujian 2 Dengan Dataset 2 Soal Beserta Kunci Jawaban
Dari  Tabel  10.  hasil  pengujian  2  dengan  dataset  2  soal  dan  kunci  jawaban.  Nilai  yang diberikan oleh dosen dan sistem akan diproses dengan memberikan grading yang berlaku di S1 dan D3 Universitas Budi Luhur untuk melihat jumlah data benar atau validnya. Adapun tabel rentang nilai, dapat dilihat pada Tabel 9.
Setelah mendapatkan jumlah data valid, maka tahap selanjutnya menghitung nilai akurasi dengan  membagi  jumlah  data  valid  dengan  total  data  uji  dan  dikalikan  100%  seperti  rumus persamaan (3).
Akurasi = Jumlah Identifikasi Benar Jumlah Data × 100% Akurasi = 13 35 × 100%
Akurasi = 37,14%
Dapat disimpulkan hasil pengujian 2 dengan dataset 2 soal dan kunci jawaban mendapatkan nilai akurasi 37,14%.

## 3.2.3 Pengujian 3 Dengan Dataset 1 Soal Beserta Kunci Jawaban
Pengujian 3 dengan menggunakan dataset 1 soal beserta kunci jawaban mata kuliah bahasa indonesia dengan total 48 mahasiswa dan 48 record jawaban. Pada pengujian ini terdapat jenis soal  terkait  kalimat  acak  mahasiswa  diminta  untuk  menjawab  manakah  topik  dari  paragraf. Adapun hasil pengujian 3 dengan dataset 1 soal dan kunci jawaban, dapat dilihat pada Tabel 11.
Tabel 11. Hasil Pengujian 3 Dengan Dataset 1 Soal Beserta Kunci Jawaban
No. Nomor Induk Mahasiswa Nilai Dosen (X) Nilai Sistem (Y) Grade Nilai Dosen Grade Nilai Sistem Keterangan 1. Nim 1 100 100 A A Sama 2. Nim 2 100 100 A A Sama 3. Nim 3 100 100 A A Sama 4. Nim 4 100 100 A A Sama 5. Nim 5 100 100 A A Sama ….48. Nim 48 …. …. …. …. …. Jumlah 4800 4697 Jumlah Data Valid (Sama) 45 Jumlah Data Valid (Tidak Sama) 3
Pada Tabel 11. merupakan hasil pengujian 3 dengan dataset 1 soal dan kunci jawaban. Dari tabel diatas dapat disimpulkan jumlah nilai dosen sebesar 4800 dan nilai sistem sebesar 4697. Adapun  grafik  hasil  pengujian  3 dengan  dataset  1 soal  dan  kunci jawaban,  dapat  dilihat  pada Gambar 4.

## Gambar 4. Grafik Hasil Pengujian 3 Dengan Dataset 1 Soal Beserta Kunci Jawaban
Dari  Tabel  11.  hasil  pengujian  3  dengan  dataset  1  soal  dan  kunci  jawaban.  Nilai  yang diberikan oleh dosen dan sistem akan diproses dengan memberikan grading yang berlaku di S1 dan D3 Universitas Budi Luhur untuk melihat jumlah data benar atau validnya. Adapun tabel rentang nilai, dapat dilihat pada Tabel 9.
Setelah mendapatkan jumlah data valid, maka tahap selanjutnya menghitung nilai akurasi dengan  membagi  jumlah  data  valid  dengan  total  data  uji  dan  dikalikan  100%  seperti  rumus persamaan (3).
Akurasi = Jumlah Identifikasi Benar Jumlah Data × 100% Akurasi = 45 48 × 100%
Akurasi = 93,75%
Dapat disimpulkan hasil pengujian 3 dengan dataset 1 soal dan kunci jawaban mendapatkan nilai akurasi 93,75%.
3.3 Analisis Hasil Pengujian
Hasil dari pengujian mendapatkan akurasi tertinggi yaitu 93,75%. Dari beberapa pengujian adapun yang dapat disimpulkan antara lain:
a. Data yang tepat atau cocok sangat berpengaruh dengan hasil akurasi dalam Model penilaian esai  otomatis  menggunakan  Algoritma Rabin-Karp , Dice  Coefficient  Similarity dan Synonym Recognition studi kasus pada Universitas Budi Luhur.
b. Pengujian  1  mendapatkan  akurasi  sangat  rendah  0%,  dikarenakan  sistem  ini  masih memiliki kelemahan dimana belum bisa menilai jawaban yang mengurutkan suatu kalimat secara benar dan sistem ini melakukan tahapan preprocessing salah satunya menghapus tanda baca. Jadi tidak cocok atau tepat dengan soal dalam pengujian pertama ini. Pengujian 2 mendapatkan akurasi 37,14%, dikarenakan sistem ini masih memiliki kelemahan dimana belum bisa menilai jawaban yang mengurutkan suatu kalimat secara benar dan sistem ini tidak cocok untuk jenis soalnya terkait sudut pandang. Jadi tidak cocok atau tepat dengan soal dalam pengujian kedua ini. Pengujian 3 mendapatkan akurasi 93,75%, dikarenakan jawaban mahasiswa berpatokan dengan salah satu kalimat yang ada di soal dan sekaligus di  kunci  jawaban  sama  persis.  Sehingga  dalam  pengujian  ketiga  ini  mendapatkan  hasil akurasi yang sangat tinggi.
c. Sistem  ini  akan  memberikan  hasil  akurasi  yang  tinggi  jika  data  yang  diuji  cocok, terstruktur, soal dan jawaban ilmu pasti yang bukan menjadi sudut pandang. Karena sistem ini hanya menilai berdasarkan kesamaan dari jawaban mahasiswa dengan kunci jawaban.

## 4. KESIMPULAN
Berdasarkan  hasil  evaluasi  dari  Model  penilaian  esai  otomatis  menggunakan  Algoritma Rabin-Karp , Dice Coefficient Similarity dan Synonym Recognition studi kasus pada Universitas Budi Luhur, maka dapat disimpulkan bahwa penelitian ini berhasil membuat prototype model penilaian  esai  otomatis  menggunakan  Algoritma Rabin-Karp , Dice  Coefficient  Similarity dan Synonym  Recognition. Sistem  ini  dapat  mengoreksi jawaban  esai  dari  dataset  soal  ujian  akhir semester,  dalam  penelitian  ini  menggunakan  mata  kuliah  Bahasa  Indonesia  mahasiswa Universitas  Budi  Luhur.  Sistem  ini  dapat  menghasilkan  persentase  akurasi  hasil  koreksi  nilai mahasiswa  yang  tinggi  serta  mendekati  dari  penilaian  manual  dosen  nilai  akurasinya  sebesar 93,75%. Sistem ini memberikan hasil akurasi yang tinggi jika data yang diuji cocok atau tepat, terstruktur, soal dan jawaban ilmu pasti yang bukan menjadi sudut pandang. Karena sistem ini hanya menilai berdasarkan kesamaan dari jawaban mahasiswa dengan kunci jawaban. Sistem ini membantu dosen Universitas Budi Luhur dalam penilaian hasil belajar mahasiswa.
Adapun saran yang dapat peneliti berikan kepada peneliti selanjutnya untuk pengembangan lebih lanjut sistem ini agar dapat berjalan lebih baik sebagaimana mestinya adalah diharapkan penelitian ke depannya dapat menggabungkan beberapa metode agar sistem dapat mengoreksi jawaban  esai  yang  tidak  terstruktur  ataupun  berdasarkan  urutan  kata  dan  menerapkan  sistem penilaian  esai  otomatis  menggunakan  Algoritma Rabin-Karp , Dice  Coefficient  Similarity dan Synonym Recognition ini dengan menggunakan data mata kuliah yang lainnya dan lebih bervariasi selain mata kuliah Bahasa Indonesia untuk mengetahui dan meningkatkan nilai akurasinya.

## DAFTAR PUSTAKA
[1] I.  Mufiid,  S.  Lestanti,  and  N.  Kholila,  “Aplikasi  Penilaian  Jawaban  Esai  Otomatis Menggunakan  Metode  Synonym  Recognition  Dan  Cosine  Similarity  Berbasis  Web,” J. Mnemon. , vol. 4, no. 2, pp. 31–37, 2021.
[2] V.  R.  Prasetyo,  M.  Widiasri,  and  M.  M.  Angkiriwang,  “Sistem  Berbasis  Web  Untuk Koreksi Soal Esai Dengan Association Rules,” Teknika , vol. 11, no. 1, pp. 62–68, 2022.
[3] H.  Tsaqif,  “Sistem  Koreksi  Jawaban  Uraian  Singkat  Otomatis  Menggunakan  Metode Winnowing Algorithm dan Synonym Recognition,” Univ. Islam Negeri Maulana Malik Ibrahim , 2021.
[4] A. Santoso and A. Solichin, “Analisis Kemiripan Dokumen Tesis Menggunakan Algoritma Rabin-Karp dan Dice Coefficient Similarity,” Techno.Com , vol. 22, no. 1, pp. 12–27, 2023.
[5] D. T. I. Hamir and Ekohariadi, “Penerapan Sistem Penilaian Otomatis pada Jawaban Tes Uraian  Menggunakan  Algoritma  Rabin  Karp  untuk  Mata  Pelajaran  Informatika  di  MA Kanjeng Sepuh,” J. IT-EDU , vol. 7, no. 1, pp. 19–27, 2022.
[6] M.  N.  Cholis,  E.  Yudaningtyas,  and  M.  Aswin,  “Pengaruh  Penggunaan  Synonym Recognition dan Spelling Correction pada Hasil Aplikasi Penilaian Esai dengan Metode Longest Common Subsequence dan Cosine Similarity,” InfoTekJar (Jurnal Nas. Inform. dan Teknol. Jaringan) , vol. 3, no. 2, pp. 138–142, 2019.
[7] A.  Filcha  and  M.  Hayaty,  “Implementasi  Algoritma  Rabin-Karp  untuk  Pendeteksi Plagiarisme pada Dokumen Tugas Mahasiswa,” JUITA  J. Inform. , vol. 7, no. 1, pp. 25-32, 2019.
[8] F. E. Kurniawati and W. M. Pradnya, “Implementasi Algoritma Winnowing Pada Sistem Penilaian Otomatis Jawaban Esai Pada Ujian Online Berbasis Web,” J. Tek. Komput. AMIK BSI , vol. 8, no. 2, pp. 169–175, 2020.
[9] E. L. Amalia, A. J. Jumadi, I. A. Mashudi, and D. W. Wibowo, “Analisis Metode Cosine Similarity  Pada  Aplikasi  Ujian  Online  Otomatis  (Studi  Kasus  JTI  POLINEMA),” J. Teknol. Inf. dan Ilmu Komput. , vol. 8, no. 2, p. 343, 2021.
[10]  N.  P.  Putra  and  S.  Sularno,  “Penerapan  Algoritma  Rabin-Karp  Dengan  Pendekatan Synonym Recognition Sebagai Antisipasi Plagiarisme Pada Penulisan Skripsi,” J. Teknol. Dan Sist. Inf. Bisnis , vol. 1, no. 2, pp. 48–58, 2019.