## Pemeriksa Jawaban Tulisan Tangan untuk Ujian Pilihan Ganda Menggunakan Hybrid Extreme Learning Convolutional Neural Network Machine
Desti Fitriati 1
1 Dosen Tetap, Prodi Teknik Informatika Universitas Pancasila Jl. Srengseng Sawah, Jagakarsa, Jakarta Selatan (Telp. (021) 7864730 Ext.101; e-mail: desti.fitriati@univpancasila.ac.id)
Abstract —In  Indonesia,  the  test  can  be  done  in  various ways  depending  on  the  type  of  implementation,  such    as Paper  Based  Test  (PBT),  Oral  Based  Test  (OBT),  and Computer  Based  Test  (CBT). The most  type used  in schools is  PBT  which  is  in  the  form  of  esay  and  multiple  choice answers.  But  it  is  different  from  the  type of  multiple  choice exam.  This  type  of  exam  is  usually  used  at  the  time  of  the student  graduation  exam,  better  known  as  the  National Examination  (UN).  In  its  implementation,  the  UN  applied PBT  with  the  multiple  choice  concept.  PBT  applied  to  UN uses  the  Object  Character  Recognition  (OCR)  method.  But over  time  there  has  been  an  evaluation  of  this  method.  At present  the  type  of  PBT  exam  is  being  abandoned  and switching to the type of CBT exam. But these two types have their  own  advantages  and  disadvantages.  Seeing  these opportunities,  this  research  proposes  a  new  solution  by combining  the  weaknesses  and  strengths  of  the  two  types. The  solution  provided  is  to  utilize  artificial  intelligence  as well  as  OCR  by  proposing  a  new  method  namely  Hybrid Extreme  Convolutional  Neural  Network  Machine.  Based  on the results of the experiment,  it  was found that the accuracy produced  from  the  proposed  method  was  better  than  using ELM only, even though it only reached 47.73%. In addition, the proposed  method  also  has  better computation time than CNN.
Keyword: Paper  Based  Test,  Handwritting    Recognition, Hybrid  Extreme  Convolutional  Neural  Network  Machine, Extreme  Learning  Machine,  Convolutional  Neural  Network Machine
Intisari —Di  Indonesia,  ujian  dapat  dilakukan  dengan berbagai cara tergantung dengan tipe pelaksanaannya yaitu berupa Paper Based Test (PBT), Oral Based Test (OBT), dan Computer  Based  Test (CBT).  Tipe  yang  paling  sering digunakan  di  sekolah-sekolah  adalah  PBT  yaitu  berupa jawaban esay dan pilihan ganda. Namun beda halnya dengan tipe  ujian pilihan  ganda.  Tipe  ujian ini  biasanya  digunakan pada  saat  ujian  kelulusan  siswa  atau  yang  lebih  dikenal sebagai  Ujian  Nasional  (UN).  Dalam  pelaksanaannya,  UN menerapkan  PBT  dengan  konsep  soal  pilihan  ganda.  PBT yang  diterapkan  pada  UN  menggunakan  metode Object Character  Recognition (OCR).  Namun  seiring  berjalannya waktu  terjadi  evaluasi  dari  metode  ini.  Saat  ini  tipe  ujian PBT  mulai  ditinggalkan  dan  beralih    ke  tipe  ujian  CBT. Namun  kedua  tipe  ini  memiliki  kekurangan  dan  kelebihan masing-masing.  M  elihat  peluang  tersebut,  maka  penelitian ini  mengusulkan  solusi  baru  dengan  menggabungkan kelemahan  dan  kelebihan  dari  kedua  tipe  tersebut.  Solusi yang  diberikan  adalah  dengan  memanfaatkan  kecerdasan buatan  seperti  halnya  OCR  dengan  mengusulkan  metode baru  yaitu Hybrid  Extreme  Convolutional  Neural  Network Machine .
Berdasarkan  hasil  percobaan,  didapatkan  bahwa  akurasi yang  dihasilkan  dari  metode  yang  diusulkan  lebih  baik dibandingkan dengan menggunakan ELM saja, meski hanya mencapai  47,73%.  Selain  itu  metode  usulan  juga  memiliki komputasi waktu yang lebih baik dibandingkan dengan CNN saja.
Kata  Kunci : Paper  Based  Test,  pengenalan  tulisan  tangan, Hybrid  Extreme  Convolutional  Neural  Network  Machine, Extreme  Learning  Machine,  Convolutional  Neural  Network Machine

## I. PENDAHULUAN
Sistem  ujian  di  Indonesia  me  miliki  keraga  man, dimana  jawaban  ujian  bisa  berbentuk  essay  ataupun pilihan  ganda.  Pemeriksaan  jawaban  ujian  juga  menjadi hal yang cukup menarik pada beberapa tahun ke bela kang. Misalnya pada Ujian A khir Nasional (UAN) dan try out, siswa-siswa  dihadapkan  oleh  beberapa  peraturan  atau ketentuan  dalam  menjawab  soal  ujian  pada  Lembar Jawaban  Komputer  (LJK).  Ketentuan-ketentuan  tersebut me liputi : ke rtas tidak boleh sobek, kotor, jawaban t idak boleh  melewati  batas  bundaran,  harus  menggunakan  alat tulis  khusus  dan  beberapa  hal  lainnya  [1].  Disisi  la  in, diperlukannya template khusus dan    berbeda-beda tergantung  tipe  ujian  yang  dilakukan.  Selain  itu  terdapat kekurangan  dari  tipe  ujian  ini  karena  d  iperlu  kan  biaya yang tidak    sedikit  untuk  mencetak    LJK, serta ketidake  fisienan  dari  sisi  wa  ktu  baik  bagi  peserta  ujian maupun  dari  segi  peme  riksaan  dan  pengumuman  hasil ujian    yang  me makan   wa ktu    cukup  lama. Sistem pengecekan  jawaban  ujian  ini  menggunakan  piranti khusus yang disebut dengan Optical Mark Reader (OM R). OMR  adalah  sebuah  alat  pemindai  khusus  untuk mendeteksi tanda hitam pada LJ K. Masalah yang dihadapi juga adalah biaya pengadaan OMR yang sangat maha l [2].
Tentunya ini akan memberatkan sekolah-seko lah jika ingin melakukan pengadaan tersebut.
Tipe  ujian  la  in  yang  sedang  naik  daun  sekarang adalah  Sistem  Ujian  Online  (SUO)    atau    ujian    yang terkomputerisasi.  Sistem  ini  sudah  banyak  diterapkan diberbagai  sekolah,  lembaga,  maupun  perguruan  tinggi, bahkan sistem penerimaan pegawai negeri sipil pun sudah menggunakan  cara  ini.  Cara  ini  dinilai  cu  kup  efekt  if untuk  menutupi  ke  kurangan  dari  u  jian  konvensional, dimana  hal-hal  yang  ditawarkan  adalah    kecepatan    dan ke mudahan dalam pe mberian skor [3]. Akan tetapi, untuk menerap  kan  metode  ujian  ini  dibutuhkan  biaya  e  kstra dimana tida k se mua sekolah  me miliki ke ma mpuan untuk menyiap kan ko mputer dala m ju mlah yang cukup banyak. Selain  itu,  diperlukan  waktu  dua   kali   lipat  untuk me masukan  data  soal  ujian  dan  jawaban  pilihan  ganda ke dalam komputer.
Berdasarkan  permasalahan  yang  dihadapi  oleh  kedua cara  ujian  di  atas,  maka  Peneliti  mengusulkan  sebuah teknik  baru  dimana  tekn  ik  in  i  akan  me  mangkas  waktu, biaya  pengadaan  LJK  dan  alat  pe  mindainya,  tenaga, serta  biaya-biaya  la innya.  Teknik  pe  meriksaan  jawaban ujian  yang  diusulkan  adalah  dengan  me  manfaatkan Artificial  Intelligence (Kecerdasan  Buatan)  sebagai metodenya namun tetap menggunakan teknologi informasi  sebagai  med  ianya.  Adapun  perangkat teknologi  yang  digunakan  adalah handphone (HP).
Perangkat  in  i  diusungkan  karena  pengguna smartphone di  Indonesia  kini  mencapai  sekitar  25%  dari  total penduduk atau sekitar 65 juta orang [4]. Sehingga tidak d ibutuhkan  alat  pe  mindai  khusus  untuk  me  meriksa jawaban  ujian.  Sela  in  itu  mengukur  ketepatan  jawaban ujian  ini,  Peneliti  mengusulkan  pendekatan  baru  yang menggabungkan  2  buah  algorit  ma  yang  cukup  handal dibidang  klasifikasi.  A  lgorit  ma  yang  dipaka  i  adalah Convolutional  Neural  Network  Aritek  tur  LeNet  5 yang ma  mpu  mengklasifikasi  tulisan  tangan  berupa  angka sebesar  98,04%  dan Extreme  Learning  Machine yang me miliki  wa ktu  ko mputasi  hanya  sebesar  0,00078  mili detik [5].

## II. T INJAUAN P USTAKA

## A. Klasifikasi Tes Berdasarkan Pelaksanaan
Tim  Puslitbang  menggolongkan  tes  menjadi  dua golongan  yaitu  tesprestasi  belajar,  dan  tes  hasil  belajar. Tes  prestasi   belajar   yang   hendak   diukur   adalah  ke ma mpuan  siswa  dala m  menguasai  pelaja ran  yang  telah diberikan  kepadanya,  sedangkan  tes  hasil  belajar  meliputi aspek pembentukan watak seorang siswa.  Penelit i  [6] me mbeda  kan  bentuk  tes  yang  didasarkan  pada:  1) pelaksanaan, 2) sistem penskoran, 3) waktu pe laksanaan,
4) tujuan pelaksanaan, dan 5) sasaran atau objek yang akan diukur.
Berdasarkan  pe  laksanaan,  bentuk  tes  berdasarkan pelaksanaannya dibedakan menjadi 3 bentuk, yaitu Paper Based Test (PBT), Oral Based Test (OBT), dan Computer Based Test (CBT).

## B. Handwritting Character Recognition
Pola angka yang ditulis dengan tangan me miliki bentuk yang  tidak  pasti  atau  tidak  konsisten  bila  dibandingkan dengan  pola  angka  yang  dicetak  dengan  mesin.  Bahkan untuk satu orang yang sama a kan menghasilkan pola yang berbeda-beda untuk angka yang sama [7]. Keunikan in ilah yang  me  mbuat  pola  angka  tulisan  tangan  lebih  sulit dikenali dibandingkan dengan pola angka yang dihasilkan oleh mesin.

## C. Convolutional Neural Network
Convolutional  Neural  Network (CNN)  merupakan perbaikan  dari  Jaringan  Saraf  Umpan  Maju  Be  rlap  is Banyak dala m menangani masukan dua dimensi [8]. CNN terinspirasi  dari  sistem  biologis  visual  manusia  yang menggabungkan ekstraksi fitur dan tahap pengklasifikasian  [9].  Jaringan  ini  merupakan  hasil pemodelan  struktur  retina  manusia.  Jaringan  ini  secara khusus  dirancang  untuk  mengenali  bentuk  dua  dimensi dengan  tingkat  invarian  yang  tinggi  me  liputi  raga  m bentuk, perubahan ukuran dan distorsi [10].
Arsitektur CNN me miliki ke ma mpuan imp lisit untuk mengekstraksi fitur secara otomatis. Da la m hal ini lapisan masukan adalah ga mbar mentah, lapisan keluaran mewakili  ke  las  pemenang  sebagai  penggolong , dan lapisan  lainnya  bertanggung  jawab  untuk  fitur  ekstraksi
atau  pemetaan  serta  tugas  sub-samplinAgar  dapat  tahan terhadap  distorsi,  perubahan  ukuran,  dan  pergeseran, CNN  menggunakan  tiga  ide  arsitektur  yaitu  b  idang reseptif  loka  l  ( receptive  field ),  bobot  bersama  ( sharing weight ), sub-sampling spasial atau temporal subsampling [11].
D. Extreme Learning Machine
Metode  ini  me  rupakan  perbaikan  dari single  layer perceptron dimana  konsep  yang    diambil    adalah pembelajaran  tanpa  iterasi.  Metode  ini  dibentuk  untuk menye  mpurnakan  kecepatan  yang  sangat  lama    oleh back  propagasi  neural  network .  Perhitungan  matemat  is dari algoritma ini dapat merujuk ke peneliti [7].

## III. M ETODOLOGI P ENELITIAN

## A. Tek nik Pengumpulan Data
Data  penelit  ian  dia  mbil  dengan  cara  menyebarkan form  isian  data  ke  sekolah-sekolah  yang  menjadi  subyek penelitian.  Subyek  penelitian  yang  dimaksud  adalah dimulai dari tingkat sekolah dasar, sekolah menengah atas, hingga  ke  seko  lah  menengah  atas  dimana  ju  mlah responden  yang  ditargetkan  berkisar  antara  50  –  100 responden per sekolah atau subyek penelitian.
1) Dataset
Data  yang  digunakan  pada  penelitian  ini  adalah  data primer  dan  data  sekunder.  Data  primer  yang  dimaksud adalah data yang  diambil  dan diolah sendiri oleh  peneliti hingga  siap  digunakan.  Sedangkan  data  sekunder  adalah data yang telah tersedia secara publik yaitu menggunakan database  MNIST. Data  primer digunakan sebagai dataset pelatihan dan pengujian perangkat lunak. Sedangkan data sekunder  digunakan  sebagai  data  pendukung  ketika membangun prototipe awal.
Data  yang  dimaksud  pada  penelitian  in  i  adalah tulisan  tangan  siswa  sekolah  tingkat  a khir  yang  sering mela  kukan  ujian try  out sebelum  me  masuki  Ujian Nasional.  Data  tulisan  tangan  tersebut  berupa  tulisan angka  dari  0  –  100,  huruf  kapital  A-Z  ,  serta  huruf konsonan a-z.
2) Lokasi Penelitian
Data dia mb il dari sekolah-sekolah yang berada pada lingkungan sekitar Universitas Pancasila yaitu :
a. Sekolah Dasar Kartika VIII-5, Yonzikon  13
b. Sekolah Menengah Pertama Negeri 276
c. Sekolah Menengah Atas Kartika VIII-I, Yonzikon 13
3) Objek Penelitian
Objek  penelitian  adalah  bahan  atau  data  mentah  yang akan  diolah  pada  perangkat  lunak  yang  dibangun.  Objek penelitian  yang  dimaksud  adalah  tulisan  tangan  siswa/I sekolah  yang  ke  mudian  d  ifoto  men  jadi  sebuah  dataset. Dataset  yang  dikumpulkan  dibagi  men  jadi  3  jenis  ya  itu dataset  huruf,  dataset  angka,  dan  dataset  jawaban  ujian pilihan  ganda.  Gambar  1  dan  Gambar  2  berikut menunjukkan dataset yang dimaksud.
Gambar 1. Contoh Citra Jawaban Pilihan Ganda
Gambar 2. Contoh Penulisan Form Angka

## B. Rancangan Penelitian
Secara  umum  sistem  klasifikasi  citra  terdiri  dari beberapa  proses  seperti  pra-proses,  deteksi,  segmentasi, ekstraksi  fitur,  dan  klasifikasi  citra  [12].  Namun  pada penelitian ini hanya menggunakan beberapa alur saja yang dianggap  sudah  mencukupi  untuk  keseluruhan  proses. Adapun  alur  metode  usulan  pada  penelitian  ini  seperti Gambar 3 berikut :

## Gambar 3. Rancangan Usulan Penelitian

## 1) Data  Penelitian
Data  penelitian  in  i  me  rupakan  data    prime  r    yang dia  mbil  di  beberapa  sekolah  di  area  sekitar  Universitas Pancasila, Ja karta Se latan. Data   yang    diamb il  berupa le mbar ja waban ujian yang ditulis tangan dan kemudian dipindai menggunakan ka mera HP men jadi sebuah  citra yang akan  diproses pada tahap selanjutnya.
2) Pra-pengolahan Citra Digital
Teknik bilevel  sauvola merupakan  salah  satu  teknik yang  mengubah  gambar  skala  keabuan  men jadi  ga  mbar biner. Dalam penerapannya, teknik ini mampu menghasilkan  pengenalan    sebesar    95,8%    . Sauvola merupakan algorit ma a mbang batas yang me manfaatkan ambang  batas  lokal adaftif.  Asumsikan  bahwa citra abu  - abu  dimana  g(x,y)  €  [0,255]  menjadi  intensitas  piksel  di lokasi (x,y).

## 3) Ekstraksi Fitur
Operasi  ambang  batas  ( Thresholding )  adalah  proses perubahan  citra  keabuan  menjadi  citra  biner  yang  terdiri dari  2  warna  yaitu  hita m  dan  putih  dimana   objek dila mbangkan  dengan  piksel hita m (0)  dan  latar bela kang dila mbangkan dengan piksel putih (255). Fitur yang digunakan sebagai  masukan  adalah  seluruh  piksel  c  itra  hasil bilevel yang  berjumlah  1024  (berasal  dari  32x32  piksel).  Untuk skenario  ta  mbahan  digunakan  pula  fitur  area  sebagai penjumlahan piksel bernilai 0 (objek citra).
4) Evaluasi  Hasil
Hasil  klasifikasi  dihitung  menggunakan  formula seperti berikut :
Accuracy = 1 - Miss classification rate Total Data (1)
Miss classification rate adalah ju mlah total data atau citra yang  gagal  dikenali.  Dalam  hal  ini  gagal  adalah  hasil pengenalan tidak sesuai dengan target yang diharapkan.

## C. Perancangan Sistem
Gambar 4 berikut adalah rancangan use case dari penelitian yang dibangun.
Sedangkan Ga mbar 5 be rikut adalah ta mpilan antar mukanya.
Gambar 5. Use Case Diagram
IV. H ASIL D AN D ISKUSI

## A. Hasil Percobaan
Ga mbar dan tabel harus terletak di tengah ( centered ).
Grafik  dan  tabel  yang  besar  dapat  direntangkan  pada kedua  ko  lo  m.  Set  iap  tabel  atau  ga  mbar  yang  menca kup lebar lebih dari 1 kolo m ha rus diposisikan di bagian atas atau di bagian bawah halaman.
Metode  yang  diusulkan  pada  penelit  ian  ini  adalah Hybrid  Extreme Convolutional Neural Network  Machine dimana metode usulan me rupakan gabungan dari metode Convolutional  Neural  Network dan Extreme  Learning Machine.  Gambar  6 berikut  menunjukan  arsitektur  dari ELM.

## Gambar 6. Arsitektur ELM
Gambar  6  ada  lah  arsitektur  ELM  dimana  secara visual terlihat bahwa node input mengisyaratkan 1 c itra masukan. Artinya jika terdapat N- node input maka sama dengan  terdapat  N-cit ra yang  langsung  diproses.  Inilah yang  me  mbuat  ELM  dikatakan    sebagai    metode
pembelajaran  yang  cepat  atau  terkesan  ekstrem.  Namun jika  dilihat  dari  sisi  akurasi,  ma  ka  hasil  yang  diperoleh oleh ELM tidak sebagus CNN LeNet-5.
Untuk  itu  gabungan  atau hybrid yang  dima  ksud adalah  dengan  menggunakan  CNN  sebagai  tahap  awal pemrosesan    data  citra,      baru      kemudian      proses pembela jaran menggunakan ELM. CNN digunakan untuk memfilter  c  itra  sehingga  objek  yang  terdapat  pada  citra dapat  terlihat  dengan  jelas  dikarenakan  adanya  peta  fitur ke-6  atau feature  map  6 (F6).  Proses  konvolusi  yang dihasilkan  dari  F6  menonjolkan  c  iri  khusus  dari  obje  k dala  m  c  itra.  Keuntungan  inilah  yang  digunakan  pada penelitian  ini.  Setelah  semua  ctrra  dalam  dataset  diolah menggunakan  konvolusi,  proses  selanjutnya  adalah melakukan pembelajaran menggunakan ELM.
Percobaan  dilaku  kan  untuk  me  mbandingkan  3 metode  yaitu  CNN,  ELM,  dan  HECNN Machine . Percobaan  dila  kukan  dengan  menggunakan  data  primer sebanyak  700  data.  Ju  mlah  data  yang  diuji  adalah kelipatan seratus hingga mencapai ma ksimu m data primer yaitu 700 data. Hal ini perlu d ila kukan untuk mengetahui tingkat  akurasi  yang  diperoleh  dari  ju  mlah  data  yang berbeda namun dengan parameter yang sama.
Pengujian  dilaku  kan  dengan  menggunakan  parameter atau    pengetahuan  yang    didapatkan    dari    proses pembela  jaran.  Pengetahuan  ini  didapatkan  berdasarkan nila  i  kesalahan  pada  saat  pembelajaran  atau error  train (MSE) . Pada  praktiknya,  pengetahuan  yang  memiliki tingkat  aku  rasi  yang  paling  baik  yang  akan  d  igunakan sebagai  para  meter  pengujian.  Da la m  ha  l  ini  pengujian dila kukan dengan menggunakan pengetahuan yang paling baik  ya  itu  pengetahuan  yang  diperoleh  d  ari error  train sebesar  1,2%.  Hasil  pengujian  berdasarkan  ju  mlah  data primer dapat dilihat pada Tabel 1 berikut.
T abel 1. Hasil Pengujian Data Primer Berdasarkan Jumlah Data Banyak Data Primer Akurasi (%) CNN LeNet 5 ELM HECNN Machine 100 81,0 26,34 53,67 200 76,5 23,12 49,81 300 77,67 22 49,83 400 78,75 12,57 45,66 500 78,8 12,28 45,68 600 78,4 11,46 44,93 700 78,14 10,86 44,5
Berdasarkan  hasil  pengujian  dari  700  gambar  data primer  maka  di  dapatkan  hasil  bahwa  tingkat  a  kurasi pengenalan  yang  diperoleh  adalah  sebesar  47,73%  untuk HECNN  Machine.  Secara  visual  perbandingan  hasil akurasi dapat dilihat pada Gambar 7 berikut.
Gambar 7. Grafik Akurasi Hasil Pengujian Berdasarkan Jumlah Data
Tabel  2  berikut  menunjukan  akurasi  keseluruhan  dari 3 metode yang dibandingkan akurasinya.
T abel 2. Perbandingan Akurasi Ketiga Metode No Metode Akurasi (%) 1 Convolutional Neural Network 78,47 2 Extreme Learning Machine 16,95 3 Hybrid Extreme Convolutional Neural Network 47,73

## B. Disk usi
Hasil  percobaan  membuktikan  bahwa  CNN konsisten memberikan  hasil  yang  bagus  untuk  variasi  dan  jumlah data  yang  disediakan.  Sedangkan  ELM  yang  dinyatakan bahwa  memiliki  komputasi  wa  ktu  belajar  yang  singkat memang  benar  adanya.  Tetapi  tidak  bisa  membuktikan peformansi  yang  baik  dari  segi  akurasi.  Ha  l  ini  dapat terjadi  karena  metode  ELM  tidak  me  miliki  fungsi  filter khusus  yang  dapat  menangani  berbagai  distorsi  atau gangguan  pada  citra  sehingga  objek  lebih  banyak  gagal dikenali. Sedangkan pada HECNN-Machine, a kurasi yang dihasilkan  lebih  baik  dari  ELM.  Karena  metode  ini menerapkan  konvolusi  fitur  ke-6  ( feature  map  6 )  yang mampu  mengeluarkan atau menonjolkan objek pada c itra. Sehingga ketika dilanjutkan ke proses pembelajaran
maupun pengujian, data masukan sudah mendekati obje k sesungguhnya. Na mun ka rena ELM tida k me miliki iterasi, ma ka proses pembelaja ran tergolong singkat. A kibatnya ada beberapa bagian yang belum banyak dipe laja ri oleh sistem
Disisi la in,  jika d ilihat pada Tabel 1, d iketahui bahwa semakin  banyak  data  yang  dipelajari,  ma  ka  sema  kin menurun a kurasi yang dihasilkan oleh ketiga metode in i. Tingkat  a  kurasi  yang  dihasilkan  dari  pengujian data  set yang berbeda me mbuktikan bahwa kara kter tulisan tangan me miliki tingkat variasi yang  tinggi dan tidak konsisten. Artinya budaya, lingkungan tempat tinggal, dan kebiasaan mempengaruhi karakter tulisan tangan seseorang.

## V. K ESIMPULAN
Akurasi  yang  dihasilkan  dari  metode  yang  diusulkan lebih  baik dibandingkan  dengan menggunakan  ELM saja, meski hanya mencapai 47,73%. Sela in itu metode usulan juga  me  miliki  ko  mputasi  waktu  yang  lebih  baik dibandingkan dengan CNN saja. Kekurangan dari metode usulan  adalah  kinerja  pe  mbela  jran  yang  masih  rendah. Artinya  perlu  dila  kukan  modifikasi  sedemikian  rupa hingga  mencapai  proses  pembelajaran  cepat  yang sempurna.  Meskipun  demikian,  kelebihannya  adalah akurasi  yang  dihasilkan  lebih  baik  dibanding  hanya menggunakan ELM saja dan komputasi yang lebih cepat.

## D AFTAR P USTAKA
[1] Wibowo,  Jati  Sasongko.  "Rancang  Bangun  Program  Koreksi Lembar  Jawab  Komputer  untuk  Tryout  Ujian  Nasional  T  ingkat SMA". Jurnal Teknologi Informasi DINAMIK Volume 18, No.2, Juli 2013 : 142-152. ISSN : 0854-9524.
[2] Rahman,  Arif.  "Sistem  Pemroses  Lembar  Jawab  Komputer Berbasis XML". Jurnal Sistem Informasi Indonesia Vol. 1 No. 1. Februari 2011. ISSN : 2087-8737.
[3] Saraswati, Ni.S.W, dan Desak Made  Dwi Utami  Putra.  "  Sistem Ujian Online Berbasis Website". Jurnal Ilmu Komputer dan Sains T erapan.  Volume 6, Nomor 1, Oktober 2015, Hal. 21-29.
[4] Siaran-Pers.  "Smartphone  Rakyat  Indonesia".  Ristekdikti  :
Kementerian Ristek dan Pendidikan T inggi. 12 Januari 2017. 20 April 2018. <https://ristekdikti.go.id/smartphone-rakyat - indonesia-2/>.
[5] Fitriati, Desti. "Perbandingan Kinerja CNN Lenet 5 Dan Extreme Learning Machine Pada Pengenalan Citra T ulisan Tangan Angka". Jurnal T eknologi T erpadu Vol. 2, No. 1, Juli, 2016.
[6] Widyoko,  Eko  Putro.  2014.  Penilaian  Hasil  Pembelajaran  di
Sekolah. Yogyakarta: Pustaka Pelajar.
[7] Fitriati,  Desti.  Perbandingan  Kinerja  CNN  Lenet  5  Dan  Extreme
Learning Machine Pada Pengenalan Citra T ulisan T angan Angka. Jurnal T eknologi T erpadu.Vol. 2, No. 1, Juli, 2016.
[8] Bouchain,  David.“  Character  Recognition  Using  Convolutional Neural  Networks”,  Statistical  Learning  T  heory  Conference, Institute  for  Neural  Information  Processing,  University  of Ulm, Germany. (Winter 2006/2007).
[9] Ahranjany,S.S,  F.  Razzazi,  &  M.H.  Ghassemian.“  A  Very  High Accurancy  Handwritten  Character  Recognition  System  for Farsi/Arabic  Digits  Using  Convolutional  Neural  Networks”, International Journal of Technology Information IEEE, 2010.
[10] Mrazova,  I,  &  M.Kukacka.“  Hybrid  Convolutional  Neural Networks”,  The  IEEE  International  Conference  on  Industrial
Informatics (INDIN). Doc, Daejeon, Korea Juli 13-16-2008.
[11] Zhao, Z,  S.Yang ,  &  X.Ma.“Chinese License  Plate  Recognition Using  a  Convolutional  Neural  Network”,  IEEE  Pacific-Asia Workshop  on  Computational  Intelligence  and  Industrial
Application (PACIIA), 2008.
[12] Kamavisdar,  P.,  Saluja,  S.,  &  Agrawal,  S.“ A  Survey  on  Image Classification Approaches and Techniques ”, International Journal of  Advanced  Research  in  Computer  and  Communication Engineering, 2 (1), 2013.