JTERA (Jurnal Teknologi Rekayasa), Vol. 6, No. 1, Juni 2021, Hal. 1-6 Terakreditasi “ Peringkat 3” oleh Kemenristek/BRIN, Nomor SK: 85/M/KPT/2020 DOI: 10.31544/jtera.v6.i1.2021.1-6

## Ekstraksi Informasi/Data e-KTP Menggunakan Optical Character Recognition Convolutional Neural Network
Gunawan Sugiarta # , Dianthika Puteri Andini, Syarief Hidayatullah Jurusan Teknik Elektro, Politeknik Negeri Bandung Jl. Gegerkalong  Hilir Ds. Ciwaruga, Parongpong Bandung Barat 40559, Jawa Barat, Indonesia
# ybgunawan@polban.ac.id

## Abstrak
Informasi atau data yang terkandung pada Kartu Tanda Penduduk elektronik (e-KTP) disimpan dalam bentuk chip dimana di dalamnya berupa data biometrik yang lengkap dari pemiliknya. Namun ada juga informasi yang ditampilkan di tampilan depan kartu dalam bentuk citra yang berisi informasi seperti Nomor Induk Kependudukan (NIK), alamat, serta  identitas  pemilik.  Informasi  yang  terkandung  pada  e-KTP  ini  sekarang  sudah  mulai  banyak  digunakan  dalam berbagai  aplikasi  sebagai  bahan  verifikasi  data  identitas  seseorang  dalam  bertransaksi.  Pendekatan  yang  dilakukan dalam  mendapatkan  informasi  yang  terbuka  dari  e-KTP  adalah  dengan  mengektraksi  citra  menjadi  teks  yang  dapat digunakan  berbagai  aplikasi  tersebut.  Pada  penelitian  ini  citra  e-KTP  akan  diekstraksi  informasinya  menggunakan pengolahan  citra  digital  dengan  metoda Optical Character  Recognition  Convolutional  Neural  Network (OCR  CNN). Layer yang digunakan untuk CNN dalam training dan pengenalan ini memiliki empat layer, yaitu 64 layer pertama, 64 layer kedua, 128 layer ketiga, dan 128 convolutional  filter di layer keempat dengan  ukuran  kernel 3 x 3 dan strides nya  adalah  1  menggunakan activation relu.  Kemudian  ke  tahap  selanjutnya    yaitu maxpooling yang digunakan    di layer pertama dan layer ketiga dengan ukuran kernel sebesar 2 x 2. Hasil percobaan yang dilakukan untuk 35 e-KTP uji adalah kecepatan rata-rata pengenalan dengan tingkat kesalahan  sekitar 5% dalam waktu 30 detik.
Kata kunci: OCR, CNN, e-KTP

## Abstract
The  information  or  data  contained  in  the  electronic  Identity  Card  (e-KTP)  is  stored  in  the  form  of  a  chip  which contains complete biometric data of the owner. However, there is also information displayed on the front of the card in the  form  of  an  image  that  contains  information  such  as  a  National  Identity  Number  (NIK),  address,  and  owner's identity.  The  information  contained  in  e-KTP  is  now  widely  used  in  various  applications  as  material  for  verifying  a person's identity data in transactions. The approach taken in obtaining open information from e-KTP is by extracting the image into text  that can be used by various  applications. In this study, the e-KTP image  will  be extracted using digital image processing using the Optical Character Recognition Convolutional Neural Network (OCR CNN) method. The layer used for CNN in this training and introduction has four layers, namely the first 64 layers, 64 second layers, 128 third layers, and 128 convolutional filters in the fourth layer with a kernel size of 3 x 3 and the strides are 1 using the  activation  relu.  Then  to  the  next  stage,  namely  the  maxpooling  used  in  the first  layer  and  the  third  layer  with  a kernel size of 2 x 2. The results of the experiments carried out for the 35 e-KTP test were the average recognition speed with an error rate of about 5% within 30 seconds.
Keywords: OCR, CNN, e-KTP

## I. P ENDAHULUAN
Ekstraksi  informasi/data  e-KTP  merupakan  satu kebutuhan  yang  cukup  penting  untuk  berbagai aplikasi,  seperti  misalnya  data  kependudukan,  data verifikasi  alat  pembayaran,  keamanan,  dan  lain
sebagainya. Jumlah penduduk Indonesia tahun 2017 berdasarkan  data  yang  dipublikasikan  oleh  Badan Pusat  Statistik  (BPS)  pada  tahun  2018  yang berjudul  Statistik  Indonesia  2018  adalah  sebanyak 261.890.900  jiwa  [1].  Bila  data  yang  sudah memiliki  e-KTP  50%  saja,  maka  ada  kira-kira  130
juta dan misalnya yang menggunakan data/informasi e-KTP sebagai verifikasi untuk suatu alat  pembayaran  atau  keamanan  lainnya  10%  saja yaitu  13  juta,  maka  bisa  dapat  dibayangkan kebutuhan  sistem  yang  dapat  mengekstraksi informasi  e-KTP  tersebut  dengan  cepat.  Kini bayangkan  bahwa  dalam  satu  hari  ada  ratusan  ribu pengguna  aplikasi  yang  ingin  melakukan  verifikasi dan mengunggah identitasnya. Jika dibalik layar ada seseorang  atau  beberapa  orang  yang  harus melakukan  verifikasi  dan  mencocokan  data  yang terdaftar dengan data identitas tersebut.
Optical  Character  Recognition (OCR)  sudah merupakan  bagian  penting  dalam  aplikasi  dalam dunia  komputer.  Pengenalan  karakter  adalah bagaimana  suatu  mesin  belajar  memantau lingkungan  sekitar  dengan  membedakan  karakter datar  latarnya  dan  menetapkan  karakter  apa  yang didapat  [2].  Pengenalan  karakter  pada  citra merupakan  bagian  penting  dari  pengenalan  pola yang  mulai  banyak  digunakan  dalam  berbagai aplikasi transaksi, keamanan, transportasi, keuangan, pendidikan, dan lainnya. OCR merupakan  proses  klasifikasi  pola  optikal  yang terdapat  dalam  citra  digital  terhadap  karakter  yang bersesuaian  [2],  [3].  OCR  bisa  dikatakan  juga sebagai  teknik  menerjemahkan  tulisan  tangan, tulisan  yang  diketik,  atau  karakter  teks  tercetak menjadi  teks  dari encoding mesin  yang  juga merupakan proses membaca karakter tulisan tangan dan  mengenalinya  [3].  Pengenalan  karakter didapatkan melalui beberapa langkah dari  ekstraksi dan klasifikasi ciri dari suatu citra [2]-[5].
Penelitian  terkait  pemanfaatan  metoda  OCR diantaranya  untuk  mempercepat  proses  transaksi penyimpanan  otomatis  di  suatu  bank  [2], pengenalan plat nomor kendaraan [4], dan berbagai aplikasi  lain.  Algoritma  yang  dapat  digunakan untuk  proses  deteksi  salah  satunya  adalah Convolutional  Neural  Network (CNN).  CNN  ini sudah  terbukti  dapat  menyelesaikan  permasalahan komputer visi seperti deteksi objek, klasifikasi, dan pengenalan  yang  dapat  mengekstrak  ciri  dari  citra dua  dimensi  [6]. Classifier CNN  dapat  secara efektif mengenali  karakter  yang  terdapat pada citra yang berisi jaringan konvolusi untuk mengekstraksi ciri  dan  jaringan  koneksi  dan  jaringan  maks  untuk klasifikasi nya, sehingga CNN sangat efisien dalam mengekstraksi ciri [7].
Pada penelitian ini, difokuskan pada perancangan  proses  ektraksi  informasi/data  e-KTP untuk  mengenali  teks  pada  citra  yang  ada  pada kartu.  Sistem  dibuat  dalam  bentuk  aplikasi  dengan target  tingkat  keberhasilan  yang  tinggi  dalam pengenalan  objek.  Metode  OCR  CNN  digunakan untuk  mendapatkan  kecepatan  dan  mengurangi
kesalahan  dalam  proses  ekstraksi  informasi/data  e- KTP.

## II. M ETODE P ENELITIAN

## A. OCR CNN
OCR  terdiri  dari  delapan  proses  yaitu optical scanning , location  segmentation , pre - processing , segmentation , representation , feature extraction , training dan recognition ,  dan post - processing [3]. Dalam  penelitian  ini,  pada  proses  pelatihan  dan pengenalan  digunakan  CNN  yang  dimanfaatkan untuk proses training terhadap karakter pada citra e- KTP, yang terdiri dari convolutional layer , pooling layer , dan fully connected layer [9]-[10]. Gambar 1 menunjukkan  arsitektur  CNN  yang  digunakan dalam training yang memiliki 4 layer, yaitu 64 layer pertama, 64 layer kedua,  128 layer  ketiga, dan 128 convolutional  filter di  layer  keempat  dengan ukuran  kernel  3x3  dan strides 1  menggunakan activation relu.  Kemudian  ke  tahap  selanjutnya yaitu maxpooling yang digunakan    di    layer pertama  dan  layer  ketiga,  dengan  ukuran  kernel sebesar  2x2.  Selanjutnya  tahap flatten berfungsi mengubah  hasil  dari maxpooling hanya  menjadi satu  vektor  tunggal  saja.  Hasil  dari flatten dihubungkan    dengan output  layer .  Jumlah output layer sebanyak  36  sesuai  dengan  jumlah  folder dataset yang  digunakan,  yaitu  folder  0-9  dan  A-Z. Agar  CNN yang  dibuat  dapat  di train ,  maka  harus dikompilasi dengan memasukkan beberapa parameter berikut:
“loss = sparse_categorical_crossentropy” “optimizer = adam” “metrics=accuracy”
Setelah  itu, memasukkan  parameter  kembali yang bernama hyperparameter ,  yaitu  jumlah batch_size , jumlah epochs , validation_split , dan verbose . Setelah  melewati  semua  proses,  maka  dihasilkan sebuah model dan diberi dengan nama “ ANPR3.model ” . Model tersebut kemudian digunakan untuk memprediksi karakter pada citra e- KTP.

## B. Diagram Blok Sistem
Gambar  2  menunjukkan  diagram  blok  dari sistem  yang  dirancang.  Sistem  yang  dibuat  terdiri dari input berupa  citra  e-KTP.  Setelah  itu  aplikasi yang  telah  dibuat  akan  mengekstraksi  informasi yang  ada  di  e-KTP,  seperti  nama,  jenis  kelamin, alamat,  dan  lain-lain.  Setelah  berhasil  diekstraksi maka akan dikonversi ke dalam file Microsoft Excel (.xlsx).  Setelah  berhasil  dikonversi  maka  akan disimpan ke dalam database dan disimpan di dalam hosting yang telah dibuat.

## III. H ASIL DAN P EMBAHASAN

## A. Tampilan Awal Aplikasi
Gambar  3  adalah  tampilan graphics  user interface (GUI) yang telah dibuat, di mana memiliki dua input, yaitu input dari  citra  e-KTP  dan input yang berasal dari file .txt. Terdapat beberapa kolom yang otomatis terisi sendiri jika sudah memasukkan input. Dalam  penelitian  kali  ini  akan  digunakan input dari  citra  e-KTP  dengan  kolom  yang  terisi
adalah NIK, Nama, Agama, Jenis Kelamin, Tempat Lahir, Tanggal Lahir, Status Kawin, dan Pekerjaan.
B. Hasil Ekstraksi e-KTP
Bagian  ini  akan  menggunakan input yang berasal  dari  citra  e-KTP  yang  ditunjukkan  pada Gambar  4.  Adapun  hasil  ekstraksinya  dapat  dilihat pada Gambar 5 dan Gambar 6.
Dari  Gambar  5,  masih  terdapat  beberapa kesalahan  ekstraksi  informasi  seperti  informasi alamat  yang  kurang  lengkap  dan  status  pekerjaan yang  seharus  nya  “Pelajar/Mahasiswa”, tetapi  hasil yang  ditampilkan  adalah “ Pelajari  Mahasiswa ” . Pada  hasil  yang  ditampilkan  pada  Gambar  6, ekstraksi  informasi  pada  e-KTP  tidak  ada  yang salah, karena citra e-KTP pada Gambar 4 sampel 2 yang  digunakan  cukup  jelas  dibandingkan  dengan citra  e-KTP  Gambar  4  sampel  1.  Jika  terdapat kesalahan  informasi  ekstraksi  yang  ditunjukkan pada Gambar 5, maka masih bisa diperbaiki dengan cara  mengubah  informasi  tersebut  secara  manual contohnya ada pada Gambar 7.
Gambar 2. Diagram blok sistem
Gambar 3. Tampilan awal aplikasi
Gambar 4. Citra e-KTP yang digunakan: sampel 1 (kiri), sampel 2 (kanan)
Gambar 5. Hasil ekstraksi e-KTP 1
Gambar 6. Hasil ekstraksi e-KTP 2
Gambar 7. Informasi ekstraksi e-KTP yang telah diubah

## Gambar 8. Waktu rata-rata pengenalan
Gambar 7 adalah hasil dari mengubah informasi kesalahan  dari  ekstraksi  yang  dilakukan.  Informasi yang  diubah  yaitu  memperbaiki  Pekerjaan “PelajariMahasiswa”  menjadi  “Pelajar/M a hasiwa” dan  melengkapi  informasi  Alamat  yang  awalnya hanya “Barat” menjadi  “Jl. Sindang Sari Barat No. 135” .
Ekstraksi  karakter  memanfaatkan  OCR  CNN dilakukan  terhadap  sejumlah  35  citra  e-KTP  untuk melakukan training dan  35  citra  e-KTP  untuk  uji yang  menghasilkan  kecepatan  rata-rata  pengenalan dengan tingkat kesalahan 5% yaitu dalam sekitar 30 detik seperti diperlihatkan dalam Gambar 8.

## IV. K ESIMPULAN
Penggunaan metode OCR dan empat layer CNN dapat  membantu  dalam  mengekstraksi  informasi atau  data  yang  ada  di  eKTP  dengan  rata-rata kecepatan  30  detik  dan error  rate 5%.  Informasi yang  diekstrak  dapat  digunakan  untuk  keperluan lebih  lanjut,  misalnya  untuk  mempermudah  meng- input data  kependudukan,  data  verifikasi  alat pembayaran  dan  keamanan.  Citra  e-KTP  yang digunakan  mempengaruhi  hasil  ekstraksi.  Apabila citra e-KTP yang digunakan cukup jelas, maka hasil ekstraksi  informasi  dapat  berjalan  dengan  baik. R encana  penelitian  selanjutnya  adalah  hasil informasi dapat dikembangkan ke sistem keamanan, sehingga  sistem  yang  dibangun  dapat  efisien  dari segi  waktu  yang  tidak  perlu  dilakukan  pengecekan secara  manual  oleh  petugas.  Pengaturan  sistem keamanan  dapat  ditambahkan  dengan  teknologi biometrik  menggunakan  data  individu  sebagai identifikasi  untuk  implementasi  lanjutan  ke  sistem aplikasi informasi lainnya yang dapat meningkatkan privasi penggunanya.

## U CAPAN T ERIMA K ASIH
Ucapan  terima  kasih  disampaikan  kepada  Pusat Penelitian  dan  Pengabdian  kepada  Masyarakat (P3M)  Politeknik  Negeri  Bandung  atas  bantuan dana yang telah diberikan melalui skema Penelitian Mandiri dengan
nomor kontrak B/249.66/PL1.R7/PG.00.03/2020.
0 5 10 15 20 25 30 35 40 0 5 10 15 20 25 30 35 40 45 1 3 5 7 9 11131517192123252729313335 Waktu Rata-rata (detik)
Waktu Pengenalan (detik) e-KTP

## R EFERENSI
[1] BPS  Indonesia, STATISTIK  INDONESIA  2018 Statistical Yearbook of Indonesia 2018.
[2] M. Vaidya, P. K. Rule, H. Kumar, A.  Jain, and  A. R.  Kamble,  “ Automating  Data  Entry  Forms  for Banks Using OCR and CN, ” International  Journal of  Scientific  Research  in  Computer  Science,
Engineering and Information Technology
(IJSRCSEIT) , vol. 5, no. 3, pp. 326-331, 2019.
[3] C. Arindam, M. Krupa, B. Pratixa, and G. Soumya,
“ Optical Character Recognition System, ” in Optical Character  Recognition  Systems  for  Diﬀerent Languages with Soft Computing , Springer: 2017.
[4] H.  Li,  R.  Yang,  and  X. Chen,  “License  plate detection  using  convolutional  neural  network ,” in 3rd  IEEE  International  Conference  on  Computer and Communications (ICCC), 2017, pp. 1736-1740.
[5] P.  A.  Pali  and  A.  Pimpalshende, “ A  Neural Network  Ap proach  to  Character  Recognition,” International  Journal  of  Science  and  Research (IJSR) , vol. 4, 2013.
[6] J.  Bai,  Z.  Chen,  B.  Feng,  and  B.  Xu, “ Image character  recognition  using  deep  convolutional
neural  network  l earned  from  different  languages,” in 2014  IEEE  International  Conference  on  Image Processing (ICIP) , 2014, pp. 2560-2564.
[7] D.  S.  Maitra,  U.  Bhattacharya,  and  S.  K.  Parui, “ CNN  based  common  approach  to  handwritten character recognition  of  multiple  scripts,” in 2015 13th  International  Conference  on  Document Analysis and Recognition (ICDAR) , 2015, pp. 1021- 1025.
[8] (2018)  C N.  Sofia,  “Convolutional  Neural Network,”  9  Juny  2018.  [Online].  Availab le: https://medium.com/@nadhifasofia/1- convolutional-neural-network-convolutional-neural- network-merupakan-salah-satu-metode-machine- 28189e17335b.
[9] S.   Khan, H.    Rahmani,  S.    A.    A.    Shah, and  M. Bennamoun, A  Guide  to  Convolutional  Neural networks  for  Computer  Vision ,  Morgan  & Claypool, 2018.
[10] J.  Shijie,  W.  Ping,  J.  Peiyi,  and  H.  Siping, “ Research  on  data  augmentation  for  image classification  based  on  convolution  neural networks ,” Chinese  Automation  Congress  (CAC) , 2017, pp. 4165-4170.