Jurnal ELECTRON , Vol. 4, No.2, November 2023, Hal. 51-61 e-ISSN 2622-6588 / p-ISSN : 2830-523X Received: 17/08/2023, Revised: 07/11/2023, Accepted: 14/11/2023
Analisis Efektifitas Inception-EfficientNet Architecture untuk Klasifikasi Identitas Kartu Tanda Mahasiswa dengan Pendekatan OCR dan Faster R-CNN
Richo 1*
Politeknik Perkapalan Negeri Surabaya 1 * richo@student.ppns.ac.id

## ABSTRACT
Student Identity Card (KTM) has an important role as an individual identification tool in the higher education environment. KTM is often the main tool in the identity verification process to access campus facilities, such as library services. However, currently the access system to the library still relies on the manual method which involves staff entering data manually into a computer which is prone to typing errors. This study aims to design an identity recognition system on KTM by combining the OCR method and involving the Inception-EfficientNet architecture on the Faster R-CNN model in classifying text and photo  characters  found  on  KTM.  The  Inception-EfficientNet  architecture  is  designed  with  5  convolution  layers  and  2 maxpooling  layers,  and  involves  RPN  (Region  Proposal  Network)  and  ROI  Pooling which  researchers  have  designed  as important elements in establishing the Faster R-CNN method. The data collected includes three classes, namely hafizh, richo, and vandy. The test results of the OCR method in recognizing identities based on text characters show a high level of accuracy, which is equal to 98.35%. On the other hand, the Faster R-CNN method is able to classify photos with very good performance which achieves a success accuracy of 91.83%. Based on testing the entire system that combines the OCR method and the Faster  R-CNN  method,  carried  out  on  10  different  data  samples,  and managed  to achieve  a  success  rate  of  90%.  These findings emphasize the fact that a collaborative approach between the OCR method and the Faster R-CNN model has the potential to increase accessibility and reliability in KTM identity recognition. This potential is expected to support efficient access to campus facilities, such as library services.
Keywords :Faster R-CNN, Inception-EfficientNet, KTM, OCR

## ABSTRAK
Kartu Tanda Mahasiswa (KTM) memiliki peran penting sebagai alat identifikasi individu dalam lingkungan perguruan tinggi. KTM sering kali menjadi sarana utama dalam proses verifikasi identitas mahasiswa untuk mengakses fasilitas kampus, seperti layanan  perpustakaan.  Namun,  saat  ini  sistem  akses  ke  perpustakaan masih  mengandalkan  metode  manual  yang  melibatkan petugas dalam memasukkan data secara manual ke dalam komputer yang rentan terhadap kesalahan pengetikan. Penelitian ini bertujuan  merancang  sebuah  sistem  pengenalan  identitas  pada  KTM  dengan  menggabungkan  metode  OCR  dan  melibatkan arsitektur Inception-EfficientNet pada model Faster R-CNN dalam mengklasifikasikan karakter teks dan foto yang terdapat pada KTM. Arsitektur Inception-EfficientNet dirancang dengan 5 lapisan konvolusi dan 2 lapisan maxpooling , serta melibatkan RPN ( Region Proposal Network ) dan ROI Pooling yang telah dirancang peneliti sebagai unsur penting dalam pembentukan metode Faster R-CNN. Data yang terkumpul mencakup tiga kelas yaitu hafizh, richo, dan vandy. Hasil pengujian metode OCR dalam mengenali identitas berdasarkan karakter teks menunjukkan tingkat akurasi yang tinggi yaitu sebesar 98,35%. Di sisi lain, metode Faster R-CNN mampu mengklasifikasikan foto dengan performa yang sangat baik yang mencapai akurasi keberhasilan sebesar 91,83%. Berdasarkan pengujian keseluruhan sistem yang menggabungkan metode OCR dan metode Faster R-CNN, dilakukan pengujian pada 10 sampel data yang berbeda, dan berhasil mencapai tingkat akurasi keberhasilan sebesar 90%. Hasil temuan ini memberi penekanan pada fakta bahwa pendekatan kolaboratif antara metode OCR dan arsitektur Inception-EfficientNet pada model Faster R-CNN  memiliki  potensi  untuk  meningkatkan  aksesibilitas  dan  keandalan  dalam  pengenalan  identitas  KTM. Potensi ini diharapkan dapat mendukung efisiensi akses terhadap fasilitas kampus, seperti layanan perpustakaan.
Kata kunci: Faster R-CNN, Inception-EfficientNet , KTM, OCR
Jurnal ELECTRON , Vol. 4, No.2, November 2023, Hal. 51-61 e-ISSN 2622-6588 / p-ISSN : 2830-523X Received: 17/08/2023, Revised: 07/11/2023, Accepted: 14/11/2023

## I. PENDAHULUAN
Kartu  Tanda  Mahasiswa  (KTM)  merupakan elemen  penting  dalam  lingkungan  pendidikan  tinggi, tidak hanya berfungsi sebagai bukti keanggotaan pada institusi  pendidikan,  tetapi  juga  sebagai  identitas individu  [1].  Kartu  Tanda  Mahasiswa  memiliki peranan  krusial  dalam  mengidentifikasi  dan memverifikasi identitas mahasiswa, serta mengakomodasi berbagai keperluan administratif [2].
Dalam lingkungan kampus, akses dan penggunaan  fasilitas-fasilitas  yang  ada  sering  kali memerlukan  langkah-langkah  pengamanan  dan verifikasi  identitas  guna  menjaga  keamanan  serta kenyamanan  para  penggunanya  [3].  Kartu  Tanda Mahasiswa  menjadi  alat  penting  dalam  memberikan jaminan  identitas  bagi  mahasiswa  dalam  berbagai situasi,  seperti  saat  mengakses  ruang  kuliah,  fasilitas olahraga,  laboratorium,  hingga  peminjaman  buku perpustakaan [4].
Hingga  saat  ini,  proses  pemeriksaan  identitas untuk mengakses fasilitas kampus, terutama dalam hal peminjaman  buku  perpustakaan,  masih  dilakukan secara  manual.  Metode  ini  melibatkan  partisipasi petugas untuk melakukan pengamatan visual terhadap identitas  yang  tertera  pada  kartu  mahasiswa,  serta memasukkan entry data  mahasiswa  secara  manual melalui pengetikan data menggunakan komputer.
Pendekatan  manual  tersebut  memiliki  potensi yang  menimbulkan  beberapa  permasalahan  [5]. Pengamatan  visual  sangat  rentan  terhadap  kesalahan pengenalan  atau  interpretasi,  yang  pada  gilirannya dapat  berdampak  pada  kesalahan  verifikasi  identitas mahasiswa.  Selain  itu,  memasukkan  data  secara manual  cenderung  memakan  waktu,  menimbulkan antrian panjang, rentan terhadap kesalahan pengetikan, dan  memerlukan  upaya  yang  cukup  besar  dalam mengelola dan memelihara database mahasiswa [6].
Penelitian  terkait  sistem  pengenalan  identitas kartu  tanda  mahasiswa  telah  beberapa  kali  dilakukan dengan berbasis teknologi image processing , Pengenal identitas  KTM  sejatinya  dapat  dikenali  berdasarkan karakteristik huruf dan angka dengan metode Optical Character  Recognition (OCR)  [7].  Penelitian  terkait metode OCR telah beberapa kali dilakukan dan mampu mengenali  karakteristik  huruf  dengan  sangat  baik. Penelitian yang dilakukan oleh Susan dan Lussiana [8] telah  berhasil  mengimplementasikan  metode  OCR dalam mengenali identitas dokumen izin distribusi alat kesehatan  berdasarkan  karakteristik  huruf  dan  angka
pada  dokumen  dengan  akurasi  mencapai  98.78%. Meskipun  demikian,  penelitian  tersebut  mengalami beberapa hambatan terkait penentuan koordinat fokus karakter  yang  akan  dideteksi  pada  dokumen  karena karakter objek dan elemen yang cukup beragam. Oleh karena  itu,  diperlukan  upaya  penambahan  metode deteksi  guna  memastikan  bahwa  area  fokus  karakter yang  dideteksi  pada  dokumen  dapat  diidentifikasi secara efektif dan akurat.
Metode  pengenalan  dan  klasifikasi  objek  yang saat  ini  tengah  mendapatkan  sorotan intens adalah metode Faster R-CNN.  Metode  ini  telah  menarik perhatian publik dan komunitas peneliti dalam bidang pengenalan  objek,  terutama  kemampuannya  yang menggabungkan  deteksi  objek  yang  cepat  dengan akurasi yang tinggi. Penelitian yang dilakukan oleh Ali dkk [9], mengimplementasikan metode Faster R-CNN untuk  mengenali  identitas  wajah  dengan  menerapkan segmentasi  berdasarkan  warna  kulit  manusia.  Hasil penelitian  ini  menunjukkan  performa Faster R-CNN dalam  hal  keakuratan  pengenalan  dengan  tingkat accuracy sebesar 78.33%, yang memberikan kontribusi signifikan  dalam  pengembangan  metode  pengenalan objek menggunakan pendekatan Faster R-CNN. Berdasarkan latar belakang tersebut, penelitian ini hadir  dengan  pendekatan  yang  terintegrasi  dan komprehensif  dalam  menciptakan  sistem  pengenalan identitas  kartu  tanda  mahasiswa  dengan  2  parameter pengenalan yakni berdasarkan karakter dan pengenalan foto  mahasiswa  yang  tercantum  dalam  KTM.  Dalam implementasinya,  peneliti  menggunakan  metode Optical  Character  Recognition (OCR)  untuk mengenali  karakter teks identitas  seperti  nama  dan Nomor  Registrasi  Mahasiswa  (NRP),  sedangkan metode deteksi objek Faster R-CNN digunakan untuk mengenali  dan  mengklasifikasikan  foto  mahasiswa yang  tercantum  dalam  KTM,  diharapkan  sistem  ini dapat memberikan solusi yang lebih efektif dan efisien dalam proses verifikasi identitas mahasiswa.
Pada  aspek  pengembangan  metode,  peneliti menambahkan  arsitektur Inception-EfficientNet pada model Faster R-CNN untuk menguji efektivitas model dalam meningkatkan akurasi dan menganalisis sejauh mana  model  dapat  mengklasifikasi  wajah  pada  foto KTM  dengan  optimal.  Arsitektur Inception- EfficientNet merupakan  metode  kombinasi  antara arsitektur Inception dan EfficientNet .  Penggabungan arsitektur ini dilakukan karena strukturnya yang saling komprehensif  dalam  pembelajaran  model.  Arsitektur Inception memiliki kemampuan dalam
Jurnal ELECTRON , Vol. 4, No.2, November 2023, Hal. 51-61 e-ISSN 2622-6588 / p-ISSN : 2830-523X Received: 17/08/2023, Revised: 07/11/2023, Accepted: 14/11/2023
menggabungkan  informasi  dari  berbagai  filter konvolusi  dengan  ukuran kernel yang  berbeda secara simultan,  sehingga  dapat  membantu  memperluas kapasitas  jaringan  tanpa  menambahkan  banyak parameter [10]. Sedangkan, pada arsitektur EfficientNet memanfaatkan  pendekatan compound scaling sehingga  mampu  menjaga  keseimbangan antara  kedalaman  dan  lebar  model  untuk  membantu menghindari overfitting dan memaksimalkan efisiensi komputasi [11].
Adanya penciptaan dan penggabungan arsitektur Inception-EfficientNet pada  penelitian  ini  diharapkan dapat  memberikan  solusi  yang  efektif  dalam pengenalan  dan  klasifikasi  identitas  kartu  tanda mahasiswa.  Model  yang  dihasilkan  diharapkan memiliki  kemampuan  mengenali  objek  dan  karakter dengan  akurasi  yang  tinggi,  tetapi  tetap  menjaga tingkat  kompleksitas  yang  terkendali  serta  efisiensi sumber daya komputasi.
Dengan  terciptanya  sistem  otomatis  yang  dapat mengenali karakteristik kartu mahasiswa, proses akses fasilitas kampus seperti perpustakaan dapat berlangsung  lebih  cepat  dan  akurat.  Selain  itu, keberadaan  sistem  ini  juga  dapat  membantu mengurangi  potensi  kesalahan  petugas  dalam pengenalan dan input data, yang pada gilirannya dapat meningkatkan  kualitas  layanan  dan  kemudahan mahasiswa dalam mengakses fasilitas kampus.

## II. METODE PENELITIAN
Metode  yang  digunakan  pada  penelitian  ini sebagai parameter penting dalam pengenalan karakter dan  klasifikasi  keputusan  adalah  metode  OCR  dan Faster  R-CNN.  Adapun  perincian  penjelasan  kedua metode tersebut.

## A. Optical Character Recognition
OCR  atau Optical  Character  Recognition merupakan  metode  domain  pengolahan  citra  dan computer vision yang bertujuan untuk mengidentifikasi karakter huruf atau angka pada citra gambar dan mengubahnya menjadi format teks yang memungkinkan  untuk  diakses  dan  dianalisis  [12]. Fitur  utama  OCR  adalah  kemampuannya  dalam mengonversi teks dari berbagai latar belakang bahasa ke  dalam  bentuk  teks  yang  dapat  diolah.  Berikut merupakan langkah-langkah kinerja metode OCR: 1. Pre-processing Citra
Langkah  ini  melibatkan  penyesuian  kontras, kecerahan,  dan  peningkatan  kualitas  gambar untuk memastikan hasil yang lebih baik.
2. Segmentasi Karakter
Gambar  yang  telah  diolah  kemudian  dibagi menjadi  karakter-karakter  individu  melalui proses  segmentasi  dengan  pemisahan  area karakter  berdasarkan  deteksi  tepi,  kontur,  atau hubungan spasial.
3. Ekstraksi Fitur
Setelah karakter diidentifikasi,  fitur-fitur  seperti bentuk,  ukuran,  sudut,  dan  piksel-piksel  yang membentuk karakter ekstraksi. Hal ini membantu dalam membedakan karakter satu sama lain dan mengidentifikasi karakter dengan benar.
4. Pengenalan Karakter Proses pengenalan karakter melibatkan pembandingan fitur-fitur karakter yang diekstraksi  dengan  karakter-karakter  yang  telah diketahui sebelumnya dalam basis data referensi. Algoritma  pengenalan  dapat  menggunakan pendekatan  berbasis template ,  metode  statistik, atau pembelajaran mesin seperti jaringan saraf.
5. Post -Pemrosesan
Hasil  pengenalan  karakter  mungkin  mengalami tahap post -pemrosesan  untuk  mengoreksi kesalahan-kesalahan pengenalan. Teknik penggabungan  dan  pemrosesan  lanjutan  dapat digunakan  untuk  menghasilkan  teks  yang  lebih akurat.
6. Evaluasi dan Koreksi Hasil teks yang dihasilkan oleh OCR kemudian dievaluasi  dan  dapat  diperiksa  oleh  manusia untuk  koreksi  kesalahan  yang  mungkin  terjadi selama proses pengenalan.
Proses tersebut memungkinkan penggunaan data visual dalam bentuk teks yang dapat dianalisis, dicari, atau  diklasifikasikan  konteks  pengenalan  identitas kartu tanda mahasiswa.

## B. Faster R-CNN
Faster  Region  Convolutional  Neural  Network atau Faster R-CNN  merupakan  evolusi  dari Convolutional  Neural  Network (CNN)  dengan perbedaan utama dalam penambahan Region Proposal Network (RPN) [13]. RPN adalah suatu jaringan saraf yang menggantikan  peran algoritma selective search dalam  menghasilkan  proposal  wilayah  berkualitas tinggi.  Pada  Gambar  1  berikut  merupakan  struktur metode Faster R-CNN.
Jurnal ELECTRON , Vol. 4, No.2, November 2023, Hal. 51-61 e-ISSN 2622-6588 / p-ISSN : 2830-523X Received: 17/08/2023, Revised: 07/11/2023, Accepted: 14/11/2023
Gambar 1. Konstruksi Metode Faster R-CNN [14] Penggunaan  RPN  sebagai  pengganti selective search dirancang  untuk  mengoptimalkan  kebutuhan komputasi yang signifikan, sehingga dapat menghasilkan multi -model yang dapat dilatih dengan kualitas  yang  lebih  tinggi.  RPN  bertanggung  jawab atas  dua  tugas  utama  dalam  deteksi  objek.  Pertama, digunakan  untuk  memprediksi anchor  box pada gambar  dengan  keputusan  mengandung  objek  atau tidak. Kedua, RPN memprediksi penyesuaian ( offset ) terhadap anchor box asli sehingga proposal  network yang dihasilkan dapat lebih akurat [15].

## C. Arsitektur Inception-EfficientNet
Arsitektur Inception-EfficientNet merupakan hasil pengembangan dari dua arsitektur yang terkenal dalam  jaringan  saraf  konvolusi,  yaitu Inception Network dan EfficientNet . Inception  Network merupakan  arsitektur  yang  menggunakan  modul Inception  untuk  menggabungkan  berbagai  ukuran kernel konvolusi dalam satu lapisan untuk menangkap fitur-fitur  diberbagai  skala  [16].  Hal  ini  membantu dalam menangkap detail halus dan fitur besar dalam gambar.  Disisi  lain, EfficientNet dikenal  karena pendekatan  skala  yang  efisien,  yaitu  dengan menyesuaikan lebar, kedalaman, dan resolusi jaringan secara  bersamaan  untuk  mencapai  keseimbangan antara ukuran model dan akurasi [17]. Pendekatan ini memungkinkan pencapaian kinerja yang baik dengan menggunakan sumber daya yang lebih sedikit.
Inception-EfficientNet mengambil  manfaat  dari kedua pendekatan tersebut. Arsitektur ini menggunakan  modul  Inception  untuk  menangkap fitur-fitur dengan berbagai ukuran dan kompleksitas, serta mengadopsi pendekatan efisien dari EfficientNet
untuk  mengatur  kompleksitas  model  secara keseluruhan.  Hal  ini  dirancang  agar  dapat menghasilkan jaringan saraf yang handal, efisien, dan mampu  menangani  berbagai  tugas  pengolahan  citra seperti  klasifikasi,  deteksi  objek,  segmentasi,  dan lainnya.  Kelebihan  utama  dari  arsitektur Inception- EfficientNet
adalah kemampuannya untuk
menggabungkan  fitur-fitur  unggulan  dari  kedua arsitektur  induknya,  sehingga  menciptakan  model yang dapat mengatasi pengolahan citra modern .

## D. Alur Pemrosesan Sistem Deteksi Penelitian
Alur  sistem  deteksi  dalam  penelitian  ini bertujuan untuk memberikan tahapan yang terstruktur dalam  pemrosesan  dan  pengolahan input citra, menjalankan  proses  ekstraksi  citra  menggunakan metode Faster R-CNN  dan  OCR,  serta  melakukan klasifikasi terhadap hasil deteksi yang diperoleh.
Mulai
Deteksi Fokus Objek Crop Area Identitas dan Foto Input Gambar Ekstraksi Karakter Identitas dengan OCR Segmentasi Karakter Teks Ekstraksi Foto dengan Faster R-CNN
Eksekusi Arsitektur
Inception-EfficientNet
Ekstraksi Fitur Pengenalan Teks Karakter Region Proposal Network Precision ROI Pooling Pengolahan Integrated Deteksi Apakah hasil kedua metode sesuai? Akses Diijinkan Akses
Ditolak

## Selesai
Gambar 2. Alur Pemrosesan Sistem Deteksi Berdasarkan  Gambar  2,  Langkah  awal pemrosesan deteksi yakni generalisasi input gambar,
Jurnal ELECTRON , Vol. 4, No.2, November 2023, Hal. 51-61 e-ISSN 2622-6588 / p-ISSN : 2830-523X Received: 17/08/2023, Revised: 07/11/2023, Accepted: 14/11/2023
jika ditemukan kemiripan dengan objek KTM, maka sistem akan memfokuskan area KTM yang tertangkap kamera  dan  membuang background selain  objek KTM.  Hal  ini  dilakukan  untuk  menghasilkan  solusi komprehensif dalam pengenalan dan klasifikasi objek dalam  citra.  Kemudian  dilakukan cropping sehingga area  pemrosesan  data  hanya  berlaku  pada  bagian identitas  KTM.  Langkah  selanjutnya  dilakukan pemrosesan  inti  metode  OCR  untuk  mengenali karakteristik teks identitas  mahasiswa  dengan melakukan  segmentasi  karakter teks .  Ekstraksi  fitur dilakukan untuk membedakan karakter satu sama lain dan  mengidentifikasi  karakter  dengan  benar. Selanjutnya  sistem  akan  melakukan  keputusan klasifikasi berupa string teks terhadap identitas yang telah dikenal. Berlangsung sistem deteksi OCR, juga bersamaan  dengan  deteksi Faster R-CNN.  Namun, metode Faster R-CNN dirancang untuk mengklasifikasikan  identitas  kartu  tanda  mahasiswa berdasarkan foto mahasiswa yang tertera pada KTM. Langkah  awal  metode  ini  yakni  dilakukan  ekstraksi foto untuk menentukan dimensi dan letak gambar yang akan dideteksi. Kemudian akan dilakukan pemrosesan pembelajaran terhadap arsitektur Inception- EfficientNet selanjutnya dilakukan pembentukan RPN ( Region Proposal Network ) serta ROI Pooling untuk menangkap  fokus  deteksi  terhadap  titik  dimensional foto sebagai langkah pengenalan foto.
Selanjutnya  dilakukan  langkah  untuk  integrasi pengenalan antara dua metode yakni OCR dan Faster R-CNN  untuk  menghasilkan  keputusan  yang  sesuai. Jika deteksi antar kedua metode tersebut telah sesuai maka output yang dihasilkan yakni “Akses Diijinkan”. Namun, apabila hasil yang didapati oleh kedua sistem ditemukan  ketidaksesuaian  maka  sistem  akan mengindikasikan  “Akses  Ditolak”  sebagai  langkah bahwa  mahasiswa  tidak  dapat  mengakses  fasilitas karena ketidaksesuaian dengan data aktual yang ada.

## E. Pengumpulan Dataset
Dataset yang dikumpulkan merupakan kumpulan gambar  yang  dilakukan  proses cropping  image terhadap  objek  KTM  sehingga  fokus  deteksi  dapat dikenali dengan mudah oleh sistem yakni pada bagian identitas dan foto mahasiswa dengan dimensi 360x210 pixel . Dataset yang  kumpulkan  berjumlah  300  data dengan  banyaknya  data  masing-masing  kelas  yakni sebanyak 100 data. Kelas yang digunakan terdiri atas kelas “hafizh”, “richo”, dan “vandy”. Pada Gambar 3 merupakan citra dataset asli, yang kemudian dilakukan
proses cropping seperti Gambar 4, dan pengumpulan dataset dalam setiap folder seperti Gambar 5.
Gambar 3. Citra Dataset Asli
Gambar 4. Citra Hasil Cropping
Gambar 5. Folder Kumpulan Dataset KTM
Selain dataset identitas  KTM  penulis  juga mengumpulkan dataset foto  mahasiswa  yang tercantum dalam KTM. Teknik pengambilan dataset dilakukan  dengan  pengambilan  gambar  oleh  kamera pada  berbagai  pola  pengambilan  gambar  termasuk ketinggian,  dimensional  kemiringan,  serta  tingkat pencahayaan yang bervariasi. Hal ini dilakukan untuk memperbanyak  pola  variasi  data  gambar  sehingga proses  pembelajaran  akan  semakin  kompleks.  Pada Gambar  6  merupakan folder kategori  kelas  yang memuat  100  gambar  pada  setiap  kelas,  dan  Tabel  1 menunjukkan cuplikan dataset foto.
Gambar 6. Kumpulan Folder Data Foto
Jurnal ELECTRON , Vol. 4, No.2, November 2023, Hal. 51-61 e-ISSN 2622-6588 / p-ISSN : 2830-523X Received: 17/08/2023, Revised: 07/11/2023, Accepted: 14/11/2023
Tabel 1. Dataset Foto Mahasiswa
Kategori Kelas Aktual Cuplikan Dataset Ukuran hafizh 100x100
richo
100x100 vandy 100x100

## F. Pemrosesan Karakter dengan OCR
Pada  pemrosesan  karakter  dengan  OCR dilakukan  proses  segmentasi  dengan  melakukan anotasi  terhadap  setiap  karakter  citra  identitas  pada KTM.  Langkah  ini  dilakukan  untuk  menyesuaikan bounding  box pada  setiap  karakter  untuk  langkah pengenalan.  Berikut  merupakan  cuplikan  beberapa hasil  segmentasi  terhadap  model  XML  yang  telah dibuat.
Tabel 2. Anotasi Sample Karakter OCR
Anotasi Karakter Bounding Box Karakter Xmin Ymin Xmax Ymax 290 218 344 313 246 201 271 292 293 213 352 317 274 202 289 299 269 209 283 301

## G. Pembentukan Arsitektur Inception-EfficientNet
Pada  bagian  ini  dilakukan  untuk  Berikut merupakan konstruksi modifikasi Arsitektur
Inception-EfficientNet yang dirancang oleh peneliti. Tabel 3. Arsitektur Inception-EfficientNet Layer Type Output Shape Parameters Input_1 input (200, 200, 3) 0 Conv2d (conv2d) (200, 200, 64) 256 Conv2d_1 (conv2d) (200, 200, 128) 73856 Conv2d_2 (conv2d) (200, 200, 128) 147584 Max_pool maxPool2d (100, 100, 128) 0 Conv2d_3 (conv2d) (100, 100, 256) 295168 Conv2d_4 (conv2d) (100, 100, 256) 590080 Conv2d_5 (conv2d) (100, 100, 256) 590080 Maxpool_1 maxPool2d (50, 50, 256) 0 Flatten flatten 640000 0 dense dense 256 163840256 RPN rpn 128 - Efficient Net BO Input_tensor 32 -
Total Parameters 165.537.280 Berikut  merupakan  cuplikan  hasil  parameter arsitektur Inception-EfficientNet ,  Hasil  RPN ( Region Proposal Network ), dan konstruksi titik model.
Gambar 7. Hasil Weight Arsitektur
Gambar 8. Hasil RPN
Jurnal ELECTRON , Vol. 4, No.2, November 2023, Hal. 51-61 e-ISSN 2622-6588 / p-ISSN : 2830-523X Received: 17/08/2023, Revised: 07/11/2023, Accepted: 14/11/2023
Gambar 9. Hasil Final Result

## H. Pelatihan Model dengan Faster R-CNN
Penggabungan  arsitektur Inception-EfficientNet pada  model Faster R-CNN  dilakukan  untuk memanfaatkan informasi representasi yang lebih kaya terhadap  citra  deteksi,  memungkinkan  sistem  untuk belajar  fitur-fitur  yang  lebih  kompleks  dan  abstrak, menghasilkan region  proposal  network yang  akurat, serta meningkatkan kinerja sistem deteksi objek secara signifikan.
Gambar 10. Pemrosesan Citra Foto Metode Faster R-CNN
Proses training dilakukan terhadap  citra gambar cropping yang  hanya  memuat  foto  mahasiswa.  Pada proses training dilakukan  dengan epochs berjumlah 100 epochs untuk step pembelajaran  model.  Berikut merupakan hasil training yang telah dilakukan.
Gambar 11. Hasil Training dan Validation Accuracy
Gambar 12. Hasil Training dan Validation Loss Berdasarkan  pola training  accuracy dan loss terhadap  pembelajaran  model,  didapatkan  parameter confusion sebagai berikut.
Tabel 4. Confusion Matriks Hasil Training Precision Recall F1-score  Support Hafizh 0.98 0.98 0.99 53 Richo 1.00 0.99 0.99 54 Vandy 1.00 0.99 0.99 54 Berdasarkan Tabel 3, parameter confusion pada proses training menghasilkan  nilai  yang  konvergen terhadap  indeks  pengenalan  pada  setiap  kelas. Selanjutnya  hal  ini  akan  dijadikan  indikasi  dalam menganalisis  kebaikan  model  dalam  menanggapi kemampuan pengenalannya.

## III. HASIL DAN PEMBAHASAN
Bab  ini  bertujuan  untuk  melaporkan  hasil pengujian yang telah dilakukan terhadap model yang telah  diujikan  pada  bab  sebelumnya.  Pada  tahap  ini akan  membahas  secara  rinci  hasil  pengujian  dalam rangka mengukur keandalan dan kinerja model yang telah  dikembangkan,  mengidentifikasi  kekuatan  dan kelemahan model, serta menggambarkan solusi yang mungkin  diperlukan  untuk  mengatasi  berbagai tantangan yang  muncul. Dengan demikian,
Jurnal ELECTRON , Vol. 4, No.2, November 2023, Hal. 51-61 e-ISSN 2622-6588 / p-ISSN : 2830-523X Received: 17/08/2023, Revised: 07/11/2023, Accepted: 14/11/2023
pembahasan  ini  diharapkan  dapat  memberikan wawasan yang lebih mendalam dan pemahaman yang komprehensif  terkait  dengan  performa  model  yang telah dirancang.

## A. Pengujian Karakter Identitas dengan OCR
Pada  sub  bab  ini,  peneliti  melakukan  pengujian terhadap  pengenalan  elemen  karakter  identitas menggunakan  teknik Optical  Character  Recognition (OCR). Pengujian ini akan dilakukan pada tiga sampel gambar  yang  mewakili  tiga  kelas  berbeda,  yaitu "hafizh", "richo", dan "vandy". Tujuan dari pengujian ini  adalah  untuk  mengukur  efektivitas  dan  akurasi kemampuan  model  OCR  dalam  mengenali  karakter identitas  pada  gambar.  Berikut  merupakan  pengujian karakter gambar dengan OCR.
Tabel 5. Pengujian Deteksi Karakter dengan Metode OCR
Kelas Bounding Box Karakter Hasil Output Name Akuras i hafizh 0919040050 Muhammad Tegar Hafizh D4– TEKNIK OTOMAS! 97,78% richo 0919040040 Richo D4- TEKNIK OTOMASI 100% vandy
0919040056 Vandy
Achmad D4 - TEKNIK OTOMAS! 97,29%

## Akurasi Keberhasilan Rata-rata  98,35%
Perolehan  nilai  akurasi  ditentukan  dengan perbandingan  jumlah  karakter  yang  berhasil  dikenali berbanding dengan total karakter aktual yang diujikan.
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = 𝑗𝑢𝑚𝑙𝑎ℎ 𝑘𝑎𝑟𝑎𝑘𝑡𝑒𝑟 𝑏𝑒𝑛𝑎𝑟
𝑗𝑢𝑚𝑙𝑎ℎ 𝑘𝑎𝑟𝑎𝑘𝑡𝑒𝑟 𝑦𝑎𝑛𝑔 𝑑𝑖𝑢𝑗𝑖 𝑥 100%      (1)
Berdasarkan  pengujian  metode  OCR  terhadap pengenalan  karakter  identitas  didapatkan  akurasi keberhasilan rata-rata yakni sebesar 98,35%.

## B. Pengujian Klasifikasi Foto dengan Faster R-CNN
Pengujian ini dilakukan dengan meng-input data gambar yang belum pernah dikenali oleh sistem yakni data  sample  testing.  Pengujian  dilakukan  pada  data
testing  sebanyak  12  data  dengan  4 sample pengujian pada  setiap  kelasnya.  Berikut  merupakan  pengujian klasifikasi foto pada KTM yang telah diujikan.
Tabel 6. Pengujian Deteksi Karakter dengan Metode OCR
Data Aktual Konvergensi Hasil Prediksi Uji ke- Hasil Deteksi Akurasi hafizh 1 hafizh 91.88% 2 hafizh 92.11% 3 hafizh 89.35%
4 hafizh 91.54% richo 1 richo 94.52% 2 richo 93.33% 3 richo 93.17% 4 richo 90.01% vandy 1 vandy 92.66% 2 vandy 91.97% 3 vandy 89.82% 4 vandy 91.63% Akurasi Keberhasilan Rata-rata 91.83%
Berdasarkan pengujian yang telah dilakukan pada Tabel  6,  diperoleh  tingkat  akurasi  keberhasilan  rata- rata pada 12 sample pengujian yakni sebesar 91.83%.

## C. Pengujian Keseluruhan Sistem
Pengujian  keseluruhan  sistem  bertujuan  untuk melakukan analisis terhadap kemampuan model dalam mengidentifikasi  setiap  pola  pengenalan  objek  yang akan  dideteksi.  Pada  pengujiannya  dilakukan  dengan menganalisis  kinerja  arsitektur Inception-EfficientNet pada model Faster R-CNN yang telah dikembangkan dalam mengklasifikasikan foto pada KTM. Selanjutnya,  pengujian  ini  juga  dimaksudkan  untuk mengevaluasi  kemampuan  model  OCR  yang  telah dilatih  untuk  pengenalan  identitas  pada  KTM  (Kartu Tanda  Mahasiswa).  Seluruh  hasil  dari  pengujian  ini akan dianalisis secara lebih mendalam, terutama terkait integrasi dan interaksi terhadap hasil deteksi dari kedua metode yang diimplementasikan pada sistem.
Jurnal ELECTRON , Vol. 4, No.2, November 2023, Hal. 51-61 e-ISSN 2622-6588 / p-ISSN : 2830-523X Received: 17/08/2023, Revised: 07/11/2023, Accepted: 14/11/2023
Pada  pengujiannya  dilakukan  dengan  integrasi pengenalan  antara  kedua  metode  yang  tertera  pada Gambar  13,  Gambar  14,  dan  Gambar  15  berikut. Selanjutnya pada Gambar 16, Gambar 17, dan Gambar 18 merupakan hasil pembacaan output deteksi karakter.
Gambar 13. Keberhasilan Uji Integrasi Metode pada
Sample “hafizh”
Gambar 14. Keberhasilan Uji Integrasi Metode pada
Sample “richo”
Gambar 15. Keberhasilan Uji Integrasi Metode pada
Sample “vandy”
Gambar 16. Keberhasilan Uji Deteksi Karakter pada Sample “hafizh”
Gambar 17. Keberhasilan Uji Deteksi Karakter pada Sample “richo”
Gambar 18. Keberhasilan Uji Deteksi Karakter pada Sample “vandy”
Tabel 7. Pengujian Keakuratan OCR
Data Uji Hasil Deteksi Jumlah Karakter Akuras i benar total richo 0919040040 31 31 100% Richo D4 – TEKNIK
OTOMASI hafizh 0919040050 –
39 40 97,5% Muhammad Tegar D4 – TEKNIK OTOMASI
vandy
0919040056
36 37 97,29% Vandy Achmad – D4 – TEKNIK OTOMASI Akurasi Keberhasilan Rata-rata 98,26
Berikut disajikan hasil pengujian integrasi metode OCR  dan Faster R-CNN  pada  hasil  deteksi  terhadap hasil  keputusan  untuk  akses  ijin.  Pada  pengujiannya dilakukan sebanyak 15 kali dengan data random . Tabel 8 berikut merupakan hasil pengujian integrasi terhadap akses ijin.
Tabel 8. Pengujian Deteksi Keseluruhan Sistem
Data yang diujikan Hasil OCR Hasil Faster R- CNN Kondisi Output richo richo richo Benar Akses Diijinkan hafizh hafizh  hafizh Benar Akses Diijinkan vandy vandy  vandy Benar Akses Diijinkan
Jurnal ELECTRON , Vol. 4, No.2, November 2023, Hal. 51-61 e-ISSN 2622-6588 / p-ISSN : 2830-523X Received: 17/08/2023, Revised: 07/11/2023, Accepted: 14/11/2023
vandy vandy  vandy Benar Akses Diijinkan hafizh hafizh  hafizh Benar Akses Diijinkan richo richo richo Benar Akses Diijinkan richo richo hafizh Salah Akses Ditolak hafizh hafizh  hafizh Benar Akses Diijinkan richo richo richo Benar Akses Diijinkan vandy vandy  vandy Benar Akses Diijinkan hafizh hafizh  hafizh Benar Akses Diijinkan vandy vandy  vandy Benar Akses Diijinkan richo richo richo Benar Akses Diijinkan vandy vandy  vandy Benar Akses Diijinkan hafizh hafizh  hafizh Benar Akses
Diijinkan
Berdasarkan  hasil  pengujian  pada  Tabel  8, didapatkan  hasil  akurasi  dengan  perbandingan  antara total  data  benar  berbanding  dengan  total  data  yang diujikan.  Pengujian  sistem  keseluruhan  didapatkan akurasi  keberhasilan  sebesar  93,34%.  Setelah dilakukan pengamatan  lebih  lanjut, adanya  kesalahan deteksi  salah  satunya  diakibatkan  karena  adanya kesamaan  karakter  dan  tingkat  pencahayaan  dalam pengambilan  citra  sehingga  mengakibatkan  adanya kesamaan karakter foto.

## IV. KESIMPULAN
Berdasarkan analisis dan pembahasan yang telah dilaksanakan,  secara  keseluruhan  sistem  pengenalan identitas Kartu Tanda Mahasiswa memberikan indeks klasifikasi  pada  3  kelas  yakni  "richo",  "hafizh",  dan "vandy". Melalui serangkaian pengujian dan evaluasi, hasil penelitian ini dapat disimpulkan bahwa;
Penelitian  ini  melakukan  kolaborasi  arsitektur Inception-EfficientNet dengan  konstruksi  5  lapisan konvolusi pada 2 maxpooling , serta penambahan RPN ( Region  Proposal  Network )  dan  ROI Pooling yang menjadi  modifikasi  inti  untuk  membentuk  metode Faster R-CNN.  Hasil  penelitian  menemukan  temuan baru  yang  menunjukkan  bahwa  penyusunan  dan modifikasi  arsitektur Inception-EfficientNet telah menghasilkan akurasi training yang mencapai 98%.
Penerapan  metode  OCR  dalam  penelitian  ini memberikan kontribusi nyata dalam mengenali setiap karakter teks pada  Kartu  Tanda  Mahasiswa  (KTM). Dalam  pengujian,  metode  OCR  mampu  mengenali karakter  dengan  akurasi  pengujian  mencapai  98,35% dan  akurasi  implementasi  sebesar  98,26%.  Pengujian metode Faster R-CNN dalam mengklasifikasikan hasil pengenalan objek pada foto juga menghasilkan akurasi training yang  sangat  baik  dengan persentase sebesar 98%. Sementara itu, pada pengujian metode Faster R- CNN  terhadap  pengenalan  objek  pada  foto,  akurasi keberhasilan mencapai 91,83%.
Berdasarkan  pengujian  terhadap  keseluruhan sistem menggunakan sampel sebanyak 15 kali melalui integrasi  metode  OCR  dan Faster R-CNN  diperoleh akurasi deteksi sebesar 93,34%.
Keberhasilan  kesimpulan  tersebut  menyatakan bahwa  penerapan  dan  penggabungan  metode Optical Character  Recognition (OCR)  dan Faster  Region Convolutional  Neural  Network ( Faster R-CNN) mengindikasikan  akurasi  optimal  dalam  klasifikasi pengenalan  identitas  pada  Kartu  Tanda  Mahasiswa. Hal ini menjadi indikasi akses yang lebih baik terhadap fasilitas perpustakaan di lingkungan kampus. Di masa depan,  peneliti  berharap  adanya  pengembangan  lebih lanjut terkait kolaborasi dengan metode terbaru untuk pengenalan  sistem  deteksi  yang  lebih  luas.  Hal  ini diharapkan akan membuka peluang bagi perkembangan  yang  lebih  luas  dalam  hal  keandalan dan manfaatnya.

## REFERENSI
[1] H.  Y.  Madawara,  P.  F.  Tanaem,  and  D.  H.
Bangkalang, “PERANCANGAN UI/UX APLIKASI KTM MULTIFUNGSI MENGGUNAKAN METODE DESIGN THINKING,” J. Pendidik. Teknol. Inf. , vol. 5, no. 2, pp. 111–125, 2022, doi:
10.37792/jukanti.v5i2.560.
[2] Z.  Zulaikha, A.  C.  Alfarabi,  A. R.  Aprilianto, M. M. Fuadi, M. Tafrikan, and B. Hardiansyah, “Deteksi  Kartu  Tanda  Mahasiswa  (KTM) Universitas  Islam  Negeri  (UIN)  Walisongo dengan Feature Matching,” Zeta - Math J. , vol.
8, no. 1, pp. 1–6, 2022, doi: 10.31102/zeta.2023.8.1.1-6.
[3] A.  Wardana,  A.  Azzahra  Batubara,  B.  S. Wanandi,  C. Muzaddidah, K.  Andrea, and  M. A. Hafizh, “Rancangan Desain Prototype RFID
Jurnal ELECTRON , Vol. 4, No.2, November 2023, Hal. 51-61 e-ISSN 2622-6588 / p-ISSN : 2830-523X Received: 17/08/2023, Revised: 07/11/2023, Accepted: 14/11/2023

## Pada Presensi Mahasiswa Menggunakan KTM
Di  Prodi  Sistem  Informasi  UINSU,” Juktisi (Jurnnal Teknol. Inf. Sist. Komputer) , vol. 1, no.
3, p. 199, 2023.
[4] I.  F.  Anshori,  M.  Faiz,  and  N.  Handiani, “PENERAPAN IMK PADA KARTU TANDA MAHASISWA  BERBASIS  AUGMENTED REALITY,” J. RESPONSIF , vol. 4, no. 1, pp. 56–60, 2022.
[5] Richo, R. Y. Adhitya, M. K. Hasin, M. Syai, and E.  Setiawan,  “Analisis  Pengaruh  Optimizer pada Model CNN untuk Identifikasi Cacat pada Perekat Kemasan,” J. SISFOTENIKA , vol. 13, no. 2, pp. 217–229, 2023.
[6] P. M. Purba, A. Cipta Amandha, M. A. Putra, N. M. Harahap, R. A. Siregar, and I. Meilina,
“Perancangan  Sistem  Absensi  Mahasiswa Menggunakan Teknologi Near Field Communication Berbasis Android,” J. Komput.
Teknol. Inf. dan Sist. Inf. , vol. 1, no. 3, pp. 138– 147, 2023.
[7] Y.  Mansyur,  “Optical  Character  Recognition Untuk  Deteksi  Pelat  Mobil  Dan  Motor Kendaraan Pada Kampus Teknik Gowa,” Univ. Hasanuddin, 2018.
[8] S.  S.  Nurhaliza  and  Lussiana,  “Sistem
Pengenalan Karakter Dokumen Secara Otomatis  Menggunakan  Metode  Optical
Character Recognition,” PETIR J. Pengkaj. dan Penerapan Tek. Inform. , vol. 15, no. 1, pp. 166– 175, 2022, doi: 10.33322/petir.v15i1.1610.
[9] A.  A.  Lubis,  P.  Sirait,  Albert,  A.  Tanrisiono, and  Andy,  “Klasifikasi  Citra  Multi  Wajah Menggunakan Domain Adaptive Faster Region Convolutional  Neural  Network,” J.  SIFO Mikroskil ,  vol.  20,  no.  2,  pp.  159–168,  2019, doi: 10.55601/jsm.v20i2.673.
[10]  D. Alamsyah and D. Pratama, “Deteksi Ujung Jari  menggunakan  Faster-RCNN  dengan Arsitektur  Inception  v2  pada  Citra  Derau,” JuSiTik  J. Sist. dan Teknol. Inf. Komun. , vol. 2, no. 1, p. 1, 2019, doi: 10.32524/jusitik.v2i1.435.
[11]  R.  Z.  Kaixuan  Zhao,  Meng  Zhang,  Weizheng Shen, Xiaohang Liu, Jiangtao Ji, Baisheng Dai, “Automatic  body  condition  scoring  for  dairy cows  based  on  efficient  net  and  convex  hull features  of  point  clouds,” Comput.  Electron. Agric. , p. 205, 2023.
[12]  N.  H.  Ente,  M.  Rohandi,  and  R.  Yusuf,
“SISTEM  INFORMASI  PENGARSIPAN
MENGGUNAKAN OPTICAL CHARACTER RECOGNITION BERBASIS WEB DI KANTOR  NOTARIS  DAN  PPAT  HAKSON IS  ENTE,  SH.  M.Kn,” Diffus.  J.  Syst.  Inf. Technol. , vol. 3, no. 2, pp. 195–203, 2023.
[13]  N. Y. S. Mendrofa, A. Mahfuzie, M. Faisal, A. Haidar,  and  P.  Rosyani,  “PERBANDINGAN METODE  YOLO  DAN  FAST  R-CNN DALAM SISTEM DETEKSI PENGENALAN KENDARAAN,” JRIIN    J.  Ris.  Inform.  dan Inov. , vol. 1, no. 2, pp. 431–436, 2023.
[14]  R.  Haswinsa,  I.  I.  Tritoasmoro,  and  Nur Ibrahim,  “SISTEM  DETEKSI  QR  CODE PADA  MOBIL  BERGERAK  DENGAN METODE  FASTER  R-CNN,” e-Proceeding Eng. , vol. 8, no. 1, pp. 264–272, 2021, [Online]. Available: https://openlibrarypublications.telkomuniversit y.ac.id/index.php/engineering/article/view/142 72%0Ahttps://openlibrarypublications.telkomu niversity.ac.id/index.php/engineering/article/do wnload/14272/14056.
[15]  Z. P. Ruoxian Li, Jiayong Yu, Feng Li, Ruitao Yang, Yudong Wang, “Automatic bridge crack detection  using  Unmanned  aerial  vehicle  and Faster R-CNN,” Constr. Build. Mater. , p. 362, 2023.
[16]  U. Ungkawa and G. A. L. Hakim, “Klasifikasi Warna  pada  Kematangan  Buah  Kopi  Kuning menggunakan  Metode  CNN  Inception  V3,” ELKOMIKA  J.  Tek.  Energi  Elektr.  Tek. Telekomun.  Tek.  Elektron. ,  vol.  11,  no.  3,  pp. 731–743, 2023.
[17]  E. Eka Citra, D. Hatta Fudholi, and C. Kusuma Dewa, “Implementasi Arsitektur
EfficientNetV2  Untuk  Klasifikasi  Gambar Makanan  Tradisional  Indonesia,” J.  MEDIA Inform.  BUDIDARMA ,  vol.  7,  no.  April,  pp. 766–777, 2023, doi: 10.30865/mib.v7i2.5881.