Abstrak—Pencatatan  identitas  kendaraan  dan  pengendara  di PT.  XY  merupakan  proses  pertama  yang  harus  dilalui  oleh pengendara sebelum masuk lingkungan pabrik.   Dalam proses pencatatan  manual  membutuhkan  proses  yang  cukup  lama. Pengenalan Plat Nomor Dan Wajah Pengendara Menggunakan Convolutional Neural Network Dan Metode Absolute Difference Pada  Sistem  Gerbang  Otomatis dapat  mengenali  dan memberikan  akses  kepada  kendaraan  yang  terdaftar  dalam sistem  untuk  memasuki  lingkungan  pabrik.  Proses  ini  tidak akan  membutuhkan  waktu  yang  lama  karena  data  yang  ada dapat  langsung  tersinkron  dengan  data  yang  telah  tercatat dalam  sistem.  Pada  proyek  akhir  ini  proses  deteksi  wajah menggunakan  haar-cascade  sedangkan  metode  ekstraksi  citra menggunakan  Histogram  of  Oriented  Gradient  (HOG),  untuk proses pengenalan wajah menggunakan library face recognition. Sedangkan  pengenalan  plat  nomor  menggunakan  metode Convolutional  Neural  Network.  Pengujian  wajah  mendapatkan akurasi  100%  ketika  wajah  tanpa  penghalang.  Untuk  deteksi dan pembacaan plat nomor mendapatkan akurasi 97,1% untuk akurasi dan 94% untuk pembacaan plat.
Kata  Kunci—Pengenalan  Wajah,  Pengenalan  Plat  Nomor, Convolutional  Neural  Network,  Histogram  of  Oriented  Gradient (HOG).

## I.PENDAHULUAN
ENCATATAN  identitas  dan  pengendara  di  PT.  XY merupakan  proses  pertama  yang  harus  dilalui  oleh kendaraan  sebelum  masuk  lingkungan  pabrik.  Pencatatan dimulai  dari  nomer  kendaraan,  nama  pengendara  dan darimana  kendaraan  berasal  dilakukan  untuk  memverifikasi apakah truk tersebut sesuai dengan data yang ada di pabrik. Dalam proses pencatatan manual membutuhkan proses yang cukup  lama  mulai  pengendara  turun,  mengisi  formulir  lalu kembali ke masuk  kendaraan lagi sehingga tak jarang dapat menimbulkan  antrean  kendaraan  yang  panjang.  Selain  itu dalam proses pencatatan manual kadang data yang ada tidak sesuai  dengan  keadaan  riil  dalam  pabrik  karena  proses sinkronisasi yang membutuhkan waktu yang cukup lama.
Dengan  adanya  pengenalan  plat  nomor  dan  wajah pengendara menggunakan convolutional neural network dan metode  absolute  difference  pada  sistem  gerbang  otomatis dapat  menjadi  solusi  efektif  untuk  mengatasi  diatas.  Sistem Otomatisasi  Gerbang  Berbasis  Citra  Plat  Nomor  dan  Wajah Pengendara  dapat mengenali dan  memberikan  akses  kepada pengendara  yang  terdaftar  dalam  sistem  untuk  memasuki lingkungan pabrik. Proses ini tidak akan membutuhkan waktu yang  lama  karena  data  yang  ada  dapat  langsung  tersinkron dengan data yang telah tercatat dalam sistem.
Pada  proyek  akhir  ini  akan  menggabungkan  proses pengenalan  wajah  pengendara  dan  pengenalan  plat  nomor kendaraan. Metode untuk pengenalan plat nomor kendaraan menggunakan  CNN (Convolutional  Neural  Network), sedangkan  untuk  proses  pengenalan  wajah  pengendara menggunakan library  face-recognition. Dalam  proses matching  data antara  wajah  dan  plat  dengan database menggunakan metode absolute difference .

## II.TINJAUAN PUSTAKA

## A. Pengenalan Plat Nomor
Pengenalan  plat  nomor  kendaraan  bermanfaat  untuk mengenali  identitas  dari  kendaraan.  Pengenalan  plat  nomor pada  kendaraan  tersebut  dilakukan  secara  otomatis,  yaitu dilakukan  proses  pembacaan  karakter  dari  citra  nomor  plat yang  tertangkap  sistem  untuk  mengenali  karakter  apa  saja yang  terdapat  pada  citra.  Manfaat  dari  LPR  ialah  dapat mengenali identitas dari kendaraan yang terbaca oleh sistem. Sehingga  ketika  sistem  dapat  mengenali  identitas  dari kendaraan tersebut maka dapat dilakukan proses pegawasan serta  pembatasan  kendaraan  mana  saja  yang  diperbolehkan memasuki  sebuah  kawasan,  seperti  area  parkir,  jalan  tol, sebuah komplek perumahan ataupun tempat yang ingin awasi lainya

## B. Pengenalan Wajah
Pengenalan  wajah  adalah  salah  satu  metode  pengenalan yang  berorientasi  pada  wajah.  pengenalan  ini  dapat  dibagi menjadi  dua  bagian,  yaitu:  Dikenali  dan  Tidak  dikenali, setelah dilakukan perbandingan dengan pola yang sebelumnya sudah disimpan dalam database. Metode ini juga harus  mampu  mengenali  objek  bukan  wajah.  Perhitungan model  pengenalan  wajah  memiliki  beberapa  masalah. Kesulitan muncul ketika wajah direpresentasikan dalam suatu pola yang berisikan informasi unik yang membedakan dengan wajah lain.
Pengenalan  wajah  ditinjau  dari  posisi  rotasi  sangat berpengaruh  terhadap  akurasi  pengenalan  wajah.  Rotasi posisi  wajah  terdapat  3  jenis  kemungkinan,  antara  lain: menoleh  ke  kiri  atau  ke  kanan,  menggeleng  ke  kiri  atau  ke kanan,  dan  mendongak  ke  atas  atau  ke  bawah.  Secara  ideal wajah  dapat  diidentifikasi  dengan  baik  adalah  wajah  yang menghadap ke sensor kamera secara tegak lurus [1].

## C. Convolutional Neural Network
Convolutional Neural Network (CNN) adalah
pengembangan  dari  Multilayer  Perceptron  (MLP)  yang
Khamzul Rifki, Joko Priambodo, dan Arif Musthofa Departemen Teknik Elektro Otomasi, Institut Teknologi Sepuluh Nopember (ITS)
E-mail : joko.priambodo@its.ac.id
Pengenalan Plat Nomor dan Wajah Pengendara Menggunakan Convolutional Neural Network dan Metode Absolute Difference pada Sistem Gerbang Otomatis
P
didesain  untuk  mengolah  data  dua  dimensi.  CNN  termasuk dalam jenis Deep Neural Network karena kedalaman jaringan yang  tinggi  dan  banyak  diaplikasikan  pada  data  citra.  Pada kasus  klasifikasi  citra,  MLP  kurang  sesuai  untuk  digunakan karena tidak menyimpan informasi spasial dari data citra dan menganggap  setiap  piksel  adalah  fitur  yang  independen sehingga menghasilkan hasil yang kurang baik.
Convolutional Neural Network menggabungkan tiga pokok arsitektur,  yaitu local  receptive  fields , shared  weight yang berupa filter , dan spatial subsampling yang berupa Pooling . Konvolusi  atau  yang  biasa  disebut  dengan Convolution merupakan  matris  yang  berfungsi  untuk  melakukan filter . Arsitektur yang dimiliki oleh Convolutional Neural Network seperti  yang  dapat  dilihat  pada  gambar  1  adalah  sebagai berikut [2]:

## 1) Convolutional Layer
Convolution  layer melakukan  operasi  konvolusi  pada output dari lapisan sebelumnya. Layer tersebut adalah proses utama yang mendasari sebuah CNN.
Tujuan  konvolusi  pada  data  citra  adalah  untuk mengekstraksi  fitur  dari  citra  input.  Konvolusi  akan menghasilkan transformasi  linear dari  data input sesuai informasi  spasial  pada  data.  Bobot  pada layer tersebut menspesifikasikan  kernel  konvolusi  yang  digunakan, sehingga  kernel  konvolusi  dapat  dilatih  berdasarkan  input pada CNN.
2) Pooling Layer
Pooling  Layer merupakan  lapisan  yang  menggunakan fungsi  dengan feature  ma p  sebagai  masukan  dan mengolahnya  dengan  berbagai  macam  operasi  statistik berdasarkan  nilai  piksel  terdekat. Pooling  layer pada model CNN  biasanya  disisipkan  secara  teratur  setelah  beberapa convolution layer . Pooling layer yang dimasukkan di antara lapisan  konvolusi  secara  berturut-turut  dalam  arsitektur model Convolutional Neural Network dapat secara progresif mengurangi  ukuran  volume  output  pada  feature  map,
sehingga  jumlah  parameter  dan  perhitungan  di  jaringan berkurang, serta untuk mengendalikan overfitting .
3) Full Connected Layer
Fully  connected  layer merupakan  lapisan  dimana  semua neuron  aktivasi  dari  lapisan  sebelumnya  terhubung  semua dengan neuron di lapisan selanjutnya. Fully connected layer biasanya digunakan dalam penerapan Multi Layer Perceptron (MLP )  dan  bertujuan  untuk  melakukan  transformasi  pada dimensi data agar dapat diklasifikasikan secara linear.
Perbedaan antara fully connected layer dan biasanya adalah neuron  di convolution  layer terhubung  hanya  ke  daerah tertentu  pada  input,  sedangkan fully  connected  layer mempunyai  neuron  yang  secara  keseluruhan  terhubung. Namun, kedua lapisan tersebut masih mengoprasikan produk dot, sehingga fungsinya tidak begitu berbeda

## D. Raspberry
Raspberry  Pi  adalah  mikrokontroler  atau  sebuah  sistem komputer  yang  seluruh  atau  sebagian  besar  elemennya dikemas  dalam  satu  chip  IC,  sehingga  sering  disebut  single chip  microcomputer.  Mikrokontroler  merupakan  sistem komputer  yang  mempunyai  salah  satu  atau  beberapa  tugas yang sangat spesifik [3].

## III. PERANCANGAN DAN IMPLEMENTASI

## A. Desain Sistem
Desain  sistem  yang  akan  dibangun  pada  proyek  akhir  ini ditunjukkan  pada  Gambar  1  ,  untuk  implementasi  proyek akhir  ini  berupa prototype seperti  yang  sudah  tertera  pada tujuan proyek akhir ini.
B. Perancangan Sistem
Sistem yang dibuat merupakan prototype gerbang berbasis citra  plat  kendaraan  dan  wajah  pengendara.  Sistem  ini menggunakan  Raspberry  Pi  4  sebagai  mikrokontroler  dan mikroprosessor. Dalam sistem terdapat komponen penyusunan berikut penjelasaannya:
Gambar 1. Desain 3D sistem. Akusisi Citra Input Process Output Face
Recognition
Plate Recognition Matching Data With Database Led Servo
Gambar 2. Diagram blok sistem keseluruhan.
Gambar 3. Desain mekanik prorotype gerbang.
Gambar 4. Rangkaian wiring sistem.

## 1) Komponen Webcam
Komponen pertama pada sistem ini yaitu webcam sebagai sensor visual untuk mengambil citra plat kendaraan dan wajah pengendara.

## 2) Komponen Push Button
Komponen  push  button  berfungsi  sebagai  trigger  untuk memulai  sistem  dan  sebagai  tombol  emergency  apabila  led merah menyala.

## 3) Komponen Servo
Komponen  servo  berfungsi  untuk  menggerakkan  palang gerbang.

## 4) Komponen Face Recognition
Subsistem  Face  Recognition  berfungsi  untuk  proses pengenalan  wajah  yaitu  mencocokkan  citra  wajah  yang ditangkap oleh webcam   dengan  data  wajah  yang  telah didaftarkan.

## 5) Komponen Plate Recognition
Subsistem  plate  recognition  berfungsi  untuk  proses pengenalan plat kendaraan yang terbaca.

## 6) Komponen Subsistem Matching Data
Subsistem  matching  data  with  database  berfungsi  untuk mencocokkan  wajah  dan  plat  nomor  kendaraan  yang  telah didaftarkan (Gambar 2).

## C. Perancangan Mekanik
Desain perancangan mekanik dapat dilihat pada Gambar 3. Terdapat  2  box  yang  akan  digunakan  pada  proyek  akhir  ini agar dapat bekerja dengan apa yang telah direncanakan.
Box pertama yaitu sebagai tempat dimana servo dan palang gerbang diletakkan. Box pertama mempunyai dimensi 10 cm x 5 cm x 40 cm. Box kedua sebagai tempat dari led dan push button memiliki dimensi yang lebih kecil yaitu  10 cm x 5 cm x 30 cm. Material yang akan digunakan dalam pembuatan box adalah akrilik 1 mm.

## D. Perancangan Rangkaian Elektronik
Pengkabelan  atau  wiring  berfungsi  sebagai  I/O  untuk mengontrol  sudut  putaran  servo,  led  dan  push  button. Raspberry  Pi  bertugas  untuk  mendapatkan  sinyal  yang diberikan  push  button  dan  memberikan  sinyal  ke  led  dan motor servo. Perancangan wiring dapat dilihat pada  Gambar 4.
Image (Webcam) Input Process Output
Train
Face Detection
Face Recognition Hasil Pengenalan Face-recognition Library Gambar 5. Diagram blok pengenalan wajah. Image (Webcam) Input Process Output Train Pra Pengolahan Citra Deteksi Plat Hasil Pengenalan Klasifikasi Karakter Segmentasi Karakter
Gambar 6. Diagram blok pengenalan citra plat nomor.
Gambar 7. Hasil pengenalan wajah.
Gambar 8. Deteksi plat nomor.
Gambar 9. karakter terurut.
Gambar 10. Plat nomor terbaca.

## E. Perancangan Perangkat Lunak
Pengenalan  wajah  dapat  dilakukan  setelah  melakukan training  dan  menghasilkan  sebuah  model,  model  tersebut digunakan  untuk  melakukan  pengenalan  pada  wajah  pada foto. Jalankan program dan hadapkan wajah pada web camera kemudian  wajah  akan  dideteksi  kemudian  dikenali  dengan muncul nama di bagian wajah. Nama tersebut didapat setelah sistem mengenali wajah dengan cara mencocokan wajah yang ada di kamera dengan wajah yang ada pada database. Diagram blok pengenalan wajah ditunjukkan pada Gambar 5.
Untuk  cara  kerja  dari  pengenalan  plat  nomor  cukup sederhana  dalam  menjalankan  fungsi.  Pada  sistem  umum diagram alur yang dibangun dijelaskan pada Gambar 6.

## F. Implementasi
Tahap  implementasi  merupakan  tahap  pembuatan  alat dengan  mengguanakan  acuan  dari  proses  desain  yang  telah dilakukan.  Proses  implementasi  ini  dilakukan  untuk mengetahui kinerja dari sistem secara riil.

## 1) Pengenalan Wajah
a) Training Dataset
Proses  pertama  yang  harus  dilalui  adalah  pembuatan dataset , web camera sudah berada posisi siap untuk merekam wajah  user.  Proses  akusisi  citra  dilakukan  dengan  menekan tombol enter untuk menyimpan citra tangkapan. Gambar atau citra  yang  sudah  tersimpan  kemudian  dimasukan  ke  folder sendiri bernama dataset.
Tabel 1. Pengujian pengenalan wajah percobaan 1 No Nama Terdaftar/Tidak Hasil Pengenalan 1 Khamzul Terdaftar Khamzul 2 Ibu Terdaftar Ibu 3 Arsyad Terdaftar Arsyad 4 Bapak Terdaftar Bapak 5 Ramadhan Terdaftar Ramadhan 6 Inin Terdaftar Inin 7 Mas Arnov Terdaftar Mas Arnov 8 Rosyida Terdaftar Rosyida 9 Irchas Terdaftar Irchas 10 Ilham Terdaftar Ilham 11 Pradana Tidak Terdaftar Unknown 12 Khamzul Tidak Terdaftar Unknown Tabel 2. Pengujian pengenalan wajah percobaan 2 No Nama Terdaftar/Tidak Hasil Pengenalan 1 Khamzul Terdaftar Khamzul 2 Ibu Terdaftar Ibu 3 Arsyad Terdaftar Arsyad 4 Bapak Terdaftar Bapak 5 Ramadhan Terdaftar Ramadhan 6 Inin Terdaftar Inin 7 Mas Arnov Terdaftar Mas Arnov 8 Rosyida Terdaftar Rosyida 9 Irchas Terdaftar Irchas 10 Ilham Terdaftar Ilham 11 Pradana Tidak Terdaftar Unknown 12 Khamzul Tidak Terdaftar Unknown Tabel 3. Pengujian pengenalan wajah percobaan 3 No Nama Terdaftar/Tidak Hasil Pengenalan 1 Khamzul Terdaftar Khamzul 2 Ibu Terdaftar Ibu 3 Arsyad Terdaftar Arsyad 4 Bapak Terdaftar Bapak 5 Ramadhan Terdaftar Ramadhan 6 Inin Terdaftar Inin 7 Mas Arnov Terdaftar Mas Arnov 8 Rosyida Terdaftar Rosyida 9 Irchas Terdaftar Irchas 10 Ilham Terdaftar Ilham 11 Pradana Tidak Terdaftar Unknown 12 Khamzul Tidak Terdaftar Unknown
Tabel 4. Pengujian deteksi plat nomor horizontal dengan jarak 120 cm No Plat Hasil Pembacaan Nilai Komponen Confusion Matrix TP FP TN FN 1 AE4144OI AE4744OD 8 0 0 0 2 W9242GF W9242GF 7 0 0 0 3 AE4258OI AE42580Z 8 0 0 0 4 AD3492CX AD3492CX 8 0 0 0 5 AE5526DL AE5526DL 8 0 0 0 6 AE3833PL AE3833PL 8 0 0 0 7 AE4920OM B4920M 6 2 0 0 8 AE3848OI E3848Q 6 2 0 0 9 AE5620CL AE5620CL 8 0 0 0 10 AE2254BU AE2254BU 8 0 0 0 11 AE5722BZ AE5122BZ 8 0 0 0 12 AE3768BB AE3168BB 8 0 0 0 13 B3156TVT B3756TVT 8 0 0 0 14 AE5956OE AE5956OE 8 0 0 0 15 AE4741PK AE4747P 8 1 0 0 16 AE3387FS AE3387FS 8 0 0 0 17 AD3631ATE AD3T87ATE 9 0 0 0 18 DA6603OT DA6603OT 8 0 0 0 19 AE6765HR AE6765HR 8 0 0 0 20 AE3254BO AE3254BO 8 0 0 0
21 Plat Kosong Tidak Tersegmentasi 0 0 8 0 22 AE3809DE AE3809DE 8 0 0 0
Tabel 5.
Hasil confusion matrik deteksi horizontal 120 cm P/N T F P 164 5 N 8 0 Tabel 6. Pengujian pembacaan plat nomor horizontal dengan jarak 120 cm No Plat Hasil Pembacaan Nilai  Komponen Confusion Matrix Benar Salah 1 AE4144OI AE4744OD 6 2 2 W9242GF W9242GF 7 0 3 AE4258OI AE42580Z 7 1 4 AD3492CX AD3492CX 8 0 5 AE5526DL AE5526DL 8 0 6 AE3833PL AE3833PL 8 0 7 AE4920OM B4920M 5 1 8 AE3848OI E3848Q 5 1 9 AE5620CL AE5620CL 8 0 10 AE2254BU AE2254BU 8 0 11 AE5722BZ AE5122BZ 7 1 12 AE3768BB AE3168BB 7 1 13 B3156TVT B3756TVT 7 1 14 AE5956OE AE5956OE 8 0 15 AE4741PK AE4747P 6 1 16 AE3387FS AE3387FS 8 0 17 AD3631ATE AD3T87ATE 7 2 18 DA6603OT DA6603OT 8 0 19 AE6765HR AE6765HR 8 0 20 AE3254BO AE3254BO 8 0 21 Plat Kosong Tidak Tersegmentasi 8 0 22 AE3809DE AE3809DE 8 0

## b) Face Detection dan Face Recognition
Proses selanjutnya yang dilakukan adalah mengubah citra tangkapan menjadi grayscale. Citra yang telah diubah menjadi grayscale  akan  proses  untuk  mendeteksi  apakah  ada  wajah dalam  citra  tersebut  menggunakan  haar-cascade  ekstraksi citra History of Oriented Gradients (HOG). Citra wajah yang telah terdeteksi akan dikenali dengan mengubah citra menjadi 128-d vector yang nantinya akan disimpan dengan nama file “encodings.pickle”.  Proses  pengenalan  wajah  dilakukan dengan  cara mencocokan  128-d  vector yang  ditangkap  citra dengan 128-d  vector  yang  telah  dilatih  dan  disimpan dalam file “encodings.pickle”. Hasil pengenalan wajah ditunjukkan pada Gambar 7.

## 2) Pengenalan Plat Nomor

## a) Training Dataset
Proses train akan memakan waktu cukup lama tergantung kekuatan pada perangkat yang digunakan pada proses ini saya menggunakan  Google  Colab  untuk  mempercepat  proses training.  Google  Colab  adalah  coding  environment  bahasa pemrograman Python dengan format “notebook” atau dengan kata  lain  ibaratnya  Google  meminjamkan  kita  komputer secara  gratis  untuk  membuat  program  atau  melakukan pengolahan data dari Google.
b) Pra-Pengolahan Citra
Proses pra-pengolahan citra ini berfungsi untuk mempersiapkan  citra  agar  mudah  dalam  mendeteksi  plat.
Tabel 7.
Database plat dan wajah Plat Wajah AE5526DL Khamzul W9242GF Bapak AD3492CX Irchas AE4258OI Ibu AE3833PL Mas Arnov Tabel 8. Hasil pengujian keseluruhan tanpa menggunakan absolute difference X1(Database) X2(Input) Hasil Plat(x11) Wajah (x21) Hasil Pembacaan (x11) Nama Pengenalan (x21) Kondisi Gerbang AE5526DL Khamzul AE5526DL Khamzul Terbuka AE4258OI Ibu AE4258OZ Khamzul Tertutup W9242GF Bapak W9242DF Bapak Terbuka AD3492CX Irchas AD3492CX Khamzul Terbuka AD3492CX Irchas AD3492CX Irchas Terbuka AE5526DL Khamzul AE5526DL Irchas Terbuka AE4258OI Ibu AE425OY Ibu Tertutup AE3833PL Mas Arnov AE3833PL Mas Arnov Terbuka AD3492CX Irchas AD3492CX Ibu Terbuka AD3492CX Irchas AD3492CX Bapak Terbuka W9242GF Bapak W9242GF Khamzul Terbuka W9242GF Bapak W9242GF Irchas Terbuka AE3833PL Mas Arnov AE3833PL Irchas Terbuka AE3833PL Mas Arnov AE3833PL Khamzul Terbuka AE3833PL Mas Arnov AE3833PL Pradana Tertutup AE3833PL Mas Arnov AE3833PL Ilham Tertutup Tabel 9. Hasil pengujian keseluruhan X1(Database) X2(Input) Hasil \8g Wajah (x21) Hasil Pembacaan (x11) Nama Pengenalan (x21) Kondisi Gerbang AE5526DL Khamzul AE5526DL Khamzul Terbuka AE4258OI Ibu AE4258OZ Khamzul Tertutup W9242GF Bapak W9242DF Bapak Terbuka AD3492CX Irchas AD3492CX Khamzul Tertutup AD3492CX Irchas AD3492CX Irchas Terbuka AE5526DL Khamzul AE5526DL Irchas Tertutup AE4258OI Ibu AE425OY Ibu Tertutup AE3833PL Mas Arnov AE3833PL Mas Arnov Terbuka AD3492CX Irchas AD3492CX Ibu Tertutup AD3492CX Irchas AD3492CX Bapak Tertutup W9242GF Bapak W9242GF Khamzul Tertutup W9242GF Bapak W9242GF Irchas Tertutup AE3833PL Mas Arnov AE3833PL Irchas Tertutup AE3833PL Mas Arnov AE3833PL Khamzul Tertutup AE3833PL Mas Arnov AE3833PL Pradana Tertutup AE3833PL Mas Arrnov AE3833PL Ilham Tertutup
Banyak  hal  yang  dapat  mempengaruhi  suatu  citra  seperti cuaca,  intesitas  cahaya,  dan  beberapa  hal  lain  seperti bayangan yang nantinya dapat mempengaruhi data hasil.

## 3) Deteksi Plat
Citra  yang  dihasilkan  dari  pra-pengolahan  terlihat  bahwa bagian plat nomor membentuk garis kotak. Fungsi countours melakukan  deteksi  plat  dari  hasil  citra  prapengolahan  yang mana kontur atau area plat bisa terlihat dengan lumayan jelas, saling  berhubungan  membuat  suatu  area . Dari  semua  area kontur pada citra, untuk mendapatkan area plat nomor, dibuat filter  berdasarkan aspect  ratio dan  lebarnya,  jika  lebarnya lebih  dari  atau  sama  dengan  200 pixel dan  aspect  rationya kurang  dari  atau  sama  dengan  4  maka  area  tersebut  akan dianggap  plat  nomor.  Hasil  dari  deteksi countours dapat dilihat pada Gambar 8.

## 4) Segmentasi Karakter
Untuk mendapatkan kandidat karakternya  dilakukan filter terhadap  kontur  dengan  berdasarkan  lebar  dan  tingginya, yaitu  apabila  tingginya  dalam  rentang  40-60  piksel  dan lebarnya lebih dari 10 piksel (Gambar 9).

## 5) Klasifikasi Karakter
Proses  yang  dilakukan  disini  yaitu  proses  pengenalan karakter menggunakan model hasil dari proses pelatihan yang telah dilakukan CNN tadi. Pada proses pengujian tadi maka dihasilkan  beberapa  karakter  hasil  klasifikasi  dan  dilakukan penggabungan  karakter  dan  angka  sehingga  sistem  dapat membaca  dan  mengenali  plat  nomor.  Hasil  dari  pengenalan karakter plat nomor dapat dilihat pada Gambar 10.

## IV.PENGUJIAN DAN ANALISIS

## A. Pengujian dan Analisis Pengenalan Wajah
Dari Tabel 1, Tabel 2 dan Tabel 3 dilakukakan pengujian perulang  percobaan  dengan  variabel  tanpa  penghalang memberikan hasil yang didapat adalah semua wajah berhasil dideteksi dan dapat dikenali. Begitupun pada variabel dengan helm,  hasil  yang  didapatkan  adalah  semua  wajah  dapat dikenali.  Pada  variabel  dengan  masker  memberikan  hasil yang berbeda, hanya pada satu-dua wajah yang bisa dikenali.

## B. Pengujian Pengenalan Plat Nomor
Pengujian  pengenalan  plat  nomor  dilakukan  dengan  citra horizontal di ruangan terbuka dengan jarak 100,120, dan 150 cm.  Namun  hasil  pengujian  yang  ditampilakn  hanya  jarak ketika 120 cm. Pengujian dilakukan dengan webcam Logitech c270 beresolusi 960x1280 piksel.
Berdasarkan  Tabel  4  pengujian  deteksi  plat  nomor horizontal dengan jarak 120 cm didapatkan hasil berupa:
Dari Tabel 5 dapat diambil nilai performansi sistem seperti akurasi,  presisi,  dan  recall  dengan  perhitungan  yang  telah dijabarkan pada persamaan 1, persamaan 2 dan persamaan 3. Dengan  hasil  akurasi  sebesar  97,1%,  presisi  sebesar  97,1% dan recall sebesar 100%.
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = 𝑇𝑃 + 𝑇𝑁 𝑇𝑃 + 𝑇𝑁 + 𝐹𝑃 + 𝐹𝑁 (1) 𝑃𝑟𝑒𝑠𝑖𝑠𝑖 = 𝑇𝑃
𝑇𝑃 + 𝐹𝑃 (2) 𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃
𝑇𝑃 + 𝐹𝑁
(3)
Keterangan: TP = True Positive TN = True Negative FP = False Positive FN = False Negative
Dari Tabel 6 didapatkan jumlah data yang benar sejumlah 152  sedangkan  data  yang  salah  sejumlah  11.  Dari  data tersebut didapatkan nilai akurasi sebesar 94%

## C. Pengujian Keseluruhan
Pada  pengujian  kali  ini  dilakukan  untuk  pengujian matching  data wajah  dan  plat  nomor  kendaraan.  Database yang telah dibuat ditunjukkan pada Tabel 7. Pengujian yang dilakukan  pada  Tabel  8  adalah  pengujian  tanpa  metode absolute difference yang dilakukan dengan jarak 120 cm. Dari Error! Reference source not found. didapatkan hasil bahwa gerbang akan terbuka jika wajah pengendara dan plat nomor kendaraan telah terdaftar dalam database meskipun plat dan wajah tidak sesuai pasangannya.
Dari Tabel 9 didapatkan hasil bahwa gerbang akan terbuka hanya  jika  wajah  pengendara  dan  plat  nomor  kendaraan mempunyai  nilai  yang  sama  seperti  wajah  dan  plat  nomor yang telah didaftarkan sebelumnya pada database.
Pengujian diatas mempunyai kesamaan yaitu gerbang akan terbuka  jika  hanya  wajah  pengendara  dan  plat  nomor  yang terbaca  sama  dengan  apa  yang  telah  didaftarkan  dalam database, apabila hanya wajah pengendara saja yang dikenali gerbang tidak akan terbuka dan juga sebaliknya apabila plat nomor kendaraan saja yang terbaca maka gerbang tidak akan terbuka (Tabel 10).
Proses matching database yang digunakan adalah absolute difference. Jadi  setiap  input  wajah  dan  plat  yang  terkenali harus  mempunyai  nilai  yang  sama  dengan  nilai database sehingga apabila plat dan wajah  memiliki nilai yang hampir sama  gerbang  tidak  akan  terbuka. Absolute  difference yang ditentukan  pada  proyek  akhir  ini  adalah  0  untuk  gerbang terbuka dan 1 untuk nilai gerbang tertutup.
Nilai 0 yang digunakan karena jika hasil operasi absolute sama dengan 0 berarti nilai input mempunyai nilai yang sama dengan nilai database . Sedangkan apabila nilai hasil operasi absolute  difference  tidak  sama  dengan  0  berarti  nilai  input mempunyai  nilai  yang  berbeda  dengan database .  Secara matematis  proses matching yang  digunakan  dapat  ditulis sebagai berikut:
𝑋1 = | Plat(x11) + Wajah (𝑥21)
Tabel 10. Hasil analisis pengujian keseluruhan Skema Kondisi Gerbang Pengujian Kondisi Gerbang Seharusnya Wajah  dan  plat  nomor  yang terdeteksi sesuai dengan database Terbuka Terbuka Wajah  dan  Plat  nomor  yang terdeteksi namun tidak sesuai dengan database
Tertutup Tertutup Wajah  dan  plat  nomor  yang terdeteksi tidak terdapat pada database
Tertutup Tertutup
Nilai 𝑋1 merupakan  nilai  yang  sudah  terdaftar  dalam database. Sedangkan nilai 𝑋2 merupakan nilai input dari hasil pembacaan
𝑋2 = | Plat (x11) + Wajah (𝑥21)|
Gerbang  hanya  akan  terbuka  jika  nilai  hasil  operasi absolute  difference  bernilai  0.  Apabila  nilai  y  tidak  sama dengan 0 maka gerbang tidak akan terbuka, karena nilai input dan  nilai  yang  terdapat  dalam  database  mempunyai  selisih perbedaan. Maka dapat ditulis dalam persamaan berikut:
𝑦 = | 𝑋1 − 𝑋2| = 0

## V. KESIMPULAN
Berdasarkan  hasil  dari  pengujian  diatas,  dapat  diambil kesimpulan  :  (1)  Sistem  pengenalan  wajah  pengendara
dengan  ekstraksi  ciri Histogram  of  Oriented  Gradient dan library face  recognition dapat  mengenali  wajah  pengendara dengan akurasi sebesar 100% ketika wajah tanpa penghalang. (2)  Sistem  pengenalan  wajah  ( library  face-recognition )  dan pembacaan  plat  nomor  kendaraan  ( Convolutional  Neural Network) dengan  metode absolute  difference memiliki akurasi  tertinggi  ketika  pengujian  dilakukan  dengan  citra horizontal dan jarak 120 cm.

## DAFTAR PUSTAKA:
[1]  D.  Triyadi  and  J.  Adler,  “Sistem  Otomatisasi  Gerbang  dengan Pengolahan  Citra  Membaca  Nomor  Plat  Kendaraan,  Universitas Komputer Indonesia, 2014.
[2]  T. F. Kusumaningrum and others, “Implementasi Convolution Neural Network  (CNN)  untuk  Klasifikasi  Jamur  Konsumsi  di  Indonesia Menggunakan Keras, Universitas Islam Indonesia, 2018.
[3]  Sumardi, Mikrokontroler:  Belajar  AVR  Mulai  dari  Nol ,  1st  ed. Yogyakarta: Graha Ilmu, 2013.