Jurnal Teknik Informatika (JUTIF) DOI: https://doi.org/10.52436/1.jutif.2023.4.5.981 Vol. 4, No. 5, October 2023, pp. 1119-1125 p-ISSN: 2723-3863 e-ISSN: 2723-3871

## HUMAN FACE RECOGNITION ON IMAGE VIDEO CONFERENCE APPLICATION USING SIAMESE NETWORK WITH SKIP CONNECTION SMALLER VGG MODEL
Evan Tanuwijaya *1 , Averill Saladin Atma Setiawan 2 , Achmad Rijalu Arianindita 3 , Timothy Kristanto 4
1,2,3,4 Informatics, School of Information Technology, Universitas Ciputra Surabaya, Indonesia Email: 1 evan.tanuwijaya@ciputra.ac.id , 2 asaladin@student.ciputra.ac.id , 3 aarianindita@student.ciputra.ac.id , 4 timothy01@student.ciputra.ac.id
(Article received: April 04, 2023; Revision: May 01, 2023; published: October 15, 2023)

## Abstract
Attendance recording  is needed to  find out  someone's attendance at  a meeting or meeting. These meetings are sometimes conducted online through the video conferencing application. Recording attendance at online meetings is using an online form that is distributed via chat. There are several problems such as chats piling up and meeting participants arriving late so they cannot access the form link. Therefore, facial recognition can be used to record attendance using screenshots as an attendance record with the aim of helping to facilitate attendance recording through video conferencing applications using computer vision technology. This study proposes a method of using the Siamese network with the Smaller VGG skip connection model to improve human face recognition in video conferencing application images. Has validation accuracy results in the training phase of 98%, precision of 98%, and recall of 98%. For the similarity phase where the model is applied to the Siamese network, the accuracy is 95%, the precision is 53%, and the recall is 78%. Then the model is applied to the pipeline system with the YOLO- face model to classify the results of face detection from Yolo with the faces in the database so that the model does not need to be retrained if there are new faces, it only needs to add facial images to the database to be compared with the query image.
Keywords : Convolution  Neural  Network,  Face  Recognition,  Siamese  Network,  Skip  Connection,  VGG,  Video Conference Image.

## PENGENALAN WAJAH MANUSIA PADA CITRA APLIKASI VIDEO CONFERENCE MENGGUNAKAN SIAMESE NETWORK DENGAN MODEL SKIP CONNECTION SMALLER VGG

## Abstrak
Pencatatan kehadiran diperlukan untuk mengetahui kehadiran seseorang dalam sebuah rapat atau pertemuan. Rapat tersebut  terkadang  dilakukan  secara online melalui  aplikasi  video Conference .  Pencatatan  kehadiran  pada pertemuan online adalah menggunakan form online yang disebar melalui chat. Terdapat beberapa permasalahan seperti tertumpuknya chat dan jika peserta meeting telat masuk sehingga tidak dapat mengakses link form tersebut. Oleh sebab itu, pengenalan wajah dapat digunakan untuk melakukan pencatatan kehadiran menggunakan citra dari hasil tangkap layar sebagai pencatatan kehadiran dengan tujuan membantu mempermudah pencatatan kehadiran melalui aplikasi  video conference menggunakan teknologi  computer vision. Penelitian ini mengusulkan  sebuah metode  penggunaan  siamese  network  dengan  model  skip  connection  Smaller  VGG  untuk  meningkatkan pengenalan wajah manusia pada citra aplikasi video conference . Memiliki hasil akurasi validasi pada fase training sebesar 98%, precision sebesar 98%, dan recall sebesar 98%. Untuk fase similarity dimana model diterapkan pada Siamese  network  didapatkan  akurasi  sebesar  95%,  precision  53%,  dan  recall  sebesar  78%.  Kemudian  model tersebut  diterapkan ke dalam sistem pipeline dengan model YOLO-face untuk  mengklasifikasikan hasil deteksi wajah dari yolo dengan wajah yang ada pada di database sehingga model tidak perlu ditraining ulang jika terdapat wajah baru, hanya perlu menambahkan citra wajah pada database untuk dibandingkan dengan citra query.
Kata kunci : Citra Video Conference, Convolution Neural Network, Pengenalan Wajah, Siamese Network, Skip Connection, VGG.

## 1. PENDAHULUAN
Sistem  pencatatan  kehadiran  merupakan  hal yang sangat penting dalam pertemuan baik itu untuk
kehadiran rapat, kelas, atau kedatangan kerja. Sistem pencatatan  tersebut  digunakan  untuk  memonitor kehadiran dari setiap staf atau anggota dalam sebuah organisasi  [1].  Adapun  berbagai  sistem  yang  dapat digunakan untuk mencatat kehadiran yaitu menggunakan sidik jari, kartu identitas, atau QR code [2]–[4].  Akan  tetapi,  sistem  tersebut  memiliki beberapa  kekurangan  seperti  sistem  sidik  jari memiliki  tingkat  kesalahan  sebesar  5%  dan kesusahan  untuk  di  deteksi  sementara  untuk  sistem menggunakan  kartu  dan QR  code memiliki kekurangan  yaitu  dapat  diwakilkan  oleh  orang  lain [5].
Wajah  manusia  memiliki  keunikan  masing- masing dan banyak digunakan sebagai biometri yang dapat  dideteksi  untuk  sebuah  sistem  pencatatan kehadiran.  Dari  wajah  manusia,  informasi  seperti umur, jenis kelamin, ras, ekspresi wajah, dan keadaan mental seseorang dapat di deteksi [6]. Oleh sebab itu pengenalan  wajah  merupakan  salah  satu  teknologi yang  sedang  berkembang  untuk  penerapan  dibidan pencatatan kehadiran. Akan tetapi pengenalan wajah menggunakan  sistem  memiliki  kendala  utama  yaitu lingkungan yang tidak dapat di kontrol seperti terang ataupun gelap serta pose kepala dapat mempengaruhi informasi-informasi yang ada pada wajah [6].
Telah banyak penelitian terkait sistem pencatatan  kehadiran  menggunakan  deteksi  wajah baik  itu  menggunakan  metode  non deep  learning ataupun deep learning [7]. Salah satu penelitian yang telah  dilakukan  adalah  menggunakan  Haar  cascade dan  Local  Binary  Pattern  Histogram  (LBPH).  Hasil dari  penelitian  tersebut  didapatkan  akurasi  sebesar 77%  dan false-positive  rate sebesar  28%  [8]. Penelitian  selanjutnya  menggunakan deep  learning Convolution Neural  Network  untuk  mendeteksi wajah  [9].  Dengan  menggunakan  CNN  akurasi meningkat  menjadi  98%.  Penelitian  selanjutnya merupakan  penelitian  [1]  di  mana transfer  learning dilakukan  pada  beberapa  CNN  untuk  mendapatkan hasil  yang  lebih  optimal.  Didapatkan  arsitektur Resnet  dengan  akurasi  99%,  Alexnet  100%.  Dari penelitian  tersebut  model  memerlukan  fase training
agar  dapat  mengenali  wajah  seseorang  yang  baru. Oleh  sebab  itu  Siamese  network  dapat  digunakan untuk  membantu  mengembangkan  sebuah  model CNN  yang  dapat  membandingkan  citra  satu  dengan citra  lainnya  tanpa  memerlukan  fase training [10]– [12].
Dalam  penelitian,  peneliti  mengajukan  sebuah metode  Siamase Convolution Neural  Network menggunakan  arsitektur  Smaller  VGG[13]  yang dimodifikasi  dengan  skip  connection  sehingga mampu  memberikan  fitur  lebih  dari  proses  masing- masing  layer  dan  menambahkan  pada  layer berikutnya [14], [15]. Dengan model ini, citra query akan  dibandingkan  dengan  citra  yang  ada  pada database menggunakan model CNN ini dan hasilnya akan diukur tingkat kemiripan dari hasil proses citra query dengan  hasil  proses  citra  di database untuk mempermudah  pencatatan  kehadiran  tanpa  perlu melakukan model training terhadap wajah baru.

## 2. METODE PENELITIAN
Penggunaan Deep Learning
dalam menyelesaikan suatu permasalahan memerlukan fase training model  di  mana  model  dilatih  dengan  data yang  telah  di  beri  label  dan  kemudian  model  dapat mengenali  data  baru  yang  dimasukkan  termasuk  ke dalam  kelas  label  tertentu.  Akan  tetapi  untuk  kasus yang di angkat dalam penelitian ini, sistem pencatatan kehadiran  menggunakan  pengenalan  wajah  akan sangat  lama  prosesnya  jika  setiap  wajah  baru  yang didaftarkan harus di training ulang kembali sebelum siap untuk digunakan. Oleh sebab itu cara kerja dari Siamese Network diterapkan pada model yang telah di training . Citra yang ingin dikenali dan kumpulan citra dari data wajah yang dimiliki akan dimasukkan ke dalam convolution neural network. Hasil dari citra yang  ingin  di  kenali  akan  dibandingkan  dengan semua hasil pemrosesan citra yang dimiliki. Dengan penerapan Siamese ini, model tidak perlu di training ulang setiap kali terdapat data wajah baru yang ingin dikenali.
Gambar  2. Sistem Pengenalan Wajah
Tantangan yang ada pada deteksi wajah adalah karakteristik  yang  berbeda  dalam  hal  bentuk  wajah, posisi dan bentuk mata, bentuk hidung, dan lain-lain dengan  ciri  khas  dan  ukuran  yang  beragam. Berdasarkan  hal  tersebut,  penelitian ini  menerapkan arsitektur  Smaller  VGG-like  network  [13].  Dalam penggunaan  Smaller  VGG  ini  mampu  melakukan mengenali  citra  rempah-rempah  yang  memiliki tingkat  kemiripan  yang  hampir  sama  satu  rempah dengan  yang  lain.  Dengan  hasil  tersebut,  Smaller VGG  model  ini  akan  diterapkan  untuk  mengenali wajah manusia. Untuk menambah fitur dari  Smaller VGG ini, Skip-connection diterapkan pada beberapa layer untuk  menambahkan fitur-fitur yang terseleksi akibat proses convolution pada layer terdalam dengan harapan  fitur  yang  didapatkan  dapat  menambahkan informasi  sehingga  selain  menjaga  akurasi  model, juga  menjaga  model  tetap  cepat  dalam  mendeteksi wajah.
Fase pembuatan model memiliki dua fase yaitu fase pertama adalah fase training dan fase kedua ada fase similarity seperti Gambar 1. Pada fase training , model arsitektur smaller VGG yang diterapkan skip- connection  dibuat  kemudian  dilakukan training model menggunakan komputer dengan GPU Quadro RTX 4000. Setelah di training , model kemudian akan di  testing  dengan  data  tes  untuk  diketahui  threshold yang  tepat  untuk  dikatakan  bahwa  kedua  gambar wajah  tersebut  dikatakan  sama.  Setelah  didapatkan threshold,  model kemudian akan di-pruning  terlebih dahulu  pada  bagaian  fully  connected  layer  di  mana akan  tersisa convolution layer  saja  yang  dapat mengambil  fitur-fitur  dari  sebuah  citra.  Model  yang telah  di  pruning,  kemudian  digunakan  pada  fase similarity  di  mana  model  yang  sudah  di training disiapkan  menjadi  siamase  network  di  mana  model menerima  citra  yang  ingin  dicari  kemudian dibandingkan  dengan  semua  citra  yang  ada  pada database. Dari  hasi  model CNN tersebut  didapatkan array  yang  memiliki  value  dari  fitur-fitur  pada  citra wajah.  Array  tersebut  kemudian  akan  di  lakukan perhitungan  similarity  dengan  rumus  euclidean distance  pada  persamaan  (1)  untuk  di  hitung kemiripan  array  dari  citra  query  dengan  array  dari semua citra di database. Nilai euclidean distance yang terendah  kemudian  akan  dibandingkan  dengan threshold agar diketahui wajah tersebut mirip dengan salah satu wajah yang ada di database atau tidak.
𝑑(𝑥, 𝑦) =   √∑(𝑦 𝑖 −  𝑥 𝑖 ) 2 𝑛 𝑖 = 1
Model  yang  sudah  berhasil  selesai  mendeteksi fase  similarity,  akan  digunakan  untuk  sistem keseluruhan  di  mana  mengombinasikan  face detection  dengan  model  YOLO-Face  [16]  untuk didapatkan  posisi  wajah  pada  citra  kemudian dilakukan  klasifikasi  wajah  dengan  model  Smaller VGG dengan skip connection seperti pada gambar 2. Secara keseluruhan sistem, hasil tangkapan layar dari pertemuan dengan aplikasi video conference akan di proses  oleh  YOLO-Face  untuk  di  deteksi  posisi wajahnya.  Setelah  semua  wajah  pada  citra  tersebut akan  didapatkan  lokasi  bounding  box  dari  masing- masing peserta. Bounding box tersebut dipakai untuk melakukan  seleksi  wajah  kemudian  dimasukkan  ke dalam CNN similarity hasil training dan didapatkan seluruh daftar peserta yang ada pada video conference tersebut dengan Namanya.

## 3. HASIL DAN PEMBAHASAN
Dalam bagian ini akan dibahas terkait hasil dari penelitian. Dataset yang digunakan untuk melakukan training model adalah data wajah yang dikumpulkan oleh  peneliti  menggunakan website Teachable Machine  di  mana  terdapat  14  kelas  dan  masing- masing  kelasnya  terdapat  200  citra  wajah  dengan berbagai  arah.  Ukuran  dari  masing-masing  citra tersebut  adalah  224  x  224  pixel  dan  memiliki  tipe warna RGB sesuai gambar 3.

## Gambar  3 Contoh Dataset Training
Berdasarkan dari  penelitian sebelumnya terkait pengenalan wajah manusia dengan sistem yang sama [17], didapatkan beberapa kekurangan yaitu ROI dari wajah  pada  dataset  terlalu  luas  sehingga  hasil  dari YOLO-Face yang memiliki ROI yang lebih spesifik dengan  wajah  menyebabkan  CNN  tidak  dapat mengklasifikasikan  wajah  dengan  benar  saat digabungkan.  Oleh  sebab  itu,  Dataset  dilakukan prepocessing terlebih dahulu untuk membuat dataset memiliki ROI yang lebih kecil dan spesifik ke lokasi wajah sesuai gambar 4.
(1)

## Gambar  4 Contoh Gambar Hasil Preprocessing

## 3.1. Fase Training Model
Setelah  data  di preprocessing dan  mengurangi ROI  spesifik  ke  wajah,  Dataset  kemudian  disiapkan untuk  di training ke  model.  Model  yang  akan  di training yaitu Skip  Connection Smaller VGG dan 3 model  lain  sebagai  pembanding  yaitu  Alexnet, Resnet,  CNN  dari  penelitian  deteksi  Pneuomonia. Model Skip Connection Smaller VGG memiliki layer seperti  gambar  5.  Model  Smaller  VGG  memiliki  4 blok convolution layer di  mana masing-masing  blok
memiliki convolution layer  dengan  ukuran  3  x  3 dengan stride 1, padding valid,  dan  fungsi  aktivasi ReLU. Untuk jumlah kernel dari masing-masing blok adalah  16,  16,  32,  dan  64.  Alur  arsitektur  smaller VGG  menghubungkan  blok  1,  2,  3,  dan  4  serta menerapkan skip connection dari blok 2 menuju 4 dan blok  3  menuju  4  yang  di flatten terlebih  dahulu kemudian  digabungkan  dengan  layer concatenate sehingga didapatkan array 1 dimensi yang miliki nilai fitur-fitur  yang  ada  pada  citra  wajah.  Setelah digabungkan  menjadi  1,  layer  selanjutnya  adalah layer  fully  connected  untuk  melakukan  klasifikasi. Terdapat 3 layer fully connected dengan jumlah node sebanyak  500,  250,  dan  250  dengan  fungsi  aktifasi ReLU secara berurutan dan di akhir  dengan fully connected  layer  sebagai  output  dengan  jumlah node 14 dengan fungsi aktivasi softmax.
Gambar  5 Arsitektur Skip Connection Smaller VGG
Setiap  model training dengan hyperparameter epoch sebesar  30, batch size sebesar  32, optimizer yaitu  adam,  dan  fungsi loss yaitu  categorical crossentropy. Metrik evaluasi yang digunakan untuk mengukur keberhasilan model adalah waktu, akurasi, loss, precision, dan recall dari masing-masing model. Tabel  1  merupakan  hasil  evaluasi  terakhir  dari  ke empat model yang digunakan. Didapatkan pada fase training ,  Skip  Connection  Smaller  VGG  memiliki loss  terendah  dibandingkan  dengan  ke  3  model pembanding  dan  memiliki  akurasi,  recall,  dan precision yang lebih tinggi dibandingkan dengan ke 3 model  pembanding.  Sementara  saat  fase  validasi,
didapatkan  nilai loss dari  skip  connection  smaller VGG berada di posisi 2 terendah setelah Resnet yaitu 0,104  dan  Resnet  dengan  nilai  0,08.  Nilai  akurasi, recal,  dan  precision  dari  skip  connection  smaller VGG menempati 2 tertinggi dari Resnet dengan nilai akurasi,  recall,  dan  precision  dari  skip  connection smaller VGG secara berurutan yaitu 0,984; 0,982; dan 0,986.  Untuk  waktu training ,  didapatkan  Skip connection  smaller  VGG  memiliki  waktu training yang  relative  cepat  dan  mempertahankan  akurasi, precision,  recall,  dan  loss  yang  mendekati  ketiga model pembanding yaitu 1 menit 48 detik.
Tabel 1. Evaluasi Model Fase Training Skip Con Smaller VGG Alexnet Resnet 50 Pneumonia CNN Train Loss 0,002 0,538 0,018 0,024 Train Accuracy 1,000 0,788 0,996 0,995 Train Recall 1,000 0,710 0,996 0,995 Train Precision 1,000 0,952 0,996 0,995 Val Loss 0,104 0,542 0,080 0,835 Val Accuracy 0,984 0,815 0,992 0,790 Val Recall 0,982 0,723 0,992 0,778 Val Precision 0,986 0,960 0,992 0,798 Training Time 01.48 01.14 08.04 00.46
Tabel 2 Evaluasi Model Fase Similarity Skip Con Smaller VGG Alexnet Resnet 50 Pneumonia CNN Threshold 20,89 25,7 1,48 0,09 Accuracy 0,956 0,909 0,965 0,958 Precision 0,531 0,404 0,518 0,424 Recall 0,788 0,377 1,000 1,000

## 3.2. Fase Similarity Check Model
Setelah melewati fase training telah di evaluasi, fase similariy dilakukan  evaluasi  dengan  penerapan model skip connection dengan 3 model pembanding pada  pola  Siamese  network.  Model  yang  sudah  di training ini  dilakukan pruning pada  bagian  fully connected  layer  dan  hanya  menyisakan  bagian convolution layer  dan  layer  terakhir  yaitu  flatten untuk mendapatkan array 1 dimensi yang berisi nilai fitur.  Model  kemudian  dibandingkan  dengan  citra query dan  citra  pada  database  untuk  didapatkan threshold yang  optimal.  Pada  tabel  2  dijelaskan threshold yang  didapatkan  untuk  skip  connection smaller VGG adalah 20,89. Kemudian dari threshold tersebut  dilakukan  proses  validasi similarity dengan metrik akurasi precision dan recall untuk model skip connection  smaller  VGG  dan  3  model  pembanding yang di terapkan pada siamese network. Didapatkan nilai  akurasi  dari  Skip  Connection  Smaller  VGG memiliki  nilai  tidak  jauh  berbeda  di  bagian  akurasi dan  precision  dengan  3  metode  pembanding  yaitu 0,956 dan 0,531  hanya saja pada bagian recall, skip connection  smaller  VGG  memiliki  nilai  recall  yang cukup rendah dibandingkan dengan resnet dan CNN dari penelitian deteksi pneumonia yaitu 0,788.
Saat dilakukan penerapan menggunakan YOLO-Face,  Model  dapat  melakukan  klasifikasi. Akan tetapi dikarenakan model tersebut tidak dilatih dalam jumlah banyak, maka banyak klasifikasi yang dilakukan dari model mengarah pada beberapa kelas dominan  saja  dikarenakan  dataset  yang  digunakan menghadap  arah  kamera  yang  jelas.  Sementara  data di  database  yang  mengarah  tidak  pada  kamera memiliki  kekurangan  dan  menyebabkan  kesalahan dalam klasifikasi.

## 4. DISKUSI
Berdasarkan dari hasil evaluasi, didapatkan Skip connection Smaller VGG saat fase training memiliki akurasi  yang  tidak  jauh  berbeda  dengan  metode pembanding.  Tetapi  memiliki  waktu training yang singkat  dikarenakan  model  ini  memiliki  jumlah parameter dan layer yang lebih rendah dibandingkan dengan  yang  lain.  Akan  tetapi  saat  dimasukkan pengetesan  pada  fase similarity ,  Skip  Connection Smaller  VGG  memiliki  akurasi  yang  tidak  jauh berbeda  dengan  metode  pembanding  tetapi  dari  sisi precision serta recall terdapat perbedaan yang cukup signifikan.  Hal  ini  disebabkan  karena  banyaknya kesalahan dalam melakukan pembandingan similarity antara  data query dengan  data  di  database  yang menyebabkan  hasil  fitur  dari  masing-masing  data memiliki  jarak  yang  cukup  jauh  saat  dihitung
menggunakan  Euclidean  distance.  Walaupun  saat dilakukan training ,  model  skip  connection  mampu mengklasifikasikan  data  dengan  baik  dikarenakan memiliki fully connected layer pada bagian  akhir di mana layer ini bertugas untuk memberikan penentuan kelas, tetapi saat layer tersebut dihilangkan dan hanya tersisa convolution layernya  saja,  model  tidak menghasilkan  nilai array fitur  yang  mirip  dengan database  di query .  Tetapi  dengan  penggunaan  Skip Connection  yang  mampu  menambahkan  fitur  pada bagian  akhir,  model  mampu  menghasilkan  evaluasi yang tidak jauh berbeda dengan model pembanding. Selain itu, penggunaan Siamese network memerlukan training dengan  berbagai  macam  data  berbeda sehingga  mampu  memberikan  fitur-fitur  dari  citra pada hasil convolution yang sekiranya  mirip dengan citra di database. Hal yang menyebabkan model Skip Connection Smaller VGG tidak mampu bersaing saat fase similiraity dikarenakan  model  ini  tidak menerapkan transfer learning untuk membantu dalam melatih  model  agar  mampu  menghasil  fitur  yang mirip dengan citra yang ingin di cari kedekatannya.
Berdasarkan  penelitian  yang  telah  dilakukan oleh  Ibrahim  [18]  Sistem  yang  dibuat  dengan  cara mengumpulkan data siswa dengan aplikasi GUI yang dibuat kemudian model di training dan mendapatkan hasil  sebesar  akurasi  sebesar  87%  di  mana  pada model Smaller VGG  mampu  memprediksi  dengan tingkat  akurasi  validasi  sebesar  98%  akan  tetapi model  pada  penelitian  Ibrahim  harus  di training Kembali  Ketika  ada  siswa  baru  yang  masuk. Sementara  pada  penelitian  ini  memiliki  kontribusi untuk mengurangi training Kembali dengan melakukan perbandingan dengan model Siamese.
Selain itu penelitian yang dilakukan oleh Shyam [19] yang menggunakan Low Resolusion Image untuk melakukan  klasifikasi  wajah  mendapatkan  tingkat akurasi  sebesar  98,8%  dengan  membuat framework dan  model  CNN  hasil  pengajuan  penelitiannya.  Hal ini  memiliki  nilai  akurasi  yang  tidak  jauh  berbeda dengan  Smaller  VGG  yang  juga  memiliki  nilai akurasi  validasi  98%  yang  menyebabkan  model secara  fase training mampu  mengenali  wajah manusia dengan baik tetapi terdapat kekurangan saat melakukan pengecekan pada fase similarity di mana threshold dan similiratity yang  didapat  tidak  pas dikarenakan faktor posisi wajah yang beragam saat di tes.

## 5. KESIMPULAN
Penelitian  ini  menggunakan  Siamese  network untuk  melakukan  klasifikasi  menggunakan  model Skip connection Smaller VGG. Model ini didapatkan dari  penelitian  sebelumnya  yang  digunakan  untuk
optimasi dari sisi jumlah parameter lalu menambahkan  skip  connection  untuk  mendapatkan fitur yang lebih. Model dilatih menggunakan dataset yang  dibuat  oleh  peneliti  menggunakan  Teachable Machine  kemudian  di training .  Model  dilatih kemudian  di  bandingkan  dengan  beberapa  model yang  di  angkat  dan  mendapatkan  akurasi,  precision, recall,  dan  nilai  loss  validasi  secara  berurutan  yaitu 0,98;  0,98;  0,98;  dan  0,108.  Model  yang  telah  di training ,  layer  fully  connected  nya  dihilangkan kemudian  dipakai  untuk  mengambil  fitur  dari  citra query dan citra pada database kemudian dibandingkan  dengan  Euclidean  distance.  Hasil menunjukkan  model  dapat  mengklasifikasikan dengan  baik  tetapi  saat  diterapkan  pada  Siamese network model mengalami kesalahan dalam klasifikasi  wajah.  Hal  ini  didapatkan  dari  hasil akurasi,  precision  dan  recall  dari  fase  similarity secara berurutan yaitu 0,95;  0,53; dan 0,78.  Dimana model ini memiliki nilai evaluasi yang tidak berbeda jauh  tetapi  dari  sisi  jumlah  parameter  lebih rendah.Tantangan berikutnya yang dapat diselesaikan adalah  model  ini  perlu  di training dengan  dataset yang  banyak  serta  membuat  transfer  learning  dari model  ini  sehingga  model  mampu  membuat  fitur yang  tepat  untuk  dibandingkan  menggunakan kedekatan similarity .

## DAFTAR PUSTAKA
[1] K. Alhanaee, M. Alhammadi, N. Almenhali, and  M.  Shatnawi,  “Face  recognition  smart attendance  system  using  deep  transfer learning,” Procedia Comput Sci , vol. 192, pp.
4093–4102, 2021, doi: 10.1016/j.procs.2021.09.184.
[2] V.  M.  M.  Siregar  and  N.  F.  Siagian, “Implementation  of  Fingerprint  Sensors  for Fingerprint  Reader  Prototypes  Using  a Microcontroller,” Internet  of  Things  and
Artificial  Intelligence  Journal ,  vol.  2,  no.  1, pp. 47–59, 2022, doi: 10.31763/iota.v2i1.559.
[3] T.  Nadya  Wenny  and  J.  Mabe  Parenreng, “Development of Lecture Attendance System Using QR Code in Information and Computer
Engineering  Education  Study  Program  of Universitas  Negeri  Makassar,” Mei ,  vol.  7, no. 1, pp. 19–26, 2022.
[4] A. Shrivastava, S. J. S. Prasad, A. R. Yeruva, P. Mani, P. Nagpal, and A. Chaturvedi, “IoT
Based RFID Attendance Monitoring System of  Students  using  Arduino  ESP8266  & Adafruit.io on Defined Area,” https://doi.org/10.1080/01969722.2023.2166 243 , pp. 1–12, Jan. 2023, doi: 10.1080/01969722.2023.2166243.
[5] H.  Yang  and  X.  Han,  “Face  recognition attendance  system  based  on  real-time  video processing,” IEEE  Access ,  vol.  8,  pp.
159143–159150, 2020, doi: 10.1109/ACCESS.2020.3007205.
[6] M. Taskiran, N. Kahraman, and C. E. Erdem, Face recognition: Past, present and future (a review) ,  vol.  106.  Elsevier  Inc.,  2020.  doi:
10.1016/j.dsp.2020.102809.
[7] G.  Guo  and  N.  Zhang,  “A  survey  on  deep learning  based  face  recognition,” Computer Vision and Image Understanding , vol. 189, p. 102805, 2019, doi: 10.1016/j.cviu.2019.102805. [8] B.  Tej  Chinimilli,  A.  Anjali,  A.  Kotturi,  V. Reddy  Kaipu,  and  J.  Varma  Mandapati, “Face Recognition based Attendance System using Haar Cascade and Local Binary Pattern Histogram  Algorithm,” Proceedings  of  the 4th  International  Conference  on  Trends  in Electronics and Informatics, ICOEI 2020 , no. Icoei, pp. 701–704, 2020, doi: 10.1109/ICOEI48184.2020.9143046. [9] K. B. Pranav and J. Manikandan, “Design and Evaluation of a Real-Time Face Recognition System using Convolutional Neural
Networks,” Procedia  Comput  Sci ,  vol.  171, no.  2019,  pp.  1651–1659,  2020,  doi: 10.1016/j.procs.2020.04.177.
[10] I. A. Lungu, A. Aimar, Y. Hu, T. Delbruck, and S. C. Liu, “Siamese Networks for Few- Shot Learning on Edge Embedded Devices,”
IEEE J Emerg Sel Top Circuits Syst , vol. 10, no. 4, pp. 488–497, 2020, doi: 10.1109/JETCAS.2020.3033155.
[11] Y. Qiao, Y. Wu, F. Duo, W. Lin, and J. Yang, “Siamese  neural  networks  for  user  identity linkage through web browsing,” IEEE Trans
Neural  Netw  Learn  Syst ,  vol.  31,  no.  8,  pp. 2741–2751, 2020, doi: 10.1109/TNNLS.2019.2929575.
[12] T. T. Ngo, C. T. Nguyen, and M. Nakagawa,
“A  Siamese  Network-based  Approach  for Matching  Various  Sizes  of  Excavated
Wooden  Fragments,” Proceedings of International  Conference  on  Frontiers  in
Handwriting Recognition, ICFHR , vol. 2020- Septe, pp. 307–312, 2020, doi: 10.1109/ICFHR2020.2020.00063.
[13] D.  C.  Khrisne  and  IM.  A.  Suyadnya, “Indonesian  Herbs  and  Spices  Recognition using Smaller VGGNet-like Network,” 2018
International  Conference  on  Smart  Green Technology  in  Electrical  and  Information Systems  (ICSGTEIS) ,  vol.  4,  pp.  221–224, 2018.
[14] Y.  Tian,  “Artificial  Intelligence  Image Recognition Method Based on Convolutional Neural  Network  Algorithm,” IEEE  Access , vol.  8,  pp.  125731–125744,  2020,  doi: 10.1109/ACCESS.2020.3006097.
[15] B.  Li  and  D.  Lima,  “Facial  expression recognition  via  ResNet-50,” International Journal of Cognitive Computing in Engineering , vol. 2, no. January, pp. 57–64,
2021, doi: 10.1016/j.ijcce.2021.02.002.
[16] W. Chen, H. Huang, S. Peng, C. Zhou, and C. Zhang,  “YOLO-face:  a  real-time  face detector,” Visual  Computer ,  2020,  doi:
10.1007/s00371-020-01831-7.
[17] E.  Tanuwijaya,  R.  L.  Lordianto,  and  R.  A. Jasin,  “RECOGNITION  OF  HUMAN
FACES IN VIDEO CONFERENCE APPLICATIONS USING THE CNN PIPELINE,” Jurnal  Teknik  Informatika (Jutif) , vol. 3, no. 2, pp. 421–427, Apr. 2022, doi: 10.20884/1.JUTIF.2022.3.2.219.
[18] I. Al-Amoudi, R. Samad, N. R. H. Abdullah, M.  Mustafa,  and  D.  Pebrianti,  “Automatic Attendance  System  Using  Face  Recognition with  Deep  Learning  Algorithm,” Lecture Notes in Electrical Engineering , vol. 770, pp.
573–588,  2022,  doi:  10.1007/978-981-16-
2406-3_44/COVER.
[19] S. S. Rajput and K. V. Arya, “CNN Classifier based  Low-resolution  Face  Recognition Algorithm,” 2020  International  Conference on  Emerging  Frontiers  in  Electrical  and Electronic  Technologies,  ICEFEET  2020 , Jul. 2020, doi: 10.1109/ICEFEET49149.2020.9187001.