## Sistem Pengenalan Wajah Bermasker dengan Metode

## Convolutional Neural Network
Ibnu Halim Mustofa 1 , Edy Winarno 2 1 Universitas Stikubank Semarang Jalan Trilomba Juang No 1 Semarang 50241, telp/fax (024) 8451976 / 8443240, e-mail: ibnuhalim@pm.me 2 Univesitas Stikubank Semarang Jalan Trilomba Juang No 1 Semarang 50241, telp/fax (024) 8451976 / 8443240, e-mail: edywin@edu.unisbank.ac.id

## ARTICLE INFO
Article history:
Received Februari 2023
Received in revised form April 2023 Accepted Mei 2023
Available online Juli 2023

## ABSTRACT
Face  is  one  of  the  unique  parts  of  the  human  body and  can  be  used  for  identification  purposes. Research  on  the  application  of  facial  recognition biometric  technology  has  been  carried  out  since 1960  and  continues  to  be  refined  to  this  day. Humans  can  easily  recognize  an  object  or  image, but  not  for  a  computer.  This  is  the  background behind  the  creation  of  a  scientific  discipline  called Computer  Vision.  One  deep learning  algorithm  that has  been  extensively  researched  and  used  for classifying  various  images  is  Convolutional  Neural Network  (CNN).  The  COVID-19  requires  us  to comply  with  health  protocols,  one  of  which  is  by wearing  a  mask  when  doing  activities  outside  the home.  The  biometric  presence  system  that  is commonly  used  today  can  pose  a  risk  of transmission because they must touch the surface of an  object  that  may  have  been  contaminated  from someone  infected  with  the  COVID-19  virus.  Seeing the risks posed and the relevance to the times when people  are  accustomed  to  wearing  masks,  a  study was  conducted  to  create  a  masked  face  recognition system  using  the  Convolutional  Neural  Network (CNN)  method  with  VGG16  architecture.  The dataset  used  was  in  the  form  of  people's  faces  who were  willing to be the object of research. This study produced  highest  accuracy  rate  of  85,71%  with  the application  of  various  types  of  masks,  namely surgical, cloth, and KF94 masks.
Keywords: facial recognition system, convolutional neural network, masked face, covid-19

## 1. Pendahuluan
Setiap manusia memiliki keunikan dan karakteristik di beberapa bagian tubuh salah satunya adalah wajah. Fakta inilah yang mendasari terciptanya teknologi biometrik pengenalan wajah dan dimanfaatkan untuk sistem keamanan yang lebih baik karena sifatnya yang tidak bisa diduplikasi dengan  mudah  bila  dibandingkan  dengan  sistem  keamanan  konvensional  berupa user  id dan password .    Manusia  bisa  dengan  mudah  dalam  hal  pengenalan  sebuah  objek  atau  citra,  namun tidak  bagi  sebuah  mesin  ataupun  komputer.  Permasalahan  ini  menjadi  salah  satu  topik  yang menjadi fokus di bidang Computer Vision sejak dahulu. Teknologi ini menggunakan kamera dan
sistem  komputer  untuk  menangkap  dan  mendeteksi  obyek  citra  berupa  gambar  ataupun  video. Selanjutnya,  perkembangan  pengetahuan  ini  membawa  kita  pada  teknologi  kecerdasan  buatan atau bisa disebut Artificial Intelligence (AI).
Kecerdasan buatan dalam satu dekade terakhir menjadi topik yang sangat populer. Terdapat banyak  artikel,  jurnal  ilmiah  dan  perbincangan  di  berbagai  platform  yang  membahas  tentang Machine Learning (ML), Deep Learning (DL), dan Artificial Intelligence (AI). Machine Learning merupakan sebuah teknik untuk  membantu sebuah perangkat lunak  menemukan aturan atau pola antara data masukan dan hasil yang diberikan. Berbeda dengan pemrograman konvensional yang memberikan  intruksi  kepada  perangkat  lunak  untuk  mendapatkan  hasil  yang  diinginkan  sesuai dengan data masukan yang diberikan.
Menggunakan  masker  merupakan  hal yang sangat penting  jika kita berada di ruang publik dan  telah  menjadi  bagian  dari  gaya  busana  kita  di  era  pandemi  COVID-19  saat  ini.  Pasalnya, menurut  WHO  ( World  Health  Organization )  masker  dapat  melindungi  dan  menurunkan  risiko kita  untuk  tertular  virus  corona.  Setiap  mutasi  varian  pada  COVID-19  diikuti  dengan meningkatnya  tingkat  penyebaran  dan  penularan.  Oleh  karena  itu,  penting  bagi  kita  untuk meningkatkan imunitas tubuh dan tetap mematuhi protokol kesehatan, yaitu salah satunya dengan tetap  mengenakan  masker  ketika  sedang  melakukan  aktivitas  di  luar  rumah  termasuk  ketika sedang berada di dalam ruangan.
Sistem  presensi  biometrik  yang  saat  ini  umum  digunakan  di  berbagai  instansi  dapat meningkatkan  risiko  penularan  karena  kita  harus  menyentuh  permukaan  benda  yang  terdapat kemungkinan telah terkontaminasi dari seseorang yang terinfeksi virus COVID-19. Melihat risiko yang  ditimbulkan  tersebut  serta  relevansi  dengan  perkembangan  zaman  yang  sudah  terbiasa memakai  masker,  maka  dilakukan  penelitian  untuk  membuat  sistem  pengenalan  wajah  tanpa harus melepaskan masker menggunakan metode Convolutional Neural Network (CNN). Penelitian mengenai penggunaan metode CNN dengan sistem pengenalan wajah bermasker belum banyak dilakukan. Namun, terdapat beberapa penelitian sebelumnya yang relevan terhadap topik  penelitian  yang  akan  dilakukan.    Tinjauan  pustaka  penelitian  terdahulu  perlu  dilakukan untuk  mengetahui  relevansi,  perbedaan,  dan  kontribusi  pengetahuan  yang  dihasilkan  dengan penelitian yang akan dilakukan.
Zufar  dan Setiyono  (2016)  dalam  penelitiannya  mengenai  sistem  pengenalan  wajah  secara real-time dengan  kedalaman  kontruksi  model  jaringan  CNN  yang  dilakukan  sebanyak  7  lapisan dengan  tingkat  akurasi  lebih  dari  89%.  Metode  tersebut  memberikan  hasil  yang  sangat  baik terhadap  dataset  training  dengan  skenario  kondisi  pencahayaan  yang  cukup  dan  pencahayaan yang kurang.
Abhirawa,  dkk  (2017)  dengan  penelitiannya  tentang  penerapan  metode  CNN  untuk pengenalan  wajah.  Penelitian  ini  menggunakan The  Extended  Yale  Face  Database B  sebagai dataset  model,  yaitu  berupa  16.128  dataset  citra  wajah  dengan  9  pose  yang  berbeda  dan  64 kondisi  pencahayaan  yang  berbeda.  Hasil  akurasi  yang  didapat  dengan  menggunakan  proses dropout ketika  pelatihan  ( training )  model  yaitu  sebesar  86,71%,  sedangkan  ketika  pengujian ( testing )  model  didapatkan  hasil  sebesar  75,79%.  Proses dropout dapat  mempengaruhi  hasil akurasi dengan selisih sekitar 15%.
Penelitian  tentang  penggunaan  metode  CNN  untuk  sebuah  sistem  pengenalan  wajah  juga telah  dilakukan  oleh  Santoso  dan  Ariyanto  (2018).  Penelitian  tersebut  berkesimpulan  bahwa metode CNN sangat bisa diandalkan untuk klasifikasi dan pengenalan citra wajah dengan tingkat akurasi  sebesar  98,57%.  Selain  itu,  penerapan  metode  CNN  juga  dapat  mengatasi  berbagai masalah  dalam  pengenalan  wajah  meliputi  faktor  pencahayaan,  ekpresi  wajah  dan  perubahan atribut wajah, seperti janggut, kumis dan kacamata.
Said  (2020)  juga  telah  melakukan  penelitian  tentang  penerapan  metode  CNN  untuk mendeteksi  penggunaan  masker  setiap  orang  pada  ruang  publik.  Penelitian  tersebut mengimplementasikan  penggunaan  metode  CNN  yang  ringan  ( lightweight )  dikombinasikan dengan  teknik  deteksi  yang  disebut  framework  YOLO  ( You  Look  Only  Once )  pada  sebuah
perangkat  berdaya  rendah.  Hasil  akurasi  yang  didapatkan  dari  penelitian  ini  sangat  tinggi,  yaitu sebesar 97%.
Penelitian mengenai pengenalan wajah ketika sedang menggunakan masker yang dilakukan oleh  Saib  dan  Pudaruth  (2021)  berkesimpulan  bahwa  hal  tersebut  masih  mungkin  untuk diterapkan  pada  sebuah  sistem  komputer.  Hasil  akurasi  yang  didapat  adalah  sebesar  95,29% dengan  menerapkan  metode Support  Vector  Machine (SVM)  dengan  dataset Pins  Face Recognition .
Selanjutnya  Suresh,  dkk  (2021)  dalam  penelitiannya  tentang  sistem  deteksi  penggunaan masker  pada  seseorang.  Tujuan  dari  penelitian  ini  adalah  untuk  membuat  sistem  pendeteksi penggunaan  masker  yang  dapat  ditanamkan  ke  perangkat raspberry  pi agar  dapat  diintegrasikan dengan  perangkat  CCTV  di  tempat  umum.  Metode  CNN  yang  digunakan  terbukti  sangat  efektif dalam  klasifikasi  citra  dengan  memberikan  akurasi  yang  sangat  tinggi.  Hasil  akurasi  yang didapatkan  sebesar  98%.  Dataset  yang  digunakan  untuk  proses  pelatihan  dan  pengujian  adalah Kaggle , yaitu berupa citra wajah yang bermasker dan tidak bermasker. Tujuan penelitian ini tidak untuk  mengenali  wajah  seseorang,  namun  hanya  sebatas  mendeteksi  apakah  seseorang  tersebut sedang mengenakan masker atau tidak.
Berdasarkan  kajian  pustaka  tersebut,  dapat  disimpulkan  bahwa  metode  CNN  yang merupakan  salah  satu  metode  bidang deep  arning yang  terbukti  secara  efektif  dapat  digunakan dalam pengenalan atau klasifikasi berbagai citra baik berupa citra gambar maupun realtime video. Hal tersebut karena cara kerja metode CNN berusaha meniru cara kerja dari korteks saraf ( neural ) manusia.

## 2. Metode Penelitian
Tujuan  utama  dari  penelitian  ini  adalah  untuk  mengetahui  performa  dan  tingkat  akurasi sistem  pengenalan  wajah  bermasker  dengan  menggunakan  metode  CNN.  Data  yang  digunakan pada penelitian ini adalah berupa citra wajah  masyarakat yang bersedia menjadi objek penelitian yang didapatkan dari hasil pemotretan secara mandiri. Citra diambil dari berbagai sudut pandang dan  kondisi  pencahayaan  yang  berbeda-beda.  Tahapan  selanjutnya  adalah  dilakukan  pre- processing  dengan  menambahkan  virtual  masker  dengan  bantuan  aplikasi  MaskTheFace  pada dataset testing. Masker yang digunakan yaitu masker bedah, kain, dan KF94. Tahapan penelitian tersaji dalam diagram berikut.
Gambar 1. Diagram tahapan penelitian
Diagram tahapan penelitian beserta implementasinya diuraikan lebih rinci dalam penjelasan berikut.
A. Data Masukan
Data  yang  digunakan  pada  penelitian  ini  berupa  citra  wajah  tujuh  masyarakat  yang bersedia menjadi objek penelitian yang didapatkan dari hasil pemotretan secara mandiri. Citra asli  yang  didapatkan  memiliki  dimensi  yang  beragam.  Oleh  karena  itu  sebelum  diolah  oleh sistem  jaringan  CNN,  data  harus  dilakukan  normalisasi  berupa  pemotongan  atau cropping bagian  wajah,  lalu  konversi  gambar  ke  dalam  citra  grayscale  dan  penyesuaian  dimensi
menjadi 96 x 96 px. Total dataset pelatihan ( training ) setiap jenis  masker berjumlah 704 citra wajah, sehingga rata-rata jumlah untuk setiap individu adalah 105. Sedangkan, jumlah dataset validasi  ( validation )  berjumlah  112  citra  wajah  bermasker,  sehingga  rata-rata  untuk  setiap individu  kurang  lebih  berjumlah  16.  Sampel  dataset  citra  sebelum  dan  sesudah  dilakukan pemangkasan ditunjukkan pada Gambar 2 dan Gambar 3 berikut.
Gambar 2. Sampel citra asli
Gambar 2. Sampel citra setelah pemangkasan pada wajah
B. Penggunaan Masker
Penerapan  masker  di  setiap  citra  dataset  validasi  dilakukan  secara  virtual  dengan bantuan  aplikasi MaskTheFace .  Proses  yang  dilakukan  yaitu  mengeksekusi  perintah masktheface  pada  setiap  folder  nama  masyarakat  secara  berulang  sebanyak  tiga  kali  guna menerapkan masker berjenis kain ( cloth ), KF94, dan masker bedah ( surgical ). Sampel dataset citra wajah yang telah ditambahkan masker dapat dilihat pada Gambar 4 berikut.
Gambar 4. Sampel citra wajah bermasker
C. Operasi Konvolusi
Operasi  Konvolusi  merupakan  operasi  antara  dua  buah  matriks,  yaitu  matriks  piksel suatu  gambar  dengan  suatu  matriks kernel .  Operasi  konvolusi  dilakukan  dengan  melakukan perkalian,  penjumlahan,  dan  menggeser  matriks kernel piksel  per  piksel  dengan  acuan  titik pusatnya.  Pemanfaatan  konvolusi  biasa  digunakan  untuk  memperbaiki  kualitas  citra,
menghilangkan noise atau  derau,  penghalusan  citra,  dan/atau  untuk  penajaman  atau  deteksi tepi. Konvolusi antara dua buah nilai diskrit dapat dinyatakan dengan notasi berikut.
Gambar 5. Notasi konvolusi
Fungsi h(x) merupakan  citra  hasil, f(x) adalah  citra  asli,  dan g(x) merupakan  matriks kernel.  Sedangkan  simbol  ( * )  menunjukkan  operasi  konvolusi  dan  simbol a adalah  sebuah variabel  pembantu.  Langkah-langkah  dalam  melakukan  perhitungan  konvolusi  dapat diilustrasikan pada gambar berikut.
Gambar 6. Ilustrasi operasi konvolusi

## D. Convolutional Neural Network
Salah satu algoritma deep learning yang telah banyak diteliti untuk klasifikasi berbagai citra adalah  CNN  yang  merupakan  pengembangan  dari Multi-Layer  Perceptron (MLP).  Hal yang  membuatnya  unik  dibandingkan  dengan  algoritma  lain  adalah  terdapat  lapisan  operasi konvolusi.  Secara  garis  besar,  cara  kerja  metode  ini  mirip  dengan  korteks  saraf  ( neural ) manusia. Gambaran blok jaringan atau layer dari CNN tersaji dalam gambar berikut.
Gambar 7. Jaringan Convolutional Neural Network
E. Rancangan Pemodelan
Rancangan  pemodelan  pada  penelitian  ini  memanfaatkan  arsitektur  VGG16  sebagai dasar layer CNN. Arsitektur VGG16 telah terbukti efektif dalam mengenali objek dalam citra dan  telah  digunakan  dalam  berbagai  konteks  penelitian.  Modifikasi  dilakukan  dengan
penambahan  pada  lapisan fully  connected yang  disesuaikan  dengan  jumlah  label  objek penelitian. Rancangan pemodelan dapat dilihat pada diagram berikut.

## Gambar 8. Rancangan pemodelan CNN

## F. Augmentasi Data
Jumlah  dataset  pelatihan  secara  signifikan  akan  mempengaruhi  hasil  klasifikasi  dari CNN. Jika menggunakan dataset yang kurang, maka kinerja yang dihasilkan tidak akan baik, dan  memiliki  risiko  terjadi overfitting .  Sebaliknya,  dengan  menyediakan  dataset  dengan jumlah yang sangat besar akan berdampak pada biaya operasional yang harus dikeluarkan dan waktu  yang  diperlukan  untuk  proses  pelatihan.  Oleh  karena  itu,  solusi  yang  dapat  diambil yaitu dengan mengaplikasikan augmentasi data.
Augmentasi  data  adalah  proses  meningkatkan  variasi  dataset  pelatihan  dengan  cara melakukan  berbagai  manipulasi  terhadap  citra.  Proses  augmentasi  data  yang  dilakukan meliputi rotation range dan horizontal flip . Tahapan rotation bekerja dengan cara melakukan rotasi atau pemutaran terhadap citra dataset pada nilai 10 derajat. Sedangkan, horizontal flip melakukan  pembalikan  citra  secara  horizontal.  Sampel  augmentasi  data  citra  wajah ditampilkan pada gambar berikut.

## Gambar 9. Sampel augmentasi data

## 3. Hasil dan Pembahasan
Setelah dataset siap, selanjutnya dilakukan pelatihan citra wajah yang tidak bermasker dan melakukan  validasi  terhadap  citra  wajah  yang  bermasker.  Proses  pelatihan  model  dalam penelitian  ini  menggunakan epoch yang  bernilai  30  dan batch  size 32. Epoch merupakan  satuan yang digunakan untuk menunjukkan seberapa banyak kali data pelatihan digunakan dalam proses pelatihan,  sedangkan batch  size merupakan  jumlah  sampel  dataset  yang  digunakan  dalam  satu iterasi  pelatihan.  Semakin  tinggi  nilai batch  size ,  maka  semakin  banyak  memori  sistem  yang dibutuhkan dalam proses pelatihan model.
1. Hasil Pemodelan
Hasil pelatihan  dataset untuk setiap jenis  masker yang digunakan, disajikan pada tabel dan grafik berikut.
Tabel 1. Hasil Pemodelan Masker Kain Train Accuracy Train Loss Val Accuracy Val Loss 100.0% 0.00034 100.0% 0.0025 Tabel 2. Hasil Pemodelan Masker KF94 Train Accuracy Train Loss Val Accuracy Val Loss 100.0% 0.0013 100.0% 0.0022 Tabel 3. Hasil Pemodelan Masker Bedah Train Accuracy Train Loss Val Accuracy Val Loss 100.0% 0.0015 100.0% 0.013
Ketiga  tabel  tersebut  menunjukkan  hasil  evaluasi  terhadap  dataset  pelatihan  dan validasi. Dalam tabel tersebut terdapat kolom train accuracy , train loss , validation accuracy , dan validation  loss .  Nilai  akurasi  ( accuracy )  merupakan  nilai  presentase  dataset  yang diklasifikasikan benar oleh  model. Sedangkan nilai loss menunjukkan seberapa besar tingkat kesalahan  yang  dilakukan  oleh  model  dalam  memprediksi  hasil.  Selanjutnya, val  accuracy dan val  loss adalah  nilai  akurasi  dan  loss  yang  diperoleh  dari  data  validasi.  Data  validasi digunakan untuk mengevaluasi kinerja model selama pelatihan.
Berdasarkan  penelitian  yang  dilakukan,  waktu  yang  dibutuhkan  untuk  setiap  pelatihan kurang  lebih  15  menit.  Hasil  pelatihan  data training dan validation tersebut,  menunjukkan bahwa  nilai  akurasi  yang  didapat  sangat  baik.  Tingkat  loss  dan  accuracy  selama  proses pelatihan tersaji pada grafik-grafik berikut.
Gambar 10. Model accuracy masker kain
Gambar 11. Model loss masker kain
Gambar 12. Model accuracy masker KF94
Gambar 12. Model loss masker KF94
Gambar 13. Model accuracy masker bedah
JURNAL ILMIAH KOMPUTER GRAFIS p-ISSN : 1979-0414   e-ISSN :  2621-6256.
Gambar 14. Model loss masker bedah
2. Hasil Pengujian
Pengujian dilakukan menggunakan citra wajah yang memakai masker asli dan berbeda jenis  masker.  Masing-masing  individu  diujikan  tiga  citra  dengan  penggunaan  masker  yang berbeda. Hasil pengujian setiap jenis masker tersaji pada tabel-tabel berikut.
Tabel 4. Hasil Pengujian Masker Kain Citra Wajah Bermasker Nama Hasil Pengenalan Hasil Ibnu Ibnu Benar Iin Iin Benar Irfan Kriswanto Salah Kriswanto Kriswanto Benar Pandu Pandu Benar
Ula Ula Benar Zainul Zainul Benar Tabel 5. Hasil Pengujian Masker KF94 Citra Wajah Bermasker Nama Hasil Pengenalan Hasil Ibnu Ibnu Benar Iin Iin Benar Irfan Ibnu Salah Kriswanto Ibnu Salah Pandu Zainul Salah Ula Ibnu Salah Zainul Zainul Benar
Tabel 6. Hasil Pengujian Masker Bedah Citra Wajah Bermasker Nama Hasil Pengenalan Hasil Ibnu Ibnu Benar Iin Iin Benar Irfan Zainul Salah Kriswanto Kriswanto Benar Pandu Zainul Salah Ula Ibnu Salah Zainul Zainul Benar
Ketiga  tabel  di  atas  menunjukkan  hasil  pengujian  terhadap  data  ketika  pengguna menggunakan  masker  asli.  Hasil  yang  diperoleh  menunjukkan  bahwa  pengenalan  terhadap masker  kain  sangat  baik  dengan  presentase  mencapai  85,71%.  Selanjutnya,  hasil  masker KF94  mendapatkan  akurasi  sebesar  42,86%,  sedangkan  penggunaan  masker  bedah mendapatkan akurasi sebesar 57,14%.
3. Implementasi
Implementasi  dari  penelitian  ini  berupa  aplikasi  pengenalan  wajah  berbasis desktop dengan menggunakan webcam . Aplikasi ini terdiri dari beberapa bagian, diantaranya tampilan citra  hasil  tangkapan  kamera,  tombol  memilih  kamera  yang  tersedia,  sebuah  tombol  untuk membuka  jendela  aplikasi  baru,  dan  bagian  nama  orang  dari  hasil  pengenalan.  Tampilan aplikasi tersebut dapat dilihat pada gambar berikut.

## Gambar 16. Tampilan aplikasi pengenalan wajah

## 4. Kesimpulan
Berdasarkan  hasil  penelitian  dan  pengujian  pengenaln  wajah  bermasker  dengan  metode Convolutional  Neural  Network ,  maka  dapat  disimpulkan  bahwa  :  (1)  Algoritma  CNN  dapat melakukan  pengenalan  wajah  bermasker  dengan  cukup  baik  dengan  tingkat  akurasi  hingga 85,71%;  (2)  jenis  masker  berpengaruh  signifikan  terhadap  tingkat  akurasi  yang  dihasilkan, akurasi  tertinggi  dihasilkan  dari  masker  kain;  (3)  selisih  cukup  tinggi  antara  hasil  validasi  dan pengujian disebabkan karena dataset pelatihan  dan  validasi kurang representatif terhadap dataset pengujian;  dan  (4)  jika  kita  memiliki  dataset  yang  terbatas,  augmentasi  data  dapat  menurunkan overfitting dan berdampak pada meningkatkan performa model.

## Daftar Pustaka
[1] Zufar,  M.  &  Setiyono,  B.  (2016)  Convolutional  Neural  Networks  untuk  Pengenalan  Wajah Secara Real-Time. Jurnal Sains dan Seni ITS, 6 (2).
[2] Abhirawa, H., Jondri, & Arifianto, A. (2017) Pengenalan Wajah Menggunakan Convolutional Neural Network. e-Procedding of Engineering, 4, pp. 4907-4916.
[3] Santoso,  A.  &  Ariyanto,  G.  (2018)  Implementasi  Deep  Learning  Berbasis  Keras  untuk Pengenalan Wajah. Emitor : Jurnal Teknik Elektro, 18 (1).
https://doi.org/10.23917/emitor.v18i01.6235
[4] Said,  Y.  (2020)  Pynq-YOLO-Net:  An  Embedded  Quantized  Convolutional  Neural  Network for  Face  Mask  Detection  in  COVID-19  Pandemic  Era.  International  Journal  of  Advanced Computer Science and Applications (IJACSA), 11 (9).
[5] Saib,  M.  &  Pudaruth,  S.  (2021)  Is  Face  Recognition  with  Masks  Possible?. International Journal  of  Advanced  Computer  Science  and  Applications  (IJACSA) ,  12  (7),  2021. https://dx.doi.org/10.14569/IJACSA.2021.0120706
[6] Suresh  K.,  Palangappa  MB.  &  Bhuvan  S.  (2021) Face  Mask  Detection  by  Using  Optimistic Convolutional  Neural  Network.  Proceedings  of  the  Sixth  International  Conference  on Inventive Computation Technologies (ICICT).
https://doi.org/10.1109/ICICT50816.2021.9358653