## Sistem Pengenalan Penggunaan Masker dan Pemantauan Suhu Penumpang Pesawat Menggunakan Sensor Fusion
Feni Isdaryani 1 , Noor Cholis Basjaruddin 2 , Aldi Lugina 3
Intisari—Transportasi merupakan suatu kebutuhan yang tidak dapat  dihindarkan  pada  saat  ini.  Namun,  pandemi  COVID-19 berdampak  pada  seluruh  lini  industri,  tak  terkecuali  industri transportasi  penerbangan  di  Indonesia.  Salah  satu  solusi  untuk menangani  permasalahan  tersebut  adalah  dengan  bantuan teknologi  yang  tepat  guna.  Penelitian  ini  bertujuan  untuk membuat sistem pemantauan pengenalan wajah yang menggunakan masker dan pemantauan suhu tubuh untuk proses check-in  calon  penumpang  di  bandara.  Kamera  IP  dan  kamera termal  digunakan  untuk  pemeriksaan  penggunaan  masker  dan pengukuran  suhu  tubuh.  Pengenalan  jenis  masker  wajah  yang digunakan,  yaitu  jenis  N95  atau  KN95,  oleh  calon  penumpang menjadi  kontribusi  pada  penelitian  ini.  Metode  sensor  fusion, yang  dibangun  menggunakan  konfigurasi  complementary, digunakan  untuk  pengambilan  keputusan  status  check-in  pada calon penumpang, dapat diberangkatkan atau tidak. Keputusan diambil  berdasarkan  pengukuran  suhu  tubuh,  pemeriksaan penggunaan dan jenis masker yang sesuai standar, serta verifikasi pengenalan  wajah  calon  penumpang  terhadap  boarding  pass. Metode  convolutional  neural  network  (CNN)  digunakan  untuk pengenalan wajah dan pengenalan masker. Dilakukan empat kali pelatihan  model  CNN  sesuai  dengan  empat  skenario  yang  telah ditentukan.  Hasil  terbaik  didapatkan  pada  skenario  keempat dengan  perbandingan  dataset  pelatihan  terhadap  dataset pengujian adalah 9:1 serta epoch sebanyak 500 kali. Model dasar deep learning yang digunakan untuk pendeteksian wajah adalah single  shot  multi-box  detector  (SSD)  dengan  menggunakan arsitektur ResNet-10, sedangkan metode CNN dengan arsitektur MobileNetV2 digunakan untuk mendeteksi penggunaan dan jenis masker wajah dari calon penumpang. Akurasi model CNN untuk pengenalan  wajah  dan  pengenalan  masker  mencapai  100%. Seluruh  data  proses  pemantauan  dan  verifikasi  check-in ditampilkan pada aplikasi website yang dibangun pada localhost.
Kata  kunci—CNN,  Pengenalan  Wajah,  Deteksi  Masker  Wajah, NFC, Sensor Fusion.

## I. P ENDAHULUAN
Pandemi  COVID-19  berdampak  pada  seluruh  lini  industri, tak  terkecuali  industri  transportasi  penerbangan  Indonesia. Salah  satu  upaya  pemerintah  dalam  menangani  sebaran COVID-19  tertuang  dalam  Surat  Edaran  Gugus  Tugas Percepatan  Penanganan  COVID-19  Nomor  7  Tahun  2020 tentang Kriteria dan Persyaratan Perjalanan Orang dalam Masa Adaptasi  Kebiasaan  Baru  Menuju  Masyarakat  Produktif  dan Aman  COVID-19  [1].  Selain  itu,  Kementerian  Perhubungan
(Kemenhub) RI menginstruksikan kepada maskapai penerbangan  untuk  memberlakukan  protokol  kesehatan  di bandara,  seperti  pengecekan  suhu  tubuh,  penggunaan  sarung tangan  dan  masker,  serta  pembersihan  secara  rutin menggunakan disinfektan di bandara [1]. Merujuk pada World Health Organization (WHO), cara terbaik dalam menggunakan masker adalah dengan mengatur masker agar menutup mulut, hidung, dan dagu [2].
Peraturan mengenai protokol kesehatan tersebut memunculkan permasalahan baru, yaitu banyaknya penumpang  yang  akan  melakukan check-in di  bandara membuat  waktu check-in semakin  lama,  akibat  adanya pemeriksaan suhu tubuh dan penggunaan masker. Permasalahan  tersebut  dapat  ditangani  dengan  teknologi. Beberapa penelitian telah dilakukan untuk memberikan solusi menggunakan  teknologi computer  vision dalam  pengenalan masker  wajah. Computer  vision adalah  bidang  ilmu multidisiplin,  termasuk  di  dalamnya  adalah  cara  komputer dapat terlibat dalam meningkatkan pemahaman dari citra atau video digital [3].
Metode deep learning telah digunakan pada deteksi masker wajah [4]. Penelitian dilakukan dengan membandingkan model deteksi  yang  paling  akurat  antara  model  ResNet50  dengan Mobilenet. Hasilnya menunjukkan bahwa ResNet50 menghasilkan  pendeteksian  yang  lebih  akurat.  Referensi  [5] membuat  teknologi  pengenalan  masker  wajah  berdasarkan YOLOv3. Pada penelitian tersebut, dibuat dataset yang diberi nama dataset Properly  Wearing  Masked  Face  Detection (PWMFD).  Pada  [6],  detektsi  wajah  bermasker  satu  tahap dilakukan  dengan  menambahkan backbone untuk  pengenalan leher  dan  kepala.  Deteksi  pada  bagian  leher  dan  kepala membantu meningkatkan  kemampuan  deteksi.  Sementara  itu, pendeteksian  wajah  bermasker  juga  dilakukan  dengan  cara menghapus wajah bermasker kemudian menerapkan convolutional  neural  networks (CNN)  untuk  mengekstraksi fitur dari area mata dan dahi [7].
Sensor  fusion merupakan  proses  menggunakan  informasi dari  beberapa  sensor  yang  berbeda  untuk  meningkatkan  fitur seleksi  dan  klasifikasi  kinerja  keseluruhan  atau  sistem interpretasi.  Penelitian  mengenai sensor  fusion pada  [8] dilakukan dengan mengombinasikan informasi yang heterogen dari tiga sensor,  yaitu tri-axial accelerometer , micro-Doppler radar ,  dan depth  camera ,  yang  diimplementasikan  untuk mendeteksi  klasifikasi  aktivitas  manusia  dan  deteksi  jatuh. Pada  [9],  dibuat multi - sensor  fusion  frameworks berdasarkan jaringan tubuh untuk mendeteksi kesehatan manusia.
Ada  permasalahan  lain  pada  pengaplikasian  teknologi pendeteksi masker wajah di bandara. Sistem tidak cukup hanya melakukan  deteksi  wajah  bermasker  saja,  tetapi  juga  harus dapat mengenali pengguna masker tersebut. Hal ini bertujuan
1,2,3 Jurusan  Teknik  Elektro,  Politeknik  Negeri  Bandung,  Jl. Gegerkalong  Hilir,  Ciwaruga,  Kec.  Parongpong,  Kabupaten Bandung  Barat,  Jawa  Barat  40559  (tlp:  022  -  2013789;  email: 1 feni.isdaryani@polban.ac.id;
2 noorcholis@polban.ac.id;
3 aldi.lugina.tec417@polban.ac.id)
[Diterima: 19 Januari 2022, Revisi: 28 Maret 2022]
[Received: dd Month 20nn, Revised: 1 January 2022]
untuk memudahkan proses verifikasi pada security check point dan check-in .
Oleh  karena  itu,  penelitian  ini  berfokus  untuk  membuat sistem  pemantauan  pengenalan  wajah  bermasker  dan pemantauan  suhu  tubuh  untuk  proses check-in calon penumpang  di  bandara.  Pemantauan  penggunaan  masker  dan pengukuran suhu tubuh calon penumpang pesawat ini didukung dengan  kombinasi  sensor,  yaitu near  field  communication (NFC) , kamera IP, dan kamera termal. Tentunya teknik sensor fusion diterapkan  untuk  menghasilkan  keputusan  yang  tepat berdasarkan  informasi  yang  diperoleh  dari  sensor-sensor tersebut. Metode CNN digunakan untuk pengenalan wajah dan pendeteksian  masker,  sedangkan    NFC  digunakan  sebagai media  komunikasi wireless antara  perangkat mobile  phone penumpang  pesawat  dengan  sistem  pemantauan  penumpang pesawat yang didesain.
Kontribusi  pada  penelitian  ini  adalah  bahwa  sistem  dapat membedakan  jenis  masker  wajah  yang  digunakan.  Menurut WHO,  jenis  masker  dengan  nilai  proteksi  yang  baik  adalah masker medis dan respirator masks [10]. Oleh karena itu, pada penelitian  ini  dibuat  batasan  bahwa  hanya  masker  medis  dan respirator mask jenis N95/KN95 yang masuk klasifikasi ‘ Good Masked’ .
Makalah ini disusun sebagai berikut. Bagian II adalah NFC, CNN,  dan sensor  fusion ;  bagian  III  adalah  deskripsi  metode yang  dibangun,  bagian  IV  adalah  hasil,  dan  bagian  V  adalah kesimpulan.

## II. NFC, CNN, DAN S ENSOR F USION

## A. Near Field Communication (NFC)
NFC  adalah  teknologi  yang  memungkinkan  dua  perangkat bertukar  informasi  secara  nirkabel  dalam  jarak  dekat,  yaitu sekitar  20  cm,  dalam  kondisi  tertentu.  Lebih  tepatnya,  NFC adalah  seperangkat  spesifikasi  teknis  dan  standar  untuk mentransfer  data  antara  dua  objek  terdekat  melalui inductive coupling bidang  frekuensi  radio  pada  13,56  MHz  [11].  Ada banyak  aplikasi  yang  menerapkan  teknologi  NFC.  Referensi [12] menerapkan NFC pada sistem manajemen dan pelacakan bagasi. Sistem ini menggunakan teknologi NFC dan kriptografi homomorphic untuk melindungi komunikasi nirkabel dan data yang  disimpan.  Dalam  [13],  teknologi  NFC  diterapkan  pada angkutan kereta api penumpang, khususnya sistem pembayaran tiket.

## B. Deteksi Wajah Berdasarkan CNN
CNN adalah jaringan yang  terinspirasi oleh bidang  biologi yang  digunakan  dalam computer  vision untuk  klasifikasi gambar  dan  deteksi  objek  [14].  CNN  terdiri  atas  tiga  lapisan ( layer )  saraf  utama,  yaitu  lapisan  konvolusi,  lapisan pooling , dan  lapisan  yang  terhubung  penuh  ( fully-connected  layer ). Setiap  jenis  lapisan  memainkan  peran  yang  berbeda.  Operasi konvolusi  dilakukan  pada  lapisan  konvolusi.  Dalam  lapisan konvolusi,  proses  filter  gambar  digunakan  untuk  memetakan aktivasi dari lapisan ke lapisan berikutnya. Setiap lapisan CNN mengubah  volume  masukan  menjadi  volume  keluaran  dari aktivasi neuron, yang akhirnya mengarah ke lapisan akhir yang
terhubung sepenuhnya dan memetakan data masukan ke vektor fitur 1D.
Proses klasifikasi citra metode CNN terdiri  atas dua tahap, yaitu tahap pelatihan dan pengujian. Pada tahap pelatihan, citra masukan  diproses  sesuai  dengan  arsitektur  CNN  yang digunakan. CNN telah berhasil diterapkan di berbagai aplikasi computer vision , seperti deteksi objek [15], pengenalan wajah [7], [16], dan kendaraan otonom [17], [18].

## C. Sensor Fusion
Sensor fusion merupakan proses penggunaan informasi dari beberapa sensor yang berbeda untuk meningkatkan seleksi fitur dan  klasifikasi  kinerja  keseluruhan  atau  interpretasi  sistem. Komponen  utama framework sensor  fusion adalah  sensor, proses  penggabungan  semua  pengukuran,  dan  menghasilkan estimasi  satu  keadaan  yang  dapat  diterapkan  ke  aplikasi  lain [19]. Dalam penelitian ini, sensor fusion diterapkan pada sistem pemantauan penumpang.
Referensi  [20]  membangun  rekonstruksi  model  termal  3D berbiaya  murah,  yang  terdiri  atas  dua  buah smartphone dan sebuah  kamera  inframerah  termal  berbiaya  murah.  Teknik sensor  fusion diterapkan  untuk  mengolah  citra  termal inframerah  dari  kamera  termal  inframerah  dan  citra  tampak ( visible  image )  dari smartphone .  Pada  penelitian  lain, sensor fusion diterapkan  untuk  menghasilkan  resolusi  tinggi  pada pengukuran ultrasonic oscillating temperature sensors (UOTS) [21].  Prosedur  penggabungan  data  sensor  dibuat  berdasarkan pendekatan orde satu dari UOTS frekuensi keluaran. Suhu yang digabungkan adalah data frekuensi suhu saat ini dan frekuensi sebelumnya yang telah disimpan.

## III. M ETODOLOGI

## A. Konsep Sistem
Konsep  penelitian  ini  adalah  membuat  suatu  sistem  yang dapat melakukan pemantauan penggunaan masker medis atau respirator mask jenis N95/KN95 dan pengukuran suhu tubuh calon  penumpang  pesawat.  Pemantauan  dilakukan  dengan menggunakan tiga buah sensor, yaitu NFC, kamera termal, dan kamera IP. Node NFC digunakan untuk verifikasi bahwa calon penumpang tersebut memiliki tiket/ boarding pass yang valid. Kemudian,  kamera  termal  berfungsi  untuk  mengukur  suhu tubuh  calon  penumpang  pesawat.  Batas  suhu  tubuh  yang diperbolehkan  untuk  melakukan  perjalanan  udara  sesuai dengan rekomendasi WHO adalah 38 °C. Apabila didapatkan suhu tubuh calon penumpang bernilai di atas atau sama dengan 38  °C,  maka  calon  penumpang  tersebut  tidak  diperbolehkan berangkat.  Sementara  itu,  kamera  IP  difungsikan  untuk memantau  penggunaan  masker  dan  untuk  pengenalan  wajah calon penumpang.
Calon penumpang yang dapat diberangkatkan adalah calon penumpang  yang  memiliki  tiket/ boarding  pass yang  valid. Kemudian, calon penumpang yang dikenali pada kamera harus sesuai  dengan  data  pemilik  tiket/ boardingpass dengan  suhu tubuh terukur pada kamera termal bernilai di bawah 38 °C.
Pada sistem ini digunakan bahasa pemrograman C++ untuk pemrograman  mikrokontroler  pada node NFC  dan  bahasa pemrograman  Python  dengan  kerangka  kerja  Django  untuk
pembuatan aplikasi server web (yang diberi nama e-flight apps ) dan server API.
Gbr. 1 menunjukkan diagram blok sistem yang dibuat, yang terdiri atas blok masukan, pemroses, keluaran, dan komunikasi. Blok  masukan  terdiri  atas  beberapa  modul  masukan,  yaitu kamera termal, kamera IP, dan node NFC. Data yang dikirim dari  blok  masukan  akan  diproses  pada  blok  pemroses  yang berupa  sebuah  komputer.  Lalu,  keluaran  dari  pemroses  akan ditampilkan  pada  aplikasi  web  (blok  keluaran).  Blok komunikasi  digunakan  untuk  komunikasi  antar  perangkat dengan server API melalui internet. Basis data pada sistem ini disimpan pada server API. Pada saat mengolah data, pemroses akan melakukan permintaan data ke server API.

## B. Prosedur Perancangan Sensor Fusion
Jaringan sensor  fusion pada  penelitian  ini  dikategorikan berdasarkan  konfigurasi  sensor.  Konfigurasi  sensor  tersebut terdiri  atas  konfigurasi complementary  fusion,  competitive fusion ,  dan cooperative  fusion [19].  Pada  penelitian  ini, konfigurasi  sensor  yang  digunakan  adalah complementary , yang terdiri atas  tiga buah sensor (kamera  IP, kamera termal, dan  NFC)  yang  saling  bekerja  secara  independen  dan melakukan  tugasnya  masing-masing.  Namun,  kombinasi  data dari  setiap  sensor  dapat  saling  melengkapi  dan  memberikan informasi untuk seleksi fitur dan pengambilan keputusan.
Keputusan  status check-in calon  penumpang  diambil berdasarkan hasil pembacaan data sensor fusion . Status sukses dihasilkan  apabila  kriteria  berikut  terpenuhi:  1)  wajah  yang dikenali  pada  kamera  sesuai  dengan  pemilik  tiket  pada boarding  pass ;  2)  masker  yang  digunakan  merupakan  jenis masker yang sesuai dengan standar WHO (masker medis dan respirator  mask jenis  N95/KN95);  dan  3)  suhu  terukur maksimal 38 °C. Status gagal terjadi apabila salah satu syarat tidak terpenuhi setelah 20 detik sejak proses tapping NFC.

## C. Perancangan Algoritme Pengenalan Wajah
Model  dasar deep  learning yang  digunakan  untuk pendeteksian  wajah  ini  adalah single  shot  multi-box  detector (SSD) dengan menggunakan arsitektur ResNet-10. Model SSD dapat mendeteksi beberapa objek dalam satu bingkai gambar. ResNet  merupakan  arsitektur deep  neural  network yang diperkenalkan  untuk  mempermudah  proses  pelatihan  model CNN. Model dengan arsitektur ini dapat mendeteksi lebih dari satu wajah dalam bingkai. Pendeteksian wajah pada penelitian ini  dilakukan  untuk  mengetahui  lokasi  wajah  dalam  citra. Arsitektur ResNet-10 digunakan untuk menandai daerah wajah, kemudian  pada  daerah  wajah  yang  terdeteksi  dilakukan cropping . Terhadap dataset dari  data  wajah  yang  sudah  terkumpul harus  dilakukan  penyesuaian  (praproses)  terlebih  dahulu sebelum  dapat  dijadikan  sebagai dataset untuk  pelatihan. Proses  pembuatan dataset ditunjukkan  pada  Gbr.  2. Penyesuaian  dilakukan  agar  proses  pelatihan  model  CNN menjadi  lebih  optimal,  sehingga  dapat  menghasilkan  model yang baik. Keluaran dari proses pembuatan dataset ini adalah citra yang telah mengalami praproses ( preprocessed image ). Citra  keluaran  ( preprocessed  image )  kemudian  digunakan untuk  proses  pelatihan  pada  model  CNN  untuk  pengenalan wajah.  Citra  keluaran  terproses  diperbanyak  lima  puluh  kali untuk  setiap  kelas/pengguna  dan  dilakukan  augmentasi  citra pada proses pelatihan agar dataset pelatihan lebih bervariasi. Dataset yang  telah  dibuat  dan  terkumpul  pada  bagian sebelumnya kemudian dijadikan sebagai masukan pada proses pelatihan model CNN ini. Gbr. 3. menunjukkan diagram blok proses pelatihan model CNN untuk pengenalan wajah.
Proses pelatihan diawali dengan membaca dataset yang telah dibuat,  kemudian  membagi  kumpulan dataset tersebut  ke dalam  dua  bagian,  yaitu dataset untuk  pelatihan  dan dataset untuk  pengujian. Dataset pelatihan  digunakan  model  CNN untuk proses pelatihan, sedangkan dataset pengujian digunakan sebagai data validasi untuk mengukur akurasi pelatihan model CNN.  Setelah dataset terpisah,  dilakukan  proses  augmentasi citra.  Augmentasi  citra  dilakukan  agar  kumpulan  citra  pada dataset lebih bervariasi dengan mengubah beberapa parameter citra, seperti pembesaran, penggeseran horizontal, penggeseran vertikal,  dan  membalik  secara  horizontal.  Seluruh  proses augmentasi  dilakukan  secara  otomatis  dan  acak.  Data  yang telah  dikenai  proses  augmentasi  kemudian  dikenai  proses ekstraksi  fitur  dan  pelatihan  dengan  menggunakan  metode CNN.
Arsitektur  CNN  yang  dibuat  terdiri  atas  tiga  lapisan konvolusi, tiga lapisan pooling untuk ekstraksi data citra, dan sebuah  lapisan  yang  terhubung  penuh  untuk  klasifikasi  citra. Jumlah  neuron  keluaran  pada lapisan  yang  terhubung  penuh adalah  jumlah  kelas/pengguna  dari dataset yang  digunakan pada  pelatihan.  Lapisan  konvolusi  menghitung element-wise product dari  setiap  kata  dan  dikalikan  dengan  bobot  masing- masing filter. Pertimbangkan matriks masukan pada (1),
𝑊 = [𝑤 1 , 𝑤 2 , … , 𝑤 𝑛 ] (1)
kemudian operasi konvolusi dapat dilihat pada (2),
𝑤 𝑖 = 𝑓(𝑊 𝑡 ∙ 𝑊 [𝑖:𝑖+𝑘−1] + 𝑏) (2) Gbr. 1 Diagram blok sistem.
dengan W t ∈ R k*m adalah bobot matriks, k adalah tinggi kernel konvolusi, m adalah lebar kernel konvolusi, b adalah nilai offset , dan f adalah fungsi aktivasi.
Hasil resultan vektor setelah operasi konvolusi dapat dilihat pada (3),
𝑊 ′ = [𝑤 1 , 𝑤 2 , … , 𝑤 𝑖 , … , 𝑤 𝑛−𝑘+1 ] . (3)
Lapisan pooling digunakan setelah operasi konvolusi. Jenis operasi pooling dapat berupa max pooling dan average pooling . Dalam  penelitian  ini,  digunakan  operasi max  pooling .  Untuk vektor masukan w i , operasi k-max pooling mengacu pada (4)- (5),
𝑥 = [𝑥 1 , 𝑥 2 , … , 𝑥 𝑖 , … 𝑥 𝑚−𝑘+1 ] (4)
𝑥 𝑖 , = 𝑚𝑎𝑥[𝑤 𝑖 , 𝑤 𝑖+1 , … , 𝑤 𝑖+𝑘−1 ] (5)
dengan m adalah  dimensi  vektor w i and max adalah  fungsi maksimum.
Tabel I menyajikan ukuran data dan parameter yang dilatih pada setiap lapisan. Kolom dimensi keluaran pada Tabel I berisi ukuran  citra  masukan  setelah  melewati  lapisan-lapisan  pada model  CNN,  sedangkan  kolom  parameter  berisi  jumlah parameter pada model CNN yang berubah pada saat dilakukan pelatihan. Pada model CNN ini, jumlah parameter yang dilatih sebanyak 6.452.586 parameter.

## D. Perancangan Algoritme Deteksi dan Pengenalan Masker
Pada sistem ini, digunakan metode CNN dengan arsitektur MobileNetV2  untuk  mendeteksi  penggunaan  masker  yang tersedia  di library Keras.  Keras  adalah  kerangka  kerja  untuk pembelajaran mendalam yang ditulis dalam bahasa pemrograman  Python.  Pelatihan  untuk  model  deteksi  masker ini menggunakan data pelatihan masing-masing 1.915 gambar untuk  data pelatihan  tanpa masker  dan  data  pelatihan  dengan masker. Pelatihan data dilakukan dengan dua puluh epoch.
Deteksi  masker  digunakan  untuk  memantau  penumpang, menggunakan masker atau tidak. Selain pendeteksian masker, algoritme ini juga harus mampu mengidentifikasi jenis masker yang digunakan penumpang. Tujuan identifikasi jenis masker ini adalah untuk memastikan penumpang menggunakan masker sesuai  standar,  yaitu  masker  medis  atau  N95/KN95.  Gbr.  4 menunjukkan  diagram  blok  proses  pembuatan dataset untuk pengenalan masker.
Pembuatan dataset untuk  pendeteksian  masker  dilakukan dengan  melakukan  dua  tahap  pendeteksian  wajah.  Deteksi wajah  pertama  dilakukan  untuk  memotong  citra  masukan sehingga hanya didapatkan area wajah, kemudian deteksi wajah kedua  dilakukan  untuk  mendapatkan  citra  area  wajah  setelah diluruskan  agar  wajah  dalam kondisi  lurus  atau  tidak  miring. Keluaran  yang  telah  diproses  sebelumnya  dalam  pembuatan dataset ini adalah gambar dari bagian masker saja.
Identifikasi masker pada sistem ini dibagi menjadi dua kelas, yaitu ‘ Bad Masked ’ dan ‘ Good Masked ’. Kelas ‘ Good Masked ’ berarti  masker  yang  digunakan  adalah  masker  bedah  atau masker N95/KN95, sedangkan untuk golongan ‘ Bad Masked ’
Gbr. 2 Pembuatan dataset pengenalan wajah.
Gbr. 3 Diagram blok proses pelatihan CNN.
T ABEL I
U KURAN D IMENSI DAN P ARAMETER CNN Lapisan Dimensi Keluaran Parameter Conv2D 224 × 224 × 32 896 MaxPooling2D 112 × 112 × 32 0 Conv2D 112 × 112 × 32 9.248 MaxPooling2D 56 × 56 × 32 0 Conv2D 56 × 56 × 64 18.496 MaxPooling2D 28 × 28 × 64 0 Dropout 28 × 28 × 64 0 Flatten 50.176 0 Hidden 128 6.422.656 Output 70 1.290
berarti  masker  yang  digunakan  adalah  masker  selain  masker bedah atau masker N95/KN95.

## IV. H ASIL E KSPERIMEN
Dalam  penelitian  ini,  eksperimen  yang  diujikan  dibagi menjadi  beberapa  subsistem  pengujian.  Subsistem  pertama menguji  algoritme  pendeteksi  masker,  sedangkan  subsistem kedua  membuktikan  pengenalan  wajah  dengan  dan  tanpa masker menggunakan algoritme CNN. Selanjutnya, subsistem ketiga menguji algoritme pengenalan tipe masker N95/KN95/bedah,  dan  yang  terakhir  menjalankan  seluruh sistem  terintegrasi  untuk  membuktikan  keakuratan  keputusan yang dibuat oleh algoritme sensor fusion yang diusulkan.

## A. Hasil Pengujian Algoritme Deteksi Masker
Deteksi  masker  diuji  dengan  memprediksi  citra  wajah dengan  masker  atau  tanpa  masker.  Data  hasil  pengujian ditunjukkan  pada  Gbr.  5.  Label  ' Mask '  berarti  gambar  yang diprediksi  menggunakan  masker,  sedangkan  label  ' No  Mask ' berarti gambar yang diprediksi tanpa masker.
Gbr. 5 menunjukkan bahwa model CNN yang telah dilatih dapat membedakan wajah bermasker dan wajah tanpa masker dengan  akurasi  yang  sangat baik.  Dalam  proses  pendeteksian masker, model CNN yang diusulkan belum dapat membedakan jenis  masker  wajah  antara  masker  bedah, respiratory  mask (N95/KN95), dan masker lainnya.

## B. Hasil Pengujian Algoritme Pengenalan Wajah
Pada  eksperimen  pengenalan  wajah  yang  diujikan, digunakan  3.500  citra,  yang  terdiri  atas  tujuh  puluh kelas/pengguna,  dengan  masing-masing  kelas  memiliki  lima
puluh  citra  praproses. Dataset tersebut  kemudian  dibagi menjadi  dua  bagian: dataset pelatihan  dan dataset pengujian atau  validasi.  Dalam  membuat dataset ,  beberapa  skenario pelatihan  diterapkan,  seperti  yang  ditunjukkan  pada  Tabel  II. Hasil pelatihan model CNN berdasarkan skenario dalam Tabel II disajikan pada Tabel III.
Dari  Tabel  III,  dapat  diketahui  bahwa  model  CNN  untuk pengenalan  wajah  yang  telah  dilatih  dapat  mengenali  wajah dengan akurasi terbaik untuk pengenalan wajah tanpa masker dan pengenalan wajah dengan masker pada skenario keempat. Rasio  9:1  pada dataset pengujian  terhadap dataset pelatihan menghasilkan dataset pelatihan  yang  lebih  banyak  dan  telah merepresentasikan  data  pada dataset pengujian  secara keseluruhan,  sehingga  model CNN  dapat  melakukan  prediksi dengan  baik.  Hasil  pengenalan  wajah  tanpa  menggunakan masker  ditunjukkan  pada  Gbr.  6,  sedangkan  hasil  pengujian model  CNN  untuk  pengenalan  wajah  dengan  menggunakan masker  ditunjukkan  oleh  Gbr.  7  (skenario  kedua)  dan  Gbr.  8 (skenario  keempat).  Akurasi  pengenalan  wajah  (saat menggunakan  masker  wajah)  dengan  skenario  kedua  adalah 87,5%, sedangkan akurasi skenario keempat adalah 100%.

## C. Hasil  Pengujian  Algoritme  Pengenalan  Jenis  Masker Wajah
Hasil  pelatihan  model  CNN  dalam  mengenali  jenis-jenis masker wajah yang digunakan calon penumpang disajikan pada Tabel  IV.  Pengujian  akurasi  pengenalan  masker  dilakukan berdasarkan skenario pada Tabel II.
Gbr. 4 Diagram blok proses pembuatan dataset pengenalan masker.
Gbr. 5 Hasil deteksi masker wajah.
T ABEL II S KENARIO P ELATIHAN M ODEL CNN Skenario Epoch Dataset Pelatihan Dataset Pengujian 1 100 80 20 2 100 90 10 3 500 80 20 4 500 90 10
T ABEL III A KURASI H ASIL P ENGENALAN W AJAH Skenario Akurasi (%) Tanpa Masker Dengan Masker 1 56,25 93,75 2 68,75 87,50 3 93,75 93,75 4 100,00 100,00
Berdasarkan  Tabel  IV,  model  CNN  untuk  pengenalan masker dapat membedakan jenis masker dengan akurasi pada skenario pertama 100%, skenario kedua 100%, skenario ketiga 93,75%,  dan  skenario  keempat  100%.  Gbr.  9  menunjukkan sampel pengujian model CNN untuk pengenalan jenis masker wajah.

## D. Hasil Pengujian Sistem Terintegrasi
Pengujian  terintegrasi  terdiri  atas  proses check-in calon penumpang.  Pertama,  calon  penumpang  menggunakan smartphone untuk  masuk  ke  web  penerbangan  dan tapping NFC.  Kemudian,  kamera  termal  dan  kamera  IP  melakukan proses  pendeteksian  wajah  dan  jenis  masker.  Eksperimen terintegrasi  ini  mewakili  diagram  blok  sistem  yang digambarkan pada Gbr. 1.
Aplikasi  web  penerbangan  ditujukan  bagi  administrasi penyelenggara penerbangan. Aplikasi web dibuat menjadi tiga halaman, yaitu halaman registrasi, halaman login , dan halaman pemantauan.  Aplikasi  web  penerbangan  ini  berjalan  di komputer  lokal  dengan  alamat  IP  192.168.0.102/127.0.0.1 ( localhost ). Pada halaman pendaftaran terdapat beberapa data
yang  harus  diisi,  yaitu  alamat email pengguna  dan password . Jika registrasi berhasil, akan muncul halaman login . Gbr. 10 memperlihatkan halaman utama website penerbangan. Ada dua jendela untuk menampilkan  citra yang diambil  kamera  IP  dan  kamera  termal.  Tabel  pada  halaman tersebut menunjukkan daftar penumpang maskapai yang telah terdaftar  dan  memiliki  tiket.  Terdapat  beberapa  kolom  yang memberikan informasi mengenai nama dan kondisi penumpang. Pada  kolom security  check  point 1  (SCP1)  terdapat  beberapa kolom  untuk  mengukur  berbagai  parameter  sebagai  syarat keberangkatan.  Kolom  verifikasi  mengindikasikan  bahwa penumpang yang check-in adalah pemilik tiket yang terdeteksi melalui  pengenalan  wajah  pada  kamera  IP.  Kolom  suhu menunjukkan  kondisi  suhu  tubuh  penumpang  yang  diukur menggunakan  kamera  termal.  Kolom boarding  pass
Gbr. 6 Hasil pengenalan wajah saat wajah tidak menggunakan masker.
Gbr. 7 Pengenalan wajah bermasker menggunakan skenario pelatihan ke-2.
Gbr. 8 Pengenalan wajah bermasker menggunakan skenario pelatihan ke-4.
Gbr. 9 Pengenalan tipe masker.
T ABEL IV A KURASI H ASIL P ENDETEKSIAN J ENIS M ASKER Skenario Akurasi (%) 1 100,00 2 100,00 3 93,75 4 100,00
menunjukkan verifikasi boarding pass pada node NFC. Lalu, kolom status berwarna merah menunjukkan penumpang yang gagal check-in karena  adanya  ketidaksesuaian  dengan parameter  yang  diukur  dan  akan  berubah  menjadi  hijau  jika semua parameter yang diukur sudah sesuai dengan ketentuan.
Pada  Gbr.  11,  terlihat  bahwa  penumpang  sudah  dikenali dengan  baik  dan  memakai  masker  sesuai  ketentuan.  Namun, kolom  status  penumpang  masih  terlihat  berwarna  merah.  Hal ini terjadi karena penumpang belum melakukan tapping pada node /terminal  NFC,  sehingga  sistem  belum  melakukan pengukuran.  Agar  sistem  dapat  melakukan  pengukuran, smartphone harus  diletakkan  ke node NFC  (seperti  yang ditunjukkan pada Gbr. 12), dan pada smartphone tersebut harus telah terinstal aplikasi e-flight .
Setelah  perangkat  NFC  diletakkan  dalam  jangkauan  alat pembaca,  status  pada  web  pemantauan  penumpang  berubah
menjadi hijau, penggunaan masker, dan suhu tubuh pun telah diverifikasi.  Tampilan website e-flight ditunjukkan  pada  Gbr. 13.
Pada  Gbr.  13,  seperti  yang  terlihat  pada  kolom  verifikasi, status  penggunaan  masker  dan boarding  pass berubah  dari tanda  silang  menjadi  centang  dan  suhu  tubuh  yang  diukur berada di bawah 38 °C. Ini berarti penumpang yang check-in telah  memenuhi  persyaratan,  sehingga  kolom  status  menjadi hijau  dengan  waktu  proses check-in adalah  17  detik.  Kolom status berwarna hijau menandakan penumpang telah melewati SCP1.  Gbr.  14  menampilkan  pengukuran  pada  calon penumpang  yang  berbeda  yang  menggunakan  masker  tidak standar.
Pada  Gbr.  14,  meskipun  penumpang  telah  melakukan tapping  boarding  pass ,  yang  ditandai  dengan  tanda  centang pada  kolom boarding  pass dan  wajah  yang  dikenali  sesuai dengan  data  pemilik boarding  pass ,  kolom  status  berwarna merah. Warna merah pada kolom status disebabkan oleh jenis masker yang tidak sesuai dengan ketentuan, yaitu jenis masker kain, sehingga penumpang ditolak untuk melewati SCP1. Hasil ini  menunjukkan  bahwa sensor  fusion pada  tingkat pengambilan keputusan memiliki kinerja yang baik.

## V. K ESIMPULAN
Sistem pemantauan suhu tubuh dan pengenalan penggunaan masker  bagi  penumpang  pesawat  di  bandara  telah direalisasikan  dan  diuji  coba.  Aplikasi  web  yang  diusulkan untuk sistem pemantauan ini (yang diberi nama e-flight apps ) dirancang pada localhost dan telah berfungsi sesuai tujuannya, yaitu  untuk  menampilkan  daftar  dan  status check-in calon penumpang pesawat.
Gbr. 10 Halaman utama web e-flight.
Gbr. 11 Proses check-in tanpa melakukan tapping NFC. Gbr. 12 Proses tapping NFC.
Gbr. 13 Proses check-in dengan melakukan tapping NFC.
Gbr. 14 Penggunaan masker nonstandar terdeteksi.
Model  CNN  untuk  pengenalan  wajah  dan  pengenalan masker  yang  paling  baik  ditemukan  pada  skenario  keempat dengan  rasio dataset pelatihan  terhadap  dataset  pengujian adalah 9:1 dan epoch sebanyak 500 kali. Pada pengujian sistem pengenalan wajah, dataset yang digunakan adalah 3.500 citra yang  terdiri  atas  tujuh  puluh  pengguna,  sedangkan  pelatihan untuk  model  pendeteksian  jenis  masker  menggunakan  data pelatihan  masing-masing  1.915  gambar  untuk  data  pelatihan tanpa  masker  dan  data  pelatihan  dengan  masker.  Akurasi pelatihan model CNN untuk pengenalan wajah dan pengenalan masker menggunakan skenario keempat dapat  mencapai hasil 100%.
Metode sensor  fusion pada  penelitian  ini  dibangun menggunakan  konfigurasi complementary , yang  terdiri  atas tiga buah sensor (kamera IP, kamera termal, dan NFC). Tingkat keputusan sensor  fusion yang  dirancang  telah  menunjukkan hasil yang baik dan telah mampu menentukan verifikasi status check-in penumpang  pesawat  berdasarkan  tiga  persyaratan, yaitu  nilai  suhu  tubuh,  jenis  masker  yang  dikenakan,  dan kesesuaian wajah terhadap data tiket calon penumpang pesawat.

## K ONFLIK K EPENTINGAN
Para  penulis  tidak  memiliki  konflik  kepentingan  untuk dideklarasikan. Semua penulis telah melihat dan menyetujui isi naskah dan tidak ada kepentingan finansial untuk dilaporkan. Semua  informasi  yang  disampaikan  adalah  hasil  aktual  yang diperoleh dari melakukan penelitian dan tidak dipengaruhi oleh pendapat atau kepentingan pribadi.

## K ONTRIBUSI P ENULIS
Penulis mengonfirmasi kontribusi makalah sebagai berikut: Konseptualisasi,  Noor  Cholis  Basjaruddin;  metodologi  dan desain, Feni Isdaryani; perangkat lunak dan pengumpulan data, Aldi Lugina; analisis dan interpretasi hasil: Feni Isdaryani, Aldi Lugina; penyusunan naskah draf: Feni Isdaryani, Aldi Lugina. Semua  penulis  meninjau  hasil  dan  menyetujui  naskah  versi akhir.

## R EFERENSI
[1] “Kriteria  dan  Persyaratan  Perjalanan  Orang  dalam  Masa  Adaptasi Kebiasaan Baru Menuju Masyarakat Produktif dan Aman Corona Virus Disease  2019  (COVID-19),”  Surat  Edaran  Gugus  Tugas  Percepatan Penanganan COVID-19 Nomor 7, 2020.
[2] (2020)  “Coronavirus  Disease  (COVID-19):  When  and  How  to  Use Masks,”  [Online],  https://www.who.int/emergencies/diseases/novel- coronavirus-2019/advice-for-public/when-and-how-to-use-masks, tanggal akses: 10-Feb-2021.
[3] A.  Voulodimos,  N.  Doulamis,  A.  Doulamis,  dan  E.  Protopapadakis, “Deep Learning for Computer Vision: A Brief Review,” Comput. Intell.,
Neurosci. , Vol. 2018, hal. 1-13, 2018.
[4] S.  Sethi,  M.  Kathuria,  dan  T.  Kaushik,  “Face  Mask  Detection  Using Deep Learning: An Approach to Reduce Risk of Coronavirus Spread,” J. Biomed. Inform. , Vol. 120, hal. 1-12, 2021.
[5] X. Jiang, T. Gao, Z. Zhu, dan Y. Zhao, “Real-Time Face Mask Detection Method Based on YOLOv3,” Electron. , Vol. 10, No. 7, hal. 1-17, Apr. 2021.
[6] M. Jiang, X. Fan, dan H. Yan, “RetinaFaceMask: A Single Stage Face Mask  Detector  for  Assisting  Control  of  the  COVID-19  Pandemic,” 2020, arXiv:2005.03950 .
[7] W.  Hariri,  “Eficient  Masked  Face  Recognition  Method  during  the COVID-19 Pandemic,” 2021, arXiv:2105.03026 .
[8] H.  Li,  dkk.,  “Multisensor  Data  Fusion  for  Human  Activities Classification and Fall Detection,” 2017 IEEE SENSORS , 2017, hal. 1- 3.
[9] R. Gravina, P. Alinia, H. Ghasemzadeh, dan G. Fortino, “Multi-Sensor Fusion  in  Body  Sensor  Networks:  State-of-the-Art  and  Research Challenges,” Inf. Fusion, Vol. 35, hal. 68-80, 2017.
[10] (2020)  “Coronavirus  disease  (COVID-19):  Masks,”  [Online], https://www.who.int/news-room/q-a-detail/coronavirus-disease-covid- 19-masks, tanggal akses: 6-Feb-2021.
[11] S.  McHugh  dan  K.  Yarmey, Near  Field  Communication  Recent Developments  dan  Library  Implications .  San  Rafael, AS:  Morgan  & Claypool Publishers, 2014.
[12] N.  Álvarez-Díaz,  P.  Caballero-Gil,  dan  M.  Burmeste,  “A  Luggage Control  System  Based  on  NFC  and  Homomorphic  Cryptography,” Mobile Inf. Syst., Vol. 2017, hal. 1-11, 2017.
[13] H.  Komsta,  E.  Brumercikova,  dan  B.  Bukova,  “Application  of  NFC Technology in Passenger Rail Transport,” Transp. Probl., Vol. 11, No. 3, hal. 43-53, 2016.
[14] C.C. Aggarwal, Neural  Networks  and  Deep  Learning .  Cham,  Swiss: Springer, 2018.
[15] H.  Yanagisawa,  T.  Yamashita,  dan  H.  Watanabe,  “A  Study on Object Detection Method  from  Manga  Images  Using CNN,” Int. Workshop Adv. Image Technol. (IWAIT) , 2018, hal. 1-4.
[16] Z. Ouyang, J. Niu, Y. Liu, dan M. Guizani,  “Deep CNN-Based Real- Time  Traffic  Light  Detector  for  Self-Driving  Vehicles,” IEEE  Trans. Mob. Comput., Vol. 19, No. 2, hal. 300-313, 2020.
[17] A.R.  Syafeeza,  M.  Khalil-Hani,  S.S.  Liew,  dan  R.  Bakhteri, “Convolutional  Neural  Network  for  Face  Recognition  with  Pose  and Illumination,” Int. J. Eng., Technol. (IJET), Vol. 6, No. 1, hal. 44-57, 2014.
[18] M.G. Bechtel, E. Mcellhiney, M. Kim, dan H. Yun, “DeepPicar: A Low- Cost  Deep  Neural  Network-Based Autonomous  Car,” IEEE  24th  Int. Conf. Embedded, Real-Time Comput. Syst., Appl. (RTCSA) , 2018, hal. 11-21.
[19] D. Galar dan U. Kumar, eMaintenance - Essential Electronic Tools for Efficiency , J. Laurence, Ed., Cambridge, AS: Academic Press, 2017.
[20] M.-D. Yang, T.-C. Su, dan H.-Y. Lin, “Fusion of Infrared Thermal Image and  Visible  Image  for  3D  Thermal  Model  Reconstruction  Using Smartphone Sensors,” Sensors, Vol. 18, No. 7, hal. 1-19, 2018.
[21] A. Hashmi, A.N. Kalashnikov, “Sensor Data Fusion for Responsive High Resolution  Ultrasonic  Temperature  Measurement  Using  Piezoelectric Transducers,” Ultrasonics , Vol. 99, hal. 1-8, 2019.