Vol.18, No.1, Tahun 2024 ISSN: 2580-8397 (O); 0852-730X (P)

## Pembangunan Sistem Monitoring Kehadiran Mahasiswa Menggunakan Yolo Pendeteksi Obyek dan Pengenal Wajah Opencv
Anwar Fu’adi 1 , Agus Prianggono 2 , Berlian Juliartha Martin Putra 3 , Bagus Hikmawan 4 1234 Akademi Komunitas Negeri Pacitan
1 anwar@aknpacitan.ac.id, 2 agus@aknpacitan.ac.id, 3 berlian@aknpacitan.ac.id,
4 bagus@aknpacitan.ac.id
ABSTRAK .  Penelitian  ini  bertujuan  untuk  mengatasi  permasalahan  pencatatan  kehadiran  mahasiswa  yang  seringkali memakan  waktu  dan  rentan  terhadap  kesalahan  manusiawi.  Masalah  efisiensi  dan  akurasi  dalam  pencatatan  kehadiran memotivasi  penelitian  ini  dalam  mengembangkan  aplikasi  kehadiran  mahasiswa  berbasis  teknologi computer  vision menggunakan  OpenCV  dan  YOLO.  Metode  yang  digunakan  dimulai  dengan  pengumpulan  dan  mengelola  data  berupa foto-foto  wajah  mahasiswa  sebagai  basis  data.  Proses  pengenalan  wajah  dilakukan  melalui  penerapan Simple  Face Recognition  library dari  OpenCV,  sementara  deteksi  wajah  secara real-time dilakukan  dengan  model  YOLO.  Integrasi kedua model ini dilakukan dalam sebuah server berbasis API menggunakan FastAPI. Selanjutnya, pengembangan aplikasi mobile menggunakan Flutter memungkinkan pengguna untuk mengambil dan mengirimkan gambar wajah mahasiswa ke server  API  serta  menerima  respons  berupa  daftar  mahasiswa  yang  terdeteksi  dalam  gambar.  Tujuan  dari  penelitian  ini adalah  untuk  menciptakan  solusi  pencatatan  kehadiran  mahasiswa  yang  akurat,  cepat,  dan  efisien  melalui  teknologi computer  vision .  Pengujian  aplikasi  yang  dikembangkan  menunjukkan  hasil  yang  menjanjikan  dengan  integrasi  yang sukses  antara  teknologi  OpenCV  dan  YOLO.  Keberhasilan  integrasi  menunjukkan  kinerja  yang  memuaskan, mengindikasikan potensi besar aplikasi ini dalam meningkatkan efisiensi manajemen kehadiran di lingkungan pendidikan. Kata Kunci : Face Recognition; Object Detection; YOLO; OpenCV
ABSTRACT .  This  research  aims  to  address  the  issue of  time-consuming  and  error-prone  student  attendance  recording methods. The efficiency and accuracy problems in attendance recording motivate this study to develop a student attendance application based on computer vision technology using OpenCV and YOLO. The method starts with the collection and management  of  data,  in  the  form  of  student  facial  photos,  as  the  database.  The  facial  recognition  approach  involves implementing the Simple Face Recognition library from OpenCV, while real-time facial detection is performed using the YOLO model. The integration of these two models is carried out in a server-based API using FastAPI. Furthermore, the development of a mobile application using Flutter enables users to capture and send student facial images to the API server and receive a response containing the list of detected students within the image. The objective of this research is to create an accurate, fast, and efficient student attendance recording solution through computer vision technology.  The testing of the developed application shows promising results with a successful integration between OpenCV and YOLO technologies. This successful integration exhibits satisfactory performance, indicating substantial potential for this application to enhance attendance management efficiency within educational settings.
Keywords : Face Recognition; Object Detection; YOLO; OpenCV

## PENDAHULUAN
Pencatatan  kehadiran  mahasiswa  dalam  lingkungan  pendidikan  memiliki  peran  yang  vital dalam  manajemen  dan  pengawasan  akademis.  Namun,  metode  pencatatan  kehadiran  yang  masih menggunakan proses manual seringkali rentan terhadap kesalahan, konsumsi waktu yang besar, dan kurang  efisien.  Pencatatan  manual  sering  mengakibatkan  kesalahan  administrasi,  seperti keterlambatan pencatatan dan kemungkinan kesalahan penginputan data, yang pada gilirannya dapat mengganggu proses manajemen akademis yang efektif(Hidayah & Saifudin, 2023).
Isu-isu terkait dengan pencatatan kehadiran mahasiswa mencakup keakuratan, kecepatan, dan efisiensi  dalam  memproses  data  kehadiran.  Selain  itu,  adopsi  teknologi  untuk  memperbaiki  dan mempercepat  proses  ini  menjadi  semakin  penting  di  era  digital  saat  ini,  di  mana  penggunaan teknologi dapat memberikan solusi yang lebih efisien dan akurat(Hartiwi et al., 2020).
Penelitian ini didasari oleh kebutuhan untuk mencari solusi yang inovatif dan efektif dalam manajemen  kehadiran  mahasiswa.  Teknologi  komputer  vision  menawarkan  potensi  besar  untuk meningkatkan  proses  pencatatan  kehadiran  melalui  pengenalan  wajah.  Penggunaan  teknologi  ini diharapkan dapat mengurangi kesalahan manusiawi dalam pencatatan kehadiran serta memberikan respons yang lebih cepat dan akurat dalam identifikasi mahasiswa(Dirjen et al., 2021).
Tujuan  dari  penelitian  ini  adalah  mengembangkan  aplikasi  kehadiran  mahasiswa  berbasis teknologi  computer  vision  menggunakan  OpenCV  dan  YOLO.  Aplikasi  ini  diharapkan  dapat memberikan solusi yang akurat, efisien, dan responsif dalam pencatatan kehadiran mahasiswa.
Penelitian  terdahulu  telah  menyoroti  berbagai  teknik  pengenalan  wajah  dan  deteksi  objek menggunakan teknologi komputer vision(Dharma Adhinata et al., 2021). Beberapa penelitian telah memperlihatkan kesuksesan dalam penerapan OpenCV untuk pengenalan wajah dan model YOLO untuk deteksi objek dalam berbagai konteks(Fuadi et al., n.d.). Studi-studi ini memberikan dasar yang kuat bagi pengembangan aplikasi kehadiran mahasiswa yang kami lakukan.
Namun,  penelitian-penelitian  sebelumnya  juga  menunjukkan  beberapa  kendala,  seperti masalah akurasi pengenalan wajah dalam kondisi pencahayaan yang buruk, variasi pose wajah, dan keterbatasan dalam pengenalan wajah pada foto dengan kualitas rendah. Oleh karena itu, penelitian ini akan berusaha untuk mengatasi beberapa dari tantangan tersebut dan memperbaiki kinerja sistem secara keseluruhan.
Dengan  demikian,  penelitian  ini  bertujuan  untuk  mengisi  celah  di  antara  hasil  penelitian sebelumnya dengan menggabungkan teknologi pengenalan wajah OpenCV dan deteksi objek YOLO dalam sebuah aplikasi kehadiran mahasiswa yang efektif dan dapat diandalkan(Pratama et al., 2021).

## METODE
Dalam  penelitian  ini,  metode  yang  digunakan  dimulai  dengan  pengumpulan  dataset  berupa foto wajah mahasiswa yang kemudian dijadikan sebagai basis data. Pendekatan pengenalan wajah menggunakan Simple  Face  Recognition  library dari  OpenCV  digunakan  untuk  memproses  dan mengelola data wajah tersebut. Selanjutnya, model YOLO ( You Only Look Once ) diimplementasikan untuk melakukan deteksi wajah secara real-time melalui kamera. Integrasi antara teknik pengenalan wajah dan deteksi wajah ini dilakukan dalam sebuah server berbasis API menggunakan FastAPI.
Pengembangan  aplikasi  mobile  menggunakan  Flutter,  memungkinkan  pengguna  untuk mengambil foto wajah mahasiswa dan mengirimkannya ke server API. Di server, foto tersebut akan diproses  dengan  menggunakan  kombinasi  teknologi  OpenCV  dan  YOLO  untuk  mendeteksi  dan mengenali wajah mahasiswa yang ada dalam gambar. Respons dari server berupa daftar mahasiswa yang terdeteksi dalam foto tersebut kemudian dikirimkan kembali ke aplikasi mobile.
Gambar 1 . Desain Sistem Kehadiran Mahasiswa menggunakan YOLO dan OpenCV
Integrasi yang tepat antara teknologi pengenalan wajah dan deteksi objek ini memungkinkan penggunaan  yang  efisien  dan  akurat  dalam  pencatatan  kehadiran  mahasiswa.  Hal  ini  memastikan bahwa  aplikasi  yang  dikembangkan  dapat  memberikan  respons  yang  cepat  dan  akurat  terhadap kehadiran mahasiswa.

## HASIL dan PEMBAHASAN Pengumpulan Dataset
Proses pengumpulan dataset merupakan langkah pertama yang krusial dalam pengembangan aplikasi kehadiran mahasiswa berbasis teknologi computer vision. Dataset terdiri dari kumpulan foto
wajah mahasiswa yang diambil dari berbagai sumber dan kondisi. Foto-foto ini meliputi variasi pose, ekspresi  wajah,  kondisi  pencahayaan,  dan  latar  belakang  yang  berbeda.  Keanekaragaman  dataset sangat penting untuk melatih model agar dapat mengenali wajah dalam situasi yang beragam.
Gambar 2 . Pengumpulan data wajah

## Pengolahan Dataset dengan OpenCV
Setelah dataset terkumpul, tahap berikutnya adalah pengolahan dataset menggunakan Simple Face  Recognition  library dari  OpenCV.  Proses  ini  melibatkan  tahapan  preprocessing,  segmentasi wajah, dan ekstraksi fitur wajah. Setiap foto diolah untuk mengidentifikasi dan memisahkan wajah dari latar belakang serta mengambil fitur-fitur penting yang diperlukan untuk pengenalan wajah.

## Implementasi Model YOLO untuk Deteksi Wajah
Penerapan  model  YOLO  (You  Only  Look  Once)  merupakan  langkah  penting  dalam memungkinkan  deteksi  wajah  secara  real-time  melalui  kamera.  Model  ini  memungkinkan  sistem untuk secara cepat dan akurat mendeteksi lokasi wajah dalam berbagai konteks visual, mulai dari berbagai posisi hingga kondisi pencahayaan yang berbeda.

## Integrasi Teknologi dalam Server Berbasis API
Tahap  berikutnya melibatkan  integrasi  antara  teknologi  OpenCV  dan  YOLO  dalam  sebuah server  berbasis  API  menggunakan  FastAPI.  Proses  ini  memungkinkan  sistem  untuk  menerima permintaan dari aplikasi mobile, melakukan proses deteksi dan pengenalan wajah, dan memberikan respons yang sesuai kembali ke aplikasi.

## Pengembangan Aplikasi Mobile menggunakan Flutter
Pengembangan  aplikasi  mobile  merupakan  implementasi  dari  seluruh  proses  yang  telah dilakukan  sebelumnya.  Dalam  aplikasi  ini,  pengguna  dapat  mengambil  foto  wajah  mahasiswa menggunakan  kamera  perangkat  mereka.  Foto ini  kemudian  dikirimkan  ke  server  API  yang  telah diintegrasikan sebelumnya. Respons dari server berupa daftar mahasiswa yang terdeteksi dalam foto tersebut dikirimkan kembali ke aplikasi.

## Pengujian dan Evaluasi
Tahapan  terakhir  adalah  pengujian  sistem  secara  menyeluruh.  Pengujian  dilakukan  untuk mengevaluasi akurasi pengenalan wajah, respons server, kecepatan sistem, dan kinerja keseluruhan aplikasi  dalam  mencatat  kehadiran  mahasiswa.  Hasil  dari  pengujian  ini  digunakan  untuk  menilai kehandalan sistem serta untuk menemukan area-area perbaikan yang mungkin diperlukan.

## Gambar 3 . Pengujian aplikasi mobile

## KESIMPULAN
Penelitian  ini  menguji  potensi  aplikasi  kehadiran  mahasiswa  menggunakan  teknologi computer  vision.  Integrasi  OpenCV  dan  YOLO  dalam  aplikasi mobile memberikan  respons  yang cepat terhadap pencatatan kehadiran. Namun, tantangan terkait akurasi dalam kondisi pencahayaan yang  rendah  masih  perlu  diselesaikan.  Kesimpulannya,  teknologi  komputer  vision  menjanjikan solusi  efisien  dalam  manajemen  kehadiran  mahasiswa,  namun  perlu  pengembangan  lebih  lanjut untuk meningkatkan akurasi dan responsivitasnya.

## DAFTAR RUJUKAN
Dharma Adhinata, F., Putra Rakhmadani, D., Jala, A., & Segara, T. (2021). YOLO Algorithm for Detecting People in Social Distancing System. Jurnal Transformatika , 19 (1), 1–7. https://doi.org/10.26623/TRANSFORMATIKA.V19I1.3582
Dirjen, S. K., Riset, P., Pengembangan, D., Dikti, R., & Farokhah, L. (2021). Perbandingan Metode Deteksi Wajah Menggunakan OpenCV Haar Cascade, OpenCV Single Shot Multibox Detector (SSD) dan DLib CNN. Jurnal RESTI (Rekayasa Sistem Dan Teknologi Informasi) , 5 (3), 609–614. https://doi.org/10.29207/RESTI.V5I3.3125
Fuadi, M., Darusalam, U., Kusuma Whardana, A., Nasional, U., Sawo Manila, J., Ps Minggu Jakarta, P., Sistem Informatika, J., & Teknologi Komunikasi dan Informatika, F. (n.d.). FACE RECOGNITION MENGGUNAKAN OPENCV DENGAN BAHASA PEMOGRAMAN PYTHON OOP UNTUK SISTEM PRESENSI RUMAH SAKIT . 2 (3), 2775–4057. Retrieved February 1, 2024, from http://openjournal.unpam.ac.id/index.php/JOAIIA/index218
Hartiwi, Y., Rasywir, E., Pratama, Y., & Jusia, P. A. (2020). Sistem Manajemen Absensi dengan Fitur Pengenalan Wajah dan GPS Menggunakan YOLO pada Platform Android. JURNAL MEDIA INFORMATIKA BUDIDARMA , 4 (4), 1235–1242. https://doi.org/10.30865/mib.v4i4.2522
Hidayah, T. N., & Saifudin, A. (2023). Perancangan Sistem Presensi Berbasis Pengenalan Wajah Guna Mencegah Pemalsuan Data Kehadiran Siswa. OKTAL : Jurnal Ilmu Komputer Dan Sains , 2 (02), 472–477. https://journal.mediapublikasi.id/index.php/oktal/article/view/1039 Pratama, Y., Rasywir, E., Sunoto, A., & Irawan, I. (2021). Application of YOLO (You Only Look Once) V.4 with Preprocessing Image and Network Experiment. The IJICS (International Journal of Informatics and Computer Science) , 5 (3), 280–286. https://doi.org/10.30865/ijics.v5i3.3386