How to cite: Anisa Pratiwi Saputri, Ahmad Taqwa, Sopian Soim (2022) Analisis Deteksi Objek Citra Digital Menggunakan Algoritma Yolo dan CNN Dengan Arsitektur REPVGG pada Sistem Pendeteksian dan Pengenalan Ekspresi Wajah. Syntax Literate: Jurnal Ilmiah Indonesia, 7 (9). E-ISSN:
2548-1398 Published by: Ridwan Institute

## Syntax  Literate:  Jurnal  Ilmiah  Indonesia  p–ISSN:  2541-0849 e-ISSN: 2548-1398 Vol. 7, No. 9, September 2022 ANALISIS DETEKSI OBJEK CITRA DIGITAL MENGGUNAKAN ALGORITMA  YOLO  DAN  CNN  DENGAN  ARSITEKTUR  REPVGG  PADA SISTEM PENDETEKSIAN DAN PENGENALAN EKSPRESI WAJAH

## Anisa Pratiwi Saputri, Ahmad Taqwa, Sopian Soim
Program  Studi  Teknik  Telekomunikasi,  Jurusan  Teknik  Elektro,  Politeknik  Negeri Sriwijaya Palembang, Sumatera Selatan, Indonesia Email: anisapratiwisaputri2587@gmail.com, taqwa@polsri.ac.id, sopiansoim@gmail.com

## Abstrak
Salah satu topik yang paling sering digunakan dalam machine learning adalah mendeteksi  wajah.  Metode  yang  digunakan  dalam  mendeteksi  wajah  sangat beragam. Kami menggunakan algoritma YOLO dan arsitektur RepVGG untuk mendeteksi  ekspresi  wajah.  YOLO  menerapkan  satu  jaringan  saraf  yang dimana  pada  algoritma  ini  dapat  membagi  gambar  dalam  beberapa  wilayah sehingga  dapat  diprediksi  yang  akan  menghasilkan  data  yang  akurat  dengan secara real-time .  Sedangkan  RepVGG  menerapkan  jaringan  saraf  konvolusi untuk  mengklasifikasi  gambar  (deteksi  objek)  dalam  skala  besar.  Dalam pengklasifikasian  ekspresi  wajahnya  menggunakan  dataset fer2013. Dataset yang  digunakan  terbagi  menjadi  7  kelompok  ekspresi  wajah  yaitu Neutral , Happy , Sad , Anger , Fear , Surprise dan Disgust . Hasil dari pengujian algoritma YOLO  mendapatkan  tingkat  keyakinan  sebesar  89%.  Dan  untuk  pengujian keseluruhan  sistem  untuk  ekspresi Happy menghasilkan  tingkat  keyakinan sebesar 99,3%.
Kata Kunci: YOLO, CNN, Ekspresi Wajah, RepVGG, Fer2013

## Abstract
One  of  the  most  frequently  used  topics  in  machine  learning  is  face  detection. The  methods  used  in  detecting  faces  are  very  diverse.  We  used  the  YOLO algorithm  and  the  RepVGG  architecture  to  detect  facial  expressions.  YOLO implements a neural network which in this algorithm can divide the image into several regions so that it can be predicted which will produce accurate data in real-time.  Meanwhile,  RepVGG  applies  a  convolutional  neural  network  to classify  images  (object  detection)  on  a  large  scale.  In  classifying  facial expressions  using  the  fer2013  dataset.  The  dataset  used  is  divided  into  7 groups  of  facial  expressions,  namely  Neutral,  Happy,  Sad,  Anger,  Fear, Surprise  and  Disgust.  The  results  of  testing  the  YOLO  algorithm  get  a confidence  level  of  89%.  And  for  testing  the  whole  system  for  the  Happy expression, it produces a confidence level of 99.3%.
Keywords: YOLO, CNN, Facial Expression, RepVGG, Widerface, AffectNet

## Pendahuluan
Perkembangan teknologi yang sangat banyak sehingga memungkinkan manusia dalam  menciptakan  stau  sistem  yang  akan  membantu  dalam  pengenalan  citra  digital. Contoh  dari  pengenalan  citra  digital  itu  sendiri  salah  satunya  adalah  pendeteksian dan pengenalan  ekspresi  wajah.  Wajah  menampilkan  berbagai  informasi  rumit  tentang identitas,  usia,  jenis  kelamin  dan  ras.  Selain  itu,  wajah  juga  dapat  digunakan  sebagai instrumen untuk membedakan ekspresi seseorang dan dalam ilmu komputer (teknologi informasi) termasuk dalam aplikasi klasifikasi pola (pengenalan). Setiap ekspresi wajah memiliki sebuah respon yang tentunya berbeda-beda. Instrumen wajah yang digunakan untuk  membedakan  ekspresi  wajah  adalah  dari  bentuk  dan  posisi  mata,  hidung,  dan mulut.  Dalam  pengenalan  ekspresi  wajah,  ciri-ciri  tersebut  merupakan  komponen- komponen  yang  digunakan  oleh  metode-metode  pengenalan  ekspresi  wajah  dalam teknologi informasi (Jtik, Teknologi, Adrianto, Wahyuddin, & Winarsih, 2021).
Pada  pemanfaatan  pengolahan  citra,  digital  banyak  sekali  menggunakan teknologi,  metode  dan  algoritma  untuk  membangun  sistem  pendeteksian  dan pengenalan  ekspresi  wajah.  Namun  masih  banyak  yang  harus  dikembangkan  dan  uji coba  untuk  terus  mendapatkan  akurasi  yang  lebih  baik.  Salah  satu  teknologi  yang digunakan  adalah Artificial  Intelligence. Artificial  Intelligence atau  kecerdasan  buatan adalah  sistem  komputer  yang  mampu  melakukan  tugas-tugas  yang  biasanya membutuhkan  kecerdasan  manusia  (Mccarthy,  2004).  Teknologi  ini  dapat  membuat keputusan  dengan  cara  menganalisis  dan  menggunakan  data  yang  tersedia  di  dalam sistem.  Salah  satu  cabang  dari artificial  intelligence adalah Machine  Learning yang berfokus  pada  penggunaan  data  dan  algoritma  untuk  meniru  cara  manusia  belajar  dan secara  bertahap  dapat  meningkatkan  akurasinya  dikarenakan machine  learning yang merupakan  komponen  terpenting  didalam  bidang  ilmu  perkembangan  data  (“Apa  itu Machine Learning? Beserta Pengertian dan Cara Kerjanya - Dicoding Blog,” n.d.).
Pada  penelitian  ini  menggunakan  dua  metode  algoritma  yaitu  algoritma You Only Look Once (YOLO) dan Convolutional Neural Network (CNN) dengan arsitektur RepVGG.  Yang  akan  mendeteksi  dan  mengenal  beberapa  ekspresi  wajah  seperti neutral,  sad,  fear,  happy,  disgust,  surprised dan angry. Algoritma  YOLO  merupakan metode  yang  dipakai  sebagai  Real  Time  Object  10  Detection  yang  berguna  untuk mendeteksi citra secara langsung. Sistem pendeteksian dilakukan dengan menggunakan repurpose  classifier dan localizer untuk  melakukan  deteksi  (“YOLO  (you  only  look once)  –  Universitas  Gadjah  Mada  Menara  Ilmu  Machine  Learning,”  n.d.).  Sebuah model  yang  telah  diterapkan  di  beberapa  lokasi  dan  skala.  Algoritma  yolo  sendiri menjadi  algoritma  yang  sedang  popular  untuk  dikembangkan  dengan  model machine learning yang bisa bekerja secara otomatis dalam pendeteksian wajah Selain mendeteksi karakter,  YOLO  juga  dapat  mendeteksi  ekspresi  wajah  manusia.  Hasil  deteksi  dari metode YOLO akan digunakan untuk proses pengenalan ekspresi wajah.
Sedangkan algoritma CNN merupakan metode yang memiliki hasil yang paling signifikan  dalam  proses  pengenalan  citra  digital.  Karena  CNN  mampu  mengkasifikasi suatu  objek  dan  menghasilkan  akurasi  yang  baik.  CNN  termasuk  klasifikasi  gambar,
deteksi  objek,  pelacakan  objek,  estimasi  pose,  deteksi  teks  dan  pengenalan,  pelabelan adegan  dan  bahasa  alami  pemrosesan.  CNN  juga  memiliki  beberapa  arsitektur  umum yang  sering  digunakan  seperti  LeNet  5,  AlexNet,  VGGNet,  GooLeNet,  ResNet (“Implementasi  Deep  Learning  Menggunakan  Convolutional  Neural  Network  Untuk Klasifikasi  Alat  Tulis,”  n.d.).  Masing-masing  arsitektur  mempunyai  kelebihan  dan kekurangan.  Penggunaan  arsitektur  yang  digunakan  pada  CNN  sangat  mempengaruhi hasil dari klasifikasi suatu objek.

## Metode Penulisan Kerangka Kerja
Untuk  memperlancar  proses  penelitian,  maka  penelitian  inni  akan  melewati beberapa  tahapan-tahapan  yang  telah  ditentukan  agar  pengerjaannya  lebih  structural. Dan  juga  kerangka  kerja  ini  merupakan  bagian  terpenting  karena  dapat  mengetahui tahapan-tahapan yang akan dicapai.  Tahapan-tahapan yang dilalui, dilaksanakan seusai dengan rancangan kerangka kerja (framework) yang telah disusun sebelumnya. Tahapan yang pertama kali dilakukan adalah studi literatur sebagai acuan penelitian bagi penulis yang  nantinya  akan  dilakukan  pengambilan dataset dari  berbagai  sumber.  Selanjutnya penulis  akan  melakukan  tahapan preprocessing data  dimana  pada  tahap  ini  data  yang didapat  akan  diproses  terlebih  dahulu  sebelum  digunakan  dalam  proses  pelatihan (training) dan  pengujian (testing). Kemudian  dilanjutkan  dengan  melakukan  pelatihan pada dataset yang ada dengan menggunakan beberapa algoritma yaitu algoritma YOLO dan  CNN  dengan  arsitektur  RepVGG,  yang  nantinya akan  dilanjutkan  dengan  tahapan selanjutnya  yaitu  melakukan  training  atau  pelatihan  terhadap  dataset  untuk menghasilkan  model  yang  dapat  mengklasifikasi  dataset  berdasarkan  penamaannya (label).  Setelah  model  didapatkan  dari  proses  pelatihan,  akan  dilakukan  pengujian terhadap  model  tersebut  untuk  menguji  keakuratan  model  dalam  memprediksi,  pada proses  pengujian  ini  akan  ada  beberapa  kasus  uji  yang  dilakukan  demi  mendapatkan perbandingan  antara  beberapa  model  yang  dibuat.  Kemudian  akan  dilakukan  analisa terhadap  beberapa  kasus  uji  tersebut  dan  melakukan  perbandingan.  Terakhir  penulis akan  menarik  beberapa  kesimpulan  sementara  dari  apa  yang  telah  dikerjakan  pada penelitian  tugas  akhir  ini.  Adapun  diagram  alir  pada  penelitian  ini  yang  dapat  dilihat pada  gambar  3.1.  sebagai  acuan  agar  memudahkan  dan  tidak  membingungkan  dalam proses perancangan dan menghasilkan suatu sistem.
Gambar 1

## Kerangka Kerja Penelitian

## Studi Literatur
Studi  literature  merupakan  tahap  dimana  penulis  akan  melakukan  proses menambah pengetahuan yang berhubungan dengan penelitian yang diambil dengan cara mencari dan mempelajari berbagai literatur yang berhubungan dengan konsep penelitian yang  diambil  penulis  yaitu  mengenai  Deteksi  Objek  Citra  Digital  Menggunakan Algoritma YOLO dan CNN dengan Arsitektur RepVGG Pada Sistem Pendeteksian dan
Pengenalan  Ekspresi  Wajah.  Dan  literature  yang  diperoleh  digunakan  dalam penyusunan  landasan  teori,  metodelogi  penelitian  dan  pengembangannya.  Literatur  ini dijadikan  acuan  yang  berasal  dari  jurnal,  buku,  dan  artikel  yang  ada  pada  internet tentang  penelitian  dalam  materi  yang  serupa.  Literatur  yang  digunakan  dapat  dilihat pada halaman daftar pustaka.

## Pengambilan Dataset
Pengambilan dataset merupakan tahap dimana penulis melakukan pengambilan data  yang  dibutuhkan  dalam  rangka  membuat  model  yang  sesuai  dengan  penelitian penulis  yaitu  menganalisis  sistem  pendeteksian  dan  pengenalan  ekspresi  wajah.  Data ekspresi  wajah  yang  digunakan  berupa  data  foto  beberapa  ekspresi  wajah.  Ekspresi wajah pada penelitian ini dibagi menjadi 7 ekspresi wajah. Ekspresi yang diambil ialah dibagi menjadi kelas-kelas yaitu neutral, sad, happy, angry, Surprised, fear dan disgust. Dataset yang diambil merupakan data dari berbagai sumber,

## Tahapan Penelitian Secara Keseluruhan
Tahapan  penelitian  secara  keseluruhan  ini  merupakan  tahapan  dimana alur  dari proses  input  foto  hingga  selesai.  Sehingga  keseluruhan  block  diagram  tersebut  akan menghasilkan  suatu  sitem  yang  dapat  difungsikan.  Tahapan  ini  diawali  dengan  proses input  foto  yang  akan  deprogram  dengan  menggunakan  bahasa  pemrograman  Phyton. Yang  selanjutnya  akan  di  lakukan  pendeteksian  wajah menggunakan algoritma  YOLO (You  Only  Look  Once) dengan Widerface dan  mengklasifikasi  Ekspresi  wajah menggunakan  CNN (Convolutional  Neural  Network) Arsitektur  RepVGG  dengan AffecNet.  Dan  yang  terakhir  akan  dilakukan  analisis  kinerja  dari  sistem  pendeteksian dan  pengenalan  ekspresi  wajah  yang  terlah  dibuat.  Block  diagram  sistem  secara keseluruhan ditunjukkan dalam Gambar 3.2.
Gambar 2 Block Diagram Sistem Pendeteksian dan Pengenalan Ekspresi Wajah

## Pengujian pada Sistem Pendeteksian dan Pengenalan Ekspresi Wajah Pengujian deteksi Wajah dengan Algoritma YOLO
Untuk rencangan sistem algoritma YOLO digunakan untuk menangkap gambar. Sistem disini hanya dapat mendeteksi objek wajah manusia setelah gambar objek telah selesai.  Tahapan  selanjutnya  membuat  label  dengan  cara  memberikan  kotak  pembatas beserta nilai tingkat keyakinannya.

## Gambar 3
Cara memanggil Algoritma YOLO dalam deteksi Wajah

## Pengujian pada Pengenalan Ekspresi Wajah dengan RepVGG
Pada  perancangan  sistem  untuk  RepVGG  ini  membuat  sistem  pengenalan ekspresi  wajah.  Dimana  dalam  prosesnya,  algoritma  YOLO  akan  diganungkan  dengan Arsitektur  RepVGG  untuk  mendapatkan  hasil  dari  pengenalan  ekspresi  wajah  dengan nilai tingkat keyakinannya.

## Gambar 4 Cara memanggil Arsitektur RepVGG

## Hasil Dan Pembahasan
Hasil  penelitian  ini  dilaksanakan  berdasarkan  studi  literature  tentang  sistem pendeteksian  dan  pengenalan  ekspresi  wajah  dengan  menggunakan  algoritma  YOLO dan  RepVGG  dan  pemrograman  bahasa phyton. Berikut  iniakan  dijelaskan  hasil  dari penelitian sesuai dengan yang ingin dituju.

## Hasil Pengujian pada Algoritma YOLO
Pengujian  untuk  algoritma  YOLO  yang  dilatih  dengan  citra  berupa  wajah manusia  dan  anotasinya  yang  didapatkan  dari  dataset Imagenet untuk  pendeteksian wajah. Pengujian dilakukan dengan menggunakan Algoritma YOLOv5s.
(a)                                                    (b)
Gambar 4.1
(a) Foto Sebelum di Uji Oleh Algoritma YOLO (b) Foto Sesudah di Uji Oleh

## Algoritma YOLO
Gambar 4.3 (a) merupakan input foto sebelum diuji oleh algoritma YOLO. Dan gambar  4.3  (b)  merupakan  hasil  pengujian  dari  algoritma  YOLO.  Yang  dimana algoritma  ini  berhasil  untuk  mendeteksi  wajah  manusia  dengan  kotak  pembatas  dan nilai  tingkat  keyakinannya  sebesar  89%.  Hasil  keluaran  dari  algoritma  YOLO  adalah berupa kotak pembatas lokasi wajah dengan nilai tingkat keyakinannya pada citra yang dideteksi.

## Hasil Pengujian pada Arsitektur RepVGG
Pengujian  untuk  arsitektur  RepVGG  yang  dilatih  dengan  citra  berupa  wajah manusia  dan  anotasinya  yang  didapatkan  dari  dataset  FER-2013  untuk  pengenalan ekspresi  wajah.  Pengujian  dilatih  dengan  jumlah  epoch  sebanyak  200  epoch  dan menggunakan  data  citra  sebanyak  35.887  berupa  ekpresi  wajah  manusia.  Masing- masing  wajah  yang  digunakan  akan  dibagi  menjadi  7  kelas  ekspresi  wajah  yang berbeda-beda.
(a) (b)
Gambar 4.4
(a) Foto Sebelum di Uji Arsitektur RepVGG (b)Foto Sesudah di Uji Arsitektur

## RepVGG
Pada  gambar  4.4  (a)  diatas  merupakan  foto  sebelum  diuji  oleh  arsitektur RepVGG. Dan gambar 4.4 (b) merupakan foto yang sudah diklasifikasi oleh arsitektur RepVGG yang menghasilkan ekspresi Happy dengan nilai tingkat keyakinannya sebesar 99,3%.  Arsitektur  RepVGG  ini  berhasil  dalam  melakukan  pengenalan  atau  klasifikasi terhadap  ekspresi  wajah.  Hasil  keluaran  pada  pengujian  untuk  arsitektur  RepVGG  ini adalah berupa pengenalan ekspresi wajah dan nilai tingkat keyakinannya.

## Hasil Pendeteksian dan Pengenalan Ekspresi Wajah
Hasil dari sistem pendeteksian dan pengenalan ekspresi wajah menggunakan 70 citra wajah dari 10 orang yang dibagi menjadi 7 kelas yaitu ekspresi neutral, sad, angry, happy,  fear,  surprise dan disgust. Hasil  pendeteksian  dan  pengenalan  ekspresi  wajah akan terlihat pada Tabel 1.
Tabel 1 Hasil Pendeteksian dan Pengenalan Ekspresi Wajah Happy Neutral Sad Angry Surprise Fear Disgust
Tabel  diatas  merupakan  hasil  foto  dari  pendeteksian  dan  pengenalan  ekspresi wajah  dengan  menggunakan  algoritma  YOLO  dan  RepVGG.  Yang  dimana  hasil ekspresi  dan  persentase  untuk  deteksi  dan  pengenalan  ekspresi  wajah  terdapat  pada tabel 2.
Tabel 2 Hasil dan persentase dari 10 orang dengan 7 ekspresi wajah . Foto Happy Neutral Sad Angry Surprise Fear Disgust Orang 1 Happy (98,4%) Neutral (92,4%) Sad (90,8%) Angry (82,7%) Suprrise (82,2%) Fear (43,1%) Disgust (41,2%) Orang 2 Happy (99,1%) Neutral (62,90%) Sad (75,9%) Angry (51,4%) Suprrise (53,0%) Fear (81,7%) Disgust (38,3%) Orang 3 Happy (93,8%) Neutral (81,1%) Sad (41,1%) Angry (82,4%) Suprrise (82,6%) Fear (65,9%) Disgust (36,5%) Orang 4 Happy (71,1%) Neutral (71,5%) Sad (59,7%) Angry (54,4%) Suprrise (49,9%) Angry (57,6%) Disgust (55,6%) Orang 5 Happy (99,8%) Neutral (84,3%) Sad (74,0%) Angry (57,3%) Suprrise (90,6%) Fear (48,5%) Disgust (51,4%) Orang 6 Happy (87,3%) Neutral (86,9%) Sad (98,8%) Angry (59,0%) Suprrise (70,8%) Fear (43,4%) Neutral (71,6%) Orang 7 Happy (99,8%) Neutral (81,4%) Sad (48,3%) Angry (72,7%) Suprrise (38,2%) Fear (53,3%) Angry (41,6%) Orang 8 Happy (98,4%) Neutral (75,7%) Sad (75,0%) Angry (56,4%) Suprrise (44,7%) Surprise (52,4%) Neutral (49,1%) Orang 9 Happy (99,8%) Neutral (66,1%) Sad (92,6%) Angry (69,6%) Suprrise (76,5%) Fear (51,9%) Fear (59,8%) Orang 10 Happy (99,5%) Neutral (68,5%) Sad (49,3%) Angry (47,1%) Suprrise (37,6%) Fear (46,5%) Angry (56,9%)
Berdasarkan  hasil  yang  dapat  dilihat  pada  tabel  diatas  prediksi  yang  dihasilkan bahwa  hampir  seluruh  ekspresi Happy,  Neutral,  Sad,  Angry dan Surprise terdeteksi. Hanya saja untuk ekspresi Fear dan Disgust beberapa ada yang tidak terdeteksi. Untuk ekspresi fear 2  orang  yang  yang  tidak  terdeteksi.  Dan disgust ada  5  orang  yang  tidak terdeteksi.  Hal  ini  dikarenakan  dataset  yang  tidak  bagus,  ekspresi  model  yang  tidak memadai atau ekspresi model tersebut bukan ekspresi yang mendekati Disgust.
Evaluasi  dari  sistem  Pendeteksian  dan  Pengenalan  Ekspresi  Wajah  ini  harus memperhatikan  bentuk  dari  ekspresi  yang  akan  diambil.    Contohnya  seperti  ekspresi surprise harus  melakukan  bagian  mulut  berbentuk  “O”  dan  alis  sedikit  naik.  ini bertujuan untuk mempermudah dalam pendeteksian dan pengenalan ekspresi wajah.

## Kesimpulan
Hasil  penelitian  dari  Deteksi  Objek  Citra  Digital  Menggunakan  Algoritma YOLO (You  Only  Look  Once) dan  CNN (Convolutional  Neural  Network) dengan Arsitektur RepVGG pada Sistem Pendeteksian dan Pengenalan Ekspresi Wajah berjalan dengan baik. Untuk hasil pengujiannya dengan sampel model 10 orang dengan masing- masing 7 kelas Ekspresi yaitu Happy, Neutral, Sad, Angry, Surprise, Fear dan Disgust. Akurasi yang didapatkan pun hampir mendekati 95%. Ada beberapa ekspresi yang tidak terbaca  dikarenakan  ekspresi  pada  model  tidak  mendekati  ekspresi Disgust. Algoritma YOLO terbukti memiliki tingkat deteksi wajah yang baik. Dan untuk RepVGG terbukti memiliki  tingkat  pengklasifikasian  ekspresi  wajah  yang  baik  sehingga  dalam  proses pengenalan ekspresi wajah mendapatkan hasil yang sesuai. Untuk penelitian selanjutnya harus  memperhatikan  karakter  ekspresi  yang  akan  diuji  karena  bertujuan  untuk memudahkan  dalam  mendeteksi  dan  mengenali  ekspresi  wajah.  Dan  untuk pengembangannya  model  CNN  dapat  menggunakan  arsitektur  lainnya  seperti  RegNet, AlexNet,  dan  lain-lain.    Harapan  kami  dari  hasil  penelitian  ini  dapat  bermanfaat  dan juga menjadi pembelajaran.

## BIBLIOGRAFI
Apa  Itu  Machine  Learning?  Beserta  Pengertian  Dan  Cara  Kerjanya  -  Dicoding  Blog. (n.d.).
Implementasi  Deep  Learning  Menggunakan  Convolutional  Neural  Network  Untuk Klasifikasi Alat Tulis. (n.d.).
Jtik, Jurnal, Teknologi, Jurnal, Adrianto, Lintang Bagas, Wahyuddin, Mohammad Iwan, & Winarsih, Wina. (2021). Implementasi Deep Learning Untuk Sistem Keamanan Data  Pribadi  Menggunakan  Pengenalan  Wajah  Dengan  Metode  Eigenface Berbasis Android . 5 (1).
Mccarthy, John. (2004). What Is Artificial Intelligence?
Yolo  (You  Only  Look  Once)  –  Universitas  Gadjah  Mada  Menara  Ilmu  Machine Learning. (n.d.).

## Copyright holder:
Anisa Pratiwi Saputri, Ahmad Taqwa, Sopian Soim (2022)

## First publication right:
Syntax Literate: Jurnal Ilmiah Indonesia
This article is licensed under: