## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v8i1.7048

## Pengenalan Ekspresi Wajah Menggunakan Transfer Learning MobileNetV2 dan EfficientNet-B0 dalam Memprediksi Perkelahian
Ni Made Kirei Kharisma Handayani, Erwin Yudi Hidayat * , Muhammad Naufal, Permana Langgeng Wicaksono Ellwid Putra
Program Studi Teknik Informatika, Fakultas Ilmu Komputer, Universitas Dian Nuswantoro, Semarang, Indonesia Email: 1 kireikharisma@gmail.com, 2,* erwin@dsn.dinus.ac.id, 3 m.naufal@dsn.dinus.ac.id , 4 langgeng86@gmail.com Email Penulis Korespondensi: erwin@dsn.dinus.ac.id
Abstrak− Ekspresi  memainkan  peran  penting  dalam  mengenali  emosi  seseorang.  Pengenalan  emosi  dapat  membantu mengetahui kondisi seseorang dan menjadi petunjuk dari tindakan yang akan dilakukannya. Perkelahian merupakan salah satu tindakan kekerasan yang terjadi akibat emosi negatif seseorang yang perlu dicegah dan ditangani dengan segera. Pada penelitian ini,  pengenalan  ekspresi  dimanfaatkan  untuk  memprediksikan  terjadinya  suatu  perkelahian  berdasarkan  ekspresi  yang ditunjukkan oleh seseorang. Dataset yang digunakan adalah FER-2013 yang telah dimodifikasi menjadi dua label yaitu “Yes” dan “No”. Data tersebut mengalami tahap prapemrosesan yang meliputi tahap resizing dan normalisasi. Eksperimen model menggunakan transfer learning dari arsitektur MobileNetV2 dan EfficientNet-B0 yang telah dimodifikasi dengan melakukan hyperparameter  dan  fine  tuning  yang  meliputi  freeze  layer  sebanyak  25%  pada  layer  awal  masing-masing  model  dan menambahkan beberapa layer seperti flatten dan dense. Dalam proses pelatihannya, beberapa parameter yang digunakan yaitu 30  epoch,  batch  size  32,  dan  optimasi  Adam  dengan  learning  rate  0.0001.  Evaluasi  performa  model  diukur  dengan menggunakan Confussion Matrix, kemudian hasilnya dibandingkan sehingga diperoleh model yang menghasilkan nilai akurasi terbaik  adalah  EfficientNet-B0  yaitu  sebesar  82%.  Sementara  itu,  berdasarkan  lama  waktu  latihnya  dan  bobot  modelnya, MobileNetV2 lebih cepat 1 jam 1 menit 43 detik dan lebih kecil 21.57 MB daripada EfficientNet-B0.
Kata Kunci: Ekspresi Wajah; Perkelahian; Transfer Learning; MobileNetV2; EfficientNet-B0
Abstract− Expressions play an important role in recognizing someone's emotions. Recognizing emotions can help understand someone's condition and be a sign of their possible actions. Fighting is one of the violences that occur due to someone's negative emotions  that  need  to  be  prevented  and  treated  immediately.  In  this  study,  expression  recognition  is  used  to  predict  the possibility of a fight based on the expression shown by a person. The dataset used is FER-2013 which has been modified into two labels, namely "Yes" and "No". The data undergoes a preprocessing step which includes resizing and normalization. Model experiments  using  transfer  learning  from  the  MobileNetV2  and  EfficientNet-B0  architectures  have  been  modified  by performing  hyperparameter and fine tuning  which  includes freezing the  layer by 25% in the first layers of  each  model and adding several layers such as flatten and dense. In the training process, some parameters used are 30 epochs, batch size 32, and Adam optimization with a learning rate of 0.0001. Model performance evaluation is measured using Confusion Matrix, then the  results  are  compared  and  obtained  the  model  that  produces  the  best  accuracy  value  is  EfficientNet-B0  which  is  82%. Meanwhile, based on the training time and model weight, MobileNetV2 is 1 hour 1 minute 43 seconds faster and 21.57 MB smaller than EfficientNet-B0.
Keywords : Facial Expressions; Fighting; Transfer Learning; MobileNetV2; EfficientNet-B0

## 1. PENDAHULUAN
Ekspresi merupakan salah satu cara manusia dalam menunjukkan perasaan dan emosinya. Berdasarkan penelitian yang  dilakukan  oleh  [1],  seorang  psikologis  terkenal,  diperoleh  bahwa  hanya  7%  emosi  dapat  diketahui  dari bahasa, 38% emosi dapat dikenali dari bahasa bantu seperti irama bicara, nada, dan sebagainya, serta 55% emosi ditunjukkan  melalui  ekspresi  wajah.  Hal  tersebut  menunjukkan  bahwa  pengenalan  ekspresi  wajah  memiliki persentase tertinggi dalam  mengenali emosi seseorang. Menurut Ekman dan Friesen  [2] dalam penelitian  lintas budaya di abad 20, emosi universal manusia dapat diidentifikasi menjadi enam emosi dasar yaitu sedih, senang, marah, jijik, takut, dan terkejut. Mengenali emosi seseorang dapat membantu dalam memahami keadaan pikiran seseorang sekaligus menjadi petunjuk dari tindakan yang akan dilakukan oleh seseorang tersebut [3].
Perkelahian  merupakan salah satu bentuk tindak  kekerasan  yang dapat terjadi akibat emosi  negatif yang tidak terkendali oleh seseorang. Perkelahian biasanya terjadi di antara dua orang atau lebih dan dapat terjadi di berbagai tempat. Tindakan ini seringkali berdampak buruk bagi kesehatan fisik dan emosional orang-orang yang terlibat di dalamnya [4]. Beberapa diantaranya seperti cedera, kecacatan, bahkan kematian, serta konsekuensi lain seperti kesehatan mental dan resiko penyakit kronis [5]. Oleh karena itu, penting adanya suatu perlindungan sosial yang mampu membantu dalam mencegah dan menangani perkelahian dengan segera.
Terdapat hubungan yang kuat antara ekspresi wajah dan tindakan agresif atau kekerasan. Ekspresi wajah memiliki  peran  sebagai  alat  komunikasi  yang  mencerminkan  kondisi  emosional,  yang  memengaruhi  interaksi sosial, termasuk kemungkinan tindakan agresif [6]. Penelitian yang dilakukan oleh [7] menyatakan bahwa agresi fisik memiliki kesamaan dengan ekspresi wajah seseorang. Hal ini menunjukkan bahwa eskpresi wajah memiliki peran  dalam  pembentukan  perilaku  agresif  atau  tindak  kekerasan.  Bukti  ini  juga  didukung  oleh  [8]  yang menyimpulkan bahwa ekspresi wajah seperti emosi marah, sedih, dan takut, memiliki hubungan yang erat dengan kemungkinan  seseorang  melakukan  tindakan  agresif  hingga kekerasan.  Dengan  demikian,  pengenalan  ekspresi memiliki peran penting dalam memprediksi tindak kekerasan atau perkelahian.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v8i1.7048
Kemajuan teknologi saat ini mendukung munculnya penelitian berbasis deep learning. Banyak studi telah dilakukan dengan memanfaatkan deep learning untuk computer vision seperti menggunakan arsitektur CNN untuk mengenali  ekspresi  wajah.  Beberapa  arsitektur  CNN  yang  pernah  digunakan  dalam  mengenali  ekspresi  wajah diantaranya  adalah  VGG16  [9]  pada  tahun  2022  dengan  menggunakan  dataset  FER-2013  memperoleh  akurasi sebesar 64,52%. Penelitian lainnya dilakukan pada tahun 2020  [10] menggunakan algoritma CNN yang disertai dengan tahap pra-pemrosesan berupa penghilangan noise beserta ekstraksi fitur dan menggunakan dataset FER- 2013  mampu  menghasilkan  akurasi  sebesar  79,8%.  Sebuah  penelitian  lain  dilakukan  pada  tahun  2022  [11] menggunakan  dataset  FER-2013  yang  dimodifikasi  untuk  memprediksi  keputusan  juri  dalam  pencarian  bakat menggunakan  arsitektur  VGG16  serta  algoritma  Fuzzy,  menghasilkan  akurasi  uji  sebesar  83%.  Selain  itu, beragamnya  arsitektur  saat  ini  mendukung  penelitian  yang  melibatkan  berbagai  arsitektur  untuk  menentukan arsitektur yang lebih baik, seperti penelitian pada tahun 2022 [12] dalam bidang pertanian menggunakan arsitektur CNN seperti ResNet50V2, MobileNetV2, dan EfficientNetB0 untuk mengidentifikasi gulma dan diperoleh akurasi terbaik sebesar 96,52% pada model EfficientNet-B0. Penelitian lainnya juga dilakukan [13] pada tahun 2022 yang menggunakan  arsitektur  MobileNetV2  dan  ResNet101V2  disertai  dengan  membandingkan  beberapa  arsitektur transfer  learning  lainnya  untuk  mendeteksi  Covid-19  dengan  perolehan  akurasi  terbaik  sebesar  86.63%  oleh MobileNetV2.
Penelitian  ini  bertujuan  untuk  membandingkan  arsitektur  MobileNetV2  dan  EfficientNet-B0  dengan memanfaatkkan pengenalan ekspresi. Berbeda dengan penelitian pengenalan ekspresi yang telah ada sebelumnya, pada  penelitian  ini  pengenalan  ekspresi  dikembangkan  dan  dimanfaatkan  untuk  memprediksi  terjadinya  suatu perkelahian berdasarkan ekspresi wajah sehingga perkelahian dapat dicegah dan ditangani dengan segera. Kedua model arsitektur tersebut dikembangkan kemudian dibandingkan untuk menentukan model dengan akurasi yang lebih baik. Penelitian ini memanfaatkan dataset publik FER-2013 yang diperoleh dari website Kaggle. Label dari dataset  ini  dimodifikasi  sehingga  model  dapat  dilatih  dan  mampu  memprediksi  perkelahian  berupa  ‘Yes’  atau ‘No’.

## 2. METODOLOGI PENELITIAN
Penelitian  ini  menggunakan  metode  penelitian  eksperimental  dengan  alur  penelitian  seperti  yang  terlihat  pada Gambar  1.  Penelitian  bermula  dari  pengumpulkan  dataset  yaitu  dataset  FER-2013,  kemudian  diikuti  dengan pembagian  dan  prapemrosesan  data.  Selanjutnya,  dilakukan  pemodelan  menggunakan  arsitektur  CNN  yaitu MobileNetV2  dan  EfficientNet-B0  dengan  menggunakan  pendekatan  transfer  learning  yang  disertai  dengan hyperparameter dan  fine  tuning.  Kedua  model  tersebut  kemudian dilatih dan diuji sehingga  dihasilkan evaluasi performa model.

## Gambar 1. Alur Penelitian

## 2.1 Dataset
Dataset yang digunakan pada penelitian ini adalah dataset publik FER-2013 dari website Kaggle yang merupakan dataset  open-sourced  terbesar  dalam  pengenalan  emosi  berisi  kumpulan  citra  grayscale  berukuran  48x48  pixel [10].  Kumpulan  citra  yang  digunakan  berasal  dari  lingkungan  yang  tidak  terkontrol  sehingga  cenderung mengandung informasi yang tidak konsisten, terdapat watermark, dan terdapat citra yang diberi label secara tidak tepat [14]. Secara umum, dataset ini terdiri atas 3 folder yaitu train, test, dan val yang memiliki 7 label bernomor 0 sampai 6 yang merepresentasikan ekspresi marah, jijik, takut, senang, sedih, terkejut, dan netral.

## 2.2 Pembagian Data
Dataset FER-2013 yang diperoleh dari Kaggle memiliki kondisi awal terbagi menjadi 3 bagian yaitu data training, data testing, dan data validation dengan rasio 80:10:10 dan total citra sejumlah 35.887. Pada penelitian ini, dataset FER-2013  dimodifikasi  menjadi  5  label  ekspresi  dengan  menghilangkan  label  1  (disgust/jijik)  dan  5 (surprise/terkejut)  karena  kurang  relevan  dengan  tujuan  penelitian.  Selanjutnya,  kelima  label  tersebut  akan digabungkan  menjadi  2  kelas  yaitu  ‘Yes’  dan  ‘No’.  Label  0  (angry/marah),  2  (fear/takut),  dan  4  (sad/sedih) dikategorikan ke dalam kelas ‘Yes’, karena  menurut [15] perkelahian atau kekerasan dapat ditunjukkan secara lebih  relevan  oleh  ketiga  emosi  tersebut.  Sementara  itu,  label  3  (happy/senang)  dan  5  (neutralnetral)  akan

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v8i1.7048
dikategorikan ke dalam kelas ‘No’. Tahap pembagian data tersebut dapat diilustrasikan secara lebih jelas melalui Gambar 2.
Gambar 2. Pembagian Data untuk Penelitian

## 2.3 Pra-pemrosesan
Tahap  pra-pemrosesan  dilakukan  untuk  mempersiapkan  data  sebelum  masuk  ke  tahap  pelatihan  model  untuk meningkatkan  kualitas  citra  agar  memperoleh  performa  yang  lebih  baik  [14].  Dataset  yang  awalnya  berukuran 48x48  di-resized  menjadi  96x96  sesuai  dengan  ukuran  input  shape  terkecil  yang  diterima  pada  model MobileNetV2  yang  telah  diinisialisasi  dan  didukung  dalam  Keras  dan  TensorFlow  [16].  Keputusan  untuk mengubah  ukuran  menjadi  96  dipilih  karena  perubahan  ukuran  yang  lebih  besar  dapat  berdampak  pada menurunnya  kualitas  gambar  yang  mengakibatkan  fitur  yang  diperoleh  kurang  representatif.  Dalam  tahap  pra- pemrosesan juga dilakukan tahap normalisasi citra dengan membagi nilai setiap piksel citra dengan 255.0 sehingga menghasilkan nilai dalam rentang antara 0 dan 1 [17], [18]. Tahap normalisasi tersebut dapat diilustrasikan dalam persamaan (1):
I n = I x 255.0 (1)
Dimana I n merupakan  piksel  setelah  dinormalisasi, I x merupakan  piksel  awal  gambar  sebelum dinormalisasi, dan 255.0 merupakan batas nilai tertinggi dari piksel sebuah citra.

## 2.4 CNN dan Transfer Learning
CNN merupakan teknik deep learning yang sangat efektif untuk diimplementasikan pada data gambar [19], [20]. Teknik ini diperkenalkan oleh [21] dengan berdasar pada empat ide kunci yaitu koneksi lokal (local connections), bobot  bersama  (shared  weights),  penggabungan  (pooling),  dan  penggunaan  banyak  layer.  Secara  umum,  CNN terdiri tiga layer yaitu convolutional layer, pooling layer, dan fully connected layer. Setiap layer memliki perannya masing-masing,  convolutional  layer  berperan dalam  mengidentifikasi pola spasial dan  informasi  visual  melalui operasi konvolusi sehingga menghasilkan feature map; pooling layer berperan dalam mengurangi dimensi feature map  yang  dihasilkan  oleh  convolutional  layer  sehingga  proses  komputasi  dapat  dilakukan  lebih  cepat;  fully connected layer berperan dalam mengintegrasikan fitur tingkat tinggi dan melakukan klasifikasi atau prediksi akhir dengan menghubungkan semua neuron dari layer sebelumnya ke layer berikutnya [11], [22]. Dengan ketiga layer tersebut,  CNN  sangat  efektif  dalam  berbagai  aplikasi  penerapannya  dan  menjadi  metode  yang  paling  banyak digunakan.  Berdasarkan  literatur  pengenalan  emosi,  CNN  menjadi  alat  yang  baik  digunakan  dalam  penelitian terkait  Facial  Expression  Recognition  (FER),  dengan  contoh  ilustrasi  arsitektur  seperti  yang  ditunjukkan  oleh Gambar 3 [3].

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v8i1.7048
Gambar 4. Transfer learning vs tanpa transfer learning [22], [23]
Dalam  pengembangan  model CNN terdapat pendekatan  yang populer digunakan  yaitu  transfer  learning. Transfer  learning  merupakan  pendekatan  deep  learning  yang  memanfaatkan  pengetahuan  yang  diperoleh  oleh model  yang sudah dilatih pada tugas  yang  berbeda unuk diterapkan  pada tugas  yang baru  [14]. Pendekatan  ini secara efisien membantu dalam memanfaatkan pengetahuan yang sudah ada untuk meningkatkan performa model pada tugas yang spesifik tanpa harus melakukan pelatihan model dari awal. Hal ini sangat berguna ketika dataset pelatihan berjumlah terbatas serta dapat menghemat waktu dan sumber daya komputasi yang digunakan selama pelatihan model yang kompleks [14], [24]. Ilustrasi dari perbedaan CNN dengan menggunakan transfer learning dan tanpa menggunakan transfer learning dapat dilihat pada Gambar 4. Bagian berwarna hijau dan biru merupakan alur keseluruhan CNN. Terlihat pada gambar  tersebut, kedua model  memiliki  dasar konvolusi  yang sama  yaitu bagian berwarna hijau. Dengan menggunakan transfer learning, model baru (bagian berwarna pink) hanya perlu dilatih ulang pada bagian klasifikatornya saja [22]. Dalam penelitian ini, model transfer learning dari CNN yang digunakan adalah arsitektur MobileNetV2 dan EfficientNet-B0.

## 2.5 MobileNetV2
MobileNetV2  merupakan  model  yang  diusulkan  oleh  Google  pada  tahun  2017.  Arsitektur  ini  dirilis  pada  awal tahun 2018 sebagai pengembangan dari model sebelumnya yaitu MobileNetV1 yang diusulkan pada tahun 2015. Pengembangan dari model ini terlihat pada munculnya  bottleneck linear di antara  layer dan koneksi cepat antar bottleneck.  Bottleneck  pada  MobileNetV2  membantu  mengemas  model  dari  konsep  tingkat  rendah  menjadi deskriptor  tingkat  tinggi  sehingga  model  dapat  dilatih  dengan  lebih  cepat  dan  menghasilkan  akurasi  tinggi meskipun model menggunakan parameter yang lebih sedikit [20], [25] .

## 2.6 EfficientNet-B0
EffecientNet merupakan model yang dikembangkan oleh [26], yang menjadi populer karena fiturnya yang ringan, cepat,  dan  akurat.  Model  ini  menawarkan  metode  penskalaan  baru  untuk  menyesuaikan  kedalaman,  lebar,  dan resolusi gambar input. Model pertama yang diperkenalkan dari keluarga EfficientNet adalah EfficientNet-B0 [12]. EfficientNet-B0  memiliki  desain  yang  terinspirasi  dari  modul  Mobile  Inverted  Bottleneck  Convolution  dan mekanisme perhatian Sequeeze-and-Excitation Network (SENet). Pada EfficientNet-B0 pendekatan multi objektif neural architecture search (NAS) digunakan untuk merancang model dengan tingkat efisiensi yang tinggi. Dengan pengembangan model dasar tersebut, seri model EfficientNet berhasil mengungguli semua model jaringan saraf konvolusional sebelumnya dalam hal efisiensi dan akurasi [20], [27], [28].

## 2.7 Hyperparameter dan Fine Tuning
Fine  tuning  adalah  metode  pada  transfer  learning  yang  bertujuan  untuk  mempertahankan  dan  menerapkan pengetahuan  yang  diperoleh  dari  menyelesaikan  satu  masalah  ke  masalah  terkait  lainnya  guna  meningkatkan akurasi model [25]. Pada penelitian ini dilakukan fine tuning berupa freeze layer pada 25% layer awal dari masing- masing  model.  Pada  arsitektur  MobileNetV2  terdapat  154  layer  sehingga  sebanyak  39  layer  awal  dari  model tersebut  akan  di-freeze,  dengan  begitu  jumlah  layer  yang  akan  digunakan  hanya  sejumlah  115  layer.  Jumlah parameter yang dilatih dari arsitektur MobileNetV2 adalah 8.091.330. Sementara itu, pada arsitektur EfficientNet- B0 terdapat 230 layer sehingga sebanyak 58  layer awal dari arsitektur ini di-freeze, dengan begitu jumlah layer yang  digunakan  hanya  sejumlah  172  layer.  Jumlah  parameter  yang  di-training  dari  arsitektur  ini  sebanyak 9.862.806.
Selanjutnya, model mengalami flatten untuk membuat output dari model transfer learning yang memiliki struktur  berupa  matriks  multidimensi  menjadi  array  1  dimensi  agar  dapat  menyesuaikan  dimensi  input  yang diterima  oleh  dense  [29].  Setelah  proses  flatten,  model  ditambahkan  lapisan  dense  dengan  512  neuron menggunakan kernel l2 untuk memastikan stabilitas lapisan dan mencegah terjadinya overfitting. Selain itu, pada penelitian ini juga menggunakan activation relu dan softmax. Activation relu berperan sebagai fungsi aktivasi pada setiap  lapisan  tersembunyi  jaringan  saraf  serta  meningkatkan  kemampuan  pelatihan  jaringan  saraf  secara mendalam  dengan  fungsi  f(x)  =  max(0,x),  fungsi  tersebut  akan  menghasilkan  output  linear  ketika  x>0  dan

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v8i1.7048
menghasilkan output 0 ketika  x<0  [30]. Sementara  itu,  activation softmax digunakan sebagai  fungsi klasifikasi untuk membuat prediksi berdasarkan nilai probabilitas tertinggi dimana total probabilitas semua kelasnya adalah satu [16], [19]. Melalui tahap hyperparameter dan fine tuning tersebut, arsitektur akhir dari model yang digunakan dalam penelitian ini dapat dilihat melalui Gambar 5 (a dan b).
(a) (b)
Gambar 5. Arsitektur Model (a) MobileNetV2 (b) EfficientNet-B0

## 2.8 Optimasi Adam
Model  dalam  penelitian  ini  menggunakan  optimasi  Adam  untuk  memperbaiki  model  dengan  mengevaluasi pembelajaran adaptif pada parameter yang berbeda [24], [31]. Algoritma optimasi ini dikembangkan pada tahun 2014  [32]  dengan  menggabungkan  keunggulan  dari  dua  optimasi  terbaru,  AdaGrad  dan  RMSProp,  untuk menangani masalah gradien yang jarang dan berisik. Adam adaptif terhadap perubahan skala gradien meskipun dalam pengimplementasiannya dilakukan dengan mudah, efisien, dan membutuhkan sedikit memori  [31]. Selain itu, optimasi Adam banyak digunakan pada penelitian terbaru yang terkait dengan FER [14]. Algoritma Adam [32] dapat ditunjukkan dalam persamaan (2), (3), (4), (5), (6), (7)
𝑔 𝑡 = 𝛻 𝜃 𝑓 𝑡 (𝜃 𝑡−1 ) (2)
𝑚 𝑡 = 𝛽 1 𝑥 𝑚 𝑡−1 + (1 −   𝛽 1 )𝑥 𝑔 𝑡 (3)
𝑣 𝑡 = 𝛽 2 𝑥 𝑣 𝑡−1 + (1 − 𝛽 2 )𝑥 𝑔 𝑡 2 (4)
𝑚 𝑡 ̂ = 𝑚 𝑡 1− 𝛽 1 𝑡 (5)
𝑣 𝑡 ̂ = 𝑣 𝑡 1− 𝛽 2 𝑡 (6)
𝜃 𝑡 = 𝜃 𝑡−1 − 𝛼 𝑥 𝑚 𝑡 ̂ ÷ (√𝑣 𝑡 ̂ + 𝜀) (7)
Dimana 𝑔 𝑡 adalah gradien parameter ( 𝜃 ) dari fungsi objektif stokastik 𝑓 𝑡 pada timestep 𝑡 , 𝑚 𝑡 adalah vektor momen pertama, 𝑣 𝑡 adalah vektor momen kedua, 𝑡 adalah timestep, β adalah koefisien penguapan eksponensial untuk estimasi  momen, 𝑚 𝑡 ̂ adalah  bias koreksi dari  estimasi  momen pertama ( 𝑚 𝑡 ), 𝑣 𝑡 ̂ adalah  bias koreksi dari estimasi  momen  kedua  ( 𝑣 𝑡 ), 𝜃 𝑡 adalah  parameter  model  pada  timestep 𝑡 , 𝛼 adalah  tingkat  pembeajaran,  dan  ε adalah nilai kecil untuk menghindari pembagian oleh nol

## 2.9 Evaluasi
Dalam  penelitian  ini,  performa  model  dievaluasi  dengan  menggunakan  Confussion  Matrix.  Confussion  Matrix merupakan matriks yang digunakan untuk menilai performa algoritma klasifikasi dengan menunjukkan kombinasi antara kelas yang diprediksi dan kelas aktualnya. Melalui Confussion Matrix, dapat diperoleh nilai-nilai seperti akurasi,  presisi,  recall,  dan  f-1  score  yang  merepresentasikan  performa  algoritma  pada  suatu  model.  Secara berurutan perhitungan akurasi, presisi, recall, dan f-1 score dapat dilihat pada persamaan (8), (9), (10), dan (11) a. Akurasi, rasio dari prediksi benar terhadap keseluruhan data
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = 𝑇𝑃+𝑇𝑁 𝑇𝑃+𝐹𝑃+𝐹𝑁+𝑇𝑁 (8)
b. Presisi, rasio benar positif terhadap keseluruhan prediksi positif

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v8i1.7048
𝑃𝑟𝑒𝑠𝑖𝑠𝑖 = 𝑇𝑃 𝑇𝑃+𝐹𝑃 (9)
c. Recall (sensitifits), rasio benar positif terhadap keseluruhan data yang benar positif
𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃 𝑇𝑃+𝐹𝑁 (10)
d. F-1 Score, perbadingan rata-rata presisi dan recall yang telah dibobotkan
𝐹 − 1 𝑆𝑐𝑜𝑟𝑒 = 2 𝑥 𝑅𝑒𝑐𝑎𝑙𝑙 𝑥 𝑃𝑟𝑒𝑠𝑖𝑠𝑖 𝑅𝑒𝑐𝑎𝑙𝑙+𝑃𝑟𝑒𝑠𝑖𝑠𝑖 (11)
Dimana True Positive (TP) adalah kondisi ketika prediksi dan data aktual bernilai positif, True Negative (TN)  adalah kondisi ketika data aktual  negatif dan  benar diprediksi sebagai  negatif,  False Positive  (FP)  adalah kondisi ketika data aktualnya negatif dan diprediksi sebagai positif, dan False Negative (FN) adalah kondisi ketika data aktualnya positif dan diprediksi sebagai negatif [33], [34].

## 3. HASIL DAN PEMBAHASAN

## 3.1 Implementasi
Dalam penelitian ini, model dibentuk dengan menggunakan arsitektur MobileNetV2 dan EfficientNet-B0. Dengan pendekatan  empiris,  model  dasar  ditambahkan  beberapa  lapisan  baru,  seperti  flatten  dan  dense,  untuk meningkatkan kekompleksan representasi. Selain itu, ukuran batch juga ditingkatkan menjadi 32 untuk mencegah terjadinya  overfitting  saat  pelatihan  model.  Kedua  model  yang  digunakan  dalam  penelitian  ini  menerapkan optimasi  Adam  dengan  learning  rate  sebesar  0.0001.  Kategori  cross-entropy  ditetapkan  sebagai  fungsi  yang dihilangkan dalam model, serta menggunakan softmax sebgai fungsi aktivasi. Penelitian ini memperoleh evaluasi performa model dengan melakukan pelatihan model selama 30 epoch disertai dengan analisis performa klasifikasi model  menggunakan Confussion Matrix. Seluruh  proses pelatihan dan evaluasi  model dilakukan  menggunakan platform Kaggle.

## 3.2 Evaluasi
Implementasi  model  pada  Kaggle  menghasilkan grafik  accuracy dan  loss  yang dapat dilihat pada Gambar  6 di bawah ini.
(a) (b) (c) (d)
Gambar 6. Hasil Grafik (a) Akurasi MobileNetV2 (b) Kerugian MobileNetV2 (c) Akurasi EfficientNet-B0 (d) Kerugian EffiecientNet-B0
Berdasarkan ilustrasi pada Gambar 6 (a dan b) terlihat grafik accuracy dan loss yang dihasilkan oleh model menggunakan arsitektur MobileNetV2 sepanjang proses pelatihan dalam sejumlah epoch (iterasi). Sementara itu, Gambar 6 (c dan d) menampilkan grafik accuracy dan loss yang dihasilkan oleh model arsitektur EfficientNet-B0. Terlihat bahwa grafik yang dihasilkan oleh kedua model tersebut tidak menunjukkan perbedaan yang signifikan.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v8i1.7048
Akan  tetapi,  grafik  yang  dihasilkan  tersebut  mampu  menggambarkan  performa  dari  model  EfficientNet-B0 memiliki  kestabilan  yang  lebih  baik  dibandingkan  dengan  model  MobileNetV2.  Evaluasi  performa  model kemudian diukur menggunakan Confusion Matrix dengan perolehan sesuai pada Gambar 7.
(a) (b)
Gambar 7. Confussion Matrix (a) MobileNetV2 (b) EfficientNet-B0
Gambar  7  menunjukkan  hasil  evaluasi  performa  model  menggunakan  Confussion  Matrix.  Berdasarkan gambar  tersebut  dapat  dilihat  bahwa  arsitektur  MobileNetV2  menghasilkan  nilai  True  Positive  1.376,  True Negative  1.163,  False  Positive  342,  dan  False  Negative  237.  Sementara  itu,  arsitektur  EfficientNet-B0 menghasilkan nilai True Positive 1.402, True Negative 1.148, False Positive 357, dan False Negative 211. Dapat diketahui  bahwa arsitektur EfficientNet-B0  lebih  banyak dalam  memprediksi secara  tepat  yaitu sejumlah 2.550 kasus. Berdasarkan hasil confussion matrix diperoleh  hasil evaluasi berupa akurasi, presisi,  recall, dan  f-1 score seperti ditunjukkan pada Tabel 1.
Tabel 1. Hasil Evaluasi Model Kelas Presisi  Recall  F1-Score  Akurasi  Waktu Latih  Bobot Model MobileNetV2 No 0.77 0.83 0.80 0.81 03:03:43.14 98.11 MB Yes 0.85 0.80 0.83 Macro Average  0.81 0.82 0.81 EfficientNet-B0 No 0.76 0.84 0.80 0.82 04:05:26.30 119.68 MB Yes 0.87 0.80 0.83 Macro Average  0.82 0.82 0.82
Berdasarkan data pada Tabel 1 di atas, model EfficientNet-B0 berhasil mencapai tingkat akurasi yang lebih tinggi  yaitu sebesar 82%, sedangkan MobileNetV2  memperoleh nilai akurasi sebesar 81%.  Dilihat dari presisi, MobileNetV2  unggul  1%  pada  kelas  ‘No’, tetapi  EfficientNet-B0  unggul  2%  pada  kelas  ‘Yes’  sehingga  hasil macro average pada presisi menunjukkan bahwa arsitektur EfficientNet-B0 lebih unggul. Sementara itu, pada nilai recall,  meskipun  pada  kelas  ‘Yes’  kedua  model  memiliki  nilai  yang  sama  dan  pada  kelas  ‘No’  terlihat  nilai EfficientNet-B0 unggul 1% tetapi hasil macro average dari kedua kelas menunjukkan bahwa recall kedua arsitektur memiliki  nilai  yang  serupa  yaitu  82%.  Adapun  untuk  nilai  f1-score  dari  kedua  kelas  masing-masing  model menunjukkan  nilai  yang  serupa,  tetapi  macro  average  pada  f1-score  menunjukkan  arsitektur  EfficientNet-B0 unggul  1%  daripada  MobileNetV2.  Hasil  evaluasi  model  menunjukkan  nilai  tertinggi  yang  tercatat  hanya mencapai angka 0.84. Hal ini dapat diakibatkan oleh kualitas dataset yang memiliki citra  berukuran terlalu kecil serta keberadaan  noise atau outlier  dalam data akibat lingkungan dataset yang kurang terkontrol. Hal  lain  yang memengaruhi hasil tersebut adalah pemilihan hyperparameter dan fine tuning model yang belum optimal.
Sementara  itu,  jika  dilihat  berdasarkan  lama  waktu  yang  dibutuhkan  oleh  masing-masing  model  untuk berlatih, terlihat bahwa MobileNetV2 menyelesaikan proses pelatihan dalam waktu 3 jam 3 menit 43 detik atau lebih cepat sekitar 1 jam 1 menit 43 detik dari waktu yang dibutuhkan oleh EfficientNet-B0. Perbedaan waktu ini terjadi akibat jumlah parameter layer yang dilatih dalam model EfficientNet-B0 berjumlah lebih banyak. Demikian pula dengan bobot model yang dihasilkan oleh MobileNetV2 memiliki bobot sebesar 98.11 MB atau lebih kecil sekitar 21.57 MB daripada model EfficientNet-B0.

## 4. KESIMPULAN
Penelitian ini memprediksi perkelahian dengan menggunakan dataset FER-2013 dilakukan pada dua model yaitu MobileNetV2 dan EfficientNet-B0. Kedua model dibuat dengan melibatkan pengaturan beberapa parameter kunci, seperti ukuran batch, jumlah epoch, optimasi, dan learning rate-nya. Fokus bahasan adalah menghasilkan model

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v8i1.7048
yang  mampu  memberikan  prediksi  perkelahian  dengan  nilai  akurasi  tinggi  guna  membantu  mencegah  dan mempercepat  penanganan  insiden  perkelahian.  Langkah-langkah  yang  dilakukan  meliputi  pencarian  dan pembagian dataset, pra-pemrosesan dataset, pelatihan dan pengujian model, serta evaluasi performa model. Hasil evaluasi pada penelitian ini menunjukkan bahwa model EfficientNet-B0 memiliki performa  lebih unggul dalam pengujian  dengan  akurasi  sebesar  82%.  Di  sisi  lain,  model  MobileNetV2  menunjukkan  keunggulannya  dalam durasi waktu pelatihan yaitu mampu menyelesaikan proses pelatihan dalam waktu 3 jam 3 menit 43 detik serta memiliki  ukuran  bobot  model  yang  lebih  kecil  yaitu  sebesar  98.11  MB.  Berdasarkan  penelitian  yang  telah dilakukan, diharapkan ke depannya penelitian ini dapat ditingkatkan baik dengan mengombinasikan dataset terkait FER  dan  perkelahian,  mengoptimalkan  hyperparameter  dan  fine  tuning,  ataupun  menggunakan  arsitektur  yang lebih  besar  dengan  memperhatikan  hardware  yang  akan  digunakan.  Dengan  peningkatan  tersebut,  diharapkan model  dapat  diimplementasikan  secara  nyata  dalam  bentuk  aplikasi  pada  CCTV  atau  kamera  pengawas  untuk mendeteksi  terjadinya  perkelahian  sehingga  orang  yang  terlibat  perkelahian  segera  mendapat  pertolongan  dan dampaknya dapat diminimalisir.

## UCAPAN TERIMAKASIH
Terima  kasih  disampaikan  kepada  pihak-pihak  yang  telah  mendukung  terlaksananya  penelitian  dan  penulisan jurnal  ini,  khususnya  kepada  dosen  pembimbing  yang  telah  memberikan  arahan  dan  bimbingannya  dalam pelaksanaan  penelitian  dan  penulisan  ini,  serta  pada  pihak  kampus,  teman-teman,  dan  keluarga  yang  selalu memberi dukungan untuk menyelesaikan jurnal ini.

## REFERENCES
[1]  A.  Mehrabian  and  S.  R.  Ferris,  “Inference  of  attitudes  from  nonverbal  communication  in  two  channels.,”  J  Consult Psychol, vol. 31, no. 3, pp. 248–252, 1967, doi: 10.1037/h0024648.
[2]  D.  A.  Sauter,  F.  Eisner,  P.  Ekman,  and  S.  K.  Scott,  “Cross-cultural  recognition  of  basic  emotions  through  nonverbal emotional vocalizations,” Proceedings of the National Academy of Sciences, vol. 107, no. 6, pp. 2408–2412, Feb. 2010, doi: 10.1073/pnas.0908239106.
[3]  C. Dalvi, M. Rathod, S. Patil, S. Gite, and K. Kotecha, “A Survey of AI-Based Facial Emotion Recognition: Features, ML &amp; DL Techniques, Age-Wise Datasets and Future Directions,” IEEE Access, vol. 9, pp. 165806–165840, 2021, doi: 10.1109/ACCESS.2021.3131733.
[4]  S. D. Walsh et al., “Physical and Emotional Health Problems Experienced by Youth Engaged in Physical Fighting and Weapon Carrying,” PLoS One, vol. 8, no. 2, p. e56403, Feb. 2013, doi: 10.1371/journal.pone.0056403.
[5]  World  Health  Organization :  WHO,  “Youth  violence,”  Oct.  11,  2023.  Accessed:  Dec.  07,  2023.  [Online].  Available: https://www.who.int/news-room/fact-sheets/detail/youth-violence
[6]  C. Crivelli and A. J. Fridlund, “Facial Displays Are Tools for Social Influence,” Trends Cogn Sci, vol. 22, no. 5, pp. 388– 399, May 2018, doi: 10.1016/j.tics.2018.02.006.
[7]  N.  AlMoghrabi,  I.  H.  A.  Franken,  B.  Mayer,  M.  van  der  Schoot,  and  J.  Huijding,  “CBM-I  training  and  its  effect  on interpretations of intent, facial expressions, attention and aggressive behavior,” Eur J Psychol, vol. 17, no. 2, pp. 13–27, May 2021, doi: 10.5964/ejop.2413.
[8]  S. Bae,  E. Rhee, B. S. Hwang, Y.  D. Son, J. H. Bae, and D. H.  Han, “Correlations Between Psychological Status and Perception of Facial Expression,” Psychiatry Investig, vol. 19, no. 6, pp. 435–442, Jun. 2022, doi: 10.30773/pi.2022.0025.
[9]  P. Kanagaraju, M. A. Ranjith, and K. Vijayasarathy, “Emotion detection from facial expression using image processing,” Int J Health Sci (Qassim), pp. 1368–1379, Jun. 2022, doi: 10.53730/ijhs.v6nS6.9748.
[10] P. Babajee, G. Suddul, S. Armoogum, and R. Foogooa, “Identifying Human Emotions from Facial Expressions with Deep Learning,” in 2020 Zooming Innovation in Consumer Technologies Conference (ZINC), IEEE, May 2020, pp. 36–39. doi: 10.1109/ZINC50678.2020.9161445.
[11] F. Fikriansyah, A. L. Prasasti, and M. W. Paryasto, “Prediksi Keputusan Juri Pencarian Bakat Berdasarkan Ekspresi Wajah Menggunakan  Analis  VGG16  dan  Fuzzy,”  MULTINETICS,  vol.  8,  no.  2,  pp.  87–96,  Nov.  2022,  doi: 10.32722/multinetics.v8i2.4705.
[12] N. Makanapura, C. Sujatha, P. R. Patil, and P. Desai, “Classification of plant seedlings using deep convolutional neural network architectures,” J Phys Conf Ser, vol. 2161, no. 1, p. 012006, Jan. 2022, doi: 10.1088/1742-6596/2161/1/012006.
[13] T.  Adar,  E.  K.  Delice,  and  O.  Delice,  “Detection  of  COVID-19  From  A  New  Dataset  Using  MobileNetV2  and ResNet101V2 Architectures,” in  2022 Medical Technologies Congress (TIPTEKNO),  IEEE, Oct. 2022, pp. 1–4. doi: 10.1109/TIPTEKNO56568.2022.9960225.
[14] T. Podder, D. Bhattacharya, and A. Majumdar, “Time  efficient real time facial  expression recognition  with CNN and transfer learning,” Sādhanā, vol. 47, no. 3, p. 177, Aug. 2022, doi: 10.1007/s12046-022-01943-x.
[15] E. Fernandez, “A framework for understanding emotions in violent ethnic conflicts,” Aggress Violent Behav, vol. 72, p. 101860, Sep. 2023, doi: 10.1016/j.avb.2023.101860.
[16] M. A. Raihan, Jayanta, and M. M. Santoni, “Face Recognition  Using Convolutional  Neural Network  Architectures on Mask-Occluded  Face  Images,”  in  2021  International  Conference  on  Informatics,  Multimedia,  Cyber  and  Information System (ICIMCIS, IEEE, Oct. 2021, pp. 301–306. doi: 10.1109/ICIMCIS53775.2021.9699239.
[17] M. Jain and B. K. Singh, “Leveraging Lightweight Pretrained Model for Brain Tumour Detection,” BIO Web Conf, vol. 65, p. 05051, Sep. 2023, doi: 10.1051/bioconf/20236505051.
[18] A. Maharjan and A. Shakya, “Learning Approaches used by Different Applications to Achieve Deep Fake Technology,” Interdisciplinary Journal of Innovation in Nepalese Academia, vol. 2, pp. 96–101, 2023.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v8i1.7048
[19] L. Zahara, P. Musa, E. Prasetyo Wibowo, I. Karim,  and S. Bahri Musa, “The Facial Emotion Recognition (FER-2013) Dataset for Prediction System  of Micro-Expressions Face  Using the Convolutional  Neural Network (CNN) Algorithm based Raspberry Pi,” in 2020 Fifth International Conference on Informatics and Computing (ICIC), IEEE, Nov. 2020, pp. 1–9. doi: 10.1109/ICIC50835.2020.9288560.
[20] S. Asif, Y. Wenhui, K. Amjad, H. Jin, Y. Tao, and S. Jinhai, “Detection of COVID‐19 from chest X‐ray images: Boosting the performance  with convolutional  neural  network and transfer learning,”  Expert Syst,  vol. 40,  no. 1, Jan. 2023, doi: 10.1111/exsy.13099.
[21] Y.  LeCun,  Y.  Bengio,  and  G.  Hinton,  “Deep  learning,”  Nature,  vol.  521,  no.  7553,  pp.  436–444,  May  2015,  doi: 10.1038/nature14539.
[22] D.  Hooshyar  and  Y.  Yang,  “ImageLM:  Interpretable  image-based  learner  modelling  for  classifying  learners’ computational thinking,” Expert Syst Appl, vol. 238, p. 122283, Mar. 2024, doi: 10.1016/j.eswa.2023.122283.
[23] Y. Ganin and V. Lempitsky, “Unsupervised Domain Adaptation by Backpropagation,”  in  International Conference on Machine Learning, Y. V. Ganin, Ed., 2015, pp. 1180–1189.
[24] P. Langgeng, W. E. Putra, M. Naufal, and E. Y. Hidayat, “A Comparative Study of MobileNet Architecture Optimizer for Crowd Prediction,” Semarang 123 Jl. Imam Bonjol No, vol. 8, no. 3, p. 50131, 2023.
[25] R. Anditto and R. Roestam, “Security Monitoring Using Improved Mobilenet V2 With Fine-Tuning To Prevent Theft In Residential Areas During The Covid-19 Pandemic,” SINTECH (Science and Information Technology) Journal, vol. 5, no. 1, pp. 87–94, Apr. 2022, doi: 10.31598/sintechjournal.v5i1.1023.
[26] M.  Tan  and  Q.  Le,  “EfficientNet:  Rethinking  Model  Scaling  for  Convolutional  Neural  Networks,”  in  International conference on machine learning, May 2019, pp. 6105–6114. [Online]. Available: http://arxiv.org/abs/1905.11946
[27] A. Setyanto, K. Kusrini, T. B. Sasongko, A. B. Permana, and A. P. Saputra, “Efficient Deep Learning Architecture for Facemask Detection,” in 2021 4th International Conference on Information and Communications Technology (ICOIACT), IEEE, Aug. 2021, pp. 119–124. doi: 10.1109/ICOIACT53268.2021.9564011.
[28] C.-T. Yen and  K.-H. Li, “Discussions  of  Different  Deep Transfer  Learning Models for Emotion Recognitions,”  IEEE Access, vol. 10, pp. 102860–102875, 2022, doi: 10.1109/ACCESS.2022.3209813.
[29] O. Ezerceli and M. T. Eskil, “Convolutional Neural Network (CNN) Algorithm Based Facial Emotion Recognition (FER) System  for  FER-2013  Dataset,”  in  2022  International  Conference  on  Electrical,  Computer,  Communications  and Mechatronics Engineering (ICECCME), IEEE, Nov. 2022, pp. 1–6. doi: 10.1109/ICECCME55909.2022.9988371.
[30] A. F. Agarap, “Deep Learning using Rectified Linear Units (ReLU),” arXiv preprint arXiv:1803.08375, Mar. 2018, doi: https://doi.org/10.48550/arXiv.1803.08375.
[31] A. Waheed, M. Goyal, D. Gupta, A. Khanna, A. E. Hassanien, and H. M. Pandey, “An optimized dense convolutional neural network model for disease recognition and classification in corn leaf,” Comput Electron Agric, vol. 175, p. 105456, Aug. 2020, doi: 10.1016/j.compag.2020.105456.
[32] D.  P.  Kingma  and  J.  Ba,  “Adam:  A  Method  for  Stochastic  Optimization,”  ICLR,  Dec.  2014,  [Online].  Available: http://arxiv.org/abs/1412.6980
[33] D. A. Pramudhita, F. Azzahra, I. K. Arfat, R. Magdalena, and S. Saidah, “Strawberry Plant Diseases Classification Using CNN  Based  on  MobileNetV3-Large  and  EfficientNet-B0  Architecture,”  Jurnal  Ilmiah  Teknik  Elektro  Komputer  dan Informatika, vol. 9, no. 3, pp. 522–534, 2023, doi: 10.26555/jiteki.v9i3.26341.
[34] R. Arthana, “Mengenal Accuracy, Precision, Recall dan Specificity serta yang diprioritaskan dalam Machine Learning,” Medium, Apr. 05, 2019. Accessed: Nov. 01, 2023. [Online]. Available: https://rey1024.medium.com/mengenal-accuracy- precission-recall-dan-specificity-serta-yang-diprioritaskan-b79ff4d77de8