Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 8, Nomor 2, Agustus 2023, pp 772-792 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik

## Implementasi Algoritma Convolutional Neural Network Untuk Pengenalan Ekspresi Wajah
Adhiyasa Khoirul Muttaqiin 1 , Haris Yuana 2 , Mukh Taofik Chulkamdi 3 1,2,3 Program Studi Teknik Informatika, Fakultas Teknologi Informasi, Universitas Islam Balitar, Indonesia Email: adhiyasakhoirul@gmail.com

## Abstract
Recognizing human facial expressions has broad benefits in various fields. For example, in the field  of  psychology,  by  analyzing  a  person's  facial  expressions  during  the  counseling  process,  a psychologist can understand a patient's emotional changes and identify psychological problems. One of  the  popular  algorithms  for  facial  expression  recognition  is  the  Convolutional  Neural  Network (CNN). In this study, an architectural model of the Convolutional Neural Network (CNN) is used which consists  of  three  convolution  layers.  The  test  results  show  that  the  model  drilled  with  ADAM optimization,  batch  size  32,  and  data  augmentation  achieved  good  accuracy,  namely  70.16%  for training data and 64.43% for data validation at the 100th epoch. This study also conducted tests using facial  expression  images  from  self-made  datasets  and  achieved  the  highest  accuracy  of  67%  after training the model  up to the 100th epoch. The program  we created succeeded  in recognizing  facial expressions well in real-time situations in 20 participants of various ages. However, this study shows several  improvements  that  can  be  made,  such  as  increasing  the  quality  and  quantity  of  facial expression  data  and  developing  the  CNN  model  with  additional  features  to  improve  accuracy  and overcome overfitting.
Keywords : Facial Expressions, Convolutional Neural Networks, Data Augmentation

## Abstrak
Mengenali  ekspresi  wajah  manusia  memiliki  manfaat  yang  luas  dalam  berbagai  bidang. Misalnya,  dalam  bidang  psikologi,  dengan  menganalisis  ekspresi  wajah  seseorang  saat  proses konseling,  seorang  psikolog  dapat  memahami  perubahan  emosional  pasien  dan  mengidentifikasi masalah  psikologis.  Salah  satu  algoritma  yang  populer  dalam  pengenalan  ekspresi  wajah  adalah Convolutional  Neural  Network  (CNN).  Dalam  penelitian  ini,  digunakan  sebuah  arsitektur  model Convolutional  Neural  Network  (CNN)  yang  terdiri  dari  tiga  lapisan  konvolusi.  Hasil  pengujian menunjukkan bahwa model yang dilatih dengan optimasi ADAM, batch size 32, dan augmentasi data mencapai akurasi yang baik, yaitu 70,16% untuk data pelatihan dan 64,43% untuk data validasi pada epoch ke-100. Dalam penelitian ini juga melakukan pengujian menggunakan citra ekspresi wajah dari dataset  buatan  sendiri  dan  mencapai  akurasi  tertinggi  sebesar  67%  setelah  melatih  model  hingga epoch ke-100. Program yang kami buat berhasil mengenali ekspresi wajah dengan baik dalam situasi real-time  pada  20  partisipan  dengan  usia  yang  beragam.  Namun,  penelitian  ini  menunjukkan beberapa perbaikan yang dapat dilakukan, seperti meningkatkan kualitas dan  jumlah data ekspresi wajah serta mengembangkan model CNN  dengan  fitur  tambahan  untuk  meningkatkan akurasi  dan mengatasi overfitting.
Kata kunci : Ekspresi Wajah,  Convolutional Neural Network,  Data Augmentation.

## 1. PENDAHULUAN
Ekspresi  wajah  adalah  salah  satu  metode  yang  paling  efektif  bagi  manusia untuk mengungkapkan emosi mereka. Menurut Oliver dan Alcove (2020)[1] satu ekspresi  dapat  memberikan  informasi  yang  lebih  banyak  daripada  kata-kata. Keunggulan  dari  ekspresi  wajah  yaitu  kemampuannya  untuk  membantu  dalam memahami emosi seseorang. Menurut Planalp (2015)[2] pada jurnal yang berjudul
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 8, Nomor 2, Agustus 2023, pp 772-792 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
“How Important Is Emotion in Everyday Interaction?” ketika seseorang mengalami ketidakstabilan  emosi,  perubahan  tersebut  dapat  terlihat  pada  wajahnya,  seperti kerutan di dahi, kedipan mata, atau warna kulit wajah yang mengalami perubahan. Sebagai contoh, ketika seseorang merasa marah, akan terlihat tanda-tanda seperti mengerutkan kening dan perubahan warna pada wajah yang menjadi merah.
Menganalisis  keinginan  seseorang  melalui  ekspresi  wajah  lebih  mudah daripada  menganalisis  sikap  seseorang  melalui  kalimat  yang  diucapkan  atau gestur  badan.  Hal  ini  dikarenakan  kata-kata  yang  diucapkan  kadang  tidak  sesuai dengan  maksud  yang  diinginkan  [3].  Paul  Ekman  seorang  psikolog  senior  asal Amerika [4] mendefinisikan 6 emosi dasar yang sama, yaitu marah, senang, sedih, jijik,  terkejut,  dan  takut.  Enam dasar  tersebut  masih  menjadi  acuan  yang  dipakai oleh  para  psikolog  dan  para  pengembang  sistem  pendeteksian  wajah  untuk mengklasifikasikan emosi berdasarkan ekspresi wajah hingga saat ini.
Deteksi  ekspresi  memiliki  peran  penting  dalam  bidang  psikologi  terutama dalam proses  konseling  antara  konselor  dan  pasien.  Komunikasi  antara  konselor dan  pasien  dapat  terjadi  baik  melalui  komunikasi  verbal  maupun  non-verbal. Komunikasi  verbal  melibatkan  penggunaan  kata-kata  baik  dalam  bentuk  lisan maupun tulisan, sedangkan komunikasi non-verbal melibatkan pengiriman pesan tanpa  menggunakan  kata-kata  [5].  Melalui  ekspresi  wajah  psikolog  dapat mengetahui  kondisi  emosi  seseorang  saat  proses  konseling,  sehingga  dengan mengetahui  perubahan  emosi  seseorang  saat  proses  konseling  dengan  psikolog dapat mengidentifikasi dan menganalisa psikologis seseorang sebagai deteksi awal pasien.  Salah  satu  kelemahan  yang  dimiliki  oleh  psikolog  Indonesia  adalah kurangnya  alat  psikologis  yang  diciptakan  sendiri  sesuai  kondisi  sosial  budaya Indonesia menurut [6].  Alat pengungkap emosi dasar berupa foto bernah diteliti [7]. Dengan perkembangan teknologi, pengenalan ekspresi wajah dapat dilakukan secara  otomatis  menggunakan  algoritma  deep  learning,  terutama  algoritma Convolutional  Neural  Network (CNN).  CNN  adalah  salah  satu  jenis  algoritma pembelajaran deep learning yang efektif dalam mengenali ekspresi wajah dengan tingkat keakuratan yang tinggi.
Beberapa  penelitian  telah  menunjukkan  bahwa  deep  learning  memiliki performa  yang  sangat  baik  dalam  penggunaan Convolutional  Neural  Network (CNN)  [8-16].  Hal  ini  disebabkan  oleh  kemampuan  CNN  dalam  mempelajari dataset  yang  besar  dan  menerapkan  metode  pelatihan  jaringan  yang  lebih kompleks.  Selain  itu,  dengan  adanya  kemajuan  perangkat  keras  komputasi, penggunaan  deep  learning  semakin  banyak  yang  menggunakannya  [8]. Convolutional  Neural  Network dianggap  sebagai  model  terbaik  untuk menyelesaikan  masalah  pengenalan  objek  dan  pengenalan  wajah.  Meskipun Convolutional  Neural  Network memiliki  keunggulan,  seperti  model  deep  learning lainnya, algoritma ini juga memiliki kelemahan, salah satu kelemahan yang dimiliki oleh Convolutional Neural Network adalah proses komputasinya yang memerlukan duras waktu yang panjang. Namun, dengan berkembangnya perangkat keras yang cepat,  masalah  ini  dapat  dikerjakan  dengan  memanfaatkan  teknologi  seperti Graphical Processing Unit (GPU) serta komputer dengan spesifikasi yang tinggi.
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 8, Nomor 2, Agustus 2023, pp 772-792 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
Berdasarkan  latar  belakang  tersebut,  maka  peneliti  ini  bertujuan  untuk menerapkan  algoritma Convolutional  Neural  Network dalam  mengenali  ekspresi wajah,  sehingga  dapat  membantu  psikolog  dalam  memahami  perubahan  emosi pasien  selama  sesi  konseling.  Selain  itu,  penelitian  ini  juga  bertujuan  untuk menguji  kinerja  algoritma  ini  dalam  pengenalan  ekspresi  wajah  melalui  citra ekspresi  wajah  serta  perekaman  langsung.    Penelitian  ini  berfokus  terhadap bagaimana cara menerapkan algoritma Convolutional Neural Network (CNN) untuk pengenalan  ekspresi  wajah  pada  manusia  [17-26].  Dengan  adanya  penelitian  ini diharapkan  dapat  menghadirikan  sebuah  pengenalan  ekspresi  wajah  yang  dapat digunakan  oleh  psikolog  untuk  mengetahui  perubahan  emosi  pasien  saat  proses konseling menggunakan algoritma Convolutional Neural Network . Pada penelitian ini  akan  menggunakan  dua  proses  pengujian  model  hasil  pelatihan  algoritma Convolutional Neural Network (CNN) yaitu menggunakan kumpulan Gambar tujuh macam  ekspresi  wajah  manusia  dari  dataset  buatan  sendiri  yang  bersisi  citra ekspresi  wajah  orang  Indonesia  dan  pengujian  melalui  perekaman  wajah  secara langsung atau realtime. Pengujian menggunakan citra ekspresi wajah dari dataset buatan sendiri dilakukan untuk mengetahui model terbaik yang dapat digunakan untuk pengujian secara realtime.

## 2. METODOLOGI PENELITIAN
Penelitian  ini  bertujuan  untuk  mengGambarkan  dan  menganalisis  citra ekspresi  wajah  pada  dataset  menggunakan  algoritma Convolutional  Neural Network (CNN).  Metode  penelitian  yang  digunakan  adalah  deskriptif  kuantitatif, yang bertujuan untuk mengidentifikasi dan mengklasifikasikan berbagai ekspresi wajah  yang  ditunjukkan  oleh  pasien.  Data  diperoleh  melalui  wawancara  dengan seorang psikolog klinis yang juga dosen di Fakultas Psikologi Universitas Merdeka Malang,  serta  pengumpulan  dataset  dari  internet.  Proses  pra-pemrosesan  data melibatkan perubahan ukuran citra menjadi 48x48 piksel dan konversi citra dari RGB ke grayscale. Selain itu, data ekspresi wajah dibagi menjadi data latih dan data validasi.  Setelah  itu,  dilakukan  pelatihan  algoritma  CNN  dengan  inisialisasi parameter  yang  tepat,  seperti  tingkat  pembelajaran,  ukuran  batch,  dan  jumlah epoch.  Selama  proses  pelatihan,  data  latih  juga  mengalami  augmentasi.  Setelah model  CNN  terlatih,  dilakukan  pengujian  menggunakan  citra  wajah  dan pengukuran performa dengan menggunakan confusion matrix.
Pengumpulan  data  dilakukan  melalui  wawancara  dengan  seorang  psikolog klinis  yang  juga  dosen  di  Fakultas  Psikologi  Universitas  Merdeka  Malang,  studi literatur,  dan  pengumpulan  dataset  dari  internet.  Data  terdiri  dari  data  primer yang  berupa  wawancara  dan  data  sekunder  yang  merupakan  dataset  dari  Facial Expression Recognition 2013(FER2013) serta dataset buatan peneliti. Proses pra- pemrosesan  data  mencakup  perubahan  ukuran  citra,  konversi  citra  ke  grayscale, dan  pemisahan  data  ekspresi  wajah  menjadi  data  latih  dan  data  validasi. Selanjutnya,  tahap  pelatihan  algoritma Convolutional  Neural  Network (CNN) melibatkan inisialisasi parameter pembelajaran, perancangan arsitektur CNN, dan training model dengan data latih. Pengujian dilakukan dengan menggunakan citra wajah dan pengukuran performa menggunakan confusion matrix.
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 8, Nomor 2, Agustus 2023, pp 772-792 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik

## 3. HASIL DAN PEMBAHASAN

## 3.1. Pre-Processing Data
a) Resize 48 x 48 Dataset buatan sendiri memiliki ukuran piksel yang beragam sehingga perlu diubah menjadi 48 x 48 piksel sehingga dapat di proses sebagai input untuk model. Berikut adalah kode yang digunakan untuk resize data:
Kode  diatas  digunakan  untuk  melakukan  preprocessing  Gambar  dengan mengubah  ukurannya  menjadi  48x48  piksel.  Pertama,  kita  menentukan  folder input dan folder output untuk menyimpan Gambar hasil preprocessing. Jika folder output  belum  ada,  kode  akan  membuatnya  terlebih  dahulu.  Selanjutnya,  kode melakukan  iterasi  melalui  setiap  file  Gambar  dalam  folder  input  dan  memeriksa apakah file tersebut berakhiran ".jpg" atau ".png". Jika iya, kode membaca Gambar tersebut  menggunakan  cv2.imread()  dan  mengubah  ukurannya  menjadi  48x48 piksel  dengan  menggunakan  cv2.resize().  Hasilnya  disimpan  di  folder  output dengan  nama  baru  yang  diawali  dengan  "resized_".  Proses  preprocessing  ini berguna  untuk  menyamakan  ukuran  Gambar  dan  mempersiapkan  data  sebelum digunakan dalam proses pelatihan atau analisis lebih lanjut. Contoh hasil cropping dan resize dapat dilihat pada Gambar 1.
Gambar 1. Hasil Resize 48 x 48
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 8, Nomor 2, Agustus 2023, pp 772-792 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik

## b) Konversi Citra RGB ke Grayscale
Perubahan format dari berwana menjadi grayscale dilakukan dengan fungsi dari  library  opencv  yaitu  cv2.COLOR_BGR2GRAY  sehingga  menghasilkan  citra seperti Gambar 2.
Gambar 2 . Hasil Proses Grayscale

## c) Pemisahan Data Ekspresi Wajah
Citra ekspresi wajah dari masing – masing kelas pada dataset FER2013 akan dipisahkan  menjadi  dua  macam  data  yaitu  data  latih  dan  data  validasi.  Dataset FER2013 memiliki jumlah data latih dan data validasi dengan rasio 8: 2, dimana 80 %  data  akan  digunakan  pada  data  latih  dan  20%  untuk  data  validasi.  Dengan memonitor  performa  model  pada  data  validasi,  dapat  mengidentifikasi  apakah model  mengalami  overfitting.  Hasil  pembagian  data  ekspresi  wajah  dari dataset FER2013 dapat dilihat pada Tabel 1.
Tabel 1. Jumlah Data Latih tiap kelas ekspresi Ekspresi Wajah Jumlah Marah 3995 Jijik 436 Takut 4097 Senang 7215 Netral 4965 Sedih 4830 Terkejut 3171 Total 28709 Tabel 2. Jumlah Data Validasi tiap kelas ekspresi Ekspresi Wajah Jumlah Marah 958 Jijik 111 Takut 1024 Senang 1774 Netral 1233 Sedih 1247
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 8, Nomor 2, Agustus 2023, pp 772-792 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
Terkejut 831 Total 7178 3.2. Proses Training
3.2.1. Arsitektur Model CNN
Kode  diatas  membuat  model  arsitektur Convolutional  Neural  Network dirancang sesuai pada flowchart pada Gambar 3.7. Model dibuat dengan fungsi dari library  tensorflow  yaitu  Sequential  ().  Setelah  itu,  hasil  arsitektur  dapat  dilihat menggunakan fungsi summary (), berikut hasil dari arsitektur yang dibuat:
Gambar 3. Model Aristektur CNN
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 8, Nomor 2, Agustus 2023, pp 772-792 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
Hasil  di  atas  memberikan  informasi  tentang  jumlah  parameter  yang  ada dalam  model Convolutional  Neural  Network (CNN)  yaitu  jumlah  total  parameter dalam  model  adalah  1,148,295  mencerminkan  kompleksitas  keseluruhan  model. Jumlah  parameter  yang  dapat  diubah  saat  proses  training  adalah  1,146,823. Parameter ini memungkinkan model untuk belajar dari data pelatihan. Sedangkan jumlah parameter yang tetap atau tidak dapat diubah saat training  adalah 1,472. Model  ini  memiliki  jumlah  parameter  yang  cukup  besar,  terutama  parameter- parameter  yang  dapat  dilatih.  Hal  ini  menunjukkan  bahwa  model  memiliki kapasitas untuk belajar pola dan fitur yang kompleks dari data latih.

## 3.2.2. Training Model
Setelah proses  pelatihan  selesai,  akan  dilakukan  perhitungan  akurasi  untuk melihat sejauh mana model dapat mengklasifikasikan data latih dan data validasi dengan  benar.  Hasil  dari  pelatihan  pada  ketiga  percobaan  epoch  tersebut  akan memberikan Gambaran tentang performa model yang telah dilatih seperti berikut.
a) Proses training ke-1 m enggunakan 25 epoch data augmentation :
Menentukan path dataset train dan validation train_data_dir = './data/train' validation_data_dir = './data/validasi' # Menentukan ukuran gambar input img_width, img_height = 48, 48 # Membangun objek ImageDataGenerator untuk augmentasi data train_datagen = ImageDataGenerator( rescale=1./255, shear_range=0.2, zoom_range=0.2, horizontal_flip=True ) validation_datagen = ImageDataGenerator(rescale=1/255) train_generator = train_datagen.flow_from_directory( train_data_dir, target_size=(img_width, img_height), batch_size=32, color_mode='grayscale', class_mode='categorical' ) model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy']) history = model.fit( train_generator, steps_per_epoch=train_generator.n // train_generator.batch_size, epochs=25, validation_data=validation_generator, validation_steps=validation_generator.n // validation_generator.batch_size ) model.save('namamodel.h5') # Menampilkan grafik akurasi training dan validation plt.plot(history.history['accuracy']) plt.plot(history.history['val_accuracy']) plot_model(model, to_file='model_architecture.png', show_shapes=True, show_layer_names=True) plt.title('Model Accuracy') plt.ylabel('Accuracy') plt.xlabel('Epoch') plt.legend(['Training', 'Validation'], loc='upper left') plt.show()
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 8, Nomor 2, Agustus 2023, pp 772-792 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
Grafik pada Gambar 4 menunjukkan hasil pelatihan model menggunakan 25 epoch.  Pada  epoch  ini,  diperoleh  akurasi  training  sebesar  60,58%,  yang mengindikasikan seberapa baik model mampu mengklasifikasikan data latih yang digunakan.  Sedangkan  akurasi  validasi  pada  epoch  25  mencapai  57,73%,  yang mengGambarkan tingkat keberhasilan model dalam mengklasifikasikan data yang tidak  pernah  dilihat  sebelumnya,  yaitu  data  validasi.  Meskipun  akurasi  training lebih  tinggi  dari  akurasi  validasi,  perbedaan  tersebut  tidak  terlalu  signifikan, sehingga  dapat  dikatakan  bahwa  model  belum  mengalami  overfitting  yang berlebihan pada tahap ini.
Gambar 4. Grafik Training Dengan Augmentasi Pada Epoch 25
b) Proses training ke-2 m enggunakan 50 epoch data augmentation:
Grafik pada Gambar 5 menunjukkan hasil pelatihan model menggunakan 50 epoch.  Pada  epoch  ini,  diperoleh  akurasi  training  sebesar  65,63%,  yang menunjukkan  kemampuan  model  dalam  mengklasifikasikan  data  latih  dengan akurasi yang lebih tinggi. Sementara itu, akurasi validasi pada epoch 50 mencapai 63,48%.  akurasi  training  dan  validasi  mengalami  peningkatan  dibandingkan dengan  epoch  25.  Hal  ini  menunjukkan  bahwa  model  terus  meningkatkan kemampuannya dalam mempelajari pola-pola pada data latih dan  mampu secara lebih  baik  menggeneralisasi  pada  data  validasi.  Meskipun  akurasi  training  lebih tinggi  daripada  akurasi  validasi,  perbedaan  tersebut  masih  tergolong  wajar  dan tidak  terlalu  signifikan.  Ini  menunjukkan  bahwa  model  masih  mampu mengeneralisasi  data  dengan  baik  tanpa  mengalami  overfitting  yang  berlebihan pada tahap pelatihan dengan 50 epoch.
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 8, Nomor 2, Agustus 2023, pp 772-792 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
Gambar 5. Grafik Training Dengan Augmentasi Pada Epoch 50
c) Proses training ke-3 m enggunakan 100 epoch data augmentation: Grafik pada Gambar 6 menunjukkan hasil pelatihan model menggunakan 100 epoch.  Pada epoch ini,  diperoleh  akurasi training sebesar  70,16%,  yang menunjukkan  kemampuan  model  dalam  mengklasifikasikan  data  latih  dengan akurasi yang lebih tinggi. Sementara itu, akurasi validasi pada epoch 100 mencapai 64,43%, yang menunjukkan tingkat keberhasilan model dalam mengklasifikasikan data validasi yang tidak pernah dilihat sebelumnya.
Pada  pelatihan  menggunakan epoch 100,  akurasi training terus  meningkat dan  mencapai  tingkat  yang  lebih  tinggi  dibandingkan  dengan  epoch  sebelumnya. Namun, akurasi validasi tidak mengalami peningkatan yang signifikan dan bahkan cenderung stagnan. Hal ini dapat mengindikasikan bahwa model mulai mengalami overfitting . Overfitting terjadi saat kemampuan model untuk mempelajari pola-pola pada  data  latih  meningkat,  tetapi  tidak  mampu  secara  efektif  menggeneralisasi pada  data  validasi  menurut  Ying(2018).Perbedaan  yang  cukup  signifikan  antara akurasi  training  dan  akurasi  validasi  pada epoch 100  menunjukkan  adanya overfitting ,  di  mana  model  terlalu  "terbiasa"  dengan  data  latih  dan  tidak  dapat secara tepat mengklasifikasikan data yang belum pernah dilihat sebelumnya.
Gambar 6. Grafik Training Dengan Augmentasi Pada Epoch 100
d) Proses training ke-4 menggunakan 25 epochs non data augmentation:
Grafik  pada  Gambar  7  terlihat  bahwa  terdapat  dua  kurva  yang merepresentasikan  metrik  akurasi  pada  data  latih  (training  accuracy)  dan  data validasi  (validation  accuracy)  seiring  dengan  berjalannya  epoch.  Pada  awal pelatihan  (epoch  awal),  kedua  kurva  cenderung  meningkat,  yang  menunjukkan peningkatan akurasi pada kedua dataset. Namun, setelah beberapa epoch, terlihat bahwa  kurva  akurasi  pada  data  latih  terus  meningkat,  sementara  kurva  akurasi pada data validasi mulai stagnan atau bahkan menurun.
Hal  ini  mengindikasikan  adanya  overfitting,  di  mana  model  cenderung "menghafal" data latih dan kurang mampu melakukan generalisasi pada data yang belum  pernah  dilihat  sebelumnya  (data  validasi).  Dengan  demikian,  meskipun model  mampu  mencapai  akurasi  yang  tinggi  pada  data  latih  (80,57%),  namun kinerja model pada data validasi jauh lebih rendah (49,63%).
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 8, Nomor 2, Agustus 2023, pp 772-792 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
Gambar 7. Grafik Training Tanpa Augmentasi Pada Epoch 25
e) Proses training ke-5 menggunakan epoch 50 non data augmentation:
Grafik pada Gambar 8 terlihat kedua kurva akurasi pada data latih dan data validasi  meningkat,  menunjukkan  peningkatan  kemampuan  model  dalam memprediksi  dengan  benar.  Namun,  setelah beberapa  epoch,  kurva  akurasi  pada data  latih  terus  meningkat  sementara  kurva  akurasi  pada  data  validasi  mulai stagnan atau bahkan menurun.
Hal  ini  menunjukkan  bahwa  model  mengalami  overfitting,  di  mana  model terlalu  fokus  pada  detail-detail  yang  ada  pada  data  latih  dan  tidak  mampu melakukan  generalisasi  dengan  baik  pada  data  yang  belum  pernah  dilihat sebelumnya, seperti data validasi. Meskipun model mencapai tingkat akurasi yang tinggi  pada  data  latih  (90,18%),  performa  model  pada  data  validasi  jauh  lebih rendah (60,78%).
Gambar  3. Grafik Training Tanpa Augmentasi Pada Epoch 50
f) Proses training ke-6 menggunakan epoch 100 non data augmentation:
Grafik  pada  Gambar  9  terlihat  akurasi  training  meningkat  menjadi  93,88%, menunjukkan  kemampuan  model  dalam  memprediksi  dengan  benar  pada  data latih  yang  semakin  meningkat.  Namun,  akurasi  validasi  tetap  stagnan  pada 60,78%. Hal ini menunjukkan bahwa meskipun model semakin "menghafal" data latih,  kemampuannya  dalam  melakukan  generalisasi  pada  data  validasi  tetap terbatas. Secara keseluruhan, hasil training dan validasi tersebut mengindikasikan
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 8, Nomor 2, Agustus 2023, pp 772-792 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
adanya  overfitting  pada  model.  Meskipun  model  mencapai  tingkat  akurasi  yang tinggi pada data latih, performa model pada data validasi jauh lebih rendah.
Gambar 4 . Grafik Training Tanpa Augmentasi Pada Epoch 100

## 3.2.3. Perbandingan Hasil Proses Training
Tabel 1 . Perbandingan Akurasi Training dan Validasi Epoch Data Augmentation Akurasi Training Akurasi Validasi 25 Ya 60,58% 57,73% 50 Ya 65,63% 63,48% 100 Ya 70,16% 64,43% 25 Tidak 80,57% 49,63% 50 Tidak 90,18% 60,78% 100 Tidak 93,88% 60,78%
Tabel 3 memberikan hasil pelatihan model dengan variasi penggunaan Data Augmentation pada dua kondisi: saat Data Augmentation digunakan (Ya) dan saat Data Augmentation tidak digunakan (Tidak). Ketika Data Augmentation digunakan, terlihat  bahwa  akurasi  training  dan  akurasi  validasi  secara  bertahap  meningkat seiring  dengan  berjalannya  epoch.  Pada  epoch  ke-25,  akurasi  training  mencapai 60,58%  dan  akurasi  validasi  mencapai  57,73%.  Peningkatan  tersebut  berlanjut pada  epoch  ke-50,  dengan  akurasi  training  sebesar  65,63%  dan  akurasi  validasi sebesar  63,48%.  Pada  epoch  ke-100,  akurasi  training  mencapai  70,16%  dan akurasi validasi mencapai 64,43%. Meskipun terjadi peningkatan, akurasi validasi masih relatif rendah dibandingkan dengan akurasi training, menunjukkan adanya overfitting pada model.
Di  sisi  lain,  ketika  Data  Augmentation  tidak  digunakan,  model  mencapai akurasi  training  yang  lebih  tinggi.  Pada  epoch  ke-25,  akurasi  training  mencapai 80,57%  sedangkan  akurasi  validasi  hanya  sebesar  49,63%.  Pada  epoch  ke-50, akurasi  training  meningkat  menjadi  90,18%  dan  akurasi  validasi  mencapai 60,78%.  Pada  epoch  ke-100,  akurasi  training  mencapai  93,88%  tetapi  akurasi validasi  tetap  pada  60,78%.  Kondisi  ini  menunjukkan  bahwa  model  cenderung mengalami overfitting yang  lebih  kuat  ketika  tidak  menggunakan  Data Augmentation,  dengan  perbedaan  yang  signifikan  antara  akurasi  training  dan akurasi  validasi.  Secara  keseluruhan,  penggunaan  Data  Augmentation  pada
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 8, Nomor 2, Agustus 2023, pp 772-792 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
pelatihan model cenderung memberikan hasil yang lebih baik dalam mengurangi overfitting  dan  meningkatkan  akurasi  validasi.  Namun,  masih  diperlukan penanganan  lebih  lanjut  untuk  meningkatkan  performa  model  pada  akurasi validasi agar mendekati tingkat akurasi training.
Penilaian  akurasi  tidak  dapat  dijadikan  satu-satunya  ukuran  keberhasilan model. Evaluasi lebih lanjut seperti menggunakan metrik lain seperti presisi, recall, dan  f1-score  dapat  memberikan  Gambaran  yang  lebih  lengkap  tentang  performa model dalam mengklasifikasikan ekspresi wajah.

## 3.3. Proses Pengujian Model

## a) Pengujian Menggunakan Citra Ekspresi Wajah
Pada tahap ini keenam model hasil proses training akan diuji menggunakan data  uji  yang  berisi  citra  ekspresi  wajah  dari  dataset  buatan  sendiri.  Pengujian menggunakan citra ekspresi wajah bertujuan untuk mengevaluasi dan mengetahui model terbaik yang akan digunakan untuk pengujian secara realtime. Pengujian ini menggunakan  668  citra  data  uji  ekspresi  wajah  dari  dataset  buatan  yang  telah divalidasi  oleh  validator.  Adapun  detail  hasil  pengujian  dalam confusion  matrix adalah sebagai berikut:

## b) Pengujian Pada Model Epoch 25 Augmentasi Data
Dari  Gambar  10  dapat  diketahui  tingkat  keberhasilan  tertinggi  didapatkan pada ekspresi senang yaitu dengan 125 ekspresi dikenali dengan benar, sedangkan tingkat  keberhasilan  terendah  yaitu  pada  ekspresi  jijik hanya  1  ekspresi  dikenali dengan benar. Adapun hasil perhitungan confusion matrix dapat dilihat pada Tabel 4.
Gambar 5. Confusion Matrix Pada Model Epoch 25 Augmentasi
Tabel 2. Hasil Pengujian Pada Model Epoch 25 Precision (%)  Recall (%)  F1-score (%) Marah 40 22 28 Jijik 100 1 3 Takut 50 2 4 Senang 58 98 73 Netral 41 93 57
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 8, Nomor 2, Agustus 2023, pp 772-792 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
Sedih 51 42 46 Terkejut 77 61 68 Accuracy 51 Macro avg 60 45 40
Hasil  akurasi  didapatkan  dengan  menghitung  menggunakan  rumus  pada persamaan  (2.2)  yaitu  membagi  total  ekspresi  yang  dikenali  dengan  benar  dan membaginya dengan total data yang ada pada data uji. Hasil precision didapakan dengan  menghitung  dengan  rumus  pada  persamaan  (2.3)  yaitu  ekspresi  yang diprediksi  dengan  benar  dan  membaginya  dengan  jumlah  ekspresi  yang  dikenali dengan  benar  ditambah  jumlah  ekspresi  yang  dikenali  salah  pada  kolom  true labels  pada  masing-masing  kelas  ekspresi.  Hasil  recall  didapakan  dengan menghitung  menggunakan  rumus  rumus  pada  persamaan  (2.4)  yaitu  membagi jumlah  ekspresi  yang  ekspresi  yang  dikenali  dengan  benar  dan  membaginya dengan  jumlah  ekspresi  yang  dikenali  dengan  benar  ditambah  jumlah  ekspresi yang dikenali salah pada baris prediction labels. Hasil F1-score didapakan dengan menghitung menggunakan rumus rumus pada persamaan (2.5) yaitu mengalikan 2 hasil  perkalian  presisi  dan  recall  dan  membanginya  dengan  hasil  penjumlahan presisi dan recall.
Pada  pengujian  menggunakan  model  epoch  25  dengan  menggunakan augmentasi data didapatkan hasil akurasi sebesar 51%, presisi sebesar 60%, recall sebesar 45% dan F1-Score sebesar 40%.

## c) Pengujian Pada Model Epoch 50 Augmentasi Data
Dari  Gambar  11  dapat  diketahui  tingkat  keberhasilan  tertinggi  didapatkan pada ekspresi senang yaitu dengan 116 ekspresi dikenali dengan benar, sedangkan tingkat  keberhasilan  terendah  yaitu  pada  ekspresi  jijik  dengan  ekspresi  dikenali dengan benar yaitu 17 ekspresi. Adapun hasil perhitungan confusion matrix dapat dilihat pada Tabel 5.
Gambar  6. Confusion Matrix Pada Model Epoch 50 Augmentasi
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 8, Nomor 2, Agustus 2023, pp 772-792 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
Tabel 3. Hasil Pengujian Pada Model Epoch 50 Precision %  Recall %  F1-score % Marah 50 50 50 Jijik 94 24 39 Takut 60 35 44 Senang 74 91 82 Netral 58 76 66 Sedih 45 65 54 Terkejut 88 69 77 Accuracy 62 Macro avg 67 59 59
Pada  pengujian  menggunakan  model  epoch  50  dengan  menggunakan augmentasi data didapatkan hasil akurasi sebesar 62%, presisi sebesar 67%, recall sebesar 59% dan F1-Score sebesar 59%.

## d) Pengujian Pada Model Epoch 100 Augmentasi Data
Dari  Gambar  12  dapat  diketahui  tingkat  keberhasilan  tertinggi  didapatkan pada ekspresi netral yaitu dengan 113 ekspresi dikenali dengan benar, sedangkan tingkat  keberhasilan  terendah  yaitu  pada  ekspresi  jijik  dengan  ekspresi  dikenali dengan benar yaitu 21 ekspresi. Adapun hasil perhitungan confusion matrix dapat dilihat pada Tabel 6.
Gambar 7. Confusion Matrix Pada Model Epoch 100 Augmentasi
Tabel 4. Hasil Pengujian Pada Model Epoch 100 Precision (%)  Recall (%)  F1-score (%) Marah 47 64 54 Jijik 95 30 46 Takut 80 41 54 Senang 78 88 83 Netral 66 91 76 Sedih 53 64 58 Terkejut 90 70 78 Accuracy 67 Macro avg 73 64 64
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 8, Nomor 2, Agustus 2023, pp 772-792 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
Pada  pengujian  menggunakan  model  epoch  100  dengan  menggunakan augmentasi data didapatkan hasil akurasi sebesar 67%, presisi sebesar 73%, recall sebesar 64% dan F1-Score sebesar 64%.

## e) Pengujian Pada Model Epoch 25 Tanpa Augmentasi Data
Dari  Gambar13  dapat  diketahui  tingkat  keberhasilan  tertinggi  didapatkan pada ekspresi senang yaitu dengan 115 ekspresi dikenali dengan benar, sedangkan tingkat  keberhasilan  terendah  yaitu  pada  ekspresi  jijik  dengan  ekspresi  dikenali dengan benar yaitu 1 ekspresi. Adapun hasil perhitungan confusion matrix dapat dilihat pada Tabel 7.
Gambar 8. Confusion Matrix Model Epoch 25 Tanpa Augmentasi
Tabel 5 . Hasil Pengujian Pada Model Epoch 25 Non Agumentation Precision (%)  Recall (%)  F1-score (%) Marah 39 30 34 Jijik 50 1 3 Takut 40 25 31 Senang 64 90 74 Netral 47 75 58 Sedih 38 57 45 Terkejut 85 38 53 Accuracy 50 Macro avg 52 45 42
Pada  pengujian  menggunakan  model  epoch  25  tanpa  menggunakan augmentasi data didapatkan hasil akurasi sebesar 50%, presisi sebesar 52%, recall sebesar 45% dan F1-Score sebesar 42%.

## f) Pengujian Pada Model Epoch 50 Tanpa Augmentasi Data
Dari  Gambar  14  dapat  diketahui  tingkat  keberhasilan  tertinggi  didapatkan pada ekspresi senang yaitu dengan 110 ekspresi dikenali dengan benar, sedangkan tingkat  keberhasilan  terendah  yaitu  pada  ekspresi  jijik  dengan  ekspresi  dikenali dengan benar yaitu 1 ekspresi. Adapun hasil perhitungan confusion matrix dapat dilihat pada Tabel 8.
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 8, Nomor 2, Agustus 2023, pp 772-792 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
Gambar 9. Confusion Matrix Model Epoch 50 Tanpa Augmentasi
Tabel 6 . Hasil Pengujian Pada Model Epoch 50 Non Agumentation Precision (%)  Recall (%)  F1-score (%) Marah 32 27 29 Jijik 100 1 3 Takut 50 32 39 Senang 68 86 76 Netral 46 72 56 Sedih 43 67 52 Terkejut 78 44 56 Accuracy 53 Macro avg 61 49 46
Pada  pengujian  menggunakan  model  epoch  50  tanpa  menggunakan augmentasi data didapatkan hasil akurasi sebesar 53%, presisi sebesar 61%, recall sebesar 49% dan F1-Score sebesar 46%.

## g) Pengujian Pada Model Epoch 100 Tanpa Augmentasi Data
Dari  Gambar  15  dapat  diketahui  tingkat  keberhasilan  tertinggi  didapatkan pada ekspresi senang yaitu dengan 117 ekspresi dikenali dengan benar, sedangkan tingkat  keberhasilan  terendah  yaitu  pada  ekspresi  jijik  dengan  ekspresi  dikenali dengan benar yaitu 1 ekspresi. Adapun hasil perhitungan confusion matrix dapat dilihat pada Tabel 9.
Tabel 7 . Hasil Pengujian Pada Model Epoch 100 Non Agumentation Precision (%)   Recall (%)  F1-score (%) Marah 42 40 41 Jijik 100 1 3 Takut 50 21 30 Senang 62 91 74 Netral 55 75 64 Sedih 35 57 43 Terkejut 88 47 61 Accuracy 53
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 8, Nomor 2, Agustus 2023, pp 772-792 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
Macro avg 62 48 45
Pada  pengujian  menggunakan  model  epoch  100  tanpa  menggunakan augmentasi data didapatkan hasil akurasi sebesar 53%, presisi sebesar 62%, recall sebesar 48% dan F1-Score sebesar 45%.
Gambar 10. Confusion Matrix Model Epoch 100 Tanpa Augmentasi
h) Hasil Pengujian Model Menggunakan Citra Wajah.
Dari  Tabel  diatas  mengGambarkan  hasil  pengujian  model  pada  beberapa epoch dengan menggunakan data augmentation (Ya) dan tanpa menggunakan data augmentation  (Tidak).  Terdapat  empat  metrik  evaluasi  yang  digunakan  dalam Tabel,  yaitu  akurasi,  presisi,  recall,  dan  F1-score.  Dalam  pengujian  model  yang menggunakan  augmentasi  data,  pada  epoch  25,  model  memiliki  akurasi  51%, presisi  60%,  recall  45%,  dan  F1-score  40%.  Pada  epoch  50,  terjadi  peningkatan sedikit  pada  akurasi  menjadi  62%,  presisi  67%,  recall  59%,  dan  F1-score  59%. Pada epoch 100, terlihat peningkatan yang lebih signifikan dengan akurasi sebesar 67%, presisi 73%, recall 64%, dan F1-score 64%.
Sementara itu, dalam pengujian model yang tidak menggunakan augmentasi data,  terlihat  performa  model  yang  sedikit  lebih  rendah.  Pada  epoch  25,  model memiliki akurasi 50%, presisi 52%, recall 45%, dan F1-score 42%. Pada epoch 50, terjadi  peningkatan  dengan  akurasi  53%,  presisi  61%,  recall  49%,  dan  F1-score 46%.  Pada  epoch  100,  tidak  terjadi  peninkatan  pada  akurasi  53%,  namun mengalami perubahan pada presisi 62%, recall 48%, dan F1-score 45%.
Tabel 8 . Hasil Pengujian Pada Setiap Epoch
Epoch  Data Augmentation  Akurasi  Presisi  Recall  F1-score
25 Ya 51% 60% 45% 40% 50 Ya 62% 67% 59% 59% 100 Ya 67% 73% 64% 64% 25 Tidak 50% 52% 45% 42% 50 Tidak 53% 61% 49% 46% 100 Tidak 53% 62% 48% 45%
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 8, Nomor 2, Agustus 2023, pp 772-792 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik

## i) Hasil Pengujian Model Secara Real-time
Dari  Tabel  11,  hasil  pengujian  pada  model  epoch  100  menunjukkan kemampuan yang cukup baik dalam mengenali ekspresi wajah yang diperagakan oleh 20 partisipan. Dari total 40 ekspresi wajah yang diperagakan, model berhasil mendeteksi dengan benar sebanyak 34 ekspresi wajah, namun terdapat 6 ekspresi wajah yang diperagakan tidak terdeteksi dengan benar.
Algoritma Convolutional Neural Network (CNN) adalah sebuah algoritma deep learning  yang  efektif  untuk  mempelajari  karakteristik  suatu  objek  dengan mendalam.  Salah  satu  aspek  penting  dalam  proses  pembelajaran CNN dalam mengklasifikasikan  objek adalah jumlah  dan kualitas  data  yang  digunakan  dalam pelatihan.  Semakin  banyak  dan  berkualitasnya  data  yang  digunakan,  semakin tinggi akurasi yang dapat dicapai dalam pengklasifikasian objek tersebut.
Dengan mengubah dan melengkapi variasi citra dalam dataset pelatihan, data augmentation membantu meningkatkan jumlah data, mengurangi overfitting, dan meningkatkan  kemampuan  model  dalam  mengenali  berbagai  variasi  ekspresi wajah.  Ini  memungkinkan  model  CNN  untuk  belajar  pola  yang  lebih  umum  dan dapat  mengenali  ekspresi  wajah  secara  konsisten  dalam  berbagai  situasi.  Pada penelitian  sebelumnya  oleh  Kusdaningsih,  Rahmawati  &  Risnandar  (2021), data augmentation juga  digunakan  sebagai  salah  satu  metode  untuk  mengurangi overfitting saat melatih model.
Dalam  penelitian  ini  hasil  pengujian  menggunakan  citra  ekspresi  wajah, model  terbaik  didapatkan  pada  model  menggunakan  epoch  100  dengan menggunakan  augmentasi  data  pada  saat  proses  pelatihan,  model  tersebut berhasil  mengklasifikasikan  ekspresi  wajah  dengan  akurasi  sebesar  67%,  presisi sebesar  73%,  recall  sebesar  64%  dan  F1-Score  sebesar  64%.  Hasil  akurasi  pada penelitian  ini  lebih  rendah  dari  penelitian  yang  dilakukan  oleh  Kusdaningsih, Rahmawati & Risnandar (2021) yakni akurasi sebesar 91,29%, namun pengujian pada penelitian ini menggunakan data uji yang lebih banyak. Pada penelitian yang dilakukan  oleh  Kusdaningsih,  Rahmawati  &  Risnandar(2021)  data  yang dikumpulkan berjumlah 33 ekspresi senang, 28 ekspresi marah, 34 ekspresi jijik, 23 ekspresi takut, 46 ekspresi sedih, 26 ekspresi terkejut dan 89 ekspresi netral. Dalam  penelitian  ini  juga  dilakukan  pengujian  menggunakan  model  yang  telah dilatih  dengan  data  augmentation  dan  memiliki  100  epoch,  untuk  melakukan pengenalan  ekspresi  wajah  secara  langsung atau realtime.  Dari  40  ekspresi  yang diperagakan  oleh  20  partisipan,  model  berhasil  mendeteksi  dengan  benar  34 ekspresi  wajah,  namun  terdapat  6  ekspresi  yang  tidak  terdeteksi  dengan  benar. Meskipun model ini mampu mengenali ekspresi wajah dengan baik, namun masih terdapat  kekurangan  dalam  kemampuannya  untuk  mengenali  ekspresi  yang kurang mencolok dan juga kurang stabil dalam mendeteksi ekspresi wajah. Hal ini dikarenakan  dataset  FER2013  yang  digunakan  dalam  pelatihan  model  memiliki beberapa citra dengan tingkat kejelasan yang rendah atau mengandung noise, yang dapat mempengaruhi kemampuan model dalam mengenali dan mengklasifikasikan ekspresi  wajah.  Sehingga,  perlu  dilakukan  pengembangan  lebih  lanjut  untuk meningkatkan kemampuan model dalam mengenali ekspresi yang lebih halus dan kompleks secara konsisten.
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 8, Nomor 2, Agustus 2023, pp 772-792 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
Tabel 9. hasil Pengujian Secara Realtime No  Aspek yang dinilai Penilaian Ekspresi yang diperagakan Terdeteksi Tidak Terdeteksi 1 Pengujian ke-1 Terkejut  Marah  2 Pengujian ke-2 Marah  Senang  3 Pengujian ke-3 Senang  Jijik  4 Pengujian ke-4 Senang  Terkejut  5 Pengujian ke-5 Terkejut  Senang  6 Pengujian ke-6 Marah  Netral  7 Pengujian ke-7 Senang  Terkejut  8 Pengujian ke-8 Senang  Terkejut  9 Pengujian ke-9 Senang  Marah  10 Pengujian ke-10 Senang  Jijik  11 Pengujian ke-11 Senang  Sedih  12 Pengujian ke-12 Senang  Marah  13 Pengujian ke-13 Senang  Terkejut  14 Pengujian ke-14 Senang  Takut  15 Pengujian ke-15 Marah  Senang  16 Pengujian ke-16 Senang  Marah  17 Pengujian ke-17 Senang  Takut  18 Pengujian ke-18 Senang  Terkejut  19 Pengujian ke-19 Senang  Marah  20 Pengujian ke-20 Sedih  Takut 

## 4.  SIMPULAN
Hasil  penelitian  ini  menyimpulkan  bahwa  algoritma Convolutional  Neural Network (CNN) dapat berhasil diimplementasikan untuk mengenali ekspresi wajah manusia dengan baik. Model CNN yang melibatkan tiga lapisan konvolusi mampu mengklasifikasikan  ekspresi  wajah  dari  citra  dataset,  termasuk  dalam  pengujian citra  wajah  dari  dataset  buatan  sendiri  dan  pengujian  secara  realtime.  Namun,
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 8, Nomor 2, Agustus 2023, pp 772-792 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
hasil  akurasi  masih  memerlukan  pengembangan  lebih  lanjut  agar  dapat memberikan  hasil  yang  lebih  baik  dalam  pengenalan  ekspresi  wajah.  Pengujian menggunakan  citra  ekspresi  wajah  dari  dataset  buatan  sendiri  mencapai  akurasi tertinggi  sebesar  67%  setelah  pelatihan  hingga  epoch  ke-100  dengan  metode optimasi  ADAM,  batch  size  32,  dan  augmentasi  data  pada  data  latih.  Pengujian secara realtime juga berhasil mengenali sebagian besar ekspresi dengan benar dari partisipan  yang  memperagakan  40  ekspresi.  Saran  untuk  penelitian  mendatang meliputi  perbaikan  pada  dataset  FER2013  untuk  distribusi  yang  seimbang  dan kualitas citra yang baik, serta tuning parameter seperti filter, layer konvolusi, dan jumlah epoch untuk meningkatkan akurasi dan mencegah overfitting.

## DAFTAR PUSTAKA
[1] Alexander, L. W., Sentinuwo, S. R., & Sambul, A. M. (2017). Implementasi Algoritma Pengenalan WajahUntuk Mendeteksi Visual Hacking. E-Journal Teknik Informatika, 2301-8364.
[2] American  Psychiatric  Association.  (2013).  Diagnostic  and  Statistical  Manual  of Mental Disorders. USA.
[3] Amynarto, N., Sari, Y. A., & Wihandika, R. C. (2018). Pengenalan Emosi Berdasarkan Ekspresi  Mikro  Menggunakan  Metode  Local  Binary  Pattern.  Jurnal  Pengembangan Teknologi Informasi dan Ilmu Komput, 3230--3238.
[4] Azizi, F. N. (2021). Deteksi Emosi Menggunakan Citra. Tugas Akhir. Universitas Islam Indonesia.
[5] Ellen,  L.  (2020).  Sistem  Pendeteksi  Engagement  Siswa  Dalam  Lingkungan  E- Learning  Dengan  Teknologi  Opencv  Berbasis  Cnn.  Jurnal  Teknik  Universitas Indonesia.
[6] Farokhah,  L.  (2020).  mplementasi Convolutional  Neural  Network untuk KlasifikasiVariasi  Intensitas  Emosi  pada  Dynamic  Image  Sequence.  JURNAL RESTI(Rekayas a Sistem dan T eknol ogi Informasi ), 1070 –1076.
[7] Fujiwara,  T.,  Mizuki,  R.,  Miki,  T.,  &  Chemtob,  C.  (2015).  Association  between  facial expression  and  PTSD  symptoms  among  young  children  exposed  to  the  Great  East Japan Earthquake: A pilot study. Frontiers in Psychology.
[8] Goodfellow,  I.,  Bengio,  Y.,  &  Courville,  A.  (2016).  Deep  Learning  (Adaptive Computation and Machine Learning Series). London: The MIT Press.
[9] Kusdiananggalih,  P.  P.,  Rachmawati,  E.,  &  Risnandar.  (2021).  Pengenalan  Ekspresi Wajah  Dari  Cross  Dataset  Menggunakan  Convolutional  Neural.  e-Proceeding  of Engineering, 3429.
[10] Kusumawati, T. I. (2016). Komunikasi Verbal Dan Nonverbal. Jurnal Pendidikan dan Konseling, 83-98.
[11] Lu, J., & Wan, X. (2022). Affective computing model for natural interaction based on large-scale self-built dataset. SN Applied Sciences.
[12] Mahmud,  K.  H.,  Adiwijaya,  &  Al  Faraby,  S.  (2019).  Klasifikasi  Citra  Multi-Kelas Menggunakan Convolutional Neural Network . e-Proceeding of Engineering, 2127.
[13] Matsumoto,  D.,  &  Juang,  L.  (2008).  Culture  and  Psychology.  USA:  Thomson Wadsworth.
[14] Mehendale,  N.  (2020).  Facial  emotion  recognition  using Convolutional  Neural Network s. USA: Springer Nature Switzerland AG.
[15] Mellouk, W., & Handouzi, W. (2020). Facial emotion recognition using deep learning: review and insights. Procedia Computer Science 175, 689–694.
Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK) Volume 8, Nomor 2, Agustus 2023, pp 772-792 Terakreditasi Nomor 204/E/KPT/2022 | ISSN: 2527-5771/EISSN: 2549-7839 https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
[16] Nugroho,  P.  A.,  Fenriana,  I.,  &  Arijanto,  R.  (2020).  Implementasi  Deep  Learning Menggunakan Convolutional Neural. JURNAL ALGOR, 12-21.
[17] Oliver, M. M., & Alcove, E. A. (2020). UIBVFED: Virtual facial expression dataset. Plos One, 1-10.
[18] Planalp,  S.  (2015).  How  Important  Is  Emotion  in  Everyday  Interaction? Communicating. 9–38.
[19] Prawitasari, J. E. (1998). Apakah Gerak Tangan dan Tubuh Selaras Dengan Ungkapan Emosi Yang Terlihat Di Wajah? Jurnal Psikologi, 10-21.
[20] Risawandi,  Olivia,  K.,  &  Afrillia,  Y.  (2022).  Sistem  Pendeteksian  Dan  Pengenalan. Jurnal Teknologi Terapan & Sains.
[21] Rosebrock,  A.  (2017).  Deep  Learning  for  Computer  Vision  with.  USA: PYIMAGESEARCH.
[22] Rusilawati,  F.,  Kinasih,  H.  W.,  &  Gasim.  (2017).  Perbandingan  Tingkat  Akurasi Bentuk  Frame  Menggunakan  Template  Matching  Pada  Pengenalan  Wajah.  Jurnal Informatika Global, Volume 8 No.2.
[23] Sang,  D.  V.,  Dat,  N.  V.,  &  Thuan,  D.  P.  (2017).  Facial  Expression  Recognition  Using Deep. nternational Conference on Knowledge and Systems Engineering (KSE).
[24] Seandrio,  A.  L.,  Pratomo,  A.  H.,  &  Florestiyanto,  M.  Y.  (2021).  Implementasi Convolutional  Neural  Network (CNN)  Pada  Pengenalan  Ekspresi  Wajah.  Jurnal Informatika dan Teknologi Informasi, 211-221.
[25] Yildirim,  S.,  Chimeumanu,  M.  S.,  &  Rana,  Z.  A.  (2023).  The  influence  of  micro- expressions on deception detection. Multimedia Tools and Applications.
[26] Yusuf,  A.,  Wihandika,  R.  C.,  &  Dewi,  C.  (2019).  Klasifikasi  Emosi  Berdasarkan  Ciri Wajah Menggunakan Convolutional. Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, 10595-10604.