## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i4.6619

## Performa Metode Convolutional Neural Network Pada Face Landmark Untuk Virtual Make Up Try On
Dameethia Angeline, Erico Jochsen, Dyah Erny Herwindiati * , Janson Hendryli
Fakultas Teknologi Informasi, Program Studi Teknik Informatika, Universitas Tarumanagara, Jakarta, Indonesia Email: 1 dameethia.535200001@stu.untar.ac.id, 2 erico.535200005@stu.untar.ac.id, 3,* dyahh@fti.untar.ac.id,
4 jansonh@fti.untar.ac.id Email Penulis Korespondensi: dyahh@fti.untar.ac.id
Abstrak− Make up atau tata rias wajah, merupakan kegiatan untuk mengubah penampilan dari bentuk asli sebenarnya dengan bantuan bahan dan alat make up. Alat make up merupakan suatu alat kecantikan yang biasa dipakai oleh sebagian besar wanita untuk mempercantik tampilan wajahnya dengan banyak pilihan shade. Shade pada alat make up merupakan warna yang biasa dipakai pada make up. Contoh alat make up yang paling sering dipakai antara lain eyeshadow, blush on, dan lipstick. Alat-alat make up ini dijual secara meluas secara daring maupun luring di toko fisik. Namun biasanya dibutuhkan juga tester agar mereka yang mau membeli dapat mencoba shade yang cocok bagi mereka. Saat membeli secara daring, seringkali mereka merasa sulit untuk memilih shade yang tepat, sementara tester di toko fisik terkadang dianggap kurang higienis karena sudah digunakan oleh  banyak  orang.  Tujuan  penulisan  ini  adalah  mengukur  performa  metode  Convolutional  Neural  Network  (CNN) menggunakan arsitektur ResNet-50 pada landmark wajah untuk pembuatan virtual make up try on yang dapat menjadi salah satu alternatif permasalahan tersebut. Sumber data  citra wajah  yang dipakai adalah berasal  dari situs  Kaggle  yang bernama Facial Keypoints Detection. Proses pengujian menghasilkan akurasi 78,99% sedangkan proses pelatihan menghasilkan akurasi 95.12%. Hasil evaluasi model ini menggunakan Root Mean Squared Error (RMSE) sebesar 2.2577 dan Mean Absolute Error (MAE) sebesar 1.5389.
Kata Kunci: Make Up; CNN; Face Landmark Detection; ResNet-50; Virtual Make Up Try On
Abstract −Make up or facial makeup, is an activity to change the appearance from its original form with the help of make up materials and tools. Make-up tools are beauty tools that are commonly used by most women to beautify the appearance of their faces with many shade choices. The shade on the make-up tool is the color usually used in make-up. Examples of make-up tools that are most often used include eyeshadow, blush on, and lipstick. These make-up tools are sold widely online and offline in physical stores. However, usually a tester is also needed so that those who want to buy can try the shade that suits them. When  buying  online,  they  often  find  it  difficult  to  choose  the  right  shade,  while  testers  in  physical  stores  are  sometimes considered less hygienic because they have been used by many people. The aim of this paper is to measure the performance of the Convolutional Neural Network (CNN) method using the ResNet-50 architecture on facial landmarks for creating virtual make up try ons which can be an alternative to this problem. The facial image data source used is from the Kaggle site called Facial  Keypoints  Detection.  The  testing  process  produces  78.99%  accuracy  while  the  training  process  produces  95.12% accuracy. The  evaluation results of this model  use Root Mean Squared  Error (RMSE)  of 2.2577 and Mean  Absolute  Error (MAE) of 1.5389.
Keywords : Make Up; CNN; Face Landmark Detection; ResNet-50; Virtual Make Up Try On

## 1. PENDAHULUAN
Era  digitalisasi  merupakan  suatu  zaman  yang  secara  mendalam  mengalami  perubahan  besar  pada  kehidupan sebagian  besar  masyarakat  ke  arah  yang  lebih  maju  dan  serba  digital  [1].  Dengan  teknologi  serba  digital  yang semakin  canggih,  semua  informasi  dan  komunikasi  menjadi  lebih  mudah  diakses  dan  lebih  cepat  didapat. Perubahan  ini  juga  memunculkan  konsep  baru  seperti  Internet  of  Things  (IoT)  yang  menghubungkan  internet dengan kegiatan sehari-hari, dan juga kecerdasan buatan (Artificial Intelligence) yang memberikan kemampuan mirip seperti kecerdasan manusia.
Masyarakat pada saat  ini  sebagian  besar  menggunakan  internet sebagai  jaringan komunikasi  yang  dapat menghubungkan seluruh dunia secara waktu nyata. Maka tak heran, hampir semua kalangan manusia, mulai dari anak-anak,  remaja,  hingga  lansia,  akrab  menggunakan  internet  untuk  sehari-hari  [2].  Internet  membuat  semua masyarakat  dapat  mengakses  informasi  dengan  cepat,  yang  biasanya  paling  banyak  ditampilkan  dalam  bentuk website. Website merupakan kumpulan halaman web yang saling terhubung dan dapat diakses dari seluruh dunia selama mempunyai koneksi internet [3]. Biasanya dalam suatu website mempunyai beberapa komponen, seperti gambar, teks, dan lainnya yang membuat website menarik untuk dikunjungi oleh masyarakat.
Pada era sekarang, sebagian besar masyarakat banyak yang ingin memaksimalkan penampilannya, terutama kaum  wanita.  Sebagian  besar  kaum  wanita  mencari  informasi  bagaimana  cara  membuat  penampilannya  lebih menarik di internet, salah satunya adalah penggunaan make up. Make up atau yang biasa disebut juga dengan tata rias wajah, merupakan kegiatan untuk mengubah penampilan dari bentuk asli sebenarnya dengan bantuan bahan dan alat make up [4]. Alat make up merupakan suatu alat kecantikan yang biasa dipakai oleh sebagian besar wanita untuk mempercantik tampilan wajahnya. Setiap peralatan make up ini memiliki fungsi dan kegunaannya masing- masing, sehingga tidak heran jika setiap wanita memiliki beragam alat make up sekaligus [5]. Contoh alat make up yang paling sering dipakai adalah eyeshadow, blush on, dan lipstick. Biasanya alat make up dapat dibeli secara luring  di toko fisik  maupun daring dengan  berbagai  macam  shade.  Shade pada alat  make up  merupakan warna yang biasa dipakai pada make up. Namun biasanya dibutuhkan juga tester agar mereka yang mau membeli dapat

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i4.6619
mencoba shade yang cocok bagi mereka. Tidak jarang mereka merasa kesulitan saat menebak shade yang cocok saat beli  secara daring, dan  juga  merasa  tester  yang disediakan secara  luring di toko fisik tidak  higienis karena sudah dipakai oleh puluhan atau bahkan ratusan wanita. Virtual make up try on dapat menjadi salah satu alternatif yang  dapat  menyelesaikan  masalah  tersebut.  Face  landmark  detection  merupakan  proses  mengidentifikasi  dan melokalisasi  titik-titik  yang  menonjol  pada  wajah  manusia.  Titik-titik  ini  disebut  sebagai  ‘landmark’  atau ‘keypoints’ yang mencakup bagian-bagian utama pada wajah, seperti mata, hidung, mulut, alis, dan lainnya.
Sumber data citra wajah yang dipakai berasal dari internet yang diambil dari  situs Kaggle yang bernama Facial Landmark Detection berisi 7049 data yang sudah dianotasi dengan 15 keypoints pada wajah. Data ini berisi nilai x dan y pada setiap keypoints.
Penelitian  sebelumnya  yang  berhubungan  dengan  pengerapan  serta  penggunaan  metode  Convolutional Neural Network (CNN) dengan arsitektur ResNet-50 ataupun berhubungan dengan face landmark ini sudah pernah beberapa  kali  dilakukan.  Penelitian  yang  dilakukan  oleh  ArtSena  Pahlevi  Ristiawanto,  Budhi  Irawan,  dan  Casi Setianingsih di tahun 2021, menghasilkan suatu penemuan bahwa untuk mendeteksi ekspresi wajah, penelitian ini menggunakan  augmentasi  dan  ResNet-50  modifikasi  terlihat  jauh  lebih  baik  dengan  akurasi  pelatihan  sebesar 64.28%, tes sebesar 60.71%, validasi sebesar 60.49% [6]. Selain itu terdapat penelitian oleh Budi Hartanto dan Teguh  Susyanto  di  tahun  2023,  menghasilkan  suatu  penemuan  bahwa  mendeteksi  objek  pada  gambar menggunakan metode CNN dengan arsitektur ResNet-50 dapat mendapatkan akurasi sebesar 97% [7]. Terdapat juga penelitian oleh Van-Thanh Hoang, De-Shuang Huang, dan Kang-Hyun Jo di tahun 2021, menghasilkan suatu penemuan  bahwa  untuk  membuat  Face  Landmark  Detector  menggunakan  dataset  AFLW2000-3D  dengan arsitektur ResNet-50 menghasilkan landmark pada wajah yang terdeteksi dari beberapa gambar [8].
Kemudian  penelitian  selanjutnya  oleh  Muhammad  Amin  Nurdin,  Randy  Cahya  Wihandika,  dan  Fitri Utaminingrum di tahun 2020, menghasilkan suatu penemuan bahwa untuk mendeteksi gerakan mata menggunakan metode CNN berdasarkan facial landmark yang diuji terhadap video yang diambil 50 frame secara acak sebanyak tiga kali  menghasilkan rata-rata akurasi sebesar 0,95 [9]. Penelitian  yang terakhir oleh  I Putu  Agus Eka Darma Udayana  dan  I  Kadek  Dwi  Gandika  Supartha  di  tahun  2021,  menghasilkan  suatu  penemuan  bahwa  untuk mendeteksi face landmark dengan menggunakan metode Mean Denoising dan CNN dapat memiliki nilai akurasi yang  lebih  baik  karena  ada  tahap  menghilangkan  noise  terlebih  dahulu,  sehingga  didapatkan  rata-rata  akurasi pengujian sebesar 81,33% [10].
Penelitian-penelitian  sebelumnya  memiliki  perbedaan  dengan  penelitian  ini  yaitu  dari  penggunaan arsitektur pada CNN yang biasanya tidak menggunakan model ResNet-50 untuk pelatihannya dan juga beberapa penelitian yang sudah menggunakan ResNet-50 sebagai arsitekturnya namun bukan digunakan untuk mendeteksi face  landmark.  Selain  itu, tahapan  dalam  pelatihannya  juga  berbeda  dengan  penelitian  ini  karena  penelitian  ini menggunakan teknik augmentasi gambar terlebih dahulu pada pre-processingnya. Lalu tujuan dari setiap penelitian sebelumnya berbeda dengan tujuan dibuatnya penelitian ini.
Tujuan  penelitian  ini  adalah  mengukur  performa  metode  CNN  menggunakan  arsitektur  ResNet-50 pada landmark  wajah untuk pembuatan virtual  make up try on. Hasil  pendeteksian  keypoints  ini  nantinya  yang akan digunakan untuk penambahan warna atau shade sehingga membentuk seperti filter yang dapat dipakai pada sistem. Penelitian  ini  bertujuan  agar  dapat  dipakai  sebagai  modal  dasar  pembuatan  virtual  make  up  try  on  untuk memberikan  informasi  shade  yang  dapat  dicoba  secara  virtual  oleh  masyarakat  khususnya  wanita  jika  ingin memilih shade make up.

## 2. METODOLOGI PENELITIAN
Untuk  melakukan  penelitian,  penting  untuk  memiliki  pemahaman  yang  cukup  tentang  keseluruhan  aspek  yang terkait dengan penelitian yang akan dilakukan. Hal ini bertujuan untuk memastikan bahwa penelitian tersebut dapat berjalan dengan sesuai dengan tujuan yang ditetapkan. Oleh karena itu, berikut adalah beberapa poin yang perlu dipahami terkait dengan penelitian ini.

## 2.1 Tahapan Penelitian
Tahapan yang akan dilakukan pada penelitian ini akan ditunjukkan dalam bagan tahapan penelitian adalah sebagai berikut.
Gambar 1. Tahapan Penelitian
Adapun penjelasan pada setiap tahapan pada Gambar 1 adalah sebagai berikut: 1. Studi Literatur
Penulis  melakukan  riset  dan  pencarian  referensi,  serta  pengumpulan  informasi  yang  berkaitan  dengan penelitian  ini.  Penulis  melakukan  tahapan  ini  melalui  buku,  jurnal,  website,  dan  referensi  lainnya  yang terpercaya untuk penelitian ini.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i4.6619
2. Identifikasi Masalah
Penulis melakukan identifikasi terhadap masalah yang sudah ditemukan dan menganalis apa solusi yang bisa digunakan untuk  menyelesaikan  masalah  yang ada sesuai dengan hasil studi  literatur yang  sudah dilakukan sebelumnya.
3. Pengumpulan Data
Penulis  melakukan  pengumpulan  data  berupa  dataset  yang  berisi  data  gambar  wajah  yang  sudah  dianotasi dengan keypoints agar bisa digunakan pada penelitian ini.
4. Analisis Permasalahan & Solusi Menggunakan Metode CNN dengan Arsitektur ResNet-50 Penulis  menganalisis  permasalahan  dan  melakukan  solusi  terhadap  permasalahan  yang  ada  menggunakan model ResNet-50. Penulis  melakukan pelatihan dan pengujian  menggunakan dataset yang sudah ditemukan sebelumnya.
5. Hasil dan Pembahasan
Penulis  memperoleh  hasil  dari  penelitian  ini  berupa  tingkat  akurasi  pelatihan  dan  akurasi  pengujian,  serta model ini dievaluasi agar mendapatkan nilai error, sehingga dapat memberikan kesimpulan apakah model ini dapat menjadi solusi dari permasalahan yang ada.

## 2.2 Pengumpulan Data Penelitian
Dataset yang digunakan pada penelitian adalah berasal dari situs Kaggle bernama Facial Landmark Detection yang merupakan  salah  satu  dataset  kumpulan  wajah  manusia  yang  sudah  dianotasi  masing-masing  memiliki  15 keypoints. Setiap keypoints yang diprediksi dinyatakan oleh pasangan nilai riil (x, y) dalam ruang indeks piksel. Ukuran gambar pada dataset ini adalah 96 x 96 piksel. Dataset ini berisi 7049 data yang sudah dianotasi. Informasi pada dataset tersebut dapat dilihat pada Tabel 1.
Tabel 1. Informasi pada Dataset # Column Non-null Count Dtype 0 left_eye_center_x 7039 non-null float64 1 left_eye_center_y 7039 non-null float64 2 right_eye_center_x 7036 non-null float64 … 30 Image 7049 non-null object

## 2.3 Face Landmark Detection
Pengenalan  landmark wajah atau face landmark detection merupakan keluaran yang terstruktur bertujuan untuk memprediksi  bentuk geometri  yang diperoleh dari sebuah data berupa citra wajah.  Landmark wajah digunakan untuk  mendeteksi  titik-titik  pada  wajah  manusia  yang  berfungsi  sebagai  keypoints  pada  wajah.  Titik-titik  ini disebut  sebagai  ‘landmark’  atau  ‘keypoints’  yang  mencakup  bagian-bagian  utama  pada  wajah,  seperti  mata, hidung, mulut, alis, dan lainnya. Jumlah titik keypoints tergantung pada dataset yang digunakan [10]. Pada sistem ini, landmark yang akan dideteksi adalah  15 keypoints pada wajah agar bisa dapat diterapkan untuk pembuatan virtual make up try on. Berikut pada Gambar 2 merupakan letak 15 keypoints yang dapat dideteksi pada wajah manusia.

## Gambar 2. Letak 15 Keypoints yang Dapat Dideteksi

## 2.4 Metode Convolutional Neural Network
Convolutional Neural Network (CNN) merupakan salah satu jenis algoritma dari metode deep learning yang biasa digunakan untuk  memproses data citra untuk mendeteksi dan  mengenali objek pada sebuah citra. CNN sendiri terdiri dari neuron yang memiliki weight, bias, dan activation function [11]. Penerapan CNN pada penelitian ini terdiri dari 2 bagian besar, yaitu convolution layer dan pooling layer. Berikut merupakan tahapan pada penerapan metode CNN dalam memproses input citra yang akan ditunjukkan pada Gambar 3.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i4.6619
Gambar 3. Penerapan Metode CNN [10]

## 2.5 ResNet-50
ResNet atau Residual Network merupakan salah satu jenis jaringan saraf konvolusional (CNN) yang diperkenalkan pada makalah tahun 2015 “Pembelajaran Residual Mendalam untuk Pengenalan Gambar” oleh He Kaiming, Zhang Xiangyu, Ren Shaoqing, dan Sun Jian [12]. ResNet yang asli memiliki 34 lapisan dan menggunakan blok 2 lapis, sedangkan ResNet-50 menggunakan blok 3 lapis untuk peningkatan akurasi dan waktu pelatihan yang lebih singkat [13].  ResNet-50  merupakan  jaringan  saraf  konvolusional  50  lapisan  (48  lapisan  konvolusional,  satu  lapisan MaxPool, dan satu lapisan kumpulan rata-rata). Jaringan saraf sisa adalah jenis jaringan saraf tiruan (JST) yang membentuk jaringan dengan menumpuk blok sisa.  Berikut merupakan bentuk arsitektur ResNet-50 pada Gambar 4.
Gambar 4. Bentuk Arsitektur ResNet-50

## 2.6 Proses Pengerjaan
Beberapa poin yang telah dijelaskan di atas akan dimanfaatkan dan digunakan dalam proses pelatihan dan proses pengujian.  Tahapan  yang  dilakukan  adalah  mulai  dari  menyiapkan  dataset  yang  akan  digunakan,  melakukan pelatihan  menggunakan  CNN  dengan  arsitektur  ResNet-50  untuk  melatih  keypoints  yang  sudah  dianotasi  pada setiap  wajah,  sehingga  bisa  melakukan  pendeteksian  letak  bagian-bagian  pada  wajah.  Untuk  mempermudah pemahaman mengenai proses pengerjaan, berikut merupakan bagan dari proses yang akan dilakukan dapat dilihat pada Gambar 5 di bawah.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i4.6619

## 2.7 Proses Latih dan Proses Pendeteksian Landmark Wajah
Dalam proses penelitian ini bertujuan untuk melakukan pendeteksian landmark pada wajah, sehingga dataset yang sudah  ada  dilakukan  pembagian  menjadi  dua  bagian  utama,  yaitu  data  latih  dan  data  uji.  Skenario  yang  akan digunakan pada pelatihan  ini adalah dengan  membagi dataset menjadi 85% data latih dan  15% data uji. Proses pelatihan  dilakukan  dengan  menggunakan  metode  CNN  dengan  arsitektur  ResNet-50.  Kemudian  dilanjutkan dengan  proses  pengujian  yang  menggunakan  data  uji  untuk  mengukur  ketepatan  dalam  mendeteksi  landmark wajah dan akurasi dari suatu model yang dilatih.

## 2.8 Evaluasi Model
Evaluasi  model  dilakukan  terhadap  model  yang  sudah  dilatih  agar  dapat  mengukur  sejauh  mana  model  dapat memprediksi data dengan akurasi tertentu. Pada penelitian ini akan dilakukan evaluasi menggunakan Root Mean Square Error (RMSE) dan Mean Absolute Error (MAE). Alasan menggunakan RMSE dan MAE untuk evaluasi model adalah karena model ini adalah regresi, yaitu memprediksi nilai titik tertentu dan bukan tentang klasifikasi. Penjelasan lebih lanjut mengenai RMSE dan MAE akan dijelaskan sebagai berikut.

## 2.8.1 Root Mean Square Error (RMSE)
Root Mean Square Error atau yang bisa disingkat dengan RMSE adalah suatu metode pengukuran untuk mengukur perbedaan nilai dari prediksi sebuah model sebagai estimasi atas nilai yang diobservasi. RMSE merupakan hasil dari akar kuadrat Mean Square Error (MSE). Keakuratan metode estimasi kesalahan pengukuran ditandai dengan adanya nilai RMSE yang kecil. Rumus RMSE adalah sebagai berikut. [14]
𝑅𝑀𝑆𝐸 =   √ ∑ (𝐴 𝑡 −𝐹 𝑡 ) 2 𝑛 𝑡=1 𝑛 (1)
Keterangan: 𝐴 𝑡 = Nilai data aktual 𝐹 𝑡 = Nilai hasil peramalan 𝑛 = banyaknya data S = Summation (Jumlahkan keseluruhan nilai)

## 2.8.2 Mean Absolute Error (MAE)
Mean  Absolute Error atau yang bisa disingkat dengan  MAE adalah  suatu  metode pengukuran  untuk  mengukur rata-rata  selisih  mutlak  nilai  sebenarnya  (aktual)  dengan  nilai  prediksi  (peramalan).  MAE  digunakan  untuk mengukur keakuratan suatu model statistik dalam melakukan prediksi atau peramalan. Adapun rumus MAE adalah sebagai berikut. [15]
𝑀𝐴𝐸 = 1 𝑛 ∑ |𝐴 𝑖 − 𝐹 𝑖 | 𝑛 𝑖=1 (2)
Keterangan: 𝑛 = ukuran sampel 𝐴 𝑖 = nilai data aktual ke- 𝑖 𝐹 𝑖 = nilai data peramalan ke- 𝑖

## 3. HASIL DAN PEMBAHASAN
Pembahasan  pada  penelitian  ini  terdapat  pembahasan  tentang  hasil  pengumpulan  dataset,  pengolahan  dataset (preprocessing), hasil–hasil preprocessing, pelatihan dataset, pengujian dataset, model, dan yang terakhir adalah evaluasi  model terhadap data. Pelatihan digunakan untuk melatih model dengan menggunakan data yang sudah diolah  atau  sudah  dilakukan  preprocessing,  kemudian  akan  menghasilkan  suatu  akurasi  yang  dapat  digunakan untuk mendeteksi landmark wajah. Secara lebih detail penjelasan dan cara-cara yang dilakukan untuk mengolah dataset, membuat model, melatih dan menguji model serta melakukan evaluasi pada model akan dijelaskan sebagai berikut.

## 3.1 Hasil Pengumpulan Data
Dataset yang akan digunakan untuk penelitian ini merupakan data Facial Keypoints Detection, dataset ini dapat diunduh  pada  situs  Kaggle  (https://www.kaggle.com/c/facial-keypoints-detection).  Dataset  ini  memiliki  format .csv yang di dalamnya berisikan gambar wajah dengan 15  keypoints beserta letak koordinatnya di setiap wajah yang mewakili elemen-elemen wajah berikut ini:
a. left eye center (mata kiri tengah) b. right eye center (mata kanan tengah)
c. left eye inner corner (mata kiri dalam sudut)
d. left eye outer corner (mata kiri luar sudut)

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i4.6619
e. right eye inner corner (mata kanan dalam sudut)
f. right eye outer corner (mata kanan luar sudut)
g. left eyebrow inner end (alis kiri dalam akhir)
h. left eyebrow outer end (alis kiri luar akhir)
i. right eyebrow inner end (alis kanan dalam akhir)
j. right eyebrow outer end (alis kanan luar akhir)
k. nose tip (hidung tip)
l. mouth left corner (sudut mulut kiri)
m. mouth right corner (sudut mulut kanan)
n. mouth center top lip (mulut tengah atas bibir)
o. mouth center bottom lip (mulut tengah bawah bibir)
Kemudian, koordinat 15 keypoints pada dataset ini masing-masing  ditampilkan pada sebuah matriks 15 x 15  yang  dapat  dilihat  pada Gambar  6 .  Koordinat  ini  akan  digunakan  sebagai  label  data  agar  model  dapat mempelajari keypoint dengan lebih baik.

## Gambar 6. Koordinat 15 Keypoints
Gambar-gambar input pada dataset ini berada pada urutan paling terakhir yang terdapat di file berisi daftar piksel dalam jarak angka bulat antara 0 – 255. Setiap gambar wajah pada data tersebut memiliki ukuran sebesar 96 x 96 piksel. Contoh gambar wajah pada dataset yang belum memiliki keypoints di atasnya dapat dilihat pada Gambar 7 .

## Gambar 7. Contoh Dataset

## 3.2 Hasil Pre-Processing Data
Setelah menyiapkan dataset yang diinginkan, langkah selanjutnya yang perlu dilakukan adalah melakukan proses pre-processing data Facial Keypoints Detection yang didapatkan dari situs Kaggle untuk dipakai ke dalam proses pelatihan dan pengujian, yaitu dengan cara melakukan teknik augmentasi gambar. Augmentasi gambar merupakan suatu  teknik  untuk  meningkatkan  jumlah  data  dengan  cara  melakukan  modifikasi  pada  data-data  yang  sudah dikumpulkan.  Augmentasi  gambar  dilakukan  untuk  mengumpulkan  lebih  banyak  data  dan  dapat  mengurangi potensi terjadinya overfitting [16]. Di penelitian ini, teknik augmentasi gambar yang digunakan adalah  rotation, shift, brightness, dan noise. Penjelasan mengenai teknik augmentasi gambar yang digunakan dapat dilihat sebagai berikut:
a. Rotation
Rotation  atau rotasi  merupakan suatu teknik augmentasi gambar  yang dilakukan  dengan cara diputar secara acak searah jarum jam atau berlawanan arah jarum jam sebanyak beberapa derajat yang kemudian disimpan untuk menjadi data baru [17]. Pada penelitian ini dilakukan rotation sebesar 15 derajat dan -15 derajat Pada

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i4.6619
proses  rotation  atau  rotasi  ini  dapat  menghasilkan  sebanyak  4280  data  baru  yang  mengalami  augmentasi rotation. Berikut pada Gambar 8 dapat dilihat hasil dari augmentasi rotation pada data.
Gambar 8. Contoh Hasil Augmentasi Rotation
b. Shift
Kemudian,  teknik  augmentasi  gambar  selanjutnya  adalah  shift,  dimana  shift  ini  merupakan  suatu  teknik augmentasi gambar yang dilakukan dengan cara menggeser gambar ke arah kanan maupun arah kiri [18]. Pada penelitian ini, gambar-gambar yang dimiliki dilakukan pergeseran atau shift ini dengan total 4 pergeseran arah, yaitu pergeseran ke arah kiri dan atas, pergeseran ke arah kiri dan bawah, pergeseran ke arah kanan dan atas, dan pergeseran ke arah kanan dan bawah. Pada proses shift ini, gambar-gambar yang sudah digeser sebanyak 4  pergeseran  disimpan  dan  menghasilkan  sebanyak  3946  data  baru.  Berikut  pada Gambar  9 dapat  dilihat contoh hasil dari augmentasi shift yang dilakukan pada data.
Gambar 9. Contoh Hasil Augmentasi Shift
c. Brightness
Kemudian, setelah teknik rotasi dan pergeseran, teknik yang tidak kalah penting pada augmentasi data adalah teknik  brightness,  dimana teknik  brightness  ini  merupakan suatu teknik augmentasi gambar  yang dilakukan dengan cara  mengubah gambar menjadi lebih terang atau lebih gelap. Kecerahan dan kegelapan bergantung pada satu nilai batas yaitu 1.0. Jika nilainya di bawah 1.0 maka gambar akan menjadi lebih gelap, sedangkan di atas 1.0 maka gambar akan menjadi lebih terang [19]. Pada penelitian ini dilakukan penambahan brightness sebesar 1.2 dan pengurangan  brightness sebesar 0.6. Pada proses augmentasi  brightness  ini, gambar-gambar yang sudah dilakukan proses penerangan dan penggelapan ini juga akan disimpan yang jumlahnya sebanyak 4280 data baru, teknik ini menghasilkan brightness berbeda dari data aslinya sehingga nantinya akan berguna bagi mesin untuk mengetahui beberapa kondisi terang dan gelap. Berikut pada Gambar 10 dapat dilihat hasil dari augmentasi brightness pada data.
Gambar 10. Contoh Hasil Augmentasi Brightness d. Noise
Lalu, terakhir teknik augmentasi yang ada adalah teknik augmentasi noise, dimana noise ini merupakan suatu teknik augmentasi gambar yang dilakukan dengan cara menambahkan sejumlah noise dari setiap piksel bagian yang terdapat pada gambar [20]. Pada penelitian ini dilakukan penambahan noise sebesar 0.008. Pada proses ini,  gambar-gambar  yang  memiliki  noise  akan  disimpan,  dan  total  gambar  yang  dihasilkan  pada  teknik augmentasi noise ini adalah sebanyak 2140 data baru. Hasil dari teknik augmentasi noise pada gambar-gambar ini dapat dilihat pada Gambar 11 .

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i4.6619
Dari penggunaan teknik augmentasi yang sudah disebutkan diatas dan sudah dilakukan pada dataset yang dimiliki, teknik tersebut menghasilkan data berupa gambar-gambar baru sebanyak total 21.695 data, yang nantinya dapat  dipakai  untuk  proses  pelatihan  dan  pengujian  model.  Dengan  meningkatnya  jumlah  data  dengan  variasi gambar  yang  lebih  banyak,  model diharapkan dapat  belajar  lebih  banyak pola dan  mempelajari  keypoints  yang ada  dengan  lebih  baik  sehingga  nantinya  pada  saat  training  dapat  meningkatkan  kemampuan  model  untuk melakukan prediksi landmark wajah.

## 3.3 Hasil Pelatihan dan Pengujian Model CNN Menggunakan Arsitektur ResNet-50
Kemudian,  setelah  pengumpulan  dan  melakukan  teknik  augmentasi  pada  data,  tahap  selanjutnya  yang  akan dilakukan  adalah  menggunakan  data  yang  telah  dikumpulkan  untuk  melatih  model  menggunakan  metode Convolutional Neural Network dengan arsitektur model ResNet-50. Lapisan-lapisan pada model ResNet-50 yang akan digunakan dapat dilihat pada Gambar 12 yang nantinya model ini akan dilatih untuk mengenali pola pada data gambar yang dimiliki.
Gambar 12. Lapisan Model
Seperti pembahasan sebelumnya, proses preprocessing menghasilkan dengan total 21.695 data. Agar model ini dapat dilatih dan diuji dengan baik, maka data ini perlu dibagi menjadi dua bagian yaitu data latih dan data uji. Pembagian ini penting dan perlu dilakukan untuk menghindari overfitting, yaitu kejadian ketika model terlalu hafal dengan data latih dan tidak dapat dilakukan pelatihan kembali kepada data yang belum pernah dilatih sebelumnya. Pada  penelitian  ini  dilakukan  pembagian  85%  untuk  data  latih  dan  15%  untuk  data  uji,  atau  dengan  kata  lain sebesar 18.441 data latih dan 3.254 data uji. Data latih ini berguna untuk melatih model, sehingga model dapat belajar  pola  dari  data  tersebut.  Sedangkan  data  uji  akan  digunakan  untuk  menguji  sejauh  mana  model  dapat melakukan prediksi dengan akurat pada data yang belum pernah dilihat sebelumnya.  Ilustrasi pada Gambar 13 merupakan diagram pembagian data latih dan data uji yang yang akan digunakan dalam penelitian ini.
Gambar 13. Perbandingan Data Latih dan Data Uji
Keterangan: Bagian Berwarna Biru = Data Latih (18.441 data) Bagian Berwarna Oranye = Data Uji (3.254 data)
Kemudian, tahapan selanjutnya pada penelitian ini yaitu data yang telah dibagi sebelumnya menjadi data latih (berwarna biru) sebanyak 18.441 data data uji (berwarna oranye) sebanyak 3.254 data akan digunakan untuk proses latih menggunakan arsitektur ResNet-50. Pada Gambar 14 dapat dilihat bahwa proses ini akan dilakukan sebanyak 50 epochs, yang berarti model akan dilatih dari data latih sebanyak 50 kali. Selama proses latih ini data juga  akan  dibagi  menjadi  batch  dengan  ukuran  64,  yang  berarti  model  akan  memproses  64  sampel  data  setiap pelatihannya. Hal ini memungkinkan pelatihan dapat lebih efisien dan mempercepat proses belajar model. Dengan

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i4.6619
kombinasi jumlah epoch yang cukup dan batch size yang sesuai, maka model diharapkan dapat mencapai tingkat akurasi yang baik dalam pengenalan landmark wajah.
Gambar 14. Hasil Pelatihan ResNet-50
Gambar 15. Grafik Akurasi Pelatihan dan Pengujian
Proses  pelatihan  model  dilakukan  secara  berkali-kali  menggunakan  arsitektur  ResNet-50  dengan pengaturan  epochs  sebesar 50 dan  batch size sebesar 64. Dari proses ini, dapat dilihat  grafik pada Gambar 15 model berhasil mendapatkan akurasi pelatihan sebesar 95.12%, yang artinya model dapat melakukan identifikasi pola yang terdapat pada data latih. Kemudian, pada saat model ini dilakukan pengujian dengan menggunakan daya uji, model ini dapat menghasilkan akurasi sebesar 78.99%. Walaupun hasil yang didapatkan tidak sebaik akurasi pelatihan,  namun  hasil  pengujian  ini  sudah  cukup  untuk  menunjukkan  bahwa  model  ini  mampu  melakukan identifikasi data yang belum pernah dilatih sebelumnya. Hal ini juga dapat menunjukkan bahwa identifikasi yang dilakukan  terhadap  gambar  gambar  baru  dapat  dilakukan  dengan  baik  oleh  model  yang  dilatih  ini.  Hal  ini merupakan indikasi yang positif, karena model ini bekerja dengan tidak hanya melakukan penghafalan terhadap data latih tetapi juga dapat mendeteksi dengan cukup baik data yang berbeda.

## 3.4 Hasil Evaluasi Model
Setelah mendapatkan hasil akurasi pelatihan sebesar 95.12% dan akurasi pengujian sebesar 78.99%, maka tahap selanjutnya adalah untuk melakukan evaluasi pada model.
Gambar 16. Grafik RMSE
Pada grafik Gambar 16 dapat  dilihat ada beberapa cara untuk mengevaluasi  model,  yaitu dapat melihat dari nilai RMSE yang memberikan informasi sejauh mana kesalahan prediksi model dalam bentuk rata-rata dari seluruh  data  uji  sebesar  2.2577.  Semakin  rendah  nilai  RMSE,  dapat  diartikan  bahwa  nilai  kesalahan  pada  saat prediksi cenderung rendah [21]. Nilai 2.2577 relatif kecil yang didapatkan model ini menandakan semakin akurat saat model memprediksi nilai sebenarnya.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i4.6619
Gambar 17. Grafik MAE
Kemudian  pada  grafik  pada Gambar  17 terdapat  nilai  MAE  juga  dapat  memberikan  gambaran  tentang seberapa  besar kesalahan prediksi  model dalam  bentuk rata-rata mutlak. Pada  model  ini didapatkan nilai  MAE sebesar  1.5389,  yang  berarti  nilai  MAE  pada  model  ini  cukup  rendah.  Hal  ini  menunjukkan  bahwa  model  ini mempunyai kemampuan untuk meminimalisir kesalahan memiliki kinerja yang relatif baik pada saat melakukan prediksi.

## Gambar 18. RMSE vs MAE
Dari hasil pembahasan mengenai RMSE dan MAE sebelumnya, maka dapat disimpulkan bahwa model ini telah  mencapai tingkat kinerja  yang  memadai karena  hasilnya relatif rendah.  Hasil kedua  ini dapat dilihat pada grafik Gambar 18 . Hasil yang rendah ini merupakan indikator penting saat mengevaluasi model untuk melakukan pendeteksian  landmark wajah. Hal  ini  menunjukkan  bahwa  model  ini  memiliki kemampuan  yang cukup tinggi untuk melakukan pendeteksian lokasi titik-titik landmark wajah dengan akurat.  Untuk melakukan evaluasi lebih lanjut, penelitian ini melakukan visualisasi terhadap dataset yang tidak memiliki  keypoints menggunakan model yang sudah dilatih sebelumnya. Hal ini terdapat pada Gambar 19 untuk melihat contoh dataset yang terpasang 15 keypoints secara benar terpasang di bagian-bagian wajah.

## Gambar 19. Contoh Dataset yang Sudah Dipasang 15 Keypoints
Hal ini menunjukkan bahwa model ResNet-50 yang sudah dilatih terhadap dataset yang sudah dikumpulkan sebelumnya terbukti berhasil untuk melakukan pendeteksian landmark wajah. Hasil yang cukup memuaskan dari model  ini dapat diartikan  bahwa  model  ini  memiliki kemampuan untuk mengenali dan  menempatkan titik-titik landmark  wajah dengan akurasi  yang cukup tinggi.  Kemampuan  inilah  yang akan dijadikan  modal  dasar untuk langkah  selanjutnya  untuk  pengembangan  sistem  virtual  make  up  try  on.  Dalam  proses  pengembangan  sistem virtual  make  up try  on,  pendeteksian  landmark  wajah  yang  cukup  akurat  adalah  modal  utama  karena  titik-titik landmark  dapat  digunakan  untuk  mengaplikasikan  make  up  secara  tepat  pada  wajah.  Penelitian  ini  juga menunjukkan  bahwa  penemuan  ini  berbeda  dengan  penemuan-penemuan  sebelumnya  karena  ditemukan  suatu hasil  menggunakan  metode  CNN  menggunakan  arsitektur  ResNet-50  untuk  mendeteksi  face  landmark  dengan beberapa tahapan sebelumnya seperti augmentasi gambar pada pre-processing dan tujuan dibuatnya penelitian ini

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i4.6619
juga berbeda dengan penelitian-penelitian sebelumnya yaitu sebagai modal dasar pembuatan virtual make up try on.

## 4. KESIMPULAN
Kesimpulan yang didapat dari penelitian ini adalah metode Convolutional Neural Network (CNN) menggunakan arsitektur ResNet-50 terbukti dapat melakukan pendeteksian landmark wajah dengan mengenali 15 keypoints yang tersebar pada bagian-bagian wajah, seperti mata, hidung, alis, dan mulut. Selain itu, pada penelitian ini juga dengan cara pembagian 85% data latih dan 15% data uji, didapatkan tingkat akurasi pelatihan dari model sebesar 95.12%, yang artinya model dapat mengidentifikasi pola dalam data latih, dan akurasi pengujian sebesar 78.99% pada saat data latih diuji dengan data uji, serta nilai evaluasi Root Mean Squared Error (RMSE) dan Mean Absolute Error (MAE) yang cukup rendah, yaitu RMSE sebesar 2.2577 dan RME sebesar 1.5389. Dari hasil angka-angka yang didapatkan ini dapat disimpulkan bahwa model ini memiliki kinerja yang baik dan dapat melakukan pendeteksian landmark  wajah  dengan  baik.  Penelitian  ini  diharapkan  menjadi  modal  dasar  untuk  langkah  selanjutnya  dalam pengembangan sistem virtual  make up try on,  yang berguna untuk membantu masyarakat dalam memilih  shade make up secara virtual, sehingga masyarakat tidak perlu lagi untuk menebak shade ataupun mencoba tester yang kurang  higienis.  Mengingat  karena  memiliki  beberapa  keterbatasan  dalam  penelitian  ini,  terdapat  saran  untuk penelitian selanjutnya agar dapat  menggunakan arsitektur  Convolutional Neural Network yang  lebih  up-to-date dan  lebih ringan, serta  memiliki dataset  yang  lebih  banyak  memiliki  keypoints, sehingga hasil  yang dihasilkan dapat lebih akurat dalam mengenali landmark wajah.

## UCAPAN TERIMAKASIH
Tulisan ini merupakan bagian akhir dari hasil penelitian mahasiswi Fakultas Teknologi Informasi, Program Studi Teknik Infomatika, Universitas Tarumanagara. Mengucapkan terima kasih kepada Ibu Prof., Dr., Ir., Dyah Erny Herwindiati M.Si., dan Pak Janson Hendryli S.Kom., M.Kom., atas saran berharga dalam penelitian ini. Terima kasih juga diucapkan kepada pihak Kaggle atas penyediaan data untuk menunjang penelitian ini.

## REFERENCES
[1]   A. Hermawanto dan M. Anggraini, Globalisasi, Revolusi Digital dan Lokalitas: Dinamika Internasional dan Domestik di Era Borderless World, Yogyakarta: LPPM Press, 2020.
[2]   CNBC Indonesia, “Mengenal Apa Itu Internet, Sejarah Perkembangan & Manfaatnya,” 21 September 2022. [Online]. Available: https://www.cnbcindonesia.com/tech/20220921131159-37-373856/mengenal-apa-itu-internet-sejarah- perkembangan-manfaatnya. [Diakses 17 Agustus 2023].
[3]   B. Damanik, “RANCANGAN SISTEM INFORMASI SMP NEGERI 1 TUHEMBERUA KABUPATEN NIAS UTARA MENGGUNAKAN PHP CODEIGNITER,” https://doi.org/10.51544/jurnalmi.v6i1.1979, vol. 6, no. 1, p. 1, Juni 2021.
[4]   F. D. Sari dan  N. S. S. Ambarwati, “Pembuatan  Video Tutorial Make Up Pada  Wajah Yang Memiliki Bekas  Luka,” https://doi.org/10.21009/jtr.12.2.06, vol. 12, no. 2, 17 2 2023.
[5]   F. Chusna, “Daftar Alat Make Up Lengkap dan Fungsinya (Plus Rekomendasi Produk),” Lottemart, 26 Oktober 2022. [Online]. Available: https://lottemart.co.id/smartalog/inspirasi/daftar-alat-make-up. [Diakses 17 Agustus 2023].
[6]   S. P. Ristiawanto, B. Irawan dan C. Setianingsih, “Pengenalan Ekspresi Wajah Berbasis Convolutional Neural Network Menggunakan Arsitektur Residual Network-50,” vol. 8, no. 5, Oktober 2021.
[7]   B. Hartanto dan T. Susyanto, “Penerapan Image Recognition Dalam Pengenalan Objek Menggunakan Model ResNet- 50,” vol. 2, no. 2, 31 Juli 2023.
[8]   V.  T.  Hoang,  S.  D.  Huang  dan  K.  H.  Jo,  “3-D  Facial  Landmarks  Detection  for  Intelligent  Video  Systems,”  DOI 10.1109/TII.2020.2966513, vol. 17, no. 1, 14 Januari 2020.
[9]   M. A. Nurdin, R. C. Wihandika dan F. Utaminingrum, “Deteksi Pergerakan Arah Mata menggunakan Convolution Neural Networkberdasarkan Facial Landmark,” vol. 4, no. 10, pp. 3338-3345, Oktober 2020.
[10]   I.  P.  Udayana  dan  I.  K.  Supartha,  “IMPLEMENTASI  KOMBINASI  METODE  MEAN  DENOISING  DAN CONVOLUTIONAL NEURAL NETWORK PADA FACIAL LANDMARK DETECTION,”
https://doi.org/10.23887/janapati.v10i1.29779, vol. 10, no. 1, Maret 2021.
[11]   P.  A.  Nugroho,  I.  Fenriana  dan  R.  Arijanto,  “IMPLEMENTASI  DEEP  LEARNING  MENGGUNAKAN CONVOLUTIONAL NEURAL NETWORK ( CNN ) PADA EKSPRESI MANUSIA,” vol. 2, no. 1, 5 November 2020.
[12]   J.  C.  Koo,  Y.  C.  Hum,  K.  W.  Lai,  W.  S.  Yap  dan  S.  Manickam,  “Deep  Machine  Learning  Histopathological  Image Analysis for Renal Cancer Detection,” https://doi.org/10.1145/3532213.3532313, p. 657–663, 13 Juli 2022.
[13]   G.  Boesch,  “Deep  Residual  Networks  (ResNet,  ResNet50)  –  2023  Guide,”  viso.ai,  [Online].  Available: https://viso.ai/deep-learning/resnet-residual-neural-network/. [Diakses 5 September 2023].
[14]   N.  L.  P.  U.  Premananda  dan  N.  K.  U.  K.  Dewi,  “VALUASI  HARGA  SAHAM  PERUSAHAAN  SUBSEKTOR TOURISM, RESTAURANT, DAN HOTEL (STUDI PADA PERUSAHAAN YANG TERDAFTAR DI BURSA EFEK INDONESIA TAHUN 2022),” vol. 8, no. 2, 29 September 2023.
[15]   A. T. Nurani, A. Setiawan dan B. Susanto, “Perbandingan Kinerja Regresi Decision Tree danRegresi Linear Berganda untuk Prediksi BMI pada Dataset Asthma,” https://doi.org/10.24246/juses.v6i1p34-43, vol. 6, no. 1, pp. 34-43, Februari 2023.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v7i4.6619
[16]   L. Anggraini dan Y. Yamasari, “Klasifikasi Citra Wajah Untuk Rentang Usia Menggunakan Metode Artificial Neural Network,” https://doi.org/10.26740/jinacs.v5n02.p185-192, vol. 5, no. 2, 28 Agustus 2023.
[17]   Y. Solawetz, “Mengapa dan Bagaimana Menerapkan Augmentasi Data Rotasi Acak,” roboflow, 24 Juni 2020. [Online]. Available:  https://blog.roboflow.com/why-and-how-to-implement-random-rotate-data-augmentation/.  [Diakses  26 Oktober 2023].
[18]   S. D. P. Bahari dan  U.  Latifa, “KLASIFIKASI BUAH SEGAR MENGGUNAKAN TEKNIK COMPUTER  VISION UNTUK PENDETEKSIAN KUALITAS DAN KESEGARAN BUAH,” https://doi.org/10.36040/jati.v7i3.6871, vol. 7, no. 3, Juni 2023.
[19]   L. H. Ganda dan H. Bunyamin, “Penggunaan Augmentasi Data pada Klasifikasi Jenis Kanker Payudara dengan Model Resnet-34,” vol. 3, no. 1, 24 April 2021.
[20]   C.  Shorte  dan  T.  Khoshgoftaar  ,  “A  survey  on  Image  Data  Augmentation  for  Deep  Learning,” https://doi.org/10.1186/s40537-019-0197-0, vol. 6, no. 60, 6 Juli 2019.
[21]   K.  Hamidah  dan  A.  Voutama,  “Analisis  Faktor  Tingkat  Kebahagiaan  Negara  Menggunakan  Data  World  Happiness Report dengan Metode Regresi Linier.,” https://doi.org/10.35891/explorit.v15i1.3874, vol. 15, no. 1, 18 Juni 2023.