Abstrak—Penggunaan  sketsa  wajah  merupakan  alat  bantu yang  digunakan  lembaga  penegak  hukum  dalam  melakukan proses  identifikasi  tersangka  tindak  kriminal.  Sketsa  wajah digunakan  ketika  tidak  terdapat  foto  dari  tersangka  tindak kriminal di tempat kejadian perkara. Sketsa wajah digunakan dalam  proses  identifikasi  mugshot  pada  database  dengan menggunakan  sistem  face  recognition,  dikarenakan  sketsa wajah  memiliki  modalitas  yang  berbeda  dengan  citra  wajah seperti  halnya  tekstur  wajah,  maka  dibangkitkanlah  citra wajah  baru  dari  input  sketsa  wajah  yang  dimiliki  sehingga dapat  memiliki  tekstur  yang  dapat  menyerupai  citra  wajah. CycleGAN  merupakan  metode  yang  digunakan  dalam melakukan  tugas  imageto-image  translation,  metode  tersebut dapat digunakan dalam melakukan style transfer. Oleh karena itu,  dalam  penelitian  tugas  akhir  ini  dikembangkan  sebuah model  yang  berfungsi  untuk  membangkitkan citra  wajah  dari sketsa  wajah  sehingga  dapat  mengolah  sketsa  wajah  menjadi citra wajah yang memilki tekstur wajah.
Kata  Kunci—Computer  Vision,  Deep-Learning,  GAN,  Image Synthesis.

## I. PENDAHULUAN
KETSA  wajah  merupakan  salah  satu  alat  bantu  yang digunakan  oleh  pihak  otoritas  lembaga  penegak  hukum dalam  melakukan  proses  identifikasi  dan  penangkapan tersangka  yang  terlibat  dalam  tindak  pidana  selain  metode sidik jari, dactyloscopy , metode balistik, dan metode deteksi kebohongan.  Sketsa  wajah  digunakan  ketika  tidak didapatkannya foto wajah dari tersangka di tempat kejadian perkara.  Sketsa  wajah  tersebut  merupakan  gambaran  dari tersangka tindak kriminal yang belum diketahui identitasnya,  namun  fitur  wajahnya  diketahui  oleh  saksi mata.  Walaupun  sketsa  wajah  memiliki  perbedaan  dengan foto wajah baik dalam segi gaya dan penampilannya, sketsa wajah dapat menjadi sebuah media untuk mengenali seorang individu [1]. Penggambaran ketsa wajah tersebut digambarkan  entah  oleh  seniman  sketsa  forensik  yang berpengalaman  maupun  dengan  menggunakan  perangkat lunak  komputer  dalam  menghasilkan composite  sketch . Sketsa  wajah  tersebut  digambarkan  berdasarkan  deskripsi lisan  yang  diberikan  oleh  saksi  mata  di  tempat  kejadian perkara. Kemudian setelah sketsa wajah dari tersangka telah dibuat, pihak otoritas lembaga penegak hukum menyebarkan sketsa  wajah  tersebut  dengan  harapan  seseorang  dapat mengenali  wajah  yang  digambarkan  dan  memberikan informasi  terkait  yang  dapat  digunakan  sebagai  batu loncatan ke proses penangkapan [2].
Perkembangan  ilmu computer  vision dalam  beberapa tahun terakhir telah membantu manusia dalam menyelesaikan tugasnya, seperti contohnya dalam menggunakan  pengenalan  wajah  sebagai  sistem  keamanan maupun  pencarian. Face  Recognition pada  umumnya merupakan  sebuah  proses  untuk  mengidentifikasi  maupun
memverfikisai  identitas  seseorang  dengan  menggunakan wajahnya.  Penggunaan face  recognition telah  diterapkan oleh  pihak  otoritas  hukum  dalam  mencari  tersangka  tindak pidana. Foto wajah yang didapatkan pihak otoritas hukum di tempat  kejadian  perkara  dicocokkan  secara  manual  dengan database  mughsot yang  dimiliki.  Foto  wajah  tersebut  dapat diperoleh baik melalui saksi mata, kamera CCTV, dan jenis foto  atau  rekaman  lainnya.  Pencocokan  wajah  tersebut dilakukan secara manual oleh pihak yang ditugaskan. Tugas tersebut  yang  sebelumnya  dilakukan  secara  manual kemudian diotomasikan dengan menggunakan face recognition dalam  memeriksa  wajah  asli  tersangka  tindak pidana  dalam database  mugshot yang  dimiliki  [3].  Ketika terjadi sebuah kondisi dimana tidak dapat diperolehnya foto wajah  dari  tersangka  tersebut,  pembuatan  sketsa  wajah digunakan  sebagai  mitigasi.  Seperti  yang  telah  dibahas sebelumnya, sketsa wajah digunakan ketika citra wajah dari tersangka tindak kriminal tidak dapat diperoleh, keberadaan sketsa  wajah  tersebut  diharapkan  dapat  digunakan  sebagai input dalam  sistem face  recognition yang  dimiliki  pihak otoritas hukum, namun bagaimana jika sketsa wajah tersebut dapat  diolah  terlebih  dahulu  untuk  dijadikan  sebuah  citra wajah  sehingga  dapat  mempermudah  sistem  dalam mengidentifikasi tersangka tindak pidana tersebut.
Pada  dasarnya  telah  terdapat  teknologi  atau  model pengolahan citra untuk melakukan image-to-image translation yang digunakan dalam mentranslasi sebuah citra. CycleGAN  merupakan  salah  satu  metode Generative Adversarial  Networks (GAN)  yang  dirancang  untuk melakukan  tugas imageto-image  translation atau style transfer ,  dengan  contoh  pada  proses  pengubahan  lukisan dengan  gaya  seniman  Claude  Monet  menjadi  sebuah  foto hasil  tangkapan  kamera  [4].  Dalam  paper  yang  telah diterbitkan,  CycleGAN  memiliki  keunggulan  dalam melakukan image-to-image  translation ,  lalu  terdapat penerapan  dalam  pengimplementasian  CycleGAN  dengan menambahkan  fitur identity-aware pada  metode  tersebut untuk  menerjemahkan  citra  wajah  menjadi  sketsa  wajah. Walaupun  sketsa  wajah  dan  citra  wajah  pada  dasarnya merupakan  sebuah  wajah,  sketsa  wajah  dan  citra  wajah memiliki perbedaan baik dalam segi tekstur maupun bentuk. Penggambaran sketsa wajah dengan emnggunakan pensil di atas kertas memiliki tekstur yang berbeda jika dibandingkan dengan  kulit  yang  dihasilkan  oleh  foto  [1],  oleh  karena  itu proses face  recognition dengan  menggunakan  sketsa  wajah sebagai input telah  menjadi  tantangan  yang  sulit,  walaupun terdapat  beberapa  metode  sudah  diterapkan  dalam memecahkan  permasalahan  tersebut,  tetap  terdapat  banyak kesulitan dalam face recognition sketsa wajah ke citra wajah dikarenakan keduanya memiliki modalitas yang berbeda [5].
Berdasarkan informasi yang telah dipaparkan sebelumnya,  maka  diperlukan  sebuah  penelitian  untuk

## Pembangkitan Citra Wajah dari Sketch Wajah Menggunakan CycleGAN
Muhammad Azki Rasyid, Reza Fuad Rachmadi, Diah Puspito Wulandari Departemen Teknik Komputer, Institut Teknologi Sepuluh Nopember (ITS)
e-mail : fuad@its.ac.id
S
mengembangkan  model deep  learning yang  dapat melakukan image translation khususnya pada pembangkitan citra  wajah  dari  sketsa  wajah  menggunakan  CycleGAN sehingga dapat menimbulkan tekstur citra wajah pada sketsa wajah yang dimiliki. Kedepannya, diharapkan penelitian ini dapat  digunakan  sebgai  pijakan  untuk  diimplementasikan kedalam  proses  penyidikan  tersangka  tindak  kriminal,  dan digunakan dalam implementasi penggunaan face recognition .

## II. PENELITIAN TERKAIT
Generative  Adversarial  Networks (GAN)  merupakan metode deep learning yang dikembangkan pada tahun 2014 [6].  Dikembangkan  oleh  Ian  J.  Goodfellow  et  al.  untuk melakukan  prediksi,  digunakan  secara  luas  dalam  tugas image  generation , video  generation ,  dan voice  generation . Metode  tersebut  mengestimasi  model generative dengan menggunakan  proses adversarial dimana  dilakukan  proses training  pada  dua  model  secara  bersamaan,  terdiri  dari model generator untuk  menangkap  data  untuk  diperkiran probablitasnya oleh model discriminator sampai didapatkan kesalahan D [6].
Pada  paper Unpaired  Image-to-Image  Translation  using Cycle-Consistent  Adversarial  Networks ,  Zhu  et  al. melakukan  penelitian  mengenai image-to-image  translation dengan  menggunakan unpaired  dataset untuk  menangkap karakteristik khusus  dari  suatu koleksi gambar dan mencari tahu  bagaimana  karakteristik  tersebut  dapat  diterjemahkan ke dalam koleksi gambar lainnya. Dalam penelitian tersebut, Zhu et al. menerjemahkan photograph menjadi gaya lukisan, kuda menjadi zebra, dan landscape summer menjadi winter [4].
Pada  paper An  Introduction  to  Image  Synthesis  with Generative  Adversarial  Nets ,  Huang  et  al.  melakukan penelitian  mengenai  perbandingan  metode  GAN  yang digunakan  dalam  menerapkan image  synthesis dan image- to-image  translation .  Dalam  penelitian  tersebut  CycleGAN dan  DualGAN  diterapkan  dalam  melakukan  penerjemahan gambar black and white menjadi colored [7].
Pada  paper Identity-Aware  CycleGAN for  Face
PhotoSketch  Synthesis  and  Recognition ,  Fang  et  al. melakukan  penelitian face  photo-sketch  synthesis dengan menggunakan Identity-Aware CycleGAN  (IACycleGAN). Dalam  penelitian  tersebut  menerapkan  metode  untuk meningkatkan  performa  CycleGAN  dalam  melakukan photo-sketch  synthesis dengan  menambahkan  pengawasan lebih  dalam facial  regions ,  seperti  mata  dan  hidung  yang dimana merupakan aspek penting dalam identity recognition [8].
Pada  paper  Pengenalan  Sketsa  Wajah  menggunakan Principal  Component  Analysis sebagai  Aplikasi  Forensik, Purwandari  et  al.  melakukan  penelitian  pencocokan  sketsa menggunakan  CUFS database dengan  metode  PCA. Penelitian tersebut menggunakan sketsa sebagai input sistem untuk dicocokkan dengan citra wajah [1].
Penelitian  yang  sudah  dilakukan  sebelumnya  memiliki kesamaan  tujuan  utama  dalam  melakukan image-to-image translation pada sebuah citra, namun belum bertujuan untuk melakukan image-to-image  translation pada  sketsa  wajah menjadi  citra  wajah.  Terdapat  penelitian  menggunakan CycleGAN dengan menggunakan dataset yang sama, namun bertujuan  untuk  membangkitkan  sketsa  wajah  dari  citra wajah  dan  menggunakan  metode  CycleGAN  yang  berbeda yaitu IACycleGAN.
III. DESAIN DAN IMPLEMENTASI SISTEM Penelitian  tugas  akhir  ini  memanfaatkan  disiplin  ilmu dalam  bidang computer  vision dan deep  learning yang bertujuan  untuk  membangkitkan  citra  wajah  dari  sketsa menggunakan  CycleGAN  sebagai  metode.  CycleGAN merupakan  sebuah  implementasi  metode  GAN  untuk melaksanakan  tugas image-to-image  translation .  Pada penelitian  ini  akan  menggunakan  CycleGAN  dengan menggunakan arsitektur ResNet blocks dan U-Net blocks . Gambar 1 menggambarkan blok diagram metodologi alur penelitian  yang  dilakukan.  Terdapat  tahapan  secara  umum yang  digambarkan  untuk  menjelaskan  alur  dari  penelitian yang  dilakukan,  yaitu  pengumpulan  dataset,  pengolahan dataset ,  perancangan  arsitektur generator ,  perancangan arsitektur discriminato r,  pembuatan  model  CycleGAN, proses training , proses pengujian, dan analisis hasil.
Data  yang  digunakan  pada  penelitian  ini  menggunakan dataset CUHK face  sketch  database (CUFS)  dan  CUHK face  sketch FERET database (CUFSF)  [9-10].  Kedua dataset tersebut  digunakan  dalam  melakukan  riset face sketch synthesis dan face sketch recogniton . Pada dataset CUHK face  sketch  database terdapat  188 citra  wajah  dan  188  sketsa  wajah  dengan  total  376  data. Dataset tersebut  dikonfigurasi  menjadi  100 training  image pada sketsa wajah dan 100 training image pada citra wajah, 88 testing  image pada  sketsa  wajah  dan  88 testing  image pada  citra  wajah.  Gambar  2  merupakan  pratinjau  dari
Gambar 1. Blok diagram metodologi.
Gambar 2. Pratinjau dataset CUHK face sketch database .
Tabel 1. Jumlah data pada dataset CUHK face sketch database.
Jumlah dataset CUHK face sketch database . Train set sketsa wajah 88 Train set citra wajah 88 Test set sketsa wajah 100 Test set citra wajah 100
dataset CUHK face sketch  database .  Tabel  1  menunjukkan pembagian training dan testing set pada dataset CUHK face sketch database .
Pada dataset CUHK face  sketch FERET database terdapat  1194  citra  wajah  1194  sketsa  wajah  dengan  total 2388  data.  Gambar  3  merupakan  pratinjau  dari dataset CUHK face sketch FERET database . Tabel 2 menunjukkan pembagian training dan testing set pada dataset CUHK face sketch FERET database .

## A. Pembagian Data
Setelah  data  dikumpulkan,  kedua dataset tersebut  akan digunakan  menjadi 3  variasi,  variasi  pertama  menggunakan dataset CUHK face  sketch  database ,  variasi  kedua menggunakan dataset CUHK face sketch FERET database , dan  variasi  ketiga  menggabungkan  kedua  dataset  tersebut. Kemudian  dari dataset tersebut  akan  dibagi  menjadi beberapa pembagian folder sebagai berikut:
1) Training Train A dalam folder ini terdiri dari citra pada domain A berupa  gambar  sketsa  yang  akan  dilatih  menjadi  domain  B berupa  citra  wajah.  Sedangkan train B  dalam  folder  ini terdiri  dari  citra  pada  domain  B  berupa  citra  wajah  yang akan dilatih menjadi domain A berupa gambar sketsa.

## 2) Testing
Test A: dalam folder  ini  terdiri  dari  citra  pada domain A berupa  gambar  sketsa  yang  akan  diuji  menjadi  domain  B berupa citra wajah. Sedangkan test B dalam folder ini terdiri dari  citra  pada  domain  B  berupa  citra  wajah  yang  akan dilatih menjadi domain A berupa gambar sketsa.
Pembagian data akan dibagi menjadi training dan testing , pembagian  data  dibagi  berdasarkan  persentase  yang digunakan pada dataset CUHK face sketch database . Tabel 3,  dan  Tabel  4  menunjukkan  jumlah  pembagian  pada train test dan test set .
B. Pre-processing Data
Setelah  data  dibagi  akan  dilakukan pre-processing , variasi  dalam pre-processing akan  dibagi  menjadi  dua, variasi  pertama  dengan image tanpa  dilakukan crop ,  dan image yang  dilakukan crop . Image akan  di crop menjadi
close  up wajah  sehingga  latar  belakang  diminimalisir  dan bahu  dihilangkan.  Alasan  dilakukan  variasi  ini  untuk menguji noise  input yang  akan  ditangani  oleh  model. Setelah itu image akan dilakukan rescale dan resize menjadi 256  piksel.  Pada  data training dan testing , image akan diberikan scaling sehingga memiliki range piksel sebesar [- 1,  1]  dikarenakan  tanh activated  generator akan  memiliki nilai sebesar [-1, 1].

## C. Perancangan Arsitektur Generator
Pada  penelitian  ini  akan  dibuat  dua  macam generator dengan menggunakan modified ResNet blocks dan modified U-Net blocks untuk  dibandingkan.  Karena  CycleGAN menggunakan  Instance  Normalization,  kedua generator tersebut  akan  menggunakan  Instance  Normalization,  maka dari  itu  pada modified U-Net blocks juga  akan  digunakan Instance Normalization dari pada Batch Normalization.

## 1) Generator ResNet
Generator akan  menggunakan  model  arsitektur encoder - decoder .  Model  akan  melakukan downsampling atau encoding dari input  image ke bottleneck  layer ,  lalu diinterpretasikan  kedalam layer  residual  blocks sebanyak sembilan layer ,  dilanjutkan  dengan layer  upsample untuk men decode representasi bottleneck dari image menjadi ukuran output  image . Generator memiliki convolutional blocks yang  standar,  tiap convolutional  layer akan  terdiri dari  Instance  Normalization, activation menggunakan  relu dan activation tanh pada convolutional block terakhir.
2) Generator U-Net
Generator akan  menggunakan  model  arsitektur encoder - decoder dengan  menggunakan  UNet.  Model  akan melakukan downsampling ke bottleneck  layer ,  kemudian dilakukan upsampling untuk  men decode representasi bottleneck .  Pada  arsitektur  U-Net  ditambahkan skip- connections diantara encoding dan decoding  layer yang menyerupai  bentuk  U. Generator memiliki convolutional blocks yang  standar,  tiap convolutional  layer akan  terdiri dari  Instance  Normalization, activation menggunakan  relu dan activation tanh pada convolutional block terakhir.
D. Perancangan Arsitektur Discriminator
Pada  penelitian  ini discriminator akan  menggunakan PatchGAN.  PatchGAN  merupakan  tipe discriminator GAN
Gambar 3. Pratinjau dataset CUHK face sketch FERET database .
Tabel 2. Jumlah data pada dataset CUHK face sketch FERET database.
Jumlah dataset CUHK face sketch FERET database . Sketsa wajah 1194 Citra wajah 1194 Tabel 3.
Pembagian dataset CUHK face sketch database.
Pembagian train set dan test set Train A 88 Train B 88 Test A 100 Test B 100
Tabel 4.
Pembagian dataset CUHK face sketch FERET database.
Pembagian train set dan test set Train A 561 Train B 561 Test A 633 Test B 633
untuk  memprediksi  NxN patch  image .  PatchGAN  akan memprediksi setiap ukuran output menjadi 70x70 patch dari input  image .  Pada  penelitian  ini discriminator akan menggunakan  implementasi  desain  arsitektur convolutional layer C64-C128-C256-C512.

## E. Pembuatan Model CycleGAN
CycleGAN  terdiri  dari  dua generator dan discriminator . Pada  penelitian  ini  akan  digunakan  data  untuk  melakukan image-to-image  translation dari  sketsa  wajah  menjadi  citra wajah. Generator 1  akan  mengambil  sketsa  wajah  sebagai input dan  menghasilkan output citra  wajah,  kemudian discriminator 1  akan  mengambil  citra  wajah  dari  hasil output  generator 1  dan  menghasilkan ouput berupa  nilai kemiripan dari  citra  aslinya,  berlaku  hal  yang  sama  dengan generator 2 dan discriminator 2 namun berkebalikan. Setiap GAN  akan  menggunakan cycle  consistency  loss untuk meyakinkan generated  image merupakan  terjemahan  dari input .  Pada  penelitian  ini  akan  digunakan  dua  model CycleGAN dengan menggunakan ResNet blocks dan U-Net blocks .
F. Proses Training
CycleGAN merupakan metode yang melibatkan automatic  training ,  model  akan  menangkap  karakteristik khusus  dari  suatu domain  image tanpa  harus  dilakukan pairing pada dataset tersebut. CycleGAN merupakan sebuah extension dari  arsitektur  GAN  yang  melibatkan learning secara  simultan  dari  dua  model generator dan  dua  model discriminator .
1) Generator
Generator akan  belajar  untuk  menghasilkan  data  palsu dengan  umpan  balik  dari discriminator . Generator belajar untuk membohongi discriminator untuk mengklasifikan data palsu sebgai data nyata.
2) Discriminator
Discriminator merupakan classifier yang  mencoba  untuk membedakan  data  nyata  dari  data  yang  telah  dibuat  oleh generator . Pada penelitian ini discriminator akan menggunakan  arsitektur  PatchGAN  70x70. Discriminator mempelajari  data  dari  dua  sumber,  yaitu  data  nyata  dan palsu.  Data  nyata  didapatkan  dari training  set sebagai contoh positif selama proses training . Data palsu merupakan data yang dihasilkan oleh generator .
3) Konfigurasi Training
Proses training akan  menggunakan  konfirugasi  dengan epoch sebesar 500, learning rate sebesar 0.0002. Input dari gambar.  Konfigurasi training yang  ditentukan  pada penelitian ini akan diuraikan pada Tabel 5.

## G. Proses Pengujian
Proses  pengujian  merupakan  langkah  terakhir  dari  suatu network atau  konsep machine  learning .  Pada  proses  ini model  yang  telah  melalui  proses training dapat  digunakan untuk  memprediksi  hasil.  Pada  penelitian  ini  model  akan mencoba  untuk  memberikan output prediksi  berupa  citra wajah  dengan input berupa  sketsa  wajah.  Sketsa  wajah tersebut  diambil  dari test  set pada dataset yang  digunakan. Setelah test set diujikan pada model, maka akan didapatkan sebuah output berupa citra predicted atau generated images . Citra  tersebut  akan  diuji  dengan  menggunakan  metode survei  dan face  recognition .  Ketika  citra  wajah generated akan  menghasilkan  kualitas  yang  baik  dan  rekonstruksi dapat terlihat, model akan diuji dengan menggunakan MSE, PSNR,  dan  SSIM,  kemudian  digunakan  metode face recognition . Setelah data pada test set diuji, langkah selanjutnya akan digunakan  sketsa  wajah  diluar dataset untuk  menghasilkan citra wajah untuk menguji perfoma model.
Hasil  model  akan  diuji  dengan  menggunakan  DeepFace untuk  mengidentifikasi  citra generated pada  sistem face recognition . DeepFace merupakan framework face recogniton ringan  dan  sistem  analisa  atribut  wajah(umur, jenis  kelamin,  emosi,  ras)  untuk  python.  Terdapat  lima tahapan  umum  pada  sistem  tersebut  berupa detect , align , normalize , represent , dan verify [11].
Pada  penelitian  ini,  parameter  yang  digunakan deepface dalam membandingkan objek akan menggunakan perhitungan distance untuk mengidentifikasi kemiripan citra wajah, deepface akan  mengidentifikasi  wajah  tersebut dengan  menggunakan  model  berbasis  MTCNN.  Jika perhitungan distance tersebut  mendekati  citra  wajah  yang dibandingkan,  maka  DeepFace  akan  menganggap  bahwa wajah tersebut memiliki identitas yang sama.
Ketika  pengujian  dengan  menggunakan test  set selesai dilakukan,  selanjutnya  akan  digunakan  sketsa  wajah  diluar dataset untuk  mengukur  hasil  model.  Data input akan berupa sketsa wajah yand didapatkan pada AR face dataset . Pada  kondisi  nyata,  sketsa  wajah  tidak  memiliki  pasangan citra  wajah  seperti  halnya  pada dataset sehingga ground truth tidak dapat dihitung.

## IV. PENGUJIAN DAN ANALISA
Pada  bab  ini  dipaparkan  hasil  penelitian,  pengujian,  dan analisa  dari  desain  sistem  yang  telah  dirancang.  Pengujian dilakukan  dengan  tujuan  mengukur  performa  dan  tingkat kesalahan dari sistem yang telah dirancang. Pengujian akan dilakukan dengan menggunakan implementasi face recognition , perhitungan MSE, PSNR, dan SSIM.

## A. Hasil Training
Setelah  tahap  pembuatan  arsitektur  model  selesai,  maka akan  dilanjutkan  dengan  proses training .  Setelah  proses training dilakukan,  akan  terdapat  sebuah  nilai  yang merupakan  gamabran  seberapa  besar  suatu  model  yang dibangun  dapat  menjawab  dari  permasalahan  yang  ada. Hasil  dari proses training yang didapatkan  berupa loss dari kedua generator dan discriminator . Dataset CUFS: Gambar 4 grafik generator G loss dataset CUFS,  Gambar  5  grafik generator  F loss  dataset CUFS,
Tabel 5. Konfigurasi training. Konfigurasi Training Epoch 500 Learning Rate 0.0002 Buffer Size 256 Batch Size 1 Train Image Width 256 Train Image Height 256
Gambar  6  grafik discriminator X loss  dataset CUFS,  dan Gambar  7  grafik discriminator Y loss  dataset CUFS, merupakan  hasil training dataset  CUFS  menggunakan CycleGAN  ResNet.  Sedangkan dataset  CUFSF: Gambar  8 grafik generator G loss  dataset CUFSF,  Gambar  9  grafik
generator  F loss  dataset CUFSF,  Gambar  10  grafik discriminator X loss dataset CUFSF, dan Gambar 11 grafik discriminator Y loss  dataset CUFSF,  merupakan  hasil training dataset CUFSF menggunakan CycleGAN ResNet.
Gambar 4. Grafik generator G loss dataset CUFS. Gambar 5. Grafik generator F loss dataset CUFS.
Gambar 6. Grafik discriminator X loss dataset CUFS.
Gambar 7. Grafik discriminator Y loss dataset CUFS.
Gambar 8. Grafik generator G loss dataset CUFSF .
Gambar 9. Grafik generator F loss dataset CUFSF.
Gambar 10. Grafik discriminator X loss dataset CUFSF.
Gambar 11. Grafik discriminator Y loss dataset CUFSF.

## B. Hasil Testing
Setelah  proses training dilakukan,  selanjutnya  akan dilakukan  uji  coba  dengan  menggunakan  data test  set . Gambar pada test set akan berisi perbandingan  antara input sketsa wajah dan output citra wajah generated . Dataset CUFS: Gambar 12 merupakan hasil citra generated dari dataset CUFS. Sedangkan dataset CUFSF: Gambar 13 merupakan hasil citra generated dari dataset CUFSF.

## C. Hasil Testing Dataset Croped
Sebelumnya telah dipaparkan dan diuji hasil keberhasilan dari  model  dengan  proses training tanpa  melakukan preprocessing  croped pada dataset .  Pada  sebelumnya dilakukan  pengujian  berupa  survei  dan  pengujian  berupa implementasi face recognition dengan  menggunakan model DeepFace  berbasis  MTCNN.  Maka  dari  itu  akan  dicoba model  dengan proses  training dengan  menambahkan  fase pre-processing  croped pada dataset ,  gambar  akan  di crop sampai hanya tinggal wajah.
Pada  umumnya,  GAN  mengambil random  noise sebagai input untuk  dipelajari,  maka  dari  itu  jika noise pada  latar belakang  dan  fitur  pada  sketsa  dan  foto  seperti  contohnya bahu  dan  kerah  pakaian  diminimalisir,  maka  variasi noise akan  berkurang  sehingga  diprediksi  model  memungkinkan untuk mengkonstruksi citra menjadi lebih baik. Hasil berikut diharapkan  dapat  menjawab  permasalahan  dari  hasil  model yang sebelumnya telah dipaparkan.

## 1) Dataset CUFS
Pada bagian ini akan diuji model yang di training dengan menggunakan dataset CUFS.  Data input yang  digunakan berupa  256x256  piksel  dan  data output berupa  256x256 piksel., dataset tersebut  berwarna  dan  memiliki  latar belakang berwarna biru.
Gambar  14  merupakan  hasil  citra generated dari dataset CUFS.  Gambar  14  merupakan  hasil  pembangkitan  citra wajah dari sketsa menggunakan CycleGAN berbasis ResNet blocks .  Pada  sebelah  kiri  gambar  merupakan input sketsa
yang digunakan dan pada kanan merupakan hasil citra wajah generated yang dihasilkan.

## 2) Dataset CUFSF
Pada bagian ini akan diuji model yang di training dengan menggunakan dataset CUFSF. Akan digunakan dua macam arsitektur,  CycleGAN  dengan  menggunakan  ResNet blocks dan  U-Net blocks .  Data input yang  digunakan  berupa 256x256  piksel  dan  data output berupa  256x256  piksel., dataset memiliki  warna grayscale sehingga  citra  wajah dengan latar belakang berwarna hitam putih.
Gambar  15  merupakan  hasil  citra generated dari dataset CUFSF.  Gambar  15  merupakan  hasil  pembangkitan  citra wajah dari sketsa menggunakan CycleGAN berbasis ResNet blocks .  Pada  sebelah  kiri  gambar  merupakan input sketsa yang digunakan dan pada kanan merupakan hasil citra wajah generated yang dihasilkan.

## D. Analisis Hasil
Telah  dipaparkan  hasil  dari  beberapa  model  yang  telah dibuat.  Sebagian  Model  dapat  membangkitkan  citra  wajah dengan baik dari sketsa wajah seperti pada Gambar 16, dan
Gambar  12.  Hasil  pengujian test  set menggunakan  CycleGAN  ResNet dataset CUFS.
Gambar  13.  Hasil  pengujian test  set menggunakan  CycleGAN  ResNet dataset CUFSF.
Gambar  14.  Hasil  pengujian test  set menggunakan  CycleGAN  ResNet dataset CUFS croped .
sebagian  model  tidak  dapat  membangkitkan  citra  wajah dengan  baik  dari  sketsa  wajah  seperti  pada  Gambar  17. CycleGAN mengambil noise sebagai input, pada Gambar 16 model dapat membangkitkan citra wajah dengan baik karena noise yang  didapatkan  lebih  sedikit  jika  dibandingkan Gambar  17,  hal  tersebut  dibuktikan  dengan  hasil  jadi  yang diperoleh, model dapat mempelajari bentuk sederhana, fitur yang  dimiliki  Gambar  16  lebih  sedikit  jika  dibandingkan dengan  Gambar  16,  hal  tersebut  memiliki  korelasi  dengan noise yang dimiliki sehingga performa sangat berpengaruh.
Kemudian  akan  dihitung  MSE,  PSNR,  dan  SSIM  dari hasil gambar yang telah didapatkan.
Gambar  18  merupakan  gambar  perbandingan  sketsa wajah  (kiri)  dan  citra  wajah generated (kanan), Image Quality Metrics dari citra wajah generated akan ditampilkan pada  Tabel  6.  Citra  wajah generated memiliki  nilai  MSE yang  tinggi,  dikarenakan  gambar  tersebut  memiliki perbedaan yang sangat jauh. PSNR yang dimiliki oleh citra wajah generated juga  menunjukkan  angka  yang  rendah, namun SSIM yang didapatkan memiliki nilai diatas 0.5.
Gambar  19 merupakan  gambar  perbandingan  citra wajah (kiri)  dan  citra  wajah generated (kanan), Image  Quality Metrics dari  citra  wajah generated akan  ditampilkan  pada Tabel  7.  Citra  wajah generated memiliki  nilai  MSE  yang
tinggi,  dikarenakan  gambar  tersebut  memiliki  perbedaan yang  sangat  jauh.  PSNR  yang  dimiliki  oleh  citra  wajah generated juga  menunjukkan  angka  yang  rendah,  namun SSIM yang didapatkan memiliki nilai diatas 0.5.
Dalam  pengaplikasian face  recognition ,  tentu  saja  akan terlihat  lebih  baik  prediksi  model  mengidentifikasi  citra wajah generated terhadap  sketsa  wajah  dibandingkan
Gambar  15.  Hasil  pengujian test  set menggunakan  CycleGAN  ResNet dataset CUFSF croped .
Gambar 16. Perbandingan pertama. Gambar 17. Perbandingan kedua.
Gambar  18.  Gambar  perbandingan  sketsa  wajah  dengan  hasil  citra generated .
Gambar  19.  Gambar  perbandingan  citra  wajah  asli  dengan  hasil  citra generated .
Tabel 6. Image quality metrics dari gambar 18 .
Image Quality Metrics MSE 3343.968475060691 PSNR 12.888181863508477 SSIM 0.577603486890371
dengan  citra  wajah  asli,  dikarenakan  tektur  yang  dimiliki pada  citra  wajah generated lebih  baik  jika  dibandingkan dengan  sketsa  wajah.  Tabel  8  menunjukan  hasil face recognition sketsa wajah  terhadap citra wajah  asli  (Gambar 20),  dan  Tabel  9  menunjukkan  hasil face  recognition pada citra wajah generated terhadap citra wajah asli (Gambar 21). Dari  percobaan  yang  telah  dilakukan,  maka  dapat dibuktikan  bahwa  CycleGAN  dapat  membangkitkan  citra wajah  dari  sketsa  wajah,  kemudian  hasil  tersebut  dapat dibuktikan  lebih  akurat  jika  dilakukan  implementasi face recogntion .

## V. KESIMPULAN
Dalam  penelitian  ini,  telah  diimplementasikan  serangkaian proses  dalam  membangkitkan  citra  wajah  menggunakan  sketsa wajah  dengan  menggunakan  CycleGAN.  Berdasarkan  hasil penelitian  tersebut,  metode  CycleGAN  dapat  mengolah  sketsa wajah menjadi citra wajah dengan baik. Dalam metode CycleGAN, diperlukan pre-processing sketsa  wajah  dan  citra  wajah  dataset dengan  baik,  terlihat  dari  hasil testing dapat  disimpulkan  bahwa variasi  yang  rumit  dalam  sebuah  data  dapat  menimbulkan kegagalan  dalam  GAN  untuk  melakukan image-to-image translation .  Hal  tersbut  juga  terpengaruh  dikarenakan  GAN melihat  data input seabgai noise .  Dalam  merancang  model, diperlukan  keseragaman  pada dataset seperti  warna  dan  latar belakang,  hal  tersebut  dibuktikan  pada  percobaan  pada dataset CUFS  yang  berwarna  dan custom  dataset yang  memiliki  variasi data grayscale dan  berwarna.  Citra  wajah  yang  dihasilkan  oleh CycleGAN  terbukti  dapat  meningkatkan  performa  dalam mengimplementasikan face recognition jika dibandingkan langsung  dengan  menggunakan  sketsa  wajah,  hal  tersebut  dapat meningkatkan  akurasi  secara  signifikan,  hal  tersebut  dapat membantu sistem dalam mengidentifikasi wajah lebih akurat.
Demi  pengembangan  lebih  lanjut  mengenai  penelitian  ini, terdapat  beberapa  saran  sebagai  langkah  berikutnya  untuk memenuhi  kekurangan  dari  penelitian  yang  telah  dilakukan  antara lain  menggunakan dataset dengan  tekstur  warna  yang  seragam, meningkatkan epoch dalam proses training dan menambahkan fitur pengamatan jika model tidak dapat mempelajari lebih baik, makan proses training akan berhenti, mengimplementasikan auto-encoder dalam metode CycleGAN, dan mengembangkan media yang dapat mengimplementasikan model.

## DAFTAR PUSTAKA
[1]  E. P. Purwandari, A. Erlansari, A. Wijanarko, and E. A. Adrian, “Face sketch  recognition  using  principal  component  analysis  for  forensics application,” J. Teknol. dan Sist. Komput. , vol. 8, no. 3, pp. 178–184, 2020, doi: 10.14710/jtsiskom.2020.13422.
[2]  S.  Klum,  H.  Han,  A.  K.  Jain,  and  B.  Klare,  “Sketch  Based  Face Recognition: Forensic vs. Composite Sketches,” in 2013 International Conference on Biometrics (ICB) , 2013, pp. 1–8. doi: 10.1109/ICB.2013.6612993.
[3]  T. Ali, R. Veldhuis, and L. Spreeuwers, Forensic Face Recognition: A Survey .  Netherlands:  Centre  for  Telematics  and  Information Technology (CTIT), 2010.
[4]  J.-Y.  Zhu,  T.  Park,  P.  Isola,  and  A.  A.  Efros,  “Unpaired  Image-to- Image Translation Using Cycle-Consistent Adversarial Networks,” in 2017  IEEE  International  Conference  on  Computer  Vision  (ICCV) , 2017, pp. 2223–2232. doi: 10.1109/ICCV.2017.244.
[5]  N.  M.  Farid,  M.  S.  Fard,  and  A.  Nickabadi,  “Face  Sketch  to  Photo Translation  using  Generative  Adversarial  Networks,”  Amirkabir University of Technology, Tehran, 2021. doi:
10.48550/arXiv.2110.12290.
[6]  I.  J.  Goodfellow et  al. ,  “Generative  Adversarial  Networks,” Universite de Montreal, 2014. doi: 10.48550/arXiv.1406.2661.
[7]  H.  Huang,  P.  S.  Yu,  and  C.  Wang,  “An  Introduction  to  Image Synthesis  with  Generative  Adversarial  Nets,”  University  of  Illinois, Chicago, 2018. doi: 10.48550/arXiv.1803.04469.
[8]  Y.  Fang,  W.  Deng,  J.  Du,  and  J.  Hu,  “Identity-aware  CycleGAN  for face  photo-sketch  synthesis  and  recognition,” Pattern  Recognit. ,  vol. 102, p. 107249, 2020, doi: 10.1016/j.patcog.2020.107249.
[9]  X. Wang and X. Tang, “Face photo-sketch synthesis and recognition,” IEEE  Trans.  Pattern  Anal.  Mach.  Intell. ,  vol.  31,  no.  11,  pp.  1955– 1967, 2009, doi: 10.1109/TPAMI.2008.222.
[10]  W.  Zhang,  X.  Wang,  and  X.  Tang,  “Coupled  Information-Theoretic Encoding  for  Face  Photo-Sketch  Recognition,”  in Conference  on Computer  Vision  and  Pattern  Recognition  (CVPR) ,  2011,  pp.  513– 520. doi: 10.1109/CVPR.2011.5995324.
[11]  S.  I.  Serengil  and  A.  Ozpinar,  “LightFace:  A  Hybrid  Deep  Face Recognition  Framework,”  in 2020  Innovations  in  Intelligent  Systems and  Applications  Conference  (ASYU) ,  2020,  pp.  1–5.  doi: 10.1109/ASYU50717.2020.9259802.
Tabel 7.
Image quality metrics dari gambar 19 . Image Quality Metrics MSE 1361.1170857747395 PSNR 16.791848752540513 SSIM 0.5139147506096932 Tabel 8.
Deepface summary dari gambar 20 . Deepface Summary Verified True Detector_backend mtcnn Model VGC-Face Distance 0.22789332412383712 Similiarity_metric cosine Threshold 0.4
Tabel 9.
Deepface summary dari gambar 21 . Deepface Summary Verified True Detector_backend mtcnn Model VGC-Face Distance 0.3943788177655929 Similiarity_metric cosine Threshold 0.4
Gambar  20.  Gambar  perbandingan  citra  wajah  asli  dengan  hasil  citra generated .
Gambar 21. Gambar perbandingan citra wajah asli dengan sketsa wajah.