Submitted : May 5, 2023, Revised : June 8, 2023, Accepted : July 5, 2023, Published : November 3, 2023

## Restorasi Citra Dengan Image completion Berbasis Deep Learning
Phie Chyan [1]* , N. Tri Suswanto Saptadi [2]
Program Studi Teknik Informatika, Fakultas Teknologi Informasi [1], [2]
Universitas Atma Jaya Makassar Makassar, Indonesia Phie_chyan@lecturer.uajm.ac.id [1] , Tri_saptadi@lecturer.uajm.ac.id [2]
Abstract— Digital images can experience various disturbances in acquisition and storage, one of which is a disturbance indicated by damage to certain areas of the image field and causes the loss of some of the information represented by the image. One of the ways to restore an image experiencing disturbances like this is with image  completion  technology. Image  completion is  an  image restoration technology capable of filling in or completing missing or  corrupted  parts  of  an  image.  Various  methods  have  been developed for this image completion, starting from those based on basic image processing to the latest relying on artificial intelligence algorithms.  This study aims to develop and implement an  image completion  model  based  on  deep  learning  with  the  transfer learning method from the completion.net architecture. Using the Facesrub training dataset consisting of a collection of unique facial photos  allows  the  model  to  understand  facial  attributes  better. Compared  to  conventional  image  completion  based  on  image patches,  the  method  developed  in  this  study  can  perform  image filling in image gaps with more realistic results. Based on visual tests  conducted  on  respondents,  the  results  obtained  enable respondents to understand all the information represented by the restored image, similar to the original image.
Keywords— Image  completion,  Image  restoration,  Deep learning, CNN, Completion net
Abstrak—Citra  digital  dapat  mengalami  berbagai  gangguan dalam  proses  akuisisi  maupun  penyimpanannya,  salah  satunya adalah  gangguan  yang  diindikasikan  dengan  rusaknya  area tertentu pada bidang citra dan menyebabkan hilangnya sebagian informasi yang  direpresentasikan  oleh  citra  tersebut.  Salah satu cara untuk merestorasi citra yang mengalami gangguan seperti ini adalah  dengan  teknologi  image  completion. Image  completion ini adalah  merupakan  teknologi  restorasi  citra  yang  mampu melakukan  pengisian  atau  melengkapi  bagian  hilang  atau terkorupsi dari citra. Beragam metode telah dikembangkan untuk image  completion  ini  mulai  dari  yang  berbasis  pengolahan  citra dasar hingga yang terbaru mengandalkan algoritma kecerdasan buatan.  Penelitian  ini  bertujuan  untuk  mengembangkan  dan mengimplementasikan  model  image  completion  berbasis  deep learning  dengan  metode  transfer  learning  dari  arsitektur completion net. Dengan menggunakan dataset latih Facesrub yang terdiri dari koleksi berbagai foto wajah  yang unik, memungkinkan  model  untuk  memahami  atribut  wajah  dengan lebih baik. Dibandingkan dengan image completion konvensional berbasis  tambalan  citra,  metode  yang  dikembangkan  dalam penelitian ini mampu untuk melakukan pengisian citra pada celah citra  dengan  hasil  yang  lebih  realistis.  Berdasarkan  pengujian
visual  yang  dilakukan  kepada  responden,  hasil  yang  diperoleh memungkinkan  responden  dapat  memahami  keseluruhan informasi yang direpresentasikan oleh citra hasil restorasi serupa dengan citra asli.
Kata Kunci— Image completion, Restorasi citra, Deep learning, CNN, Completion net

## I. PENDAHULUAN
Citra digital dapat mengalami berbagai gangguan baik pada proses  akuisisi  maupun  penyimpanannya.  Gangguan  yang dialami dapat  berupa noise seperti piksel-piksel  yang tersebar secara  random  dan  tidak  berkesesuaian  dengan  piksel disekitarnya  hingga  gangguan  yang  mengkorupsi  bagian tertentu  dari  citra  sehingga  dapat  menyebabkan  sebagian informasi  dari  citra  tidak  dapat  dipahami  secara  lengkap  [1]– [3].
Merestorasi  citra  yang  memiliki noise yang  tinggi merupakan permasalahan penelitian yang sampai saat ini terus dieksplorasi,  beragam  metode  telah  dikembangkan    untuk mengatasi  hal  ini  [4]–[7].  Salah  satu  metode  yang  paling populer adalah menggunakan Generatice Adversarial Networks (GAN),  selain  itu  berbagai  metode patch  matching dan pendekatan non pembelajaran mesin yang berbasis pengolahan citra  dasar  juga  banyak  digunakan  tetapi  belum mendapatkan hasil yang memuaskan.
Image  completion atau inpainting merupakan  suatu teknologi restorasi citra yang berkaitan dengan beragam teknik yang  digunakan  untuk  mengisi  bagian  yang  hilang  atau terkorupsi dari sebuah citra [8]. Saat ini telah banyak penelitian yang  mengkaji  mengenai  metode  dalam  melakukan image completion , meskipun demikian pengembangan metode image completion ini tetap menjadi  tantangan yang kompleks dalam implementasinya  karena  umumnya  metode  ini  membutuhkan pemahaman yang tinggi terhadap konteks citra [9]–[11]. Hal ini diperlukan untuk dapat mengisi pola citra yang hilang dan lebih penting lagi pengenalan terhadap konteks citra yang akan diisi [12]–[14]. Pemanfaatan deep learning dalam image completion dapat memberikan hasil yang lebih baik karena pendekatan ini memanfaatkan  korelasi  yang  diperoleh  antara  berbagai  pola dari gambar berderau dan gambar asli [15].
Penelitian  ini  bertujuan  untuk  mengembangkan  dan mengimplementasikan model image completion yang dibasiskan  pada  model  berbasis Fully-Convolutional  deep
DOI : 10.32736/sisfokom. v12i3.1699 , Copyright ©2023 DOI : 10.32736/sisfokom.xx.xx, Copyright ©2020 Submitted : May 5, 2023, Revised : June 8, 2023, Accepted : July 5, 2023, Published : November 3, 2023 Submitted : , Revised : , Accepted : , Published :
learning  network (FCN)  yang  disebut completion  network model [8]. Arsitektur ini terdiri dari tiga bagian yaitu, jaringan penyelesaian,  diskriminator  global  dan  diskriminator  lokal. Jaringan  penyelesaian  adalah  merupakan  jaringan  konvolusi penuh  yang  digunakan  untuk  melakukan image  completion sedangkan diskriminator global dan lokal merupakan jaringan yang  akan  digunakan  untuk  proses  latih  dan  menentukan apakah  citra  telah  dikomplesi  secara  konsisten.  Diskriminator global  mengambil  citra  keseluruhan  sebagai  input  untuk mengenali  konsisten  global  dari  suatu scene sedangkan diskriminator lokal menjangkau area yang lebih kecil disekitar area  yang  dikomplesi  untuk  menilai  kualitas  tampilan  yang lebih  detail.  Diskriminator  ini  akan  diperbarui  selama  setiap iterasi  dalam  pelatihan  sehingga  dapat  membedakan  dengan baik antara citra asli dan lengkap dari hasil pelatihan. Kemudian setelah  itu  jaringan  penyelesaian  akan  diperbarui  sehingga mengisi area yang hilang pada citra dengan baik dan memenuhi persyaratan dari jaringan diskriminator.
Hasil dari metode image completion berbasis deep learning ini  berupa  citra  yang  telah  dikomplesi  yang  berasal  dari  citra dengan bagian yang terkorupsi yang telah diisi dengan bagian yang  telah  diketahui  dari  citra  [16],[17].  Untuk mengevaluasi keluaran  dari  metode  yang  digunakan  akan  dilakukan perbandingan  terhadap  citra  asli  dengan  citra  terkorupsi  yang telah dikomplesi dengan metode yang digunakan. Pengembangan  model image  completion menggunakan transfer  learning dari completion  net dan  dikombinasikan dengan  dataset  latih Facesrub ,  merupakan  kontribusi  dari penelitian ini yang memungkinkan model yang dikembangkan mampu  melakukan  pengisian  terhadap  berbagai  citra  objek termasuk wajah.

## II. M ETODE P ENELITIAN
Metode image  completion yang  digunakan  berbasis deep learning dengan  arsitektur convolutional  neural  network . Arsitektur  ini  terdiri  dari  tiga  buah  jaringan  yang  terdiri  dari jaringan  penyelesaian,  diskriminator  lokal  dan  diskriminator global.  Sebuah  jaringan  penyelesaian  digunakan  untuk image completion dengan dua jaringan tambahan yaitu diskriminator lokal  dan  diskriminator  global  digunakan  untuk  melatih jaringan  untuk  menyelesaikan  proses  pengisian  citra.  Dalam periode  latih,  jaringan  diskriminator  disiapkan  untuk memastikan  apakah  kondisi  citra  sudah  terisi  secara  lengkap, sementara  jaringan  penyelesaian  dilatih  untuk  mengelabui jaringan  diskriminator.  Dengan  melatih  ketiga  jaringan bersama-sama  dimungkinkan  untuk  jaringan  penyelesaian dapat menyelesaikan pengisian gambar secara realistis. Ilustrasi dari  pendekatan  yang  dibahas  ini  disajikan  pada  gambar  1. Secara  garis  besar  penelitian  dibagi  menjadi  beberapa  tahap yaitu  pertama,  studi literatur,  dimana  dalam  tahap  ini  peneliti meninjau  berbagai  metode  state-of-the-art  untuk image completion utamanya yang berbasis machine dan deep learning, tahap  kedua  dilanjutkan  dengan  persiapan  dataset  dan preprocessing terhadap citra yang akan digunakan, tahap ketiga dilanjutkan  dengan  pelatihan,  validasi  dan  testing  model  dan tahap  terakhir  dilakukan  pengujian  untuk  melihat  bagaimana kinerja model dalam melakukan image completion .
Gambar 1. Arsitektur model Completion.Net

## A. Convolutional Neural Network
Model  jaringan  yang  digunakan  dibasiskan  pada  model Convolutional  Neural  Network (CNN).  Ada  dua  model arsitektur  CNN  yang  diterapkan  pertama  adalah  arsitektur standar CNN dan yang kedua adalah Variasi dari standar CNN yang  disebut  dilated  CNN,  yang  memungkinkan  ukuran  tiap layer  ditingkatkan  sebagai  input.  Hal  ini  dilakukan  tanpa meningkatkan  jumlah  bobot  pembelajaran  dengan  cara menyebarkan  kernel  konvolusi  pada  peta  input.  Secara matematis  operator  konvolusi  melebar  dapat  dituliskan  untuk setiap piksel sebagai berikut.
(1)
Dimana  k w dan  k h adalah  lebar  dan  tinggi  kernel,  η  adalah faktor dilasi, X u, υ ε R C dan Y u, υ ε R C’ adalah komponen piksel dari  layer input dan output. W s,t adalah matriks kernel  C’ x C dan b ε R C adalah vektor layer bias. Kedua jaringan konvolusi dilatih  untuk  meminimalkan  fungsi  loss    dengan  propagasi mundur  dan  dilatih  dengan  dataset  yang terdiri  dari  pasangan input  dan  output.  Fungsi  loss  bertujuan  untuk  meminimalkan jarak jaringan output dengan pasangan output yang bersesuaian pada dataset [18].

## B. Jaringan Penyelesaian
Jaringan  penyelesaian  merupakan  jaringan  yang  berbasis konvolusional  penuh.  Input  dari  jaringan  penyelesaian  adalah citra  RGB  dengan channel biner  yang  mengindikasikan masking image  completion dan  output  juga  merupakan  citra RGB.  Arsitektur  umum  mengikuti  struktur encoder-decoder yang  dapat  mengurangi  penggunaan  memori  dan  waktu komputasi  dengan  menurunkan  resolusi  di  awal  pemrosesan sebelum  memproses  citra.  Setelah  itu  kemudian  output dikembalikan ke resolusi asli menggunakan layer dekonvolusi [8].  Berbeda dengan arsitektur umumnya yang memanfaatkan banyak  layer  pooling  untuk  menurunkan  resolusi,  pada arsitektur ini hanya menurunkan resolusi dua kali menggunakan
DOI : 10.32736/sisfokom. v12i3.1699 , Copyright ©2023 DOI : 10.32736/sisfokom.xx.xx, Copyright ©2020 Submitted : May 5, 2023, Revised : June 8, 2023, Accepted : July 5, 2023, Published : November 3, 2023 Submitted : , Revised : , Accepted : , Published :
stride  konvolusi  ¼  kali  dari  ukuran  asli  yang  penting  untuk menghasilkan  tekstur  yang  tidak  blur  pada  area  yang  hilang pada citra. Layer konvolusi terdilasi juga biasa digunakan pada layer tengah. Layer ini menggunakan kernel yang tersebar dan dapat menghitung setiap piksel output dengan input area yang lebih lebar tetapi tetap dengan pemanfaatan jumlah parameter dan  waktu  komputasi  yang  sama.  Hal  ini  penting  dalam menghadirkan realisme dalam image completion karena dengan menggunakan konvolusi  terdilasi  pada resolusi  rendah, model dapat  menjangkau  area  input  yang  lebih  luas  secara  efektif dalam  menghitung  setiap  piksel  output  dibandingkan  dengan layer konvolusi biasa.

## C. Jaringan Diskriminator Konteks
Diskriminator  konteks  lokal  dan  global  bertujuan  untuk mengidentifikasi bilamana suatu citra itu masih asli atau telah selesai  diisi.  Jaringan  diskriminator  ini  didasarkan  pada jaringan konvolusional yang memampatkan citra menjadi fitur vektor.  Keluaran  dari  jaringan  digabungkan  bersama  oleh rangkaian layer yang memperkirakan nilai kontinyu yang sesuai dengan probabilitas citra menjadi nyata. Jaringan diskriminator global  menerima  input  dan  di  skalakan  ke  256  x  256  piksel. Jaringan ini juga terdiri dari 6 layer konvolusi dan sebuah layer terkoneksi  penuh  yang  menghasilkan  sebuah  1024  vektor dimensional. Jaringan diskriminator lokal memiliki  pola yang sama  dengan  diskriminator  global  kecuali  untuk  input menggunakan  tambalan  citra  128  x  128  piksel  yang  berpusat pada area citra yang akan diisi.
Output  dari  jaringan  diskriminator  lokal  dan  global dihubungkan bersama kedalam 2048 vektor dimensional yang kemudian  diproses  oleh  sebuah  layer  terkoneksi  penuh  untuk menghasilkan  nilai  kontinyu.  Fungsi  transfer  sigmoid digunakan  agar  nilai  berada  dalam  range  0  dan  1  yang merepresentasikan  probabilitas  citra  adalah  asli  atau  apakah citra dikomplesi dengan isian.

## D. Proses Latih
Secara  garis  besar  proses  latih  dari  jaringan image completion dinyatakan  melalui  diagram  alir  pada  gambar  2. Untuk melatih jaringan dalam mengkomplesi citra input secara realistis maka dua fungsi loss digunakan bersama-sama  yaitu weighted mean squared error (MSE) untuk stabilitas latih dan Generative Adversarial Networks (GAN) untuk meningkatkan realisme  pada  citra  hasil  [19],  [20].  Dengan  menggunakan gabungan dari  kedua fungsi loss ini memungkinkan pelatihan stabil  pada  model  jaringan  berkinerja  tinggi.  Untuk menstabilkan pelatihan, MSE loss yang digunakan memperhitungkan mask komplesi region yang  dipakai. MSE loss didefnisikan sebagai
(2)
Jaringan diskriminator konteks juga merupakan fungsi  loss yang umum dikenal sebagai GAN loss dan merupakan bagian yang penting untuk mengubah neural network dengan optimasi standar  ke  optimalisasi  min-max  dimana  pada  setiap  iterasi jaringan  diskriminator  diperbarui  bersama  dengan  jaringan penyelesaian. Optimalisasi kedua jaringan tersebut dinyatakan
(3)
Dengan menggabungkan kedua fungsi loss menjadi
(4)
Dimana  C  dan  D  adalah  jaringan  diskriminator,  M d adalah random mask , M c adalah input mask , α adalah hyper parameter dan nilai ekspektasi merupakan nilai rata-rata atas citra latih x. ADADELTA  digunakan  sebagai  algoritma  optimasi  yang mengatur  laju  pembelajaran  untuk  setiap  bobot  pada  jaringan secara otomatis.
Dalam  proses  optimasi,  jaringan  penyelesaian  dan diskriminator dinyatakan sebagai perubahan nilai C dan D yang berarti  bahwa  bias  dan  bobot  jaringan  berubah.  Pada  gradien stokhastis turunan persamaan optimasi min-max berarti bahwa untuk latih C, diambil nilai gradien dari fungsi loss terhadap θ c dan  memperbarui  parameter  agar  nilai  dari  fungsi  loss berkurang. Persamaan gradien adalah sebagai berikut
(5)
Dalam  implementasinya  dilakukan  cara  yang  lebih  efisien dengan  menjaga  nilai  gradien  diskriminator  untuk  membantu menstabilkan proses pembelajaran.
Dalam proses latih, Diskriminator dilatih untuk membedakan  gambar  asli  dan  palsu,  sementara  jaringan penyelesaian  dilatih  untuk  mengelabui  diskriminator.  Karena optimisasi  terdiri  dari  menggabungkan  fungsi  min  dan  max menyebabkan  jaringan  ini  tidak  begitu  stabil  sehingga  untuk meningkatkan  kestabilannya  maka  metode  ini  tidak  dapat digunakan untuk  menggenerate citra dari  citra yang berderau. Gambaran  mengenai  prosedur  latih  seperti  yang  tersaji  pada gambar  2  adalah  proses  latih  terbagi  menjadi  3  tahap  yaitu pertama,  jaringan  penyelesaian  dilatih  menggunakan  fungsi MSE loss dari persamaan (2) untuk iterasi sebanyak T c . Setelah itu jaringan penyelesaian ditetapkan dan jaringan diskriminator yang berikutnya dilatih dari awal sebanyak iterasi T D. dan fase terakhir  atau  yang  ketiga,  jaringan  penyelesaian  dan diskriminator  dilatih  bersama-sama  hingga  akhir  proses  latih. Proses latih dilakukan dengan mengatur ukuran citra agar titik terkecil  merupakan  nilai  random  dalam  [256,384]  rentang piksel. Setelah itu tambalan random 256x256 piksel  diekstraksi dan  digunakan  sebagai  citra  input.  Untuk mask ,  digunakan lubang random dengan rentang piksel antara [96,128] dan diisi dengan nilai piksel rata-rata dari dataset latih.
DOI : 10.32736/sisfokom. v12i3.1699 , Copyright ©2023 DOI : 10.32736/sisfokom.xx.xx, Copyright ©2020 Submitted : May 5, 2023, Revised : June 8, 2023, Accepted : July 5, 2023, Published : November 3, 2023 Submitted : , Revised : , Accepted : , Published :
Gambar 2. Diagram alir proses latih jaringan image completion

## III. H ASIL DAN P EMBAHASAN
A. Model dan Dataset
Untuk image completion ini, model yang digunakan adalah model  pra-latih Completion  Net yang  diimplementasi  melalui proses transfer  learning .  Kemudian  model  ini  ditambahkan dengan  dataset  open-source Facescrub dari  winklebros.net [21]. Dataset ini terdiri dari 100.000 citra yang berasal dari 500 wajah public figure yang unik. Model dilatih dengan dataset ini dengan  tujuan  untuk  membuat  kemampuan  model  dalam memahami atribut wajah semakin baik. Citra berkualitas tinggi sangat  berperan  penting  dalam  proses  latih  dan  dan memberikan generalisasi yang baik. Dari dataset ini citra di crop dan di resize ke dimensi 64 x 64 piksel untuk membatasi hanya wajah  saja  yang  tersimpan  untuk  setiap  citra.  Model  akan menerima inputan citra dan mask (sebagai bagian yang hilang dari  citra)  dan  akan  mencoba  memprediksi  dan  melengkapi bagian  yang  hilang  tersebut  berdasarkan  informasi  yang diberikan oleh citra yang tidak lengkap tersebut. Dataset dilatih pada komputer dengan GPU NVIDIA GTX 960M 4GB hingga 13000 epoch dimana setiap epoch terdiri dari 1000 batch citra dari dataset. Gambar 3 menunjukkan hasil dari generator yang dihitung  dengan fungsi  loss diatas 13000 epoch. Dari  gambar tersebut juga terlihat peningkatan seragam pada interval reguler dari  nilai loss yang  cukup  sesuai  untuk  menggambarkan kehandalan dari model. Puncak dari nilai loss secara bertahap
berkurang yang menandakan pembelajaran model yang terjadi secara  bertahap.  Menggunakan  jumlah epoch yang  sangat tinggi,  proses  latih  butuh  waktu  sekitar  38  jam  untuk diselesaikan. Generator dan diskriminator mengikuti mekanisme  paralel  karena  waktu  training  meningkat  secara eksponensial.
Nilai  akurasi  diskriminator  konstan  disepanjang  epoch. Hanya  terjadi  reduksi  minor  pada  diskriminator  yang disebabkan oleh arsitektur model. Nilai kumulatif rata-rata loss meningkat  menunjukkan  ketika  jumlah  data  meningkat  pada sisi  latih  maka  kemampuan  model  untuk  mempelajari  pola menjadi  berkurang.  Gambar  4  menunjukkan  hasil  yang diperoleh dari nilai loss diskriminator.
Gambar 3. Generator loss terhadap jumlah epochs
Gambar 4. Diskriminator loss dan akurasi terhadap epochs

## B. Hasil Perbandingan Visual
Gambar 5 dan Gambar 6 menampilkan hasil restorasi citra yang  menyajikan  hasil  perbandingan  antara  gambar  asli, masking dan gambar hasil completion , berdasarkan perbandingan  visual  yang  diperoleh  model  yang  digunakan
DOI : 10.32736/sisfokom. v12i3.1699 , Copyright ©2023 DOI : 10.32736/sisfokom.xx.xx, Copyright ©2020 Submitted : May 5, 2023, Revised : June 8, 2023, Accepted : July 5, 2023, Published : November 3, 2023 Submitted : , Revised : , Accepted : , Published :
dapat mengisi atau melengkapi bagian hilang dari citra dengan hasil  yang  cukup  baik.  Untuk  pengujian  visual  peneliti menggunakan  10  responden  yang  dipilih  secara  acak  melalui media  sosial,  setelah  responden  menyatakan  kesediaan  untuk berpartisipasi, maka peneliti mengirimkan 2 sampel citra hasil restorasi yaitu gambar 5 dan gambar 6. Setiap responden diberi pertanyaan apakah dapat mengenali gambar yang diberikan dan apakah  terdapat  kecacatan  visual  pada  gambar  yang mempengaruhi  persepsi  responden.  Dari  10  orang  responden yang  diberi  pertanyaan  tersebut,  seluruhnya  dapat  memahami objek  pada  gambar  hasil  restorasi  dan  mengaku  dapat mengenali semua objek pada gambar hasil restorasi tanpa ada kecacatan yang mempengaruhi persepsi visual responden.
Gambar 5. Hasil restorasi citra pemandangan dengan image completion
Gambar 6. Hasil restorasi citra wajah dengan image completion
Dari  hasil  yang  diperoleh,  model  dapat  digunakan  untuk merestorasi  citra  dengan  beragam  resolusi  tetapi  berdasarkan pengujian  yang  dilakukan  semakin  besar  ukuran  celah  loss informasi  pada  citra  maka  akan  semakin  berkurang  kualitas pengisian  yang  diperoleh  bahkan  dapat  menyebabkan kegagalan  untuk  melakukan  pengisian.  Hal  ini  karena
keterbatasan dari model arsitektur CNN yang digunakan, tetapi dengan meningkatkan ukuran layer akan dimungkinkan untuk mendapatkan  hasil  pengisian  yang  lebih  baik  tetapi  dengan timbal balik waktu pemrosesan yang lebih lama.

## C. Pembahasan dan Limitasi
Berdasarkan pengujian model yang digunakan dapat mengisi celah  dengan  ukuran  bervariasi,  tetapi  untuk  celah  yang berukuran  besar  belum  dapat  diisi  dengan  baik.  Limitasi  ini hanya  berlaku  pada  mask  berbentuk  persegi,  area  yang  luas pada  persegi  masih  dapat  diisi  selama  tingginya  tidak  terlalu besar  karena  informasi  dari  bagian  atas  dan  bawah  citra  akan digunakan  untuk  melengkapi  gambar.  Sehingga  bila  celah dalam  citra  terlalu  besar  atau  terlalu  tinggi  maka akan  sangat membatasi proses ekstrapolasi citra dimana mask akan berada di batas dari citra. Hal ini akan menyebabkan kegagalan dalam pengisian  celah  citra.  Pendekatan  lain  yang  memanfaatkan dictionary  learning  dapat  mengatasi  masalah  ini  sepanjang database citra yang digunakan mengandung kemiripan dengan citra  input.  Untuk  pendekatan  ini  ekstrapolasi  lebih  mudah daripada inpainting karena lebih sedikit yang harus dicocokkan pada tepian citra akan tetapi metode ini lebih cocok digunakan untuk  menghasilkan  ekstensi  citra  dibanding  inpainting  yang berfokus untuk melakukan restorasi pada citra yang mengalami kerusakan Beberapa contoh kegagalan pengisian gambar dapat dilihat pada gambar 7 dan 8. Kegagalan pengisian yang terjadi umumnya  terjadi  pada  citra  yang  memiliki  objek  yang kompleks yaitu citra yang  didalamnya  hanya memiliki sedikit pola  informasi  yang  berulang  dan  atau  citra  memiliki  celah yang  menutupi  keseluruhan  dari  bagian  objek  yang  dapat digunakan untuk pembelajaran sehingga akhirnya model gagal untuk  memperoleh  informasi  untuk  mengisi  celah  pada  citra tersebut.  Pada  gambar  7  model  gagal  untuk  mengisi  gambar kepala pada gambar anak yg bagian kepalanya terhapus karena lebih memprioritaskan untuk merekonstruksi citra pohon pada latar belakang dibandingkan kepala dari orang dan pada gambar 8 model gagal untuk mengisi gambar anjing.
Gambar 7. Kegagalan pengisian citra manusia
DOI : 10.32736/sisfokom. v12i3.1699 , Copyright ©2023 DOI : 10.32736/sisfokom.xx.xx, Copyright ©2020 Submitted : May 5, 2023, Revised : June 8, 2023, Accepted : July 5, 2023, Published : November 3, 2023 Submitted : , Revised : , Accepted : , Published :
Gambar 8. Kegagalan pengisian citra hewan IV. K ESIMPULAN
Bagian  Penelitian  yang  dilakukan  untuk  melakukan restorasi citra dengan metode image completion berbasis deep learning telah berhasil memperoleh hasil yang baik berdasarkan uji  visual  yang  dilakukan  kepada  responden.  Dengan menggunakan jaringan penyelesaian dan diskriminator, model yang  digunakan  mampu  menghasilkan  pengisian  celah  citra yang  realistis.  Dibandingkan  dengan  metode  umum  berbasis tambalan  citra,  model  ini  dapat  mengisi  bagian  citra menggunakan bagian baru yang tidak pernah digunakan dalam citra.  Limitasi  dari  model  yang  dikembangkan  saat  ini  terkait dengan arsitektur yang digunakan sehingga untuk ukuran celah yang  terlalu  besar  akan  mengurangi  kualitas  pengisian  yang dilakukan  pada  citra  sehingga  menyebabkan  gambar  tidak terlengkapi  dengan sempurna. Penelitian di  masa depan dapat dilakukan  untuk  mengembangkan  arsitektur  yang  digunakan dengan ukuran layer jaringan yang lebih besar untuk mengatasi limitasi ini.

## U CAPAN T ERIMA K ASIH
Peneliti mengucapkan terima kasih  kepada LPPM Universitas Atma  Jaya  Makassar  yang  telah  memberikan  dukungan  dana untuk  terlaksananya  penelitian  ini  melalui  hibah  penelitian dosen LPPM UAJM

## R EFERENCES
[1]   P. Chyan and N. T. Saptadi, “Pemulihan Citra Berbasis Metode Markov Random Field,” JURIKOM (Jurnal Ris. Komputer) , vol. 9, no. 2, p. 218, Apr. 2022.
[2]  P.  Chyan,  “PENERAPAN  IMAGE  ENHANCEMENT  ALGORITHM UNTUK MENINGKATKAN KUALITAS CITRA TAK BERGERAK,” Inf. dan Teknol. Ilm. , vol. 4, no. 3, May 2017.
[3]  P.  Chyan,  “Rancang  Bangun  Mesin  Pencari  Citra  Dengan  Pendekatan Temu Balik Berbasis Konten,” TEMATIKA , vol. 3, no. 2, 2015.
[4]  J. Bin Huang, S. B. Kang, N. Ahuja, and J. Kopf, “ Image completion using planar structure guidance,” ACM Trans. Graph. , vol. 33, no. 4, 2014.
[5]  G.  Chican  and  M.  Tamaazousti,  “Constrained  PatchMatch  for image completion ,” Lect.  Notes  Comput.  Sci.  (including  Subser.  Lect.  Notes Artif. Intell. Lect. Notes Bioinformatics) , vol. 8887, pp. 560–568, 2014.
[6]  J. Sun, L. Yuan, J. Jia, and H. Y. Shum, “ Image completion with structure propagation,” ACM Trans. Graph. , vol. 24, no. 3, pp. 861–868, Jul. 2005.
[7]  C. Zheng, T. J. Cham, J. Cai, and D. Phung, “Bridging  Global Context Interactions  for  High-Fidelity Image  completion ,” Proc.  IEEE  Comput. Soc.  Conf.  Comput.  Vis.  Pattern  Recognit. ,  vol.  2022-June,  pp.  11502– 11512, 2022.
[8]  S.  Iizuka,  E.  Simo-Serra,  and  H.  Ishikawa,  “Globally  and  locally consistent image completion ,” ACM Trans. Graph. , vol. 36, no. 4, 2017.
[9]  Q.  Li,  L.  Hu,  Q.  Shang,  Y.  Wang,  L.  Jiang,  and  W.  Long,  “Research Progress in the Field of Image completion ,” Proc. - 2021 3rd Int. Conf. Artif. Intell. Adv. Manuf. AIAM 2021 , pp. 398–402, 2021.
[10]  P.  Aditya  Laksana,  “Restorasi  Pada  Citra  Digital  Menggunakan Pendekatan Exemplar Based Inpainting,” Oct. 2014.
[11]  A.  H.  Hasugian  and  I.  Zufria,  “Perancangan  Sistem  Restorasi  Citra Dengan  Metode  Image  Inpainting,” Algoritm.    J.  ILMU  Komput.  DAN Inform. , vol. 2, no. 2, p. 31, Jan. 2019.
[12]  M.  Failzal  and  A.  Rao,  “‘RECOGNITION  of  STRESS  USING  FACE IMAGE  and  FACIAL  LANDMARKS,’” Int.  Adv.  Res.  J.  Sci.  Eng. Technol. , vol. 8, no. 5, pp. 792–797, 2021.
[13]  P.  Chyan,  “Image  Enhancement  Based  On  Bee  Colony  Algorithm,” J. Eng. Appl. Sci. , vol. 14, no. 1, pp. 43–49, 2019.
[14]  J. Yang, R. Xu, Z. Qi, and Y. Shi, “Visual Anomaly Detection for Images: A  Systematic  Survey,” Procedia  Comput.  Sci. ,  vol.  199,  pp.  471–478, 2021.
[15]  P. Chyan, “Sistem Temu Balik Citra Menggunakan Ekstraksi Fitur Citra Dengan Klasifikasi Region Untuk Identifikasi Objek,” TEMATIKA , vol. 2, no. 2, pp. 63–72, 2014.
[16]  N.  Akimoto,  S.  Kasai,  M.  Hayashi,  and  Y.  Aoki,  “360-Degree Image completion by  Two-Stage  Conditional  Gans,” Proc.  -  Int.  Conf.  Image Process. ICIP , vol. 2019-September, pp. 4704–4708, Sep. 2019.
[17]  Q.  Chen,  G.  Li,  Q.  Xiao,  L.  Xie,  and  M.  Xiao,  “ Image  completion via transformation  and  structural  constraints,” Eurasip  J.  Image  Video Process. , vol. 2020, no. 1, pp. 1–18, Dec. 2020.
[18]  L. Theis, A. Van Den Oord, and M. Bethge, “A note on the evaluation of generative models,” 4th Int. Conf. Learn. Represent. ICLR 2016 - Conf. Track Proc. , 2016.
[19]  A. Krizhevsky, I. Sutskever, and G. E. Hinton, “ImageNet classification with deep convolutional neural networks,” Commun. ACM , vol. 60, no. 6, pp. 84–90, Jun. 2017.
[20]  P. Isola, J. Y. Zhu, T. Zhou, and A. A. Efros, “Image-to-image translation with conditional adversarial networks,” Proc. - 30th IEEE Conf. Comput. Vis. Pattern Recognition, CVPR 2017 , vol. 2017-January, pp. 5967–5976, Nov. 2017.
[21]  H. W. Ng and S. Winkler, “A data-driven approach to cleaning large face datasets,” 2014 IEEE Int. Conf. Image Process. ICIP 2014 , pp. 343–347, 2014.