## Building of Informatics, Technology and Science (BITS)
Volume 3, No 3, December 2021, Page 244 − 252 ISSN 2684-8910 (media cetak) ISSN 2685-3310 (media online) DOI 10.47065/bits.v3i3.1049

## Manipulasi Gambar dengan Transfer Gaya Menggunakan Convolutional Neural Network
Rakhmi Khalida * , Khairunnisa Fadhilla Ramdhania
Ilmu Komputer, Informatika, Universitas Bhayangkara Jakarta Raya, Bekasi, Indonesia Email: 1,* rakhmi.khalida@dsn.ubharajaya.ac.id, 2 khairunnisa.fadhilla@dsn.ubharajaya.ac.id Email Penulis Korespondensi: rakhmi.khalida@dsn.ubharajaya.ac.id Submitted: 17/12/2021 ; Accepted: 26/12/2021 ; Published : 31/12/2021
Abstrak− Baru-baru  ini  komputer  mampu  menghasilkan  foto-foto  yang  memungkinkan  user  untuk  mengomposisi  foto  selfie dengan    lukisan  Van  Gogh.  Terinspirasi  oleh  kekuatan  convolusional  neural  networks  (CNN),  pertama  kali  mempelajari  cara menggunakan  CNN  untuk  mereproduksi  gaya  lukisan  terkenal  dipadukan  dengan  gambar  potret  diri.  Metode  yang  digunakan disebut transfer neural network. Namun, versi awal neural network memiliki masalah optimisasi, membutuhkan ratusan atau ribuan iterasi  untuk  melakukan  transfer  gaya  yang  dikombinasi  dengan  satu  gambar.  Untuk  mengatasi  in-efisiensi  ini  peneliti mengembangkan metode transfer gaya CNN PerStyle-Per-Model (PSPM). Pengembangan transfer gaya menggunakan deep neural network  disebut  juga  NST  dengan  melatih  model  VGG-16  untuk  mengubah  gambar  apa  pun  dalam  satu  umpan,  foward propagation. Model yang terlatih dapat menyesuaikan dengan mode gambar apa pun hanya dengan satu iterasi bukan ribuan iterasi melalui jaringan dan untuk mendapatkan hasil transfer gaya yang memiliki gaya stabil nilai gaya estetika yang objektif .
Kata Kunci: Gambar Gaya; Gambar Konten; Lukisan; Transfer Gaya
Abstract −Recently computers have been able to produce photographs that allow users to compose selfies with van Gogh paintings. Inspired by the power of convolutional neural networks (CNN), he first learned how to use CNN to reproduce famous painting styles combined with self-portrait images. The method used is called a neural network transfer. However, early versions of neural networks had optimization problems, requiring hundreds or thousands of iterations to transfer forces combined with a single image. To  overcome  this  in-efficiency,  researchers  developed  the  CNS-style  PerStyle-Per-Model  (PSPM)  transfer  method.  The development of force transfer using a deep neural network is also called NST by training the VGG-16 model to change any image in one feed, foward propagation. A trained model can adjust to any drawing mode with just one iteration instead of thousands of iterations over the network and to get the most objective possible style of transfer.
Keywords : Image Style; Image Content; Painting; Transfer Style

## 1. PENDAHULUAN
Di masa lalu, menggambar ulang gambar dalam gaya tertentu membutuhkan seniman yang terlatih dan banyak waktu. Sejak pertengahan 1990-an, teori-teori seni di balik karya seni yang cantik telah menarik perhatian, tidak hanya para seniman  tetapi  banyak  peneliti  ilmu  komputer.  Ada  banyak  studi  literatur  dan  teknik  yang  mengeksplorasi  cara mengubah gambar menjadi karya seni sintetis salah satunya adalah rendering non-fotorealistik (NPR) [1],[2],[3] yang menginspirasi, dan saat itu adalah bidang yang diteliti oleh komunitas grafis komputer. Namun, algoritma penataan NPR ini dirancang untuk gaya artistik tertentu [3], [4] dan tidak bisa mudah diperluas ke gaya lain.
Baru-baru ini komputer mampu menghasilkan foto-foto yang memungkinkan user untuk mengomposisi foto selfie dengan   lukisan  Van  Gogh.  Dahulu  mungkin  pernah  membayangkan  seperti  apa foto selfie jika  dilukis  oleh seorang seniman terkenal, maka transfer gaya adalah teknik computer vision yang merubah hal ini menjadi kenyataan. Transfer  gaya  adalah  teknik computer  vision yang  mengambil  dua  gambar  yaitu  yang  disebut  gambar  konten  dan gambar referensi gaya lalu memadukan keduanya sehingga gambar keluaran yang dihasilkan tetap mempertahankan elemen inti dari gambar konten, tetapi tampak hasil keluaran gambar seperti “dikuas dengan cat” dengan gaya dari gambar referensi gaya, hal ini dapat dilihat contohnya pada Gambar 1.
1 disebut transfer neural network telah mengubah apa yang seperti tidak mungkin. Tranfer gaya menggunakan deep neural network untuk mendukung transformasi ini. Neural network bertugas untuk mengekstraksi fitur statistik gambar yang terkait dengan konten dan gaya sehingga dapat mengukur seberapa baik transfer gaya yang dihasilkan.

## Building of Informatics, Technology and Science (BITS)
Volume 3, No 3, December 2021, Page 244 − 252 ISSN 2684-8910 (media cetak) ISSN 2685-3310 (media online) DOI 10.47065/bits.v3i3.1049
Deep  learning merupakan  serangkaian  metode  yang  terdiri  dari  multi-layer neural  networks sederhana  yang memungkinkan sistem untuk menyelesaikan masalah-masalah yang membutuhkan pemahaman yang setara dengan kecerdasan manusia.
Namun,  versi  awal neural  network [4]  bukan  tanpa  kekurangan,  transfer  gaya  awal  memiliki  masalah optimisasi, membutuhkan ratusan atau ribuan iterasi untuk melakukan transfer gaya yang dikombinasi dengan satu gambar. Untuk mengatasi in-efisiensi ini, peneliti [5],[6],[7] mengembangkan apa yang disebut neural transfer style (NST). Pengembangan NST juga menggunakan deep neural network tetapi melatih model mandiri untuk mengubah gambar  apa  pun  dalam  satu  umpan, foward  propagation .  Model  yang  terlatih  dapat  menyesuaikan  dengan  mode gambar apa pun hanya dengan satu iterasi bukan ribuan iterasi melalui jaringan.
Penelitian transfer gaya telah banyak dicoba pada berbagai peneliti. Saat ini NST memiliki dua kategori yaitu Rekonstruksi  Gambar Online Berbasis  Optimasi-Gambar  (IOB-IR)  dan  Rekonstruksi  Gambar Offline Berbasis Model-Optimisation (MOB-IR). Versi awal neural network [4] adalah transfer gaya dengan mengoptimalkan secara iteratif  suatu  gambar.  Keterbatasan  umum  dari  algoritma  IOB-IR  adalah  bahwa  mereka  mahal  secara  komputasi, karena  prosedur  optimasi  gambar  secara  iteratif.  Peneliti  [5],[6],[7]  mengoptimalkan  model  generatif offline dan menghasilkan gambar transfer gaya dengan umpan maju foward propagation atau MOB-IR. Algoritma mereka secara signifikan mempercepat proses rekonstruksi gambar. Rekonstruksi Gambar Offline Berbasis  Model-Optimisation (MOB-IR) a. PerStyle-Per-Model (PSPM )
Sebuah penelitian [6] yang pertama melatih jaringan saraf independen untuk menyesuaikan dengan mode gambar dalam sekali, umpan maju. Model  VGG16 besar yang telah dilatih sebelumnya di  ImageNet  digunakan untuk ekstraktor  fitur,  dan  jaringan  encoder-decoder  yang  relatif  kecil  berfungsi  sebagai  jaringan  transfer.  Dalam pendekatan  ini,  jaringan  transfer  tunggal  dilatih  untuk  setiap  gaya  yang  diinginkan.  Hasil  transfer gaya  masih didapat kurang stabil dengan perubahan signifikan resolusi gambar input .
b. Multiple-StylePer-Model
Pada 2017, [8] setahun setelah teknik fast neural transfer diterbitkan, para peneliti di Google memperluas teknik untuk  memungkinkan  jaringan  transfer tunggal  untuk  menghasilkan  gambar  dalam  berbagai  gaya dan  bahkan memadukan lebih dari satu gaya bersama-sama. Jaringan ini mengambil gambar konten sebagai input , bersama dengan vektor tambahan yang memberi tahu jaringan, berapa banyak gaya masing-masing untuk diterapkan pada gambar  komposisi.  Jadi  misalnya,  seorang  model  dapat  dilatih  pada lukisan  Van  Gogh,  Picasso,  dan  Matisse. Ketika tiba saatnya untuk menyesuaikan dengan mode gambar, pengguna dapat memasukkan [1, 0, 0] untuk van Gogh, [0, 1, 0] untuk Picasso], atau [0.33, 0.33, 0.33] untuk perpaduan ketiganya. Pendekatan yang bagus karena menghilangkan kebutuhan untuk melatih dan menyimpan banyak model untuk berbagai gaya, dan ini memberikan kebebasan kreatif dengan membiarkan user mencampur dan mencocokkan rangkaian gaya.
c. Arbitrary-StylePer-Model
Karakteristik umum dari kedua model transfer gaya tunggal dan multi-gaya adalah bahwa pendekatan tersebut hanya  dapat  menghasilkan  gambar  dalam  gaya  yang  telah  dilakukan  pelatihan  Model  yang  dilatih  tentang pekerjaan Van Gogh tidak dapat menghasilkan gambar seperti Picasso tanpa melatih kembali seluruh jaringan. Transfer  gaya  sewenang-wenang  oleh  [9]  mengubah  itu.  Model  transfer  gaya  sewenang-wenang  mengambil gambar konten dan gambar gaya sebagai input dan melakukan transfer gaya dalam sekali umpan maju. Intinya, model belajar mengekstrak dan menerapkan gaya apa pun pada gambar dalam sekali gerakan.
Neural Style Transfer ( NST) adalah subset dari IB-AR (image based-artistic rendering). IB-AR terkait dengan proses abstraksi visual yang terlibat dalam penciptaan karya seni umum [4] dan digunakan untuk mengekspresikan ketidakpastian,  mengomunikasikan  ide-ide  abstrak,  dan  membangkitkan  imajinasi  [10]  dengan  membahas  kualitas rasional, emosional, dan kognitif dari pikiran manusia [4], [11] Pemisahan konten dari gaya pada abstraksi visual yang efektif  dianggap sebagai faktor kunci untuk memungkinkan membedakan antara mekanisme yang digunakan untuk menangkap esensi gambar, di satu sisi, dan aspek desain yang mendorong daya tarik estetika untuk merangsang indera manusia [10], [12]
Implementasi IB-AR biasanya membutuhkan pemrogram untuk membuat model  desain serta ciri khas dan khas gaya artistik. Di sini, terdapat dua pendekatan umum [13] yaitu algoritma berbasis heuristic adalah paradigma yang berbasis  pada  fungsi  rendering,  pada  dasarnya  terdiri  dari  rendering  berbasis  stroke,  teknik  berbasis  spasial, pemrosesan dan penyaringan gambar. Pendekatan selanjutnya adalah algoritma transfer gaya yaitu rendering berbasis contoh yang diarahkan untuk mempelajari atau mereproduksi gaya artistik dari contoh visual. Tipe ini sering terdiri dari  model  statistik  dan  skema  optimisasi  untuk  menyeimbangkan  aspek  gambar  konten  dan  gambar  gaya  dalam output  gambar  transfer  gaya.  Penggunaan  berbasis  histogram  warna  yang  menyamakan  mean  dan  varians  antara gambar konten dan gambar gaya [14],[15].

## Building of Informatics, Technology and Science (BITS)
Volume 3, No 3, December 2021, Page 244 − 252 ISSN 2684-8910 (media cetak) ISSN 2685-3310 (media online) DOI 10.47065/bits.v3i3.1049
Gambar 2 . Neural Transfer Style adalah Gabungan Algoritma Berbasis Heuristik dan Transfer Gaya Berdasarkan Statistik Gambar Atau Analogi [13]
Saat ini telah ada aplikasi komersial transfer gaya pada device smartphone seperti aplikasi Prisma [14] atau Ostagram [15], atau Deep Forger [16]. Transfer gaya mendapatkan perhatian peneliti karena tidak semua orang terlahir sebagai seniman. Beberapa lebih mahir dalam bahasa atau tugas lainnya. tetapi dengan kemajuan teknologi computer vision seperti  transfer  gaya,  hampir  semua  orang dapat  menikmati  kesenangan  dengan  menciptakan  berbagi  karya artistik. Di sinilah kekuatan transformatif transfer gaya terletak. Seniman dapat dengan mudah meminjamkan estetika kreatif  mereka  kepada  teknologi  dengan  memungkinkan  orang  lain,  menciptakan  representasi  gaya  artistik  dan inovatif sendiri untuk membuat seperti karya asli. Fakta lain yang ada bahwa transfer gaya memberdayakan orang- orang di seluruh dunia untuk bereksperimen dengan kreativitas mereka sendiri, [4] melihat pentingnya transfer gaya bermain di dunia seni komersial. Dalam beberapa bulan terakhir, Christie menampilkan karya seni AI yang dijual di salah satu lelang mereka dengan harga lebih dari $ 430.000. Penelitian terkait transfer gaya juga telah menyebabkan banyak  aplikasi  industri  yang  sukses  seperti  aplikasi  editor  foto,  industri game , virtual  reality, seni  komersial advertising.
NST adalah proses penciptaan seni. Seperti ditunjukkan dalam  [3], [17], [18], definisi gaya adalah subyektif dan juga sangat kompleks, yang melibatkan pribadi preferensi, komposisi tekstur serta alat yang digunakan, akibatnya, sulit untuk mendefinisikan estetika kriteria untuk karya seni tansfer gaya. Untuk hasil transfer gaya yang sama, orang yang  berbeda  mungkin  memiliki  pandangan  yang  berbeda  atau  bahkan  berlawanan.  Meskipun  demikian,  tujuan penelitian  ini  adalah  melakukan  manipulasi  gambar  dengan  menggunakan convolutional  neural  network  (CNN) PerStyle-Per-Model (PSPM) seobjektif mungkin.

## 2. METODOLOGI PENELITIAN
Melatih  model  transfer  gaya  untuk  mengomposisi  ulang  konten  gambar  dengan  gaya  yang  lain  memerlukan  dua jaringan:

## 2.1 Ekstraktor Fitur Pra Terlatih
Extraktor  fitur  pra-terlatih  digunakan  untuk  menghindari  keharusan  menggunakan  dataset  pelatihan.  Kegunaannya muncul dari lapisan individu deep neural network yang dilatih untuk klasifikasi gambar untuk berspesialisasi dalam memahami fitur-fitur tertentu dari suatu gambar. Beberapa lapisan dilatih untuk mengekstraksi konten gambar (bentuk kucing atau mobil), sementara yang lain dilatih untuk fokus pada tekstur seperti sapuan kuas kecil pelukis atau pola fraktal alam. Hal ini telah ada dalam Model VGG-16 [6].
Transfer  gaya  mengeksploitasi  hal  ini  dengan  menjalankan  dua  gambar  melalui  jaringan  saraf  pra-terlatih, melihat output jaringan pra-terlatih di berbagai lapisan, dan membandingkan kesamaan setiap lapisan. Gambar yang

## Building of Informatics, Technology and Science (BITS)
Volume 3, No 3, December 2021, Page 244 − 252 ISSN 2684-8910 (media cetak) ISSN 2685-3310 (media online) DOI 10.47065/bits.v3i3.1049
menghasilkan  keluaran  serupa  pada  satu  lapisan  model  pra-terlatih  cenderung  memiliki  konten  serupa,  sementara mencocokkan keluaran di lapisan lain menandakan gaya yang serupa. Gambar 2 adalah tahapan ekstraktor fitur pra terlatih untuk kombinasikan gambar konten dan gambar gaya.
Gambar 3. Transfer Gaya dengan Convolutional Neural Network [6].
a. Pada awal  pelatihan, satu  atau lebih gambar gaya dijalankan melalui ekstraktor fitur pra-terlatih, dan output di berbagai lapisan gaya disimpan untuk perbandingan nanti.
b. Gambar  konten  kemudian  dimasukkan  ke  dalam  sistem.  Setiap  gambar  konten  melewati  ekstraktor  fitur  pra- terlatih, dimana output diberbagai lapisan konten disimpan.
c. Gambar konten kemudian melewati jaringan transfer, yang menghasilkan gambar bergaya. Gambar bergaya juga dijalankan melalui ekstraktor fitur, dan output di kedua lapisan konten dan gaya disimpan.
Kualitas gambar bergaya ditentukan oleh loss functon yang bisa dikustom. Loss function berlaku untuk gambar konten dan gambar.gaya. Fitur konten yang diekstraksi dari gambar gaya dibandingkan dengan gambar konten asli. fitur gaya yang diekstraksi dibandingkan dengan yang dari dataset gambar gaya. Model VGG-16 yang telah dilatih sebelumnya  pada dataset ImageNet  dan  digunakan  untuk  ekstraktor  fitur.  Setelah  melewati  setiap  langkah  bobot ekstraktor fitur pra-terlatih  diperbaiki dengan menimbang menggunakan loss function , hal ini dapat melatih model untuk menghasilkan gambar output dengan gaya yang lebih ringan atau lebih berat.

## 2.2 Jaringan Transfer
Jaringan transfer adalah jaringan terjemahan gambar yang mengambil satu gambar sebagai input dan menghasilkan gambar lain sebagai output . Jaringan transfer biasanya memiliki arsitektur encode-decoder [6]. Sebuah operasi bernama transfer style saat pertama kali diperkenakan [1]. Penggunaan neural network pada transfer gaya akan digunakan mengekstrak fitur gambar. Parameter model ini tidak perlu diperbarui selama pelatihan karena menggunakan model VGG-16. CNN menggunakan beberapa lapisan neural network yang secara berturut-turut mengekstraksi fitur gambar. Secara teknis yang dilakukan CNN pada transfer gaya dapat dilihat pada Gambar 4.
Gambar 4. Transfer Gaya dengan Convolutional Neural Network
Pada  CNN  mengandung  tiga  lapisan  konvolusional.  Lapisan  kedua  menampilkan  fitur  gambar  konten, sedangkan output dari lapisan pertama dan ketiga digunakan sebagai fitur gaya. Selanjutnya, menggunakan forward propagation (gambar yang menunjukkan arah garis padat) untuk menghitung fungsi loss transfer gaya dan backward propagation (gambar yang menunjukkan  arah garis putus-putus) untuk memperbarui parameter model, terus-menerus memperbarui gambar komposisi. Gambar komposisi adalah gambar output hasil dari transfer gaya. Loss function yang digunakan dalam transfer gaya umumnya memiliki tiga bagian :
a. Loss  content digunakan  untuk  membuat  gambar komposisi  mendekati  gambar  konten  sehubungan  dengan fitur konten.  Informasi  tentang  gambar  konten  apa  pun  akan  diberikan  secara  sederhana  oleh  aktivasi  neuron  pada lapisan yang berbeda. Semakin dalam layer, semakin banyak informasi  yang disimpannya. Ini dihitung sebagai

## Building of Informatics, Technology and Science (BITS)
Volume 3, No 3, December 2021, Page 244 − 252 ISSN 2684-8910 (media cetak) ISSN 2685-3310 (media online) DOI 10.47065/bits.v3i3.1049
jarak  Euclidean  antara  aktivasi  atau  representasi  fitur  konten  dan  gambar  yang  dihasilkan  pada  lapisan  yang berbeda. Formula 1 untuk loss content .
Ը𝑐𝑜𝑛𝑡𝑒𝑛𝑡 (𝑝, ⃗⃗⃗ 𝑥 ,𝑙) = 1 2 ∑(𝐹 𝑖𝑗 𝑙 − 𝑃 𝑖𝑗 𝑙 ) 𝑛 𝑖,𝑗 2 (1)
Keteranggan : 𝑝 Gambar asli 𝑥 Gambar generated 𝑙 Layer 𝐹 𝑖𝑗 𝑙 Aktivasi filter 𝑖 𝑡ℎ pada posisi 𝑗 dalam representasi fitur 𝑥 𝑃 𝑖𝑗 𝑙 Aktivasi filter 𝑖 𝑡ℎ pada posisi 𝑗 dalam representasi fitur 𝑝
b. Loss  Style digunakan  untuk  membuat  gambar  komposisi  mendekati  gambar  gaya  dalam  hal  fitur  gaya.  Mirip dengan loss  content tetapi  perbedaan  antara  keduanya  adalah  bahwa  gaya  gambar  apa  pun  tidak  hanya direpresentasikan  seperti  dalam  hal  konten,  gambar  gaya  dihitung  menggunakan gram  matrix . Gram  matrix berfungsi untuk mengukur tingkat korelasi antara saluran yang nantinya akan bertindak sebagai ukuran gaya itu sendiri.  Korelasi  yang  lebih  tinggi  memberi  gambaran  tentang  gaya  suatu  gambar.  Rumus Gram  Matrix pada Formula 2 dan rumus loss style pada Formula 3
𝐺 𝑖,𝑘 𝑙 = ∑(𝐹 𝑖,𝑘 𝑙 − 𝐹 𝑗,𝑘 𝑙 ) 𝑘 (2)
Keteranggan : 𝐺 Gram Matrix 𝑙 Layer 𝐹 𝑖,𝑘 𝑙 Matriks Asli
𝐹 𝑗,𝑘 𝑙 Matriks Transpos Lstyle = ∑ ∑(𝐺 𝑖𝑗 𝑠,𝑙 − 𝐺 𝑖𝑗 𝑃,𝑙 ) 𝑖,𝑗 𝑙 2 (3)
Keteranggan : 𝐺 𝑖𝑗 𝑠,𝑙 Gram Matrix pada gambar gaya
𝐺 𝑖𝑗 𝑝,𝑙 Gram Matrix pada gambar generated
c. Total variation loss membantu mengurangi noise pada gambar komposisi. Setelah memperhatikan bahwa loss style dan loss content menyebabkan output yang memiliki noise , maka total  loss function (TV) juga termasuk dalam total  loss  dalam  NST.  Total  loss  ini  memastikan  kesinambungan  dan  kelancaran  spasial  dalam  gambar  yang dihasilkan untuk menghindari noise dan over pixel . Total loss adalah jumlah dari semua loss . Bobot ini menentukan seberapa besar dampak gaya atau konten pada total loss . Sederhananya, jika ingin memiliki lebih banyak pengaruh gaya  daripada  gambar  inti  konten  pada  gambar  yang  dihasilkan,  beri  bobot  lebih  tinggi  pada loss  style yang membuat total  loss lebih  bergantung  pada loss  style dan  mengoptimalkan total  loss akan  lebih  fokus  pada mengoptimalkan loss style . Apabila ingin membuat  gambar yang dihasilkan lebih mirip dengan gambar konten daripada gambar gaya, jadi mari tetapkan bobot untuk lebih banyak pengaruh konten daripada gambar gaya pada gambar yang dihasilkan, beri bobot lebih tinggi pada loss content yang membuat total loss lebih bergantung pada loss content dan mengoptimalkan total loss akan lebih fokus pada mengoptimalkan loss content .
Akhir pada pelatihan model, adalah menampilkan parameter model transfer gaya untuk mendapatkan gambar komposisi akhir. Pada Gambar 4 dapat dilihat antara bobot loss content , bobot loss style dan bobot total variation loss (TV) pada grafik epoch dan loss function , hasil yang baik pada transfer gaya berupa input gambar konten dipadukan dengan gambar gaya menghasilkan gambar komposisi yang memiliki kerapatan kecil di antara loss content, loss style dan total variation loss (TV ).

## Building of Informatics, Technology and Science (BITS)
Volume 3, No 3, December 2021, Page 244 − 252 ISSN 2684-8910 (media cetak) ISSN 2685-3310 (media online) DOI 10.47065/bits.v3i3.1049

## 3. HASIL DAN PEMBAHASAN
Pada percobaan ini membutuhkan dua gambar sebagai input yaitu satu gambar konten dan satu gambar gaya. Pada Gambar 6, gambar konten adalah gambar peneliti dengan seekor kucing dan gambar gaya adalah lukisan yang biasa dikenal dengan nama “ the scream ”.
Gambar 6. Gambar Konten, Gambar Gaya, dan Hasil Transfer Gaya
Gambar 7 menggambarkan selama pelatihan, model terus mengekstraksi fitur gambar konten dan gambar gaya sehingga menjadi gambar komposisi dan menghitung loss function , hasil dapat dilihat pada gambar 8 menggunakan epoch 500.
Gambar 7. Gambar komposisi mempertahankan gambar konten dengan memperkenalkan warna dari gambar gaya
Gambar 8. Grafik dari Gambar 6 Transfer Gaya
Loss content membuat gambar gaya cenderung kehilangan gaya dan memadukan dengan gambar konten. Loss style membuat gambar konten cenderung kehilangan fitur konten dan memadukan dengan gambar gaya dan loss total variation adalah membantu mengurangi noise pada gambar akhir yaitu gambar komposisi.
Gambar 9. Gambar Komposisi yang Lebih Jelas dengan Melatih Gambar Konten 900 X 600 pixel

## Building of Informatics, Technology and Science (BITS)
Volume 3, No 3, December 2021, Page 244 − 252 ISSN 2684-8910 (media cetak) ISSN 2685-3310 (media online) DOI 10.47065/bits.v3i3.1049
Gambar 10. Grafik gambar komposisi dengan melatih gambar konten 900 x 600 pixel
Resolusi pada gambar konten mempengaruhi hasil transfer gaya. Pada Gambar 10 kerapatan kecil menunjuki hasil transfer gaya yang baik adanya perpaduan yang pas penggunaan gambar konten resolusi 90x600 pixel. Gambar 11 adalah satu gambar konten yang diaplikasikan dengan berbagai macam gambar gaya.
Gambar 11. Gambar Konten
Gambar 12. Gambar Komposisi Foto Peneliti dengan Percobaan Berbagai Gambar Gaya

## Building of Informatics, Technology and Science (BITS)
Volume 3, No 3, December 2021, Page 244 − 252 ISSN 2684-8910 (media cetak) ISSN 2685-3310 (media online) DOI 10.47065/bits.v3i3.1049
Hasil transfer gaya dapat dilihat pada Gambar 12 dengan berbagai macam gaya yang detail gaya ada pada Tabel 1, gambar konten Gambar 11.
Tabel 1. Detail Nama Gambar Gaya [19] No Nama Gaya 1 Composition 2 Starry Night 3 La muse 4 Feather 5 The Wave 6 Mosaic
3.1 Optimalisasi dan Ekstensi Transfer Gaya
Parameter model transfer gaya [6]. dengan pengembangan yang lama dan kemudian menerapkan model itu, peneliti menemukan bahwa hasilnya memperbaiki banyak kedipan. Bahkan perubahan resolusi dari 250 x 150 dan 900 x 600 pixel dan noise cukup untuk  memperkenalkan konsistensi  temporal  yang mengganggu. Gambar komposisi  dengan gambar konten dan gambar gaya gambar 6 untuk memperlihatkan hasil kestabilan transfer gaya.
Gambar 14. Perbandingan Konsisten Hasil Transfer Gaya
Gambar 14 pada baris pertama adalah zoom in pada gambar pada baris kedua memperlihatkan konsisten hasil dengan gambar latih beda resolusi.

## 4. KESIMPULAN
Tulisan ini merupakan usaha untuk mengeksplorasi teknik neural transfer style dengan kategori Rekonstruksi Gambar Offline Berbasis  Model-Optimisation  (MOB-IR) PerStyle-Per-Model  (PSPM) pengembangan  dari  [6].  Hasil  yang telah dicapai adalah mencapai tujuan model yang terlatih dapat menyesuaikan dengan mode gambar apa pun hanya dengan satu iterasi bukan ribuan iterasi melalui jaringan dan untuk mendapatkan hasil transfer gaya yang memiliki gaya  stabil  nilai  gaya  estetika  yang  objektif.  Evaluasi  kualitatif  penelitian  ini  bergantung  pada  estetika  penilaian pengamat. Hasil evaluasi terkait dengan banyak faktor (mis., usia dan partisipan). NST adalah proses penciptaan seni. Penilaian gaya estetika adalah subyektif dan juga sangat  kompleks, yang melibatkan pribadi  preferensi, komposisi tekstur serta alat yang digunakan.  Akibatnya, sulit  untuk  mendefinisikan estetika kriteria untuk  karya seni  transfer gaya.  Untuk  hasil  transfer  gaya  yang  sama,  orang  yang  berbeda  mungkin  memiliki  pandangan  yang  berbeda  atau bahkan  berlawanan.  Transfer  gaya  mengubah  cara  berpikir  tentang  seni,  apa  arti  orisinalitas  dan  bagaimana  kita menyajikan seni di dunia nyata.

## REFERENCES
[1] B. Gooch and A. Gooch, Non photorealistic rendering. Natick . MA, USA: A. K. Peters, Ltd, 2001.
[2] T.  Strothotte  and  S.  Schlechtweg, Non-photorealistic  computer  graphics:  modeling,  rendering,  and  animation .  Morgan Kaufmann, 2002.
[3] P. Rosin and J. Collomosse, “Image and video-based artistic stylisation,” Springer Sci. Bus. Media , vol. 42, 2012.
[4] and C. V. S. L. A. Gatys, A. S. Ecker, M. Bethge, “A Neural Algorithm of Artistic Style,” pp. 3–7, 2015.
[5] and V. L. D. Ulyanov, V. Lebedev, A. Vedaldi, “Texture networks: Feed-forward synthesis of textures and stylized images,” Int. Conf. Mach. Learn. , pp. 1349–1357, 2016.
[6] and L. F. J. Johnson, A. Alahi, “Perceptual Losses for Real-Time Style Transfer and Super-Resolution,” arXiv Prepr. , 2016.
[7] C. Li and M. Wand, “Precomputed real-time texture synthesis with markovian generative adversarial networks,” Eur. Conf. Comput. Vis. , pp. 702–716, 2016.
[8] and  M.  T.  A.  Mordvintsev,  C.  Olah,  “Inceptionism:  Going  deeper  into  neural  networks,”  2015.  [Online].  Available:

## Building of Informatics, Technology and Science (BITS)
Volume 3, No 3, December 2021, Page 244 − 252 ISSN 2684-8910 (media cetak) ISSN 2685-3310 (media online) DOI 10.47065/bits.v3i3.1049
https://research.googleblog.com/2015/06/ inceptionism-going-deeper-into-neural.html.
[9] and L. M. H. Huang, H. Wang, W. Luo, “Real-Time Neural Style Transfer for Videos,” pp. 783–791.
[10]   and  B.  S.  G.  Amy  A.  Gooch,  Jeremy  Long,  Li  Ji,  Anthony  Estey,  “Viewing  Progress  in  Non-Photorealistic  Rendering Through Heinlein’s Lens,” in In Proc. NPAR. ACM, New York , 2010, pp. 165–171.
[11]   and  T.  S.  Nick  Halper,  Mara  Mellin,  Christoph  S.  Herrmann,  Volker  Linneweber,  “Psychology  and  Non-Photorealistic Rendering,” Begin. a Beautiful Relationship. Proc. Mensch Comput. , pp. 277–286, 2003.
[12]  David H. Salesin, “Non-Photorealistic Animation & Rendering,” in NPAR , 2002.
[13]   and  E.  R.  Hasan  Sheikh  Faridul,  Tania  Pouli,  Christel  Chamaret,  Jürgen  Stauder,  Alain  Trémeau,  “A  Survey  of  Color Mapping and its Applications,” 2014.
[14]  I. P. Labs, “Prisma: Turn memories into art using artificial intelligence,” 2016. .
[15]  Ostagram, “Ostagram,” 2016. .
[16]  T. Henighan, “Spatial Control in Neural Style Transfer,” 2017.
[17]  G. Pan, D. Sun, R. Zhan, and J. Zhang, “Mural Sketch Generation via Style-aware Convolutional Neural Network,” in CGI 2018: Proceedings of Computer Graphics International 2018 , 2018, pp. 239–245.
[18]  D. J. Semmo, Amir, Isenberg Tobias, “Neural Style Transfer : A Paradigm Shift for Image-based Artistic Rendering,” in Proceedings of the Symposium on Non-Photorealistic Animation and Rendering , 2017.