Üretken çekişmeli ağ tabanlı tek görüntü üretim modellerinin tasarımı
Design of single image generation models based on generative adversarial networks
Yazar: EYYÜP YILDIZ
Danışman: DOÇ. DR. SELÇUK SEVGEN ; DOÇ. DR. MEHMET ERKAN YÜKSEL
İstanbul Üniversitesi-Cerrahpaşa / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Doktora, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Üretken Çekişmeli Ağ (ÜÇA)'lar kullanılarak tek bir doğal görüntüden görüntü üretimi, ÜÇA
modellerinin foto-gerçekçi görüntüler üretmedeki yetenekleri ve bilgisayar görüsündeki
potansiyel uygulamaları nedeniyle son zamanlarda yoğun ilgi çekmektedir. Bu tez
çalışmasında, tek bir doğal eğitim görüntüsüne dayalı gerçekçi, yüksek kaliteli, farklı görüntü
örnekleri üreten iki yeni koşulsuz ÜÇA modeli önerilmiş ve gerçeklenmiştir. Model 1, tek
eğitim görüntüsü özelliklerini öğrenebilmek amacıyla hem üretici hem de ayırıcı sinir ağlarında
öz-dikkat mekanizması, yoğun bağlantılı blok mimarisi ve gradyan cezalı göreceli ortalama en
küçük kareler ÜÇA kayıp fonksiyonu bileşenlerinden yararlanmaktadır. Model 2, tek eğitim
görüntüsünün gizli gösterim bilgisini etkili şekilde öğrenmektedir. Öğrenilen gizli gösterim
kullanılarak Model 2 için özgün bir eğitim süreci geliştirilmiştir. Önerilen ÜÇA modellerinin
performanslarını test etmek ve kapasitelerini göstermek amacıyla literatürde iyi bilinen tek
görüntü ÜÇA modelleriyle nicel ve nitel karşılaştırmalar gerçekleştirilmiştir. Karşılaştırmalar,
Places, LSUN ve ImageNet veri kümeleri üzerinde, görüntü kalitesini ve çeşitliliğini ölçen nicel
ölçüm metrikleri kullanılarak; görüntü gerçekçiliğini ölçek amacıyla nitel kullanıcı çalışmaları
oluşturularak yapılmıştır. Ek olarak önerilen ÜÇA modelleri görüntü manipülasyon
uygulamalarında test edilmiştir. Yapılan deneylerde, önerilen ÜÇA modellerinin etkin
parametre verimliliğine sahip olduğu, aşırı uyumu önlediği, karmaşık yapı ve dokulara sahip
eğitim görüntülerin dahili yama istatistiklerini öğrenebildiği, tek görüntü üretim görevlerinde
karşılaştırılabilir performans elde ettiği gözlemlenmiştir. Kullanıcı çalışmaları, önerilen ÜÇA
modelleri tarafından sentezlenen görüntülerin genellikle tek eğitim görüntüsüyle karıştırıldığını
doğrulamıştır. Bu doğrultuda tez çalışması kapsamında önerilen ÜÇA modelleri, sınırlı eğitim
verileriyle uğraşan alanlarda veri artırmanın yanı sıra çeşitli görüntü işleme görevleri için güçlü
bir araç olarak kullanılabilir.
Nisan 2024 , 141 sayfa.
Anahtar kelimeler: Tek Görüntü Üretimi, Üretken Çekişmeli Ağlar, Derin Öğrenme, Özdikkat mekanizması, DenseNet, ALI, Görüntü manipülasyonu

Abstract:
Image generation from a single natural image using generative adversarial networks (GANs)
has attracted extensive attention recently due to the GANs' practical ability to produce photorealistic images and their potential applications in computer vision. In this thesis, two novel
Unconditional GAN models are developed and implemented to generate diverse, high-quality,
realistic image samples from a single natural training image. In both the generator and
discriminator neural networks, Model 1 incorporates self-attention mechanisms, densely
connected block architecture, and relativistic average least square GAN with gradient penalty
loss component to proficiently learn the characteristics of a single training image. Model 2
effectively learns the latent representation information of the single training image. A novel
training process has been developed for Model 2 by utilizing the learned latent representation.
To test the performance and demonstrate the capabilities of the developed GAN models,
quantitative and qualitative comparisons were carried out with well-known single-image GAN
models in the literature. The comparisons were conducted using quantitative metrics measuring
image quality and diversity on datasets such as Places, LSUN, and ImageNet, while qualitative
user studies were conducted to assess image realism. In addition, the developed GAN models
are tested in image manipulation applications. Experimental findings indicate that the
developed GAN models exhibit efficient parameter utilization, mitigate overfitting, and
successfully learn the internal patch statistics of training images characterized by complex
structures and textures, comparable performance in single-image generation tasks. User studies
confirm that images synthesized by the developed GAN models are frequently mistaken for the
single training image. In this regard, the GAN models proposed within the scope of the thesis
can be used as a powerful tool for various image processing tasks as well as data augmentation
in areas dealing with limited training data.
April 2024, 141 pages.
Keywords: Single Image Generation, Generative Adversarial Networks, Deep Learning, SelfAttention, DenseNet, ALI, Image Manipulation