Üretken çekişmeli ağlarda gizli unsur kodlayıcı ile çıktı imgesi arasındaki ilişkinin hesaplamalı modellenmesi
Computational modeling of the relationship between latent vector encoding and output image in generative adversarial networks
Yazar: YAHYA DOĞAN
Danışman: DOÇ. DR. HACER YALIM KELEŞ
Ankara Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2021
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Üretken Çekişmeli Ağ (ÜÇA)'lar, başarılı foto-gerçekçi imgeler üretmeye olanak sağlamakta ve anlamlı bir gizli vektör içermektedir. ÜÇA mimarisi, gizli vektörden imge üretmeye olanak sağlasa da imgeden gizli vektöre kodlamayı sağlayacak bir yapı barındırmamaktadır. Tez kapsamında, denetimsiz bir ortamda bir Kodlayıcı ağ aracılığıyla, Üreticinin ters işlevini doğru bir şekilde öğrenmeyi sağlayan Döngüsel Ters Üretici (DTÜ) adlı bir model önerilmiştir. DTÜ modeli mevcut uçtan uca modellerle, gerçek imgelerin yeniden yapılandırılması bakımından karşılaştırılmış olup daha başarılı olduğu görülmüştür. DTÜ modeli kullanılarak birbirinden bağımsız iki problem alanı için çözümler sunulmuştur: İmge öznitelik düzenleme: Amaç, herhangi bir imgede istenen bir özniteliği değiştirip imgedeki diğer ayrıntıları korumaktır. Literatürdeki hemen hemen tüm çalışmalar, bu amaçla denetimli bir ortamda etiketli veri setlerini kullanmaktadır. Yarı denetimli olarak bu hedefe ulaşmanın yöntemi, bir imgeyi temsil eden doğru gizli vektör temsilini ve bir özniteliğe karşılık gelen doğru yönü bulmaktır. Bu kapsamda, önerilen yöntem ile bir öznitelik için, ilgili özniteliği içeren ve içermeyen bir çift referans imge kullanılarak öznitelik düzenleme yapılmıştır. Ayrıca öznitelik yönleri ile ilgili çeşitli analizler ve deneysel çalışmalar yapılmıştır.
Yüz imgesi içboyama: Amaç, maskelenmiş bölgeleri algısal olarak makul içerikle doldurmaktır. Bu amaçla önerilen yaklaşımların farklı kısıtlamalara sahip oldukları gözlenmektedir. Bu bölümde, DTÜ modeli kullanılarak ilgili problem alanı için etkili bir yöntem önerilmiştir. Nihai olarak önerilen yöntem, en iyi çalışmalarla karşılaştırılmış ve özellikle büyük maskelerin kullanıldığı imgelerde daha iyi olduğu gözlenmiştir.

Abstract:
Generative Adversarial Networks (GANs) enable successfully generating photo-realistic images and have a meaningful latent vector. GANs allow the generation of an image from a latent vector but do not provide an architecture to encode from image to latent vector. In the scope of the thesis, we proposed a model named Cyclic Reverse Generator (CRG) that enables to learn the inverse function of the generator via an encoder in an unsupervised setting. We show that CRG performs better in terms of image reconstruction compared to the existing end-to-end generative models. We also provide solutions for two problems using CRG: Image attribute editing: The aim is in the manipulation of selected attributes of images while preserving the other details. Almost all the studies use labeled datasets in a supervised setting for this purpose. The method to achieve this goal by semi-supervised is to find an accurate latent vector representation of an image and a direction corresponding to the attribute. In this context, with the proposed method, we edit an attribute using a pair of reference images with and without the relevant attribute. In addition, we provide various analyses and experimental studies on attribute directions. Facial image inpainting: The aim is to fill the masked regions with perceptually plausible content. We observe that the approaches proposed for this purpose have different limitations. In this section, we provide an efficient solution using CRG. Finally, we compared our method with state-of-the-art models and observed it is particularly better in images where larger masks are utilized