Üretici yapay nöron ağlarının mimari tasarım için kullanılması
Architectural design with generative adversarial networks
Yazar: MUKADDES UÇAR
Danışman: DOÇ. DR. MİNE ELİF KARSLIGİL YAVUZ
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2020
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Üretici Çekişmeli Ağlar (ÜÇA) birbiriyle rekabet eden iki ayrı derin yapay nöron ağından oluşan, yeni ve gerçekçi yapay örnekler üretmeyi amaçlayan üretici modellerdir. Bu iki ağdan birisi olan üretici ağ rassal gürültü vektörünü girdi olarak alır ve gürültüyü yapay bir görüntü örneğine dönüştürerek çıktı olarak verir. Üretici Çekişmeli Ağ'ı oluşturan diğer ağ ise ayırt edici ağdır. Ayırt edici ağ, üretici ağdan elde edilen görüntü ile gerçek bir görüntü örneğini girdi olarak alır ve her birini "üretilmiş görüntü" veya "gerçek görüntü" olarak sınıflandırır. Ağların optimizasyonu için eğitim aşamasında her iki ağın kayıp fonksiyonları farklı biçimde hesaplanır. Üretici ağda üretilmiş örnek için kayıp hesaplanarak parametrelerin optimizasyonu yapılır. Ayırt edici ağda ise hem gerçek hem de üretilmiş örnekler için toplam kayıp hesaplanarak ağ parametrelerine geri besleme uygulanır. Birbiriyle rekabet eden iki ağdan birisinin parametre güncellemesi diğer ağın parametrelerini değişime zorlamıyorsa parametre eğitimi sonlandırılır. Üretici ağın güncel parametre değerleriyle yapay örnekler üretilir. 
Eldeki veri kümesinin olasılıksal dağılımını öğrenerek, bu dağılıma uygun örnekler üretmeyi amaçlayan ÜÇA ile yapay görüntü ve video üretme konusunda çeşitli çalışmalar yapılmıştır. Bu çalışma ile derin ağların üretici modellerinden birisi olan Üretici Çekişmeli Ağlar'ın farklı mimari tarzlarda bina ve bina unsurlarını üretmedeki başarımları üzerine bir araştırma yapılmıştır. ÜÇA yardımıyla Romanesk ve İslam mimarisi gibi farklı mimari tarzlarda gerçekçi yapılar üretilmiştir. Eğitimde kullanılan görüntü veri kümesi yaklaşık 39000 cami, kilise, katedral, medrese, kütüphane ve kalelere ait görüntülerden oluşturulmuştur. Veri kümesinde binaların dış ve iç cephe görüntülerinin yanında kubbe, kule, minare, tonoz, kapı girişi ve vitray gibi mimari unsurlar bulunmaktadır. Bu çalışmada Üretici Çekişmeli Ağlar ile gerçekçi ve yüksek kalitede Romanesk ve İslam mimarisi örnekleri üretmek için BigGAN ağ mimarisi üzerinde gerekli düzenlemeler yapılmıştır.
Üretilen görüntüler ile modelin başarısı ve performans değerlendirme metrikleriyle örnek kalitesi değerlendirilmiştir.
Yapılan anket çalışmasıyla görüntülerin gerçekçiliği ve örneklerdeki problemler araştırılmıştır. 48 katılımcının çoğunluğu örneklerin genellikle gerçekçi ya da gerçeğe yakın olduğu görüşündedir. Katılımcılara göre gerçekçi olmayan örneklerde temel problemler mevcuttur: simetri özelliğinin olmaması, detay özelliklerin eksikliği, görüntülerde çizgisel kayma ve kırılmalar ve keskinliğin yetersiz olması. Ayrıca bu anketin bir benzeri mimari alanında uzman kişilere uygulanmıştır. Ankete katılan 24 uzmana göre Romanesk mimarisi örnekleri İslam mimarisi örneklerine göre daha gerçekçidir. 
Görüntülerde öne çıkan yapısal özellikler ve modelin üretmekte zorlandığı mimari özellikler incelenmiştir. Ayrıca üretilen örneklerin kalitesi mimaride uzman bir kişi tarafından değerlendirilmiştir. İslam mimarisi örneklerinin çok geniş bir coğrafyada yer alması nedeniyle mimari tarz farklılaşmaktadır. Bu durum da Romanesk mimarisi örnekleriyle karşılaştırıldığında İslam mimarisi örneklerinin daha başarısız olduğunu göstermektedir.
Modelin ezberleme yapma olasılığını değerlendirmek için İçerik Tabanlı Görüntü Erişimi yöntemi yardımıyla eğitilmiş ayırt edici ağ kullanılarak yeni bir yöntem geliştirilmiştir. Üretilen görüntülere en benzer gerçek görüntüler tespit edilerek bu görüntülere çeşitli transformasyon işlemleri uygulanmıştır. Üretilen örneklerle karşılaştırıldığında, transformasyon uygulanmış görüntülerin orijinal görüntülere daha benzer olması modelin ezberleme yapmış olma olasılığının düşük olduğunu göstermiştir.

Abstract:
Generative Adversarial Networks (GANs) are generative models having two distinct non cooperative deep neural networks to generate new realistic image samples. One of the networks is called as a generator which takes random noise vector and transform it into the artificial image sample. Another network is defined as a discriminator which takes real and generated image samples and classifies them by real or fake. The loss functions of two networks are calculated according to the outputs of the discriminator. Gradients of the loss functions are back propagated to the generator and the discriminator to update weight parameters of the networks. Similar steps are implemented to the other image samples to keep go on the training. When the weight updates of a network do not have an effect on behaviour of the other network, training is stopped. The generator creates images using the last updated weight parameters.
There are various studies associated with GANs which aim to represent the distribution of a data set and generate samples fitting the real distribution. In this study, buildings and architecture elements are generated in different styles of architectures using GANs. Realistic samples of Romanesque and Islamic Architecture are generated and success of the model is evaluated. A new data set is created that consists of approximately 39000 mosque, church, cathedral, library, university and castles. The data set involves not only facades but also the elements such as dome, tower, minaret, vault, door entrance and stained glass.
In this study, the BigGAN model is fine-tuned to obtain realistic and high-quality images. Success of the model is assessed from the viewpoint of Performance Evaluation Metrics.
A survey was arranged to determine that the generated samples whether look like real or not. The majority of 48 respondents think that the samples are generally realistic or nearly realistic. According to the survey fundamental problems of unrealistic samples are lack of the feature of symmetry in images, defects of the detailed features, lack of the straightness and, shaky and unclear shapes of the buildings. Similar of the survey was arranged in architecture experts. They think that samples of the Romanesque architecture were more realistic than samples of the İslamic architecture. 
Besides the survey, quality of the generated images was assessed in technique details by an architecture expert. According to the expert generally, samples of the Romanesque style more successful than samples of the Islamic architecture. It is because that samples of the Islamic style have wide variety in point of a building material, a texture and a form. Too much variety causes the under fitting model and poor samples.
There is a possibility of the over fitting of the trained model. To investigate this, a novel method was improved using the method of content-based image retrieval and the trained model. The similarity of the generated and real images was computed. Similarly, the similarity between the transformed real images and the original real images was obtained. The results demonstrated that the transformed images more similar to original real ones than generated images. Eventually, according to the results the possibility of the over fitting is low.