Yapay zeka ve mimarlık etkileşimi üzerine bir çalışma:Üretken çekişmeli ağ algoritması ile otonom mimari plan üretimi ve değerlendirmesi
A study on interaction of artificial intelligence and architecture: Production and evaluation of architectural plans with generative adversarial networks
Yazar: CAN UZUN
Danışman: PROF. DR. MERYEM BİRGÜL ÇOLAKOĞLU
İstanbul Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilişim Ana Bilim Dalı / Mimari Tasarımda Bilişim Bilim Dalı
Derece: Doktora, 2020
Konu: Mimarlık = Architecture

Özet:
Bu tez kapsamında "Makineler tasarlayabilir mi?" sorusunun bir alt sorusu olan "Makineler mimari plan şeması üretebilir mi?" sorusu tezde araştırılması hedeflenen problem tanımını oluşturmaktadır. Tez mimari plan şemasının, günümüz yapay zeka algoritmaları ile, otonom olarak üretiminin kapsamını tartışmaya açmaktadır. Bu problem tanımı ile hedeflenen, günümüzde görsel işleme verimliliği ve gücü oldukça yüksek olan yapay sinir ağları içerisindeki algoritmaların üretken modelleri sınıfına dahil olan üretken çekişmeli ağlar ile mimari plan şeması üretim sürecinin ve üretim çıktılarının değerlendirilmesi bulunmaktadır. 
Tez öncelikle yapay sinir ağlarının üretken çekişmeli ağlara kadar olan gelişimini kronolojik olarak, önemli dönüm noktaları ile birlikte özetler. Yapay siniri ağları tarihçesi sonrasında mimari plan şeması üretimine dair literatür araştırması sunulmaktadır. Mimari plan şeması üretimine dair literatür geçmişte bu problem çözümü için kullanılan yöntemleri göstermekle birlikte bugün mimari plan şeması üretim problemi için hangi yöntemlerin kullanımının verimli sonuçlar verdiğini de gösterebilmektedir. Bir diğer yandan literatür araştırmasına bakıldığında, mimarlık disiplininin yapay zeka ile etkileşime geçtiği problemin çoğunlukla mimari plan şeması üretimi olduğu görülmektedir. Bunun yanında literatürde mimari plan şeması üretim probleminin yapay zeka problemi sınıfına dahil olduğu da söylenmektedir. Literatür araştırmasına göre yapay zeka alanındaki yeni algoritmalar ile mimari plan şeması üretim problemi potansiyel bir araştırma alanı tanımlamaktadır. Bu nedenle tez çekişmeli üretken ağlar ile mimari plan şeması üretim süreci ve çıktılarını değerlendirmeyi hedeflemiştir. 
Bu çalışma güncel bir fenomen olarak çekişmeli üretken ağları ele almaktadır. İçinde bulunduğu bağlam olarak da mimari plan şeması üretimi problemini hedef alır. Bu hedef, hem çekişmeli üretken ağların mimari plan şeması üretimi sürecinin keşfi hem de üretim çıktılarının değerlendirilmesini kapsamaktadır. Bu yönüyle tez durum çalışması yöntemi ile ele alınacaktır. Bu çalışmada veriseti ve ÇÜA mimarisi girdilerinin (bağımsız değişkenlerin), çıktılar / mimari plan şeması üretimleri (bağımlı değişken) üzerindeki etkileri de araştırılmaktadır. Bu yönüyle de tezin bir deney çalışması yöntemi kullandığı söylenebilir. Ancak tezdeki deneylerde kontrol grubu kullanılmamış, değerlendirme tüm deneylerin karşılaştırılması ile elde edilmiştir. Bir diğer yandan tez içinde kurgulanan deneylerin sayısı, algoritmanın başarılı olması ile deneylerin tamamlanması nedeniyle, rassaldır. Bu durumlar nedeniyle tez gerçek deneysel yöntem yerine yarı-deneysel yönteme başvurmuştur. Bu nedenlerle tezin yönteminde yarı-deneysel durum çalışmasına başvurulmuştur.
Çekişmeli üretken ağ kullanılarak mimari plan şeması üretimleri sekiz deney sonrasında başarıya ulaşmış ve deneyler tamamlanmıştır. Eğitimlerde çekişmeli üretken ağlar içerisinde yer alan derin evrişimsel üretken çekişmeli ağlar  (deep convolutional generative adverserial network / DCGAN) kullanılmıştır. DCGAN mimarisi içindeki hiper parametreler DCGAN ile ilişkili literatürde belirtilen parametrelere uygun olarak kullanılmıştır. Deneylerdeki eğitimler "python" dili ile Google' ın bulut ortamında sunduğu "COLAB" ortamında yapılmıştır. "COLAB" ortamının seçilmesinin nedeni bulut ortamında sağladığı GPU donanım servisidir. Deneylerdeki eğitim sırasında işlem gücünün yüksek olması nedeniyle bulut servislerinde sunulan GPU hizmeti algoritma eğitim sürelerini kısaltabilmektedir. Bu nedenle algoritmanın eğitimi için bulut ortamındaki "COLAB"  kullanılmıştır.
Deneylerdeki algoritma eğitimleri, piksel tabanlı orijinal Andrea Palladio planlarından oluşan piksel tabanlı veriseti ve Palladio gramer kuralları ile üretilen sentetik, piksel tabanlı Palladio plan şemalarından oluşan veriseti ile gerçekleştirilmiştir. Palladio orijinal planları ve plan şemalarının veriseti için kullanılmasının sebebi; Palladio plan sisteminin kurallar ile açıklanabilen ve çoğunlukla simetrik plan kurgusuna sahip olması nedeniyle, algoritma üretim çıktıları ile veriseti arasında hızlı ve kolay bir değerlendirmenin yapılabileceği düşüncesidir. Bu düşünce ile yalnızca Andrea Palladio planları ve plan şemaları deneylerdeki eğitimlerde kullanılmıştır. Her bir deneyde kullanılan veriseti içerisindeki öznitelikler (siyah ve beyaz pikseller) değerlendirilerek raporlanmıştır.
DCGAN üretimlerinin veriseti ile ilişkili olması nedeniyle her bir deneyde kullanılan planlar ve plan şeması görsellerinden oluşan verisetlerindeki siyah ve beyaz piksellerin olasılık dağılım grafikleri çizdirilmiştir. Bu grafikler üzerinden deneylerde kullanılan verisetlerinin değerlendirilmesi yapılmıştır. Değerlendirme sonucunda son üç deneyin piksel dağılım grafiklerinin diğer deneylerden daha düzgün olduğu ve bu nedenle deney üretimlerinin de son üç deneyde kalitesinin arttırdığı sonucuna varılmıştır. Eğitimlerde kullanılan veri artırımı yöntemi ile elde edilen Palladio plan şeması verisetlerinin ise çekişmeli üretken ağların üretim çıktılarını negatif etkilediği gözlemlenmiştir. 
DCGAN üzerinden yapılan son çalışma hem algoritma hem de mimari plan üretimlerinin verimliliğinin değerlendirildiği çalışmadır. DCGAN verimliliği literatürde önerilen "Frechet Inception Mesafesi" ile değerlendirilmiştir. Plan şeması üretimleri ise literatürde önerilen değerlendirme yöntemi "Hızlı Sahne Sınıflandırması" yanında "Palladian Grameri ile Sınıflandırma" ve "Mekan Sentaksı ile Sınıflandırma" yöntemleri ile gerçekleştirilmiştir. Literatür dışında önerilen son iki değerlendirme yönteminin bu tezde kullanılmasının sebebi, literatürde önerilen değerlendirme yöntemlerinin, üretimleri değerlendirmekten daha çok, algoritmanın üretim verimliliğini değerlendirmek için kullanılıyor olmasıdır. Ancak mimari plan şeması üretimi probleminde, bu problemin çözüm yönteminin araştırılmasının yanında, üretim çıktılarının değerlendirme yöntemlerinin de araştırılması gereklidir. Herhangi bir görsel üretiminde literatürdeki değerlendirme yöntemi kullanılabilse de mimari plan şeması üretimlerinin değerlendirilmesi için mimarlık disiplini içerisinden yöntemler kullanılabilir. Bu nedenle son iki değerlendirme, Palladian gramer kuralları ile sınıflandırma ve mekan sentaksı ile sınıflandırma değerlendirme yöntemleri bu tezde yer almaktadır.  
Bu tez çalışmasında, bugünün derin öğrenme algoritmalarından üretken çekişmeli ağlarla otonom plan şeması üretimlerinin işlevsel olarak değil, sadece biçimsel olarak gerçekleşebildiği sonucuna varılmıştır. Bir diğer yandan biçimsel olarak verisetine benzer üretimler gerçekleşiyor olsa da DCGAN üretimlerinin kontrol dışı üretildiği gözlemlenmiştir. Kontrol dışı üretimler mimari plan şeması üretimi probleminde, birçok varyasyondan oluşan, verisetindeki özniteliklere uygun dağılımdaki çıktılardan oluşan bir keşif alanı sunabilir. Ancak DCGAN algoritması ile doğrudan plan şeması üretimine güvenilerek kullanılması doğru sonuçlar vermeyebilir. Bu nedenle çekişmeli üretken ağlar içindeki DCGAN algoritmasının mimari plan şeması üretiminde üretken bir sistem olarak sadece bir keşif aracı niteliğinde olduğu söylenebilir. Ancak çekişmeli üretken ağların plan şeması üretimi problemi için büyük bir potansiyeli bulunmaktadır. Plan şeması üretim probleminin çözümü için gelecekte karşılaşabileceğimiz, kontrolsüz üretimlerin önüne geçen, yeni üretken çekişmeli ağ mimarilerinin plan şeması üretim probleminde verimli bir araç olarak kullanılabilme potansiyeli bulunmaktadır.

Abstract:
In the scope of this thesis, The question of "Can machine generate architectural plan schemes?" constitutes the definition of the problem aimed to be investigated in this thesis. The aim is to evaluate the architectural plan scheme generation process and the outputs of generative adversarial networks, which have high visual processing efficiency and power today.
This thesis summarizes the development of artificial neural network, and generative adversarial network chronologically, with important milestones. After the history of artificial neural networks, a literature review on the problem of architectural plan scheme production is presented. The literature on the production of architectural plan schemes shows the methods used for solving this problem in the past, besides, it also shows which recent methods to use for the architectural plan scheme production problem. On the other hand, looking at the literature research, it is seen that the problem in which the discipline of architecture interacts with artificial intelligence is mostly the production problem of architectural plan schemes. In addition, it is stated in the literature that the problem of architectural plan scheme production is included in the artificial intelligence problem class. According to literature research, the problem of architectural plan scheme production with new algorithms in the field of artificial intelligence defines a potential research area. Therefore, it is aimed to explore and evaluate the architectural plan scheme production process and outputs of generative adversarial networks.
This study deals with generative adversarial networks as a current phenomenon in the technology field. It targets the problem of architectural plan scheme production. This objective includes both the exploration of the architectural plan scheme production process of adversarial generative networks and the evaluation of production outputs. For this reason, the thesis will utilize the case study method. In this study, the effects of dataset and GAN architecture (inputs / independent variables) on outputs (architectural plan scheme productions / dependent variable) are investigated too. In this respect, the thesis utilizes an experimental study method. However, there is no control group in the experiments, and the evaluation was obtained by comparing all the experiments. Moreover, the number of experiments set up in the thesis is random. When the algorithm is successful, the experiments are completed. Because of these reasons, the study has applied to the quasi-experimental method instead of the real- experimental method. For these reasons, a quasi-experimental case study is utilized for the method of the thesis.
The architectural plan scheme production using the adversarial generative network is successful after eight experiments. During the experiments, for training the algorithm, Deep convolutional generative adversarial network (DCGAN) is utilized. Hyperparameters following the parameters specified in the literature related to DCGAN are utilized for DCGAN architecture in the experiments. The training in the experiments is carried out with "python" in the "COLAB" environment offered by Google cloud services. The reason for choosing the "COLAB" environment is the GPU hardware service that Google provides in the cloud. Due to the need for high processing power during the training in the experiments, the GPU service offered in cloud services can shorten the algorithm training time. Therefore, "COLAB" is used for the training process of the algorithm.
In the experiments, the algorithm training process was carried out with a pixel-based dataset consisting of original Andrea Palladio plans and a dataset consisting of synthetic, pixel-based Palladio plan schemes generated with Palladian grammar rules. The reason why Palladio's original plans and plan schemes were used for the dataset is that the evaluation between the algorithm production outputs and the dataset that the algorithm was trained with could be made easier. The plan system can be explained with rules (Palladian grammar) and mostly has a symmetrical plan setup. For this reason, only Andrea Palladio plans and plan schemes were used in the algorithm training experiments. At the end of each experiment, the features (black and white pixels) in the datasets were evaluated and reported.
Since the DCGAN production efficiency is related to the dataset, the probability distribution graphs of the black and white pixels in the datasets consisting of the plans and schemes used in each experiment are drawn. The datasets used in the experiments were evaluated through these graphics. As a result of the evaluation, the pixel distribution graphics of the last three experiments show a more homogenous distribution than the other experiments, therefore the quality of the experimental productions increased in the last three experiments. It has been observed that the Palladio plan scheme datasets obtained by the data augmentation method affect the production output of adversarial productive networks negatively.
The last study conducted on DCGAN is a study evaluating the efficiency of both algorithm and architectural plan production outputs. DCGAN efficiency was evaluated with the "Frechet Inception Distance" suggested in the literature. Frechect inception distance is a measure that calculates the distrubution differences between the algorithms outputs and the dataset in the training process. With frechet inception distance, we can say that DCGAN was succesfull in the last three experiments. This success comes from directly the organization of the datasets. As the datasets in the first five experiments were not clean enough, tha algorithm failed and so frechet inception scores showed bad result. But the last three experiments have clean and tidy datasets. So the algorithm could genarilize a meaningful result, readable architectural plan scheme outputs. The algorithm could learn the probability distrubutin of the Palladian plan scheme geometries. But still frechet inception distance is not saying anything about the efficiency of the architectural plan schemes, this method only shows the efficiency of DCGAN training procces. To evaluate the efficieny of the architectural plan scheme production outputs, frechet inception distance score was insufficient. 
The evaluation of the Plan scheme production was carried out with "Rapid Scene Categorization", "Classification with Palladian Grammar" and "Classification with Space Syntax" methods in addition to the evaluation methods of GAN, suggested in the literature. The reason why the last two evaluation methods is that the evaluation methods suggested in the literature are used to evaluate the production efficiency of the algorithm rather than evaluating the production outputs. In the problem of producing architectural plan schemes, besides investigating the solution method of this problem, it is necessary to investigate the evaluation methods of production outputs. Although the evaluation method in the literature can be used in any visual production, when it comes to the evaluation of the architectural plan scheme production outputs, methods within the architectural discipline can be utilized to evaluate the production outputs of GAN. For this reason, the last two evaluation methods (classification with Palladian grammatical rules and classification evaluation methods with space syntax) are proposed for evaluation methods.
In this thesis, it was concluded that the production of autonomous plan schemes with generative adversarial networks, which is one of the most recent deep learning algorithms, is only based on shapes, not function or spatial order. On the other hand, it has been observed that DCGAN productions are produced out of control, even though the outputs of DCGAN are similar to the dataset. Out-of-control productions can present an area of exploration in the problem of architectural plan scheme production, consisting of many variations, and outputs in a distribution suitable for the attributes in the dataset. However, using DCGAN algorithm relying on direct plan scheme production may not give correct results. For this reason, it can be said that the DCGAN algorithm in adversarial generative networks is only a discovery tool as a productive system in architectural plan scheme production problems. However, adversarial generative networks have great potential for the problem of plan scheme generation as we can see its power in mimicking the geometrical entities within the dataset. The new generative adversarial network architectures, which prevent uncontrolled productions that we may encounter in the future, have the potential to be used as an efficient tool in the architectural plan scheme production problem.