Photogrammetry based heritage modeling with shape embedding

Fotogrametri, tarihi yapıların sayısal modellerinin hızlı ve isabetli olarak, fotoğraflardan üretilmesini mümkün kılan bir tekniktir. Mevcut yapıların fotogrametri yoluyla elde edilmiş üç boyutlu modellerinde, gözün seçebildiği biçimler modelin geometrik bileşenlerinde apaçık olarak tanımlı değildir. Oysa anlamlı parça ve bütünlerin hızlı ve detaylı belgeleme yöntemleriyle alınan kayıtlarla eşlenmesi, mevcut yapıların bilgi modellerinin oluşturulmasına yönelik avantaj sağlayacaktır. Çalışma kapsamına bu yöntemleri üretmek için biçim ve örüntü tanıma yöntemleri incelenmiş, üretilmiş ve kullanılmıştır. Üç boyutlu modellerde örüntü tanımanın zorluklarını aşmak için izdüşümle elde edilmiş iki boyutlu bir örneklem kullanılmıştır. Eğrilik, yükselti ve normal haritaları, üç boyutlu yüzey niteliklerinin iki boyutlu veri setlerinde temsilini mümkün kılan, çağdaş bilgisayar grafiği uygulamalarında sıklıkla kullanılan öğelerdir. Önerilen yöntem, ışık tabanlı görselleştirme yerine, bu haritalamalar üzerinden örüntü tanınmasını temel alır. Uygulamanın ilk aşamasını tarihi Zeugma mozaiklerinin ve Selçuklu dönemi tuğla duvarların fotogrametri yoluyla taranması oluşturur. Tarihi tuğla duvarların ayrıca belgelere dayalı olarak üç boyutlu olarak modellenmiştir. Bu modellerden ve literatürdeki bilgiden faydalanarak bir üretken sistem oluşturulmuştur. Bu sistemle elde edilen çok sayıda ve çeşitli tuğla modeli, ileri aşamalarda kullanılan tanıma sisteminin eğitilmesini mümkün hale getirmiştir. Çalışmanın ikinci aşaması bu verilerden Alice Vision, OpenCV-Python, ve Autodesk Maya kullanılarak elde edilen iki boyutlu yüzey temsilinin işlenmesi ile duvarların yapım bilgisinin ve olası özniteliklerinin ayıklanmasını kapsamaktadır. Çalışma sonucunda fotogrametri modellerinden yapı birimlerinin nicelik ve koordinat bilgisini çıkarabilen eğitilebilir bir biçim tanıma sistemi elde edilmiştir. Mimarlık ve tasarım alanlarında yaygın kabul görmüş bazı çalışmalar, tasarım sürecini 'görme ve yapma' ve 'gör, hamle yap, gör' gibi tanımlarla açıklarken, tasarım nesnesine müdahale etme ile nesnede öğeler arası yeni ilişkiler görmeyi bağlantılı olarak ele almıştır. Sürecin temel bir öğesi olan görme, bir bütünün içinden, gömülü bir parça veya bütünün seçilmesi iken, diğer bir öğesi olan yapma, seçilmiş bir parça veya bütünü yenileriyle değiştirme veya bu işlemi özyinelemeli uygulama yoluyla gerçekleşir. Hamle yaptıkça, tasarımın nesnesi ve bağlamı dönüşerek, yeni görülere yol açar. Tasarımı, sürece ve tasarımın sonlu veya sonsuz çözümlenmiş öğelerine odaklı ele alan bir hesaplamalı tasarım yaklaşımı, görme ve yapma ile döngü içinde ortaya konulabilecek önermeler için gerekli görülen sanal ortamı sunar. Özellikle üretken sistemler ile yeni tasarımların oluşturulmasında benimsenen bu yaklaşım, aynı zamanda tarih içinde tamamlanmış tasarım ürünlerinin geçmişş süreçlerinin incelenmesinde ve belgelenmesinde de kullanılmıştır. Tüm bu hesaplamalı tasarım uygulamaları için ihtiyaç duyulan sanal ortamın, eskiz ve maketlere ek olarak dijital temsillerinin oluşturulması da gelişen teknolojilerle beraber yaygınlaşmaktadır. Ancak bu ortam, mevcut kullanımlarda var olanın belirli değişkenler üzerinden modellenmesinden oluşmaktadır ve yukarıda vurgulanan yapma bileşeniyle ilgili olan malzeme ve yapım süreçlerinin tanımları geri planda kalmaktadır. Var olan yapıların ve yapılı çevrenin belgelenmesinde sahada durum tespiti için kullanılan fotogrametri, LIDAR, panoramik video gibi çeşitli görüntüleme teknikleri ve bunlara dayanan sayısal modellerle gerçeğe yakın benzetimlerin oluşturulması en sık kullanılan dijital araç ve yöntemlerdir. Dijital görüntüleme teknikleri, çok çeşitli kullanımlara yönelik yüksek çözünürlüklü ve detaylı veri üretirken, bu verilerin yorumlanarak tasarım veya koruma amaçlı kullanımı tarihsel bakış açısı ile birlikte tasarım uzmanlığı gerektiren bir konudur. Var olan yapılara dair mimar bakış açısıyla oluşturulan görsel hesaplamalı betimlemelerde ise, tasarımın bileşenlerinin biçimsel olarak birbiriyle nasıl ilişkilendiği parametreler tanımlanarak kaydedilirken, mevcut literatürde biçime etki eden malzeme bilgisinin etkileri açıkça gösterilmemiştir. Güncel paradigmada, dijital temsilin malzeme ve yapım niteliklerini de içermesi, sıkça aranan bir özelliktir. Dijital modellerin hızla elde edilmesi için fotogrametri teknikleri kullanılabilmektedir. Mevcut yapılardan fotogrametri yöntemiyle elde edilen üç boyutlu temsiller, yüksek detay seviyesine sahip olmakla birlikte, parça bütün ilişkileri ve öznitelik verisi içermezler. Bu modellerin korumaya yönelik tasarım ve analiz süreçlerinde kullanılabilmesi için çoğu durumda fotogrametri yüzeylerinin kılavuz olarak kullanılarak yeni yüzeylerin modellenmesi gerekmektedir. Çalışmalarımız, üretken tasarım ve yapım kurallarının uygulanabilmesi için, üç boyutlu ham temsiller üzerinde görme aşamasını modelleyen bir hesaplamalı araç üreterek, parça bütün ilişkilerinin, özellikle hasarlı yapıların veya tarama sürecinde veri kaybı oluşmuş veri setlerinin analiz edilebilmesini, eksik verinin veya parçaların ortaya çıkarılan üst düzey örüntüler doğrultusunda tamamlanabilmesini hedeflemektedir. Önerilen aşamalarda, üç boyutlu modellerde örüntü tanımadan önce, izdüşümle elde edilmiş iki boyutlu ve dik açılı geometriler içeren bir örneklem kullanılarak, fotogrametrik veriden yapı bilgi modeline doğru gerçekleşen bir iş akışında geçerli olabilecek bir biçim eşlemesi yöntemi geliştirilmiştir. Çalışma özünde fotogrametri gibi sahada hızlı ve güvenilir görüntü alma teknikleriyle elde edilen verilerin işlenmesine odaklanmaktadır. Çalışma için belirlenen kapsam Orta Çağ Anadolusu'nda tuğla duvar örüntüleri olarak belirlenmiş, ön çalışma olarak tuğla dizimine benzer ama geometrik dizilimde çok daha sade düzenler sergileyen mozaiklere bakılmıştır. Zeugma Mozaik Müzesi'nde sergilenen 4 adet mozaik fotogrametrik yöntemlerle görüntülenmiştir. Her mozaik için yaklaşık 20 adet fotoğraf çekilmiştir. Fotogrametri çalışmalarında sahada alınan görüntülerin işlenmesinde, ayrı ayrı alınan görüntülerin bir araya getirilmesi için görüntülerin düzeltilmesi gerekmektedir. Zeugma Mozaik Müzesi'nde fotogrametri için kaydedilen fotoğraflarda, ideal ışık ve konum koşullarının değerlendirilmesi yapılabilmiş, çekim açısı, mesafesi gibi kriterler belirlenmiştir. İdeal olmayan koşullar nedeniyle çekilen fotoğrafların büyük kısmının işlenmesi gerekmiştir. Fotogrametri aşamasında GUI olarak Meshroom çalıştıran açık kaynaklı bir yazılım olan Alice Vision ve ticari sürümlü bir fotogrametri yazılımı olan Agisoft Metashape kullanılmıştır. Yazılımlara kullanıcı bazı düzeltmeler yapmak için müdahale edebilmektedir. Kaynak olarak kullanılan fotoğraflar üzerinden özellik tanıma ile eşlenen öğelerin koordinatlarıyla seyrek bir nokta bulutu oluşturulmuştur. Seyrek nokta bulutundan faydalanarak fotoğrafların üç boyutlu ortamda konum ve yön bilgileri elde edilmiştir. Konumlandırılmış fotoğrafların piksel verisi ile renk bilgisini de içeren yoğun bir nokta bulutu üretilmiştir. Yazılımda daha sonra nokta bulutu üçgen örgüye dönüştürülürken, UV koordinatlarına göre renk bilgisi taşınarak, gerçeğe benzer bir görüntü bütünleşik bir yüzey olarak elde edilmiştir. Seçilen örneklem olan tarihi tuğla örgüleri için ilk aşamada mimarlık tarihi literatüründe var olan tespitlere dayandırılan üç boyutlu modeller oluşturulmuştur. Bu modellerin işlenmesiyle yüzey bilgisi oluşturularak fotogrametrik verilere denk veri setleri oluşturulmuştur. İlerleyen aşamalarda saha ölçümlerinden üretilen fotogrametri modelleri kullanılmıştır. Fiziksel üretim ve malzeme, güncel hesaplamalı tasarım paradigmalarında yer edinmiştir. Bu sebeple çalışma, tasarımcının doğrudan müdahalesiyle üretilen soyutlamalar yerine, fiziksel üretimler veya mevcut yapıların taranmasıyla elde edilen modeller üstüne yoğunlaşmıştır. Yöntemin uygulanması ve başarısının tarihi tuğla duvar örneği üzerinden gösterilmesi planlanmıştır. Tarihi tuğla duvar örnekleri, dizilim tasarımında çeşitlilik, birimlerin tanımlı olması, geometrilerin kolay okunabilmesi, fotogrametriye uygun sade yüzey nitelikleri ve literatürde yapım bilgisini içeren çalışmaların bulunması nedeniyle seçilmiştir. Oluşturulan yöntemin, tasarım süreci için gerekli akıcılığa sahip olmasına öncelik verilmiştir. Bu aşamada tuğla duvar için kullanılan örnekler var olan çalışmalardan seçilmiştir. Örneklerin seçiminde, az sayıda birimle elde edilebilen görsel çeşitliliğe öncelik verilmiştir. Tuğla örgü örnekleri modellenirken, literatürdeki çizimlerinin aslına uygun olduğu varsayılmış ve modeller çizimlere sadık olarak ideal olmayan geometrilerle modellenmiştir. Örneğin, derz veya tuğlaların boyutları arasındaki farklılıklar çizim veya baskıdan olduğu kadar, tuğla üretimi ve diziminden kaynaklanabileceği düşünülmüştür. Modeller üç boyutlu modelleme teknikleri kullanılarak kesişen poligonlardan oluşturulmuş, tuğlaları temsil eden poligonlar kopyalanırken çizimlerdeki bilgilere sadık kalınarak değişiklikler yapılmıştır. Konya İli'ndeki örnekler özelinde yapı malzemesinin değişken boyut bilgileri için literatürde ayrıca bulunan detaylı veriler dikkate alınmıştır. Bir sonraki aşama, fotogrametri çalışmasından ve üç boyutlu modellerden elde edilen iki boyutlu yüzeylerin işlenmesi olmuştur. Bu çalışmanın özgün yanı biçim tanıma algoritmalarını doğrudan üç boyutlu veri üzerinde çalıştırmak yerine, modelin izdüşümlerinden oluşturulan haritaların kullanımıdır. İki boyutlu haritaların oluşturulma sürecinde ışık bilgisine alternatif olarak yükselti, ortam ışığı kısıtlaması, yüzey normali ve eğrilik haritaları kullanılmıştır. Fotogrametri için Alice Vision, modellerden iki boyutlu haritalamaların elde edilmesi için Autodesk Maya kullanılmıştır. Algoritmaların iki boyutlu izdüşümler üzerinde kurgulanması hem sürecin daha akıcı olmasını sağlaması, hem de insanların üç boyutlu ortam ve nesneleri algılayış yöntemlerine benzerliği sebebiyle tercih edilmiştir. Ayrıca mevcut biçim tanıma kütüphanelerinin çoğu, iki boyutlu veri kümeleri üzerinde hızlı sonuç vermektedir. Ortam ışığı kısıtlaması, yüzey normali ve eğrisellik haritaları, iki boyutlu veri kümesinde üç boyutlu yüzey niteliklerini tanımlamayı mümkün kılmaktadır. Ayrıca bu haritalar, mevcut yapıların fotogrametrik modellerinden üretilebilmektedir. Bu haritalar üzerinde OpenCV-Python kütüphanesi etkinleştirilerek, hızlı biçim eşlemeleri elde edilebilmekte, eşlemelerden elde edilen koordinat ve öznitelik bilgisi üç boyutlu ortamda modelin zenginleştirilmesi için kullanılabilmektedir. Biçim eşleme aşamasında yükselti haritalama ile elde edilen görüntülerde gömülü biçimlerin tanınması için, eğitilebilen tanıma algoritması HAAR kullanılmıştır. Bir başka yöntem olan şablon eşleştirme ideal bir tipe dayalıdır. Sanal alanda kusursuz bir tuğla oluşturulabilir ve kusurlu benzerlerinin tanınması için bir model görevi görür. Öte yandan, HAAR basamaklarının kullanımı için tek bir kaynak modeli yeterli değildir ve yaklaşım popülasyon düşüncesine benzer. Tanıma için genlere benzer bir özellik kütüphanesi tanımlamak için binlerce örnek gereklidir. Ortaya çıkan sistem daha sağlam ve daha kaliteli bir soyutlamanın temeli olmuştur. Eşleme için kullanılan şekiller başlangıç şeklinden ayrı olarak üç boyutlu ortamda üretilip, farklı dosyalara iki boyutlu haritalamalarla tanımlanmıştır. Tuğla birimine denk olan iki boyutlu bu şekiller tuğlanın farklı rotasyon ve boyutlarını da kapsamaktadır. Farklı görüntülerde bu şekillerin tanınması hedeflenmiştir. HAAR, eğitimle oluşturulmuş bir veri seti üzerinde çalışan bir algoritmadır. Eğitim için yüksek sayıda bir görüntünün türevi veya benzeri kullanılmaktadır. HAAR veri tabanları genelde yüz tanıma için kullanıldığından, açık kaynak olarak mevcut kütüphaneler çalışmamıza uygun olmamış, çalışma kapsamında görsel türetmemiz gerekmiştir. Üç boyutlu modellerden, üretken bir sistemle elde edilen görüntüler, boyutlar, olası hasar benzetimleri ve konum gibi değişkenlerle çoğaltılmıştır. Çalışma yukarıda belirtildiği gibi iki veri seti üzerinden ilerlemiştir. Birinci veri seti, bilginin oluşturulması, ikinci veri seti bilginin işlenmesi üzerine yoğunlaşmıştır. Zeugma Mozaik Müzesi'nden alınan bir örnek mozaik taşlarının diziliminde üst düzenlere dair ipuçlarını barındırmaktadır. Sayısal modelin gözün kompozisyonun parçalarını ayırt etmesine olanak verdiği ancak bu ayrıklıkların modelde bilgi olarak kaydedilmediği görülmüştür. Oluşturduğumuz normal haritasında bu bilgiye sayısal olarak ulaşmayı kolaylaştıracak vurgular görülmektedir. Tuğla duvarları ele alan ikinci aşama çalışmamızda, bunu aşmaya yönelik önerimiz ve bulgularımızı sunmaktayız. Mevcut tarihi tuğla duvar örnekleri, teknik çizimler, ve literatürden edinilen verilerle üç boyutlu olarak modellenmiştir. Bu üç boyutlu modellerin oluşturulmasında, kesit bilgilerinin varlığı, daha sonra ön yüzeyin incelendiği aşamalarda ön yüzeydeki tuğla boyutlarından, tuğla derinliği ve tuğla tipi bilgilerinin de tespit edilebilmesi düşünülerek, önemsenmiştir. Bu örnek özelinde, sadece yatay olarak dizilen ve kuşağın üst ve alt sınırlarını çizen tuğlalar diğerlerine görece daha uzun ve derindir. Uzun tuğla olarak ön cephenin dijital yüzey modelinde tespit edilmesi, harç içindeki kesitte ne kadar derine saplandığına dair bilgiyi de çağıracaktır. Çalışmamızda HAAR kademelendirmesi ile şekil eşlemesi, iki boyutlu yüzey modellerinde, belirtilen bir parçanın, verilen şekilde kaç adet olduğunun ve koordinatlarının tespitine indirgenmiş bir problemdir. Çalışmada, eşleme için yüzeyde aranan şekil tek bir tuğlanın temsili olarak tanımlıdır. Farklı tuğla tiplerini ve tipler içinde boyutların yapım ve aşınmasından kaynaklı farklılaşmış durumlarını tanıyabilecek bir sistemin eğitimi amaçlanmıştır. Bu amaç doğrultusunda ideal bir tuğla yerine farklı ölçülere ve yüzeysel kusurlara sahip sonsuz sayıda tuğla oluşturabilecek bir üretken sistem tanımlanmış, zaman ve işlem gücü sınırlaması sebebiyle 400 örnek oluşturulmuştur. Oluşturulan örnekler ortam ışığı kısıtlaması, yüzey normalleri, eğrilik, ve yükselti haritaları oluşturmakta kullanılmıştır. Alternatif üst ilişkileri de göz önünde tutarak, ikili, üçlü gruplar gibi, örüntünün başka alt parçaları da aranan şekil olarak tanımlanabilmektedir. Çalışmada tek bir tuğla geometrisi esas alınmıştır. Ancak birleşmeyen köşe tanımı da yapılabilmektedir. Sonuçların başarısı ayarlara bağlı olarak değişmektedir. Denemeler sonucu, minimum yakın eşleme /textit parametresinin eşleme kalitesine doğrudan etki ettiği saptanmıştır. Bu parametre, seçilen bir eşlemenin yakınında en az kaç olası eşlemeye sahip olması gerektiğini belirleyerek bir öğenin birçok defa tanınmasını önlemektedir. Sunulan sonuçlarda gösterilen farklılıklar bu parametrenin değiştirilmesiyle elde edilmiştir. Çalışmada biri tarihi mozaik, diğeri de tarihi tuğla duvar örüntüsü olmak üzere iki veri seti üzerinden görsel veri oluşturulması ve bunun işlenmesi üzerine yoğunlaşılmış, ilk olarak belgeleme ile ilgili tespitler yapılmıştır. Eğitim verisi yetersiz olmakla birlikte, etiket konumları ve sayısı, doğru ayarların kullanımıyla isabetli hale getirilebilmiştir. Örneklemin oluşturulması araştırmada kendi başına bir tasarım süreci olarak ele alınmıştır. Çalışmada önerilen yöntemin uygulanmasıyla mevcut fiziksel yapıların, öznitelik içeren soyutlamalarının hesaplamalı tasarım yöntemleriyle elde edilmesinde önemli bir adım atılmıştır. Tuğla duvar örneği özelinde, mevcut mimarlık kaynaklarından elde edilen teknik çizimlere göre oluşturulan, ve fotogrametri tekniğiyle elde edilen üç boyutlu modeller, görsel belgeleme ve çözümleme süreçleri için kullanılmıştır. İleride, bir yandan var olan bir yapıyı koruma veya geliştirme amacı güden tasarımcının, biçim kuralları üreterek çalışmasını, diğer yandan da yüzey temsillerinden yapım bilgisi içeren modellerin üretilmesini mümkün kılabilecektir. Bu yolla, tasarım ve yapı kullanım süreçleri sürerken, yeni kuralların eklenmesi sırasında yapılacak müdahalelerin hızla denenmesine imkan oluşturulabilecektir.