Hasarlı rölyef ve mozaik resimlerinin çekişmeli üretici ağ kullanılarak tamamlanması
Damaged relief and mosaic image inpainting using generative adversarial network
Yazar: MEHMET KIVILCIM KELEŞ
Danışman: DR. ÖĞR. ÜYESİ ERDAL GÜVENOĞLU
Maltepe Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Doktora, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Üretici çekişmeli ağlar = Generative adversial networks

Özet:
Mozaik ve rölyef eserleri ülkemiz coğrafyasında yapılan arkeolojik kazılarda gün yüzüne çıkarılan sanat eserlerindendir. Bu eserler tarih boyunca bulundukları dönemden etkilenmiş, çok farklı uygarlıklar tarafından geliştirilmiş ve kullanılmışlardır. Maddeler yapıları gereği eskimesi ve yıpranması mümkündür. Mozaik ve rölyef eserleri de doğa koşulları veya insanın olumsuz etkileri ile günümüze yıpranmış veya tahribata uğramış şekilde gelebilmekteler. Tarihi eserlerdeki tahribatın onarılması ve orijinal görüntüsüne ulaşılması gerekliliği arkeoloji deki temel ihtiyaçlardandır.
Görüntü tamamlama ve görüntünün orijinal halini oluşturma problemi literatür de farklı teknikler ile çözülmeye çalışılan üzerinde çalışılan güncel bir problemdir. Bu tez çalışmasında görüntü tamamlama problemini derin öğrenme tabanlı yöntemlerden çekişmeli üretici ağ yöntemleri uygulanarak çıkan sonuçlar incelenmiştir. Çalışmada uygulanan yöntemlerin yapısal benzerlik indisi, tepe sinyal gürültü oranı ve ortalama hata karesi metriklerine bakılarak karşılaştırmalı sonuçlar verilmiştir. Yapılan çalışmada mozaik ve rölyef veri seti üzerinde bağlamsal dikkat yöntemi ile hasarlı giderilmiş görüntü ile orijinal görüntü arasında yapısal benzerlik indisinin az hasarlı görüntülerde 0.92 – 0.97, çok hasarlı görüntülerde ise 0.82 – 0.93 ile en iyi başarımı sağladığı tespit edilmiştir. Bu tez kapsamında yapay zekâ algoritmaları ile tarihi eserlerdeki tahribatın onarılması mümkün mü ve orijinal görüntüsü nasıldı sorularına cevap aranmıştır. Bu cevaplara ulaşabilmek için ilk olarak Türkiye de bulunan mozaik ve rölyef eserlerine ait görsel bir veri seti oluşturulup literatüre de kazandırılmıştır. Bu çalışma arkeolojik eserlerin orijinal görüntüsünün hızlı bir şekilde görselleştirilmesi ile kazı ve müze alanlarında verimli bir araç olarak kullanılma potansiyeli bulunmaktadır.

Abstract:
Mosaic and relief works are among the works of art unearthed in archaeological excavations in our country. These artifacts have been influenced by the period in which they were found throughout history, and have been developed and used by many different civilizations. It is possible for materials to wear out and wear out due to their structure. Mosaic and relief works can also come to our day in a worn or damaged form due to natural conditions or the negative effects of human beings. The necessity of repairing the damage in historical artifacts and reaching their original appearance is one of the basic needs in archeology. The problem of image inpainting and creating the original version of the image is a current problem that is tried to be solved with different techniques in the literature. In this thesis, the results of the image inpainting problem by applying the generative adversarial network methods, one of the deep learning-based methods, were examined. Comparative results are given by looking at the structural similarity index, peak signal-to-noise ratio and mean square error metrics of the methods applied in the study. In the study, it was determined that the structural similarity index between the damaged image and the original image on the mosaic and relief data set, with the contextual attention method, provided the best performance with 0.92 - 0.97 in the slightly damaged images and 0.82 - 0.93 in the heavily damaged images. Within the scope of this thesis, answers have been sought to the questions of whether it is possible to repair the damage in historical artifacts with artificial intelligence algorithms and how was the original appearance. In order to reach these answers, firstly, a visual data set of mosaic and relief works in Turkey was created and brought to the literature. This study has the potential to be used as an efficient tool in excavation and museum areas with the rapid visualization of the original image of archaeological artifacts.