Çekişmeli Üretici Ağlar Kullanılarak Hasarlı Mozaik Görüntülerinin Tamamlanması
Damaged Mosaic Image Inpainting By Using Generative Adversarial Network
Yazar: Keleş, Mehmet Kıvılcım; Güvenoğlu, Erdal
Dergi: Iğdır Üniversitesi Fen Bilimleri Enstitüsü Dergisi, Vol. 13 No. 2, 2022
Anahtar kelimeler: Computer Software ; Bilgisayar Yazılımı ; Mosaic,Image inpainting,deep learning,generative adversarial networks ; Mozaik,görüntü tamamlama,derin öğrenme,çekişmeli üretici ağlar

Bilinen en eski sanat eserlerinden olan mozaikler tarih boyunca çok farklı uygarlıklar tarafından geliştirilmiş ve kullanılmışlardır. Geçmişten günümüze ulaşan mozaik eserlerinde tahribat sıklıkla rastlanmaktadır. Gerçekleşen doğa koşulları, insanların olumsuz etkileri veya nesnelerin doğası gereği yıpranmasından dolayı tahribata uğrayan eserler olabilmektedir. Bu eserlerdeki tahribatın onarılması ve orijinal görüntüsüne ulaşılması gerekliliği tüm tarih eserlerinde olduğu gibi mozaik eserlerinin de temel ihtiyacıdır. Görüntü tamamlama problemi literatürde farklı teknikler ile çözülmeye çalışılan güncel bir problemdir. Bu çalışmada görüntü tamamlama problemini derin öğrenme tabanlı yöntemlerle mozaik veri seti üzerindeki sonuçları incelenmiştir. Mozaik görüntüsündeki eksik bölgelerin düzeltilmesi bağlamsal dikkat ile görüntü tamamlama mimarisi kullanılmıştır. Bu mimari aynı veri seti kullanılarak farklı çekişmeli üretici ağ mimariler ile karşılaştırılmalı sonuçları incelenmiştir. Öğrenme aktarımı kullanılarak mozaik veri seti ile yeniden model eğitilmiştir. Test edilen mozaik örneklerdeki orijinal görüntü ile hasarı giderilmiş görüntü arasındaki yapısal benzerlik indisinin yapılan hasar oranına göre az hasarlı görüntülerde 0.92 - 0.95 çok hasarlı görüntülerde ise 0.72 - 0.89 arasında olduğu gözlemlenmiştir. Gerçekleştirilen görüntü tamamlama modeli ile az hasarlı mozaik resimlerinde görüntü tamamlamada yüksek başarı elde edilmiştir.

Mosaics, one of the oldest known works of art, have been developed and used by many different civilizations throughout history. Destruction is frequently encountered in mosaic works that have survived from the past to the present. Artifacts can be damaged due to the natural conditions, the negative effects of people or the nature of the objects. The necessity of repairing the damage in these artifacts and reaching their original appearance is the basic need of mosaic artifacts as in all historical artifacts. Image inpainting problem is a current problem that is tried to be solved with different techniques in the literature. In this study, the results of the image inpainting problem on the mosaic data set with deep learning-based methods were examined. Image inpainting architecture is used with contextual attention to correct missing regions in the mosaic image. Comparative results of this architecture with different adversarial generator network architectures were examined using the same data set. Model was retrained with the mosaic dataset using learning transfer. It was observed that the index of structural similarity between the original image and the repaired image in the tested mosaic samples ranged from 0.92 - 0.95 in lightly damaged images and between 0.72 - 0.89 in heavily damaged images, according to the damage ratio. With the implemented image inpainting model, high success was achieved in image inpainting in mosaic paintings with little damage.