Derin öğrenme tabanlı kenar rehberli görüntü iç boyama
Edge guided image inpainting based on deep learning
Yazar: MUHAMMET NURİ DUDAK
Danışman: DR. ÖĞR. ÜYESİ SERDAR ÇİFTÇİ
Harran Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Derin öğrenme = Deep learning ; Sayısal görüntü işleme = Digital image processing

Özet:
Görüntü iç boyama, hasarlı veya eksik bölgelerin, mevcut görüntü bilgilerinden yararlanarak yeniden inşa edilmesi işlemidir. Derin öğrenme tekniklerinin gelişmesiyle birlikte bu alanda önemli ilerlemeler kaydedilmiş olsa da ciddi düzeyde hasarlı görüntülerin yapısal ve dokusal özelliklerini doğru bir şekilde yeniden oluşturmak hâlâ büyük bir zorluk teşkil etmektedir. Bu çalışmada Koşullu Doku ve Yapı Çift Üretimi (CTSDG) mimarisine dayalı görüntü iç boyama performansını iyileştiren geliştirmeler sunulmaktadır. Baz alınan mimari yapısal ve dokusal olmak üzere iki ayrı akışa sahiptir. Yapısal akış, görüntünün genel düzenini ve yapısını yakalamaya odaklanırken, dokusal akış detaylı doku sentezini gerçekleştirmektedir. İki akış arasındaki ilişkiyi güçlendirmek için çeşitli yeni modüller kullanılmıştır. Bunlardan çift yönlü sıkma ve uyarım ağı içeren geçitli özellik füzyonu her iki yöndeki sıkma ve uyarım işlemleriyle özellik birleştirme sürecini iyileştirmektedir. İyileştirilmiş bağlamsal özellik toplama modülü ise çok ölçekli özellikleri toplayarak çıktıları geliştirmektedir. Buna ek olarak Seçici Çekirdek Özellik Birleştirme ile entegre edilmiş Çift Dikkat Mekanizması birbirini tamamlayıcı özellikleri bir araya getirmektedir. Bu sayede hasarlı girdilerden daha tutarlı yapı ve doku elde edilebilmektedir. Yapılan nicel deneyler PSNR değerinde %0-20 maskeler için %2,69, SSIM değerinde %40-60 maskeler için %1.43 oranında iyileşme göstermiştir. Nitel sonuçlar ise, ciddi düzeyde hasarlı görüntülerin eksik bölgelerinin çok daha yüksek görsel kalitede yeniden yapılandırılabildiğini ortaya koymuştur

Abstract:
Image inpainting is the process of reconstructing damaged or missing regions in an image by utilizing the available image information. Although deep learning techniques have enabled significant progress in this field, accurately reconstructing the structural and textural properties of severely corrupted images continues to pose a significant challenge. In this study presents enhancements to improve the image inpainting performance based on the Conditional Texture and Structure Dual Generation (CTSDG) architecture. The CTSDG architecture consists of two separate streams: a structural stream dedicated to capturing the overall layout and structure of the image, and a texture stream specialized in detailed texture synthesis. Various innovative modules have been utilized to strengthen the relationship between these two streams. One such module is the Gated Feature Fusion with Bidirectional Squeeze and Excitation (Bi-SE-GFF), which enhances the feature fusion process through bidirectional squeeze and excitation operations in both directions. Furthermore, the Enhanced Contextual Feature Aggregation (ECFA) module improves the outputs by aggregating multi-scale contextual features. Additionally, the Dual Attention Mechanism integrated with Selective Kernel Feature Fusion (SKFF) combines complementary features, allowing for more coherent structure and texture generation from corrupted inputs. Quantitative experiments demonstrate that the proposed approach achieves a 2.69% improvement in PSNR for 0-20% mask ranges and a 1.43% improvement in SSIM for 40-60% mask ranges compared to the baseline. Qualitative results indicate that the missing regions in severely corrupted images can be reconstructed with significantly higher visual quality.