Çoklu-odaklı görüntü birleştirme için yeni yaklaşımlar
New approaches for multi-focus image fusion
Yazar: SAMET AYMAZ
Danışman: PROF. DR. CEMAL KÖSE
Karadeniz Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Derin öğrenme = Deep learning ; Füzyon = Fusion ; Yüksek çözünürlük = High definition ; İnterpolasyon = Interpolation

Özet:
Çoklu-odaklı görüntü birleştirme, aynı sahnenin farklı odak noktalarına sahip iki veya daha fazla görüntüsünün birleştirilerek tüm-odaklı bir görüntü oluşturulması işlemidir. Tez çalışmasında kusursuza yakın tüm-odaklı görüntüler elde edebilecek iki özgün yaklaşım önerilmektedir. Birinci yaklaşımda, bikübik-tabanlı süper-çözünürlük yöntemiyle kaynak
görüntülerin detay bilgileri artırılarak Sabit Dalgacık Dönüşümü yardımıyla alt bileşenlerine ayrılmıştır. Sonuç olarak çoklu-odaklı görüntü birleştirme yöntemlerinin amacına uygun olarak tasarlanan gradyan-tabanlı birleştirme kuralı ile görüntüler birleştirilmiştir. Önerilen ikinci yaklaşım, öğrenmeye dayalı yenilikler içeren bir yaklaşımdır. Bu çalışma için renkli görüntülerden oluşan iki veya daha fazla kaynak görüntü içeren zengin bir veri seti oluşturulmuştur. Önerilen yöntemde, odaklı ve odaksız parçaları sınıflandırabilecek yeni bir CNN modeli tasarlanmıştır. Kaynak görüntüler ilk olarak önerilen bu mimarinin girdi katmanı boyutu olan 8x8'lik örtüşen bloklara ayrılarak önerilen ağa verilir ve her bir kaynak
görüntü için ilk karar haritaları oluşturulur. Daha sonra, literatürde daha önce kullanılmayan odak metriklerine dayalı iyileştirme mekanizması yardımıyla, önerilen ağın kararsız kaldığı durumlar en aza indirgenmiştir. Son olarak dinamik karar mekanizmalı birleştirme kuralı yardımıyla birleştirilmiş görüntüler oluşturulur. Önerilen yaklaşımların çoklu-odaklı
görüntü birleştirme amaçlarını gerçekleştirmede oldukça başarılı olduğu görülmektedir.

Abstract:
Multi-focus image fusion is the process of combining two or more images of the same scene with different focus points to create a all-focus image. In this thesis, two unique approaches are proposed to obtain near-perfect all-focus images. In the first approach, the detail information of the source images is increased by bicubic-based super-resolution method and separated into subbbands with the help of Stationary Wavelet Transform. As a result, images are combined with the gradient-based fusion rule. The second proposed approach is based on learning that includes innovations at every step. For this approach, a rich dataset consisting of two or more color source images is created. Also, a new CNN model is designed to classify focused and unfocused parts. The source images are first divided into 8x8 overlapping blocks, which is the input layer size of this proposed architecture, and given to the proposed network, and initial decision maps are created for each source image. Then, with the help of the improvement mechanism based on focus metrics, which has not been used before in the literature, the cases where the proposed network is unstable are minimized. After this step, morphological operations are applied to the initial decision maps and final decision maps are created. Finally, the fused images are
created with the help of the fusion rule with dynamic decision mechanism. It is seen that the approaches are quite successful in multi-focus image fusion.