Griölçek görüntülerde derin öğrenme tabanlı süper çözünürlük algoritmalarının karşılaştırılması
Comparison of deep learning based super resolution algorithms on grayscale images
Yazar: MUHAMMET DABAK
Danışman: DR. ÖĞR. ÜYESİ AHMET AKBULUT
Ankara Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Derin öğrenme = Deep learning

Özet:
Görüntü süper çözünürlüğü, düşük çözünürlüklü görüntüden yüksek çözünürlüklü görüntüye dönüşüm ve iyileştirme işlemidir. Görüntü süper çözünürlüğü gözetleme, medya ve medikal alanlarda çeşitli amaçlar doğrultusunda kullanılabilmektedir. Askeri alanlarda kullanılan Elektronik Harp (EH) tekniklerinde veri olarak görünür bandın dışında kalan elektromanyetik spektrumun farklı bölgelerindeki griölçek görüntüler kullanılmaktadır. Griölçek görüntüler içerisinde farklı ışık/hava koşullarında ve yüksek menzilde görüntüleme sağlayabilen Orta-Dalga Kızılötesi (MWIR) görüntüleri bulunmaktadır. MWIR bölgesinde çalışan kamera ve ilgili optik bileşenleri soğutmalı detektörlerle kullanıldığından ve bu sebeple maliyetli olduğundan, yüksek çözünürlüklü kameralar tercih edilmemektedir. Düşük çözünürlüklü kamera kullanarak yüksek çözünürlüklü görüntü elde etme ihtiyacı süper çözünürlük teknikleri ile karşılanabilir. Klasik bir yöntem olan bikübik interpolasyon ve 8 derin öğrenme tabanlı algoritma, farklı kayıtlardan tekil olarak alınan 640x512 çözünürlüğünde 164 eğitim ve 41 test görüntüsü üzerinde x4 aşağı örnekleme ölçeğiyle bikübik interpolasyon yapıldıktan sonra x4 yukarı örnekleme ölçeğiyle çalıştırılmıştır. Kullanılan veri kümesinde eğitimi 24 dakika süren ve saniyede ortalama 8.81 görüntü işleyebilen DCSCN algoritmasının mimarisi ve hiper-parameterleri değiştirilerek MSE, PSNR ve SSIM performans metrikleri açısından en başarılı sonuç elde edilmiştir. Literatürde, mevcut olan derin öğrenme tabanlı süper çözünürlük tekniklerinin MWIR görüntüler üzerinde uygulanması ve karşılaştırılmasına dair çok sınırlı sayıda çalışma bulunmaktadır. Tez çalışmasında elde edilen bulgular ve çıkarımlar, derin öğrenme tabanlı süper çözünürlük algoritmalarının klasik yöntemler yerine MWIR görüntülerin yukarı örneklenmesinde kullanılabileceğini göstermiştir.

Abstract:
Image super-resolution is the process of transforming and enhancing a low-resolution image into a high-resolution image. Super-resolution imaging can be used for various purposes in surveillance, media, and medical fields. In electronic warfare (EW) techniques used in military fields, grayscale images from different regions of the electromagnetic spectrum outside the visible band are used as data. Among these grayscale images, there are Mid-Wave Infrared (MWIR) images that can provide imaging under different light/weather conditions and at high ranges. Since camera and related optic parts works in MWIR band are used with cooled detectors and therefore they are costly, high-resolution cameras are not preferred. The need to obtain high-resolution images using low-resolution cameras can be addressed through super-resolution techniques. A classical method, bicubic interpolation, and 8 deep learning-based algorithms were run on 164 training and 41 test images with a resolution of 640x512, taken individually from different records, with a x4 downsampling scale using bicubic interpolation and then a x4 upsampling scale. By modifying the architecture and hyper-parameters of the DCSCN algorithm, which took 24 minutes to train and could process an average of 8.81 images per second, the most successful results were achieved in terms of MSE, PSNR, and SSIM performance metrics. In the literature, there are very few studies on the application and comparison of existing deep learning-based super-resolution techniques on MWIR images. The findings and conclusions of the thesis have shown that deep learning-based super-resolution algorithms could be used to upsample MWIR images instead of classic methods.