Süper çözünürlük algoritmalarındaderin öğrenmenin etkisi
The effect of deep learning in super resolution algorithms
Yazar: MEHMET CAN ÖZ
Danışman: PROF. DR. TUĞBA SELCEN NAVRUZ
Gazi Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Süper çözünürlük uygulamalarında renkli görüntüler için geleneksel yöntemler ve derin
öğrenme tabanlı yöntemler uzun zamandır kullanılmaktadır ancak son gelişmeler bunların
kullanımını termal(kızılötesi) görüntülere de genişletmiştir. Renkli görüntü sensörlerin
aksine, termal sensörler genellikle düşük çözünürlüklüdür. Yüksek çözünürlüklü kızılötesi
sensörlerin üretimi daha karmaşıktır. Yüksek çözünürlüklü termal sensörleri için gereken
malzemeler görünür ışık sensörleri için kullanılanlara kıyasla daha maliyetlidir ve üretim
süreçleri görünür ışık sensörlerine kıyasla çok daha zordur çünkü kızılötesi sensörlerin
küçük sıcaklık farklarını algılayacak kadar hassas olması gerekir, bu da genellikle sisteme
daha fazla gürültü sokar, dolayısıyla yüksek hassasiyeti korurken gürültüyü azaltmak,
özellikle çözünürlük arttıkça çok zordur. Bu gibi kısıtlamalar da derin öğrenme yöntemleri
kullanarak termal görüntülerde çözünürlüğünü artırma ihtiyacını doğurmuştur. Bu
çalışmada, farklı modelleri termal görüntüler üzerine uygulayarak süper çözünürlük
üzerindeki etkisini araştırdık. Özellikle, geleneksel bir yöntem olan bikübik enterpolasyonu,
GAN mimarisi kullanan derin öğrenme tabanlı süper çözünürlük yöntemlerinden SRGAN
(Super-Resolution Generative Adversarial Network) ve ESRGAN'ı (Enhanced Super-
Resolution Generative Adversarial Network) Swin dönüştürücü (transformer) mimarisini
kullanan SwinIR'ı (Swin Transformer-based Image Restoration) karşılaştırdık. Swin
dönüştürücü ve GAN mimarisi kullanan bu modeller, düşük çözünürlüklü girdilerden
yüksek çözünürlüklü çıktılar üreterek görüntü çözünürlüğünü artırmada umut verici sonuçlar
göstermiştir. Araştırmamız, bu modellerin termal görüntülerden oluşan bir veri kümesi
üzerinde eğitilmesini ve değerlendirilmesini de içermektedir. Modellerin performanslarını
görüntü kalitesi, keskinlik ve termal detayların korunması açısından analiz ettik.
Çalışmamızdan elde edilen bulgular, termal görüntü çözünürlüğünü iyileştirme alanına
katkıda bulunmakta ve süper çözünürlük için derin öğrenme tekniklerinin etkinliği hakkında
derinlik sağlamaktadır. Termal görüntüleme, askeri, tıbbi ve endüstriyel gibi çeşitli alanlarda
önem kazandıkça, termal görüntülerin çözünürlüğünü iyileştirmek çok önemli hale
gelmektedir. Çalışmamız, farklı yaklaşımların potansiyel faydalarına ve sınırlamalarına ışık
tutarak uygulayıcılara ve araştırmacılara yol göstermektedir.

Abstract:
Traditional methods and deep learning-based methods have long been used for color images
in super-resolution applications, but recent developments have extended their use to thermal
(infrared) images. Unlike color image sensors, thermal sensors are generally low resolution.
High-resolution infrared sensors are more complex to manufacture. The materials required
for high-resolution thermal sensors are more costly than those used for visible light sensors,
and the manufacturing processes are much more difficult than for visible light sensors
because infrared sensors need to be sensitive enough to detect small temperature differences,
which usually introduces more noise into the system, so reducing noise while maintaining
high sensitivity is very difficult, especially as the resolution increases. Such limitations have
led to the need to improve the resolution of thermal images using deep learning methods. In
this study, we investigated the impact of different models on super-resolution by applying
them to thermal images. In particular, we compared bicubic interpolation, a traditional
method, SRGAN (Super-Resolution Generative Adversarial Network) and ESRGAN
(Enhanced Super-Resolution Generative Adversarial Network), deep learning-based super-
resolution methods using GAN architecture, and SwinIR (Swin Transformer-based Image
Restoration) using Swin Transformer architecture. These models using Swin Transformer
and GAN architectures have shown promising results in increasing image resolution by
generating high-resolution outputs from low-resolution inputs. Our research involves
training and evaluating these models on a dataset of thermal images. We analysed the
performance of the models in terms of image quality, sharpness and preservation of thermal
details. The results of our study contribute to the field of improving the resolution of thermal
images and provide insight into the effectiveness of deep learning techniques for super-
resolution. As thermal imaging becomes increasingly important in various fields such as
military, medical and industrial, improving the resolution of thermal images becomes
crucial. Our work provides guidance to practitioners and researchers by highlighting the
potential benefits and limitations of different approaches.