Düşük çözünürlüklü video sahnelerinden yüksek çözünürlüklü video sahnelerinin elde edilmesi
Generating high resolution video scenes from low resolution video frames
Yazar: YILDIRAY ANAGÜN
Danışman: DR. ÖĞR. ÜYESİ EROL SEKE
Eskişehir Osmangazi Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Ana Bilim Dalı / Telekomünikasyon  - Sinyal İşleme Bilim Dalı
Derece: Doktora, 2018
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Görüntü iyileştirme = Image enhancement ; Yüksek çözünürlük = High definition

Özet:
Görüntü çözünürlüğü, bir görüntünün kalitesini belirlemede temel ölçütlerden biridir. Yüksek çözünürlük (YÇ) bir resimde detayların daha çok olması demektir ve bu nedenle askeri, ticari, tıbbi ve benzeri birçok uygulamada istenen bir çözümdür. Kaliteli görüntü algılayıcıları veya optik donanım kullanılması ise pahalı ve sınırlayıcı bir çözümdür. Uygun maliyetli ve etkili bir çözüm, düşük çözünürlüklü (DÇ) görüntülerden yüksek çözünürlüklü görüntü (ler) üretebilen görüntü işleme tekniklerinin kullanılmasıdır. Bu tür görüntü çözünürlüğü iyileştirme yöntemleri süper-çözünürlük (SÇ) görüntü yeniden yapımı olarak adlandırılır.

Bu tez kapsamında öncelikle döndürme ile Değişken Blok Boyutlu-Hareket Tahmini (VBS-ME) kullanılarak yüksek çözünürlüklü görüntü elde edilmesi amaçlanmıştır. Daha sonra çıktı görüntü kalitesini arttırmak için, bu ilk çalışmaya ek olarak makro blok hareket kestirimine ve gradyan büyüklüğüne dayalı yeni bir video SÇ yöntemi önerilmiştir. Kötü durumlu SÇ probleminde yanlış hareket tahmini, çıktı görüntüsünün kalitesini doğrudan etkilemektedir. Bu nedenle hareket tahmininde blok eşleştirme temelli yöntemlerin sınırlı başarıya sahip olmasından dolayı, bir sonraki çalışmada translasyonel optik akış modeli tercih edilmiştir. Ayrıca, yeniden yapım aşamasında gürültü, gölgelenmeler veya yanlış hareket kestiriminden kaynaklanan sorunları ortadan kaldırabilmek için Ortak Vektör Yaklaşım (CVA) kullanılmıştır. Son yıllarda Evrişimsel Sinir Ağları (CNN) görüntü ve sinyal işlemede en güçlü araçlardan biri olarak kabul edilmiş ve büyük miktarda veriyi işleyebildiğinden literatürde çok yaygın hale gelmiştir. Son çalışmamızda, derin ve sığ CNN mimarileri kullanılarak Tek Resim Süper-Çözünürlük (SISR) performansı üzerinde çeşitli kayıp fonksiyonlarının etkinliği karşılaştırılmış ve eleştirisel bir incelemesi yapılarak bazı öneriler sunulmuştur. Sonuç olarak, birçok SÇ metodu ve algoritması üzerinde çalışılarak önemli ve kayda değer sonuçlar elde edilmiştir.

Abstract:
Image resolution is one of the main criteria for determining the quality of an image. High resolution (HR) means more details in an image and therefore it is a desired solution in many applications such as military, commercial, medical and many other. The use of high-quality image sensors and optical hardware is an expensive and limited solution. A cost-efficient and effective solution is the use of image processing techniques that can produce high resolution image (s) from low resolution (LR) images. This type of image resolution improvement methods is called super-resolution (SR) image reconstruction.

In the initial studies of this thesis, it is aimed to obtain high resolution image using Variable Block Size Motion Estimation (VBS-ME) with rotation. Then, in addition to this previous work, a new video SR method based on macro block motion estimation and gradient magnitude was proposed in order to improve the output image quality. Inaccurate motion estimation directly affects the quality of the output image in ill-posed SR problem. In order to avoid it, the translational optical flow model was preferred in next study because of block matching based methods have limited success in motion estimation. Furthermore, the Common Vector Approach (CVA) was used in the reconstruction step to eliminate the problems caused by noise, shadows or incorrect motion estimation. In recent years CNN has been considered to be one of the most powerful tools in image and signal processing, and has become very popular in the literature as it is able to handle a huge amount of data. In our latest study, the effectiveness of various loss functions on Single Image Super-Resolution (SISR) performance is compared using deep and shallow CNN architectures and some suggestions are made by making a critical review. Consequently, important, and noteworthy results have been obtained by working on many SR methods and algorithms.