Uydu görüntülerinde derin öğrenme ile süper çözünürlük
Super resolution with deep learning in satellite images
Yazar: GAMZE DANIŞMAN
Danışman: PROF. DR. HASAN ŞAKİR BİLGE
Gazi Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Yüksek çözünürlüklü görüntü, uzaktan nesne algılama kapsamında ihtiyaç haline gelmiştir. Yüksek çözünürlüklü görüntü çeşitli uygulamalarda kritik olabilecek daha fazla ayrıntıyı içermektedir. Çoğu uydu aynı sahneye ait yüksek çözünürlüklü pankromatik ve daha düşük çözünürlüklü multispektral görüntü sunabilmektedir. Araştırmacılar multispektral görüntülerin çözünürlüğünün arttırılması sürecinde, pankromatik görüntünün içerdiği bilgilerden yararlanarak çeşitli geleneksel pankeskinleştirme yöntemi sunmuşlardır. Fakat bu teknikler önemli ölçüde spektral ve uzamsal bozulmadan mustariptir. Bu dezavantajların üstesinden gelebilmek adına günümüzün trendi olan derin öğrenme mimarilerine bu problemin araştırılması sunulmuştur. Bu kapsamda birçok derin öğrenme tabanlı pankeskinleştirme yöntemi tasarlanmıştır. Gerçekleştirdiğimiz çalışmada hem geleneksel hem de derin öğrenme tabanlı pankeskinleştirme yöntemlerini uygulayarak en iyi sonucu elde eden modeli araştırılmıştır. Uygulamış olduğumuz bu yöntemlerden en iyi sonucu elde ettiğimiz modelin çıktı performansını artırmak adına süper çözünürlük için tasarlanmış artık yoğun ağ katmanını derin öğrenme modeline kazandırılmıştır. Bu yaklaşımımız ile Landsat-8 veri setinde 33,291'den 33,521 PSNR skoruna, WorldView-3 veri setinde 33,534'den 33,544 PSNR skoruna ulaşılmıştır. Sunulan yöntemlerde ağ çıkışının doğruluk sonuçlarına ek olarak modelle ilişkili hesaplama süresinin de önemli bir parametre olduğu fark edilmiştir. Bu kapsamda daha hızlı hesaplama süresi maliyeti sunan FPGA ortamında derin öğrenme tabanlı pankeskinleştirme yöntemlerini sunabilmek adına Xilinx Kria KV260 geliştirme kartı kullanılmıştır. Derin öğrenme tabanlı pankeskinleştirme yöntemlerini FPGA ortamına taşırken Vitis AI aracından faydalanılmıştır. Sonuçlar, hesaplama süresi maliyeti açısından, FPGA'nın CPU ve GPU ortamlarına kıyasla üstün işleme yeteneğini doğrulamaktadır. Önerilen model ile FPGA ortamında Landsat-8 veri setinde 33,331 PSNR skoruna, WorlView-3 veri setinde 31,051 PSNR skoruna ulaşılmıştır. Bu derin öğrenme modeli ile CPU ortamında 0,693 saniyede ve GPU ortamında 0,117 saniyede çıktı elde edilirken, FPGA ortamında 5,601 W güç tüketimine sahip donanım ile 0,053 saniye de model çıktısı elde edilmiştir.

Abstract:
Images with higher resolutions have become a significant necessity within the scope of remote object detecting. A high-resolution image offers more detail which can be vital for various applications. Most of the satellites can provide high-resolution panchromatic and lower-resolution multispectral images of the same scene. During the process of increasing the resolution of multispectral images, researchers have presented various conventional pansharpening methods by taking advantage of the information contained in the panchromatic image. Nevertheless, mentioned techniques suffer significantly due to spectral and spatial distortions. To overcome these disadvantages, the investigations of this problem has been introduced to trending deep learning architectures. In scope of this situation, many deep learning-based pansharpening methods have been proposed. In this study, the model that achieved the best results by applying both conventional and deep learning-pansharpening methods was investigated. To increase the output performance of the model in which we achieved the best results from these methods we applied, we added the intense network layer designed for super resolution to the deep learning model. As the result of this approach, we obtained a PSNR score from 33,291 to 33,521 in the Landsat-8 dataset and a PSNR score from 33,534 to 33,544 in the WorldView-3 dataset. It has been noticed that in the proposed methods, in addition to the accuracy results of the network output, the computation time associated with the model is also an important parameter. In this context, Xilinx Kria KV260 development card was used to offer deep learning-based pan-sharpening methods in the FPGA environment that is capable of offering faster computation time costs faster. Vitis AI tool was used when transferring deep learning-based pansharpening methods to the FPGA environment. The results confirm the superior processing ability of FPGA compared to CPU and GPU environments in terms of computation time cost. With the proposed model, a PSNR score of 33.331 and 31.051 were achieved in the FPGA environment based on Landsat-8 and WorldView-3 datasets respectively. In addition, output was obtained in 0.693 seconds in the CPU environment and 0.117 seconds in the GPU environment, while model output was obtained in 0.053 seconds in the FPGA environment with hardware with a power consumption of 5.601 W.