Düşük Çözünürlüklü Termal Yüz Görüntü Çözünürlüğünün Derin Öğrenme İle Artırılması
Enhancement of Low Resolution Thermal Face Image Resolution Using Deep Learning
Yazar: Şenalp, Fatih Mehmet; Ceylan, Murat
Dergi: Avrupa Bilim ve Teknoloji Dergisi, 2020
Anahtar kelimeler: Engineering ; Mühendislik ; Thermal imaging,Deep learning,Super resolution ; Termal görüntüleme,Derin öğrenme,Süper çözünürlük

Termal görüntüleme, gözle görülmeyen kızılötesi enerjiyi (ısıyı) esas alan ve görüntünün genel yapısını kızılötesi enerjiye göre oluşmuş renkler ve şekillerin belirlediği görüntüleme sistemidir. Genelde güvenlik amaçlı kullanılmakla birlikte çok çeşitli sektörlerin de kullanımına açıktır. Özellikle son yıllarda termal görüntüleme sistemleri medikal alanda da oldukça geniş bir kullanım alanı bulmaktadır. Termal görüntüleme, tasarımı zor ve maliyeti yüksek bir görüntüleme sistemidir. Bundan dolayı termal görüntülerin çözünürlüğünün artırılması için termal görüntüleme alanındaki süper çözünürlük uygulamalarına ilgi son yıllarda oldukça artmıştır. Burada derin öğrenme alanındaki gelişmeler bu çalışmaları hızlandırmış ve başarıyı artırmıştır. Bu çalışmada da insan yüzlerine ait RGB termal görüntüler üzerinde çekişmeli üretici ağlar kullanılarak süper çözünürlük uygulaması gerçekleştirilmiştir. Bu çalışmada Variocam HD termal kameradan elde edilen görüntüler yüksek çözünürlüklü, Flir One Pro termal kameradan elde edilen görüntüler ise düşük çözünürlüklü görüntüler olarak kullanılmıştır. Bu proje için 12 kişiye ait 5’ er adet termal görüntü çifti(yüksekçözünürlüklü-düşük çözünürlüklü) kullanılmıştır. Bu görüntülerden 45’ er çift görüntü eğitim veri seti olarak, 15’ er çift görüntü ise test veri seti olarak ayrılmıştır. Çekişmeli üretici ağın eğitilmesi sırasında gradyanın yok olması probleminin önüne geçmek ve ağın daha hızlı eğitilmesini sağlamak amacıyla hem üretici ağ hem de ayırt edici ağ kısmında batch normalizasyon katmanları kullanılmıştır. Artık (residual) bloklar çok derin ağların eğitim zorluklarını kolaylaştırarak başarı performansını artırdığı için üretici ağında, ResNet’ e benzer şekilde atlamalı bağlantı (skip connection) uygulanmıştır. Ağın eğitilmesi sonucunda elde edilen sonuçların başarı performansı PSNR (tepe sinyal gürültü oranı) ve SSIM (yapısal benzerlik indeksi ölçümü) görüntü kalite metrikleri kullanılarak değerlendirilmiştir. Sonuç olarak bikübik interpolasyona kıyasla PSNR değerlerinde yaklaşık 1,5dB’lik bir artış ve SSIM değerlerinde yaklaşık % 6’lık bir artış gözlemlenmiştir. İlerde yapılacak çalışmalarda,  derin ağın daha fazla veri kullanılarak ve iki farklı kameradan elde edilen görüntülerin renk tonları birbirine benzetilerek eğitilmesi sonucunda yüksek maliyetli termal kamera sistemlerine bir alternatif çözüm sunulabilecektir.

Thermal imaging is an imaging system based on invisible infrared energy (heat) and the general structure of the image is determined by colors and shapes formed according to infrared energy. Although it is generally used for security purposes, it is open to use in a wide variety of sectors. Especially in recent years, thermal imaging systems have found a wide range of use in the medical field. Thermal imaging is an imaging system that is difficult to design and expensive. Therefore, interest in super resolution applications in the field of thermal imaging to increase the resolution of thermal images has increased considerably in recent years. Here, developments in the field of deep learning have accelerated these studies and increased the success. In this study, super resolution application was carried out on RGB thermal images of human faces by using adversarial generating networks. In this study, the images obtained from the Variocam HD thermal camera were used as high resolution images, while the images obtained from the Flir One Pro thermal camera were used as low resolution images. For this project, 5 pairs of thermal images (high resolution-low resolution) belonging to 12 people were used. Of these images, 45 are separated as double image training data set, and 15 double images as test data set. Batch normalization layers were used in both the generative network and the discriminator network part in order to avoid the problem of gradient disappearance during the training of the generative adversarial network and to provide faster training of the network. Since residual blocks facilitate the training difficulties of very deep networks and increase the success performance, a skip connection has been applied in the generator network similar to ResNet. The success performance of the results obtained as a result of training the network was evaluated using the image quality metrics PSNR (peak signal to noise ratio) and SSIM (structural similarity index measure). As a result, an increase of approximately 1.5dB in PSNR values and an increase of approximately 6% in SSIM values were observed compared to bicubic interpolation. In future studies, an alternative solution to high cost thermal camera systems can be offered as a result of training the deep network by using more data and by simulating the color tones of images obtained from two different cameras.