Yüksek dinamik aralıklı görüntü oluşturmada derin öğrenme kullanarak hayalet etkisinin giderilmesi
Elemination of ghosting effect using deep learning in high dynamic range image generation
Yazar: MUSTAFA DEMİRBİLEK
Danışman: DR. ÖĞR. ÜYESİ SERDAR ÇİFTÇİ
Harran Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Mevcut dijital görüntüleme cihazları, sınırlı algılama kabiliyetlerinden ötürü gerçek ortamdaki renklerin sadece küçük bir kısmını yakalayabilmektedir. Oluşturulan bu görüntülerin renk seviyeleri arasındaki fark az olduğundan bu görüntüler Düşük Dinamik Aralıklı (DDA) olarak adlandırılır. DDA görüntülerde karanlık veya aşırı parlak bölgeler oluşabildiğinden o bölgelerle ilgili bilgi kaybı gerçekleşebilmektedir. DDA görüntülerdeki bilgi kaybını telafi etmek amacıyla, farklı pozlanmış DDA görüntüler birleştirilerek Yüksek Dinamik Aralıklı (YDA) görüntüler elde edilmesi yöntemi yaygın olarak kullanılmaktadır. Bu yöntem, kamera ve ortamın durağan olduğu sahnelerde iyi sonuçlar verse de, hareket eden kamera ve/veya hareket eden nesnelerin olduğu sahnelerde hayalet etkisi adı verilen nesnelere dair izler içeren görsel bir kusur oluşturmaktadır. Bu durum, birleştirilen pozlardaki ilgili piksellerin yer değiştirmesi nedeniyle ortaya çıkmaktadır. Bu çalışmada, YDA görüntü oluştururken hayalet etkisini gidermek için iki aşamalı bir yöntem önerilmiştir. Önerilen yöntemin ilk aşamasında farklı pozlanmış DDA görüntüler, seçilen bir referans görüntüye önce RANSAC algoritması temelli homografi daha sonra da optik akış temelli hareket tahminleri yapan bir ağ kullanılarak hizalanmıştır. Önerilen yöntemin ikinci aşamasında, farklı pozlanmış üç girdi görüntü ve hizalanmış görüntüler kullanılarak YDA görüntü üreten bir birleştirme ağı tasarlanmıştır. Birleştirme ağı SIGG17 ve ICCP19 veri kümeleri kullanılarak eğitilmiş ve test edilmiştir. Önerilen yöntemin ürettiği YDA görüntüler alanda iyi bilinen bir yöntemin ürettiği YDA görüntüler ile nicelik ve nitelik bakımından mukayese edilmiştir. Nicel değerlendirmeler için PSNR, SSIM metrikleri kullanılmış ve iyi bilinen yönteme göre daha başarılı sonuçlar elde edilmiştir. Nitel kıyaslama için önerilen yöntemin görsel sonuçları, hayalet etkisini daha iyi gidererek hedef görüntüye yakın sonuçlar ürettiği gözlemlenmiştir.

Abstract:
Current digital imaging devices can only capture a small portion of the colors in the natural environment due to their limited capturing capabilities. Since the difference between the color levels of these images is small, these images are referred to as Low Dynamic Range (LDR). As dark or excessively bright areas can occur in LDR images, information about these areas can be lost. Combining differently exposed LDR images to obtain High Dynamic Range (HDR) images is often used to compensate for the loss of information in LDR images. Although this approach works well in scenes where the camera and the environment are stationary, in scenes with a moving camera and/or moving objects, it leads to a visual artifact called the ghost effect. This is caused by the displacement of the corresponding pixels in the merged poses. In this study, a two-stage method is proposed to remove the ghost effect in HDR image reconstruction. In the first stage of the proposed method, differently exposed LDR images are aligned to a selected reference image using a network that first performs homography based on the RANSAC algorithm and then performs motion estimation based on optical flow. In the second stage of the proposed method, a merging network is developed to generate an HDR image using three differently exposed input images and obtained aligned images. The merging network was trained and tested with the SIGG17 and ICCP19 datasets. The HDR images generated by the proposed method are compared quantitatively and qualitatively with the HDR images generated by a well-known method in this field. For quantitative evaluation, the PSNR and SSIM metrics are used, and better results are obtained than with the well-known method. The qualitative comparison shows that the visual results of the proposed method are very close to the target image, as the ghost effect is better removed.