Kenar destekli düşük aydınlıklı görüntü iyileştirme ağı
Edge supported low lightness image enhancement network
Yazar: BÜŞRA SÖYLEMEZ
Danışman: DR. ÖĞR. ÜYESİ SERDAR ÇİFTÇİ
Harran Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Nesnelere düşen ışık miktarı; nesnenin bulunduğu mekâna (iç/dış), gün içerisindeki zamana (gündüz/gece) ve ışık kaynağına (güneş/yapay) bağlı olarak değişebilmektedir. Düşük ışığa bağlı olarak fotoğraf makinesi ile çekilen görüntülerde kontrast düşüklüğü, renk kaybı, gürültü oluşumu ve detay bilgisi eksikliği gibi sorunlar yaşanmaktadır. Bu durum insan görsel zevkini ve bilgisayarlı görü uygulamalarının performansını etkilemektedir. Düşük aydınlıklı görüntülerin iyileştirilmesi konusu sıkça çalışılmış olup bu alanda başarılı sonuç sergileyen çalışmalardan biri olan GLADNet mimarisi bu tezde temel alınmıştır. GLADNet mimarisi iki temel birimden oluşmakta ve bunlar sırasıyla önce görüntü parlaklık değeri tahmin etme birimi sonrasında ise görüntü detay bilgisi iyileştirme birimidir. Bu çalışmada görüntü detay bilgisi iyileştirme biriminin geliştirilmesi üzerine yoğunlaşılmıştır. Bu bağlamda U-Net tabanlı bir kenar çıkarma birimi geliştirilmiş ve bu birimin sonucu görüntü parlaklık değeri tahmin etme biriminin sonucuna eklenerek görüntü detay bilgisi iyileştirme birimine girdi olarak verilmiştir. Önerilen yaklaşım ile yapılan deneyler sonucunda kenar ve doku bilgilerinde iyileşme, gürültü oluşumunda da azalma olduğu görülmüştür. U-Net tabanlı kenar çıkarma bloğuna kanal dikkat mekanizması eklendiğinde ise renk korunumunun sağlandığı görülmüştür. Elde edilen çıktı görüntünün kalitesini belirlemek amacıyla PSNR, SSIM ve FSIM metrik değerleri hesaplanmış ve sırasıyla 0.022, 0.019 ve 0.0101 miktarında performans artışı olmuştur. Referans görüntü olmadan yapılan deneylerde NIQE ve BRISQUE metriklerinde de performans iyileşmesi gözlemlenmiştir. Girdi görüntüde karmaşıklığın (kenar piksel yoğunluğu) artmasına bağlı olarak iyileştirme oranında artış elde edilmiştir.

Abstract:
The amount of light that falls on objects can vary depending on the location of the object (indoor/outdoor), the time of day (day/night), and the light source (sun/artificial). Due to the low-light, images captured by a camera suffer from low contrast, color loss, noise, and lack of detail. This affects the pleasure of human viewing and the performance of computer vision applications. Improving images in low-light conditions has been widely studied, and the GLADNet architecture, one of the successful works in this field, is used as the basis for this work. The GLADNet architecture consists of two basic units: the image brightness estimation unit and the image detail enhancement unit. In this study, we focus on developing the image detail enhancement unit. In this context, an edge extraction unit based on a U-Net is developed. The result of this unit is concatenated with the result of the image brightness estimation unit and used as input to the image detail enhancement unit. The experiments conducted with the proposed approach showed an improvement in edge and texture information and noise reduction. The color is preserved when the channel attention mechanism is added to the U-Net-based edge extraction block. To determine the quality of the output image, the PSNR, SSIM, and FSIM metrics were calculated, and the performance improvement was 0.022, 0.019, and 0.0101, respectively. A performance improvement was also observed for the NIQE and BRISQUE metrics in the experiments without the reference image. As the complexity of the input image (edge pixel density) increases, the improvement rate increases.