Derin öğrenme tabanlı yöntemlerle düşük ışıklı görüntü iyileştirme
Low light image enhancement with deep learning based methods
Yazar: EMİN CİHANGİR US
Danışman: PROF. DR. ENDER METE EKŞİOĞLU
İstanbul Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı / Telekomünikasyon Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering ; Mühendislik Bilimleri = Engineering Sciences
Dizin: Derin öğrenme = Deep learning ; Evrişimli sinir ağları = Convolutional neural networks ; Görüntü iyileştirme = Image enhancement ; Görüntü işleme = Image processing

Özet:
Bu çalışmada, düşük ışık koşullarında görüntü iyileştirme yöntemleri incelenmektedir. Geleneksel yöntemlerden başlayarak, makine öğrenimi ve derin öğrenme tabanlı modern tekniklere kadar geniş bir yelpazede ele alınan yöntemler, detaylı tez başlıkları altında incelenmiştir. Çalışmanın diğer nihai amacı, tekil ve çiftli düşük ışıklı görüntülerin kalitesini artırmak için yeni yöntemlere yol açmaktır.
İlk olarak, tekil görüntülerde geleneksel yöntemler teorik ve deneysel olarak incelenmiştir. Bu yöntemler arasında histogram eşitleme, retinex yöntemleri ve çeşitli filtreleme gibi yöntemler bulunmaktadır. Bu yöntemlerin düşük ışık koşullarında görüntülerin parlaklık ve detay seviyesini artırma konusundaki etkinlikleri değerlendirilmiştir.
Makine öğrenimi ve derin öğrenme tabanlı yöntemlerin incelenmesine geçilmiştir. Bu bölümde, genel derin öğrenme ağı teorik bilgisi kullanılarak önemli yöntemler değerlendirilmiştir. Bu kapsamda, MSR-Net, SID ve Zero-DCE gibi popüler olarak atıf alan teknikler üzerinde çalışılmıştır.
MSR-Net (Multi-Scale Retinex Network) yönteminde, farklı ölçeklerdeki retinex teorisini kullanarak görüntü iyileştirme yapar. Düşük ışık koşullarında detayları ve kontrastı artırarak görüntü kalitesini iyileştirir.
SID (See-in-the-Dark) yönteminde, düşük ışıklı görüntüleri iyileştirmek için özel olarak tasarlanmış bir derin öğrenme modelidir. Bu model, düşük ışıklı görüntüleri yüksek ışıklı versiyonlarına dönüştürmede oldukça etkilidir.
Zero-DCE (Zero-Dark Channel Enhancement) yönteminde, tamamen öğrenme tabanlı bir yöntem olup, düşük ışık koşullarında görüntü iyileştirme işlemlerini gerçekleştirmek için derin evrişimsel sinir ağlarını kullanır. Özellikle belli görüntü gruplarında parlaklık ve renk iyileştirme konusunda başarılıdır. Bu çalışmanın bir diğer önemli yönü, mevcut çiftli görüntüleme çözünürlük sistemlerinin düşük ışıklı çiftli görüntülere uyarlanmasıdır. Geleneksel olarak, çiftli görüntüleme yöntemleri derinlik tahmini yapmaya odaklanmıştır, ancak bu çalışmada çiftli görüntülerin düşük ışık koşullarında geliştirilmesi hedeflenmiştir. Sol ve sağ görüntüler arasındaki farklılık, düşük ışık koşullarında belirgin zorluklardan biridir.
Bu zorlukları aşmak için, uçtan uca bir evrişimli sinir ağı olan MC-CNN önerilmektedir. MC-CNN iki aşamalı bir yapıya sahiptir:
İlk aşama parlaklık iyileştirme aşamasıdır. İlk aşamada, ağ çiftli görüntülerin parlaklık durumunu iyileştirmeyi öğrenir. Bu sekilde, görüntülerin düşük ışık koşullarında daha fazla ayrıntı ve netlik kazanması hedeflenir.
İkinci aşama ise renk restorasyonu aşamasıdır. İkinci aşamada, ağ geliştirilmiş parlaklık ve renk bilgisini kullanarak giriş görüntüsünün normal ışıkta tam renkli bir görüntüsünü derin öğrenme yardımıyla yeniden oluşturur. Geliştirilmiş çiftli görüntülerin orijinal renklerine daha yakın bir sekilde sunulmasını sağlar.
Kullanılan MC-CNN yöntemi, düşük ışık koşullarındaki çiftli görüntüleri tek bir görüntü düşük ışık geliştirme yöntemlerinden daha etkili bir şekilde geliştirmektedir. Bu yaklaşım, çiftli görüntülerin kalitesini artırırken aynı zamanda disparite tahminine dayanmadığı için daha hızlı ve daha etkili bir çözüm sunmaktadır.
Sonuç olarak, sunulan yöntem düşük ışık koşullarında çiftli görüntülerin kalitesini artırmak ve tekil görüntü iyileştirme yöntemlerinde detaylı inceleyerek tez için yenilikçi bir yaklaşım sunmaktadır. Bu çalışma, görüntü işleme alanında düşük ışık koşullarında tekil ve çiftli görüntülerin geliştirilmesi konusunda yapay zeka tabanlı yüksek doğruluklu yeni kapılar açabilmektedir. Özellikle MSR-Net, SID ve Zero-DCE gibi yöntemlerin de kullanılması, sunulan yaklaşımın etkinliğini ve geçerliliğini artırmaktadır ve çiftli düşük ışıklı görüntü iyileştirmede iyi sonuçlar elde edilerek gelecekteki çalışmalar için giriş niteliği taşımaktadır.

Abstract:
This thesis investigates image enhancement methods under low-light conditions,
starting from traditional techniques and progressing to advanced machine learning and
deep learning methods. The study's ultimate aim is to propose a novel method for
enhancing the quality of stereo images in low-light environments.
Initially, the research focuses on traditional image enhancement methods applied to
single images. These methods are analyzed both theoretically and experimentally
to provide a comprehensive understanding of their mechanisms and effectiveness.
Techniques such as histogram equalization, retinex methods, and various filtering
methods are scrutinized for their ability to improve image brightness and detail under
low-light conditions. Histogram equalization is a widely used technique that enhances
image contrast by spreading out the most frequent intensity values. Various adaptive
histogram equalization improves upon this by considering local regions of the image,
providing better local contrast and detail.
Following the examination of traditional methods, the study transitions to machine
learning and deep learning-based techniques. These methods leverage the power of
convolutional neural networks (CNNs) and other advanced algorithms to enhance
image quality. A thorough review of general deep learning network theories is
conducted, highlighting key architectures and their applications in image enhancement.
Important research papers are analyzed to observe the performance and success
rates of these methods. Deep learning has revolutionized image enhancement,
offering unprecedented performance improvements. Generative Adversarial Networks
(GANs), for example, generate highly realistic images from noisy or low-light inputs.
Autoencoders, another class of neural networks, learn efficient data representations to
reconstruct higher quality images from low-light inputs. Specialized CNNs designed
for low-light image enhancement incorporate innovative architectures and loss
functions that focus on preserving details and enhancing brightness simultaneously.
The study includes an in-depth analysis of key methods such as MSR-Net, SID, and
Zero-DCE.
MSR-Net (Multi-Scale Retinex Network): This method applies the Retinex theory at
multiple scales to enhance image quality. It improves details and contrast in low-light
conditions, making it a robust solution for image enhancement.
SID (See-in-the-Dark): SID is specifically designed for low-light image enhancement.
It uses a deep learning model to convert low-light images to their well-lit counterparts,
demonstrating remarkable effectiveness in improving image quality.
Zero-DCE (Zero-Dark Channel Enhancement): Zero-DCE is a fully learning-based
method that employs deep convolutional neural networks for low-light image
enhancement. It excels in brightness and color enhancement, producing visually
appealing results.
Building on the insights gained from single-image enhancement, the study adapts
existing resolution systems to stereo imaging under low-light conditions. Traditionally,
stereo imaging methods focus on depth estimation from pairs of images, but this
research shifts the focus to enhancing the quality of stereo images captured in poor
lighting. A significant challenge addressed is the disparity between the left and
right images, which becomes more pronounced in low-light environments. Disparity
estimation in stereo imaging involves calculating the pixel-wise difference between
the left and right images to extract depth information. However, low-light conditions
exacerbate the difficulties in accurate disparity estimation due to increased noise and
reduced detail. This study proposes a method that bypasses the need for disparity
estimation, focusing instead on directly enhancing the quality of the stereo images.
To overcome the challenges associated with low-light stereo imaging, an end-to-end
convolutional neural network named MC-CNN is proposed. The MC-CNN operates
in two primary stages:
Brightness Enhancement Stage: In this initial stage, the network learns to enhance the
brightness of the stereo images. This is achieved through a series of convolutional
layers that adjust the brightness levels, aiming to reveal more details and clarity in
the images captured under low-light conditions. The goal is to improve the visibility
of features that are typically obscured in poor lighting. The network is trained using
a large dataset of low-light and normal-light stereo images, enabling it to learn the
complex mappings required to enhance brightness effectively. Advanced techniques
such as batch normalization and dropout are employed to ensure robust learning and
to prevent overfitting.
Color Restoration Stage: The second stage of the network utilizes the enhanced
brightness and color information from the first stage to reconstruct a full-color image
as if it were captured under normal lighting conditions. This is accomplished using
deep learning techniques that ensure the output images are not only brighter but
also color-accurate and true to their original appearance. This stage involves a more
complex network architecture designed to handle color information and spatial details
simultaneously. The network leverages residual learning to focus on the differences
between the enhanced image and the desired output, ensuring that color restoration is
precise and natural-looking.
The studied MC-CNN method demonstrates superior performance in enhancing the
quality of stereo images in low-light conditions compared to traditional single-image
enhancement techniques. By avoiding reliance on disparity estimation, the method
offers a faster and more efficient solution, making it suitable for real-time applications
where speed and accuracy are critical. Extensive experiments are conducted to
evaluate the performance of the MC-CNN. Metrics such as Peak Signal-to-Noise Ratio
(PSNR) and Structural Similarity Index (SSIM) are used to quantitatively assess the
enhancement quality. The results indicate that MC-CNN outperforms existing methods
in terms of both objective metrics and subjective visual quality.
In conclusion, this thesis presents a comprehensive study of image enhancement
methods under low-light conditions, encompassing both traditional and deep
learning-based approaches. The proposed MC-CNN method stands out as an
innovative solution for improving the quality of stereo images in challenging lighting
environments. This research contributes significantly to the field of image processing,
providing a high-accuracy, AI-based approach that opens new possibilities for
enhancing both single and stereo images under low-light conditions. The findings of
this study pave the way for future advancements in artificial intelligence and image
processing, particularly in scenarios where low-light conditions pose a significant
challenge.