Aşırı karanlık seri görüntüleri iyileştirmek için hafif bir filtreleme modeli
A lightweight filtering model for extremely dark burst image enhancement
Yazar: HASAN AVŞAR
Danışman: DR. ÖĞR. ÜYESİ MEHMET SARIGÜL ; DR. ÖĞR. ÜYESİ LEVENT KARACAN
İskenderun Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Görüntü verisi, günümüz dünyasında kullanılan teknolojiler için önemli bir yer teşkil etmektedir. Özellikle biyomedikal görüntüleme, gece görüş, adli tıp, su altı görüntüleme, savunma sanayii, akıllı toplu taşıma ve hareketli nesne takibi gibi görüntü işleme teknolojilerinin yoğun olarak kullanıldığı alanlarda yapılan çalışmaların başarıya ulaşabilmesi için kaliteli ve işlenebilir görüntü verisine ihtiyaç duyulmaktadır. Fakat ortam ışık düzeyinin aşırı düşük olduğu durumlarda dijital fotoğraflama yoluyla elde edilen görüntülerde genellikle istenen aydınlık seviyesine ulaşılamamaktadır. Dijital fotoğraf makineleri, lensten geçen ışığın algılayıcı sensör üzerine düşmesi ile oluşan sinyaller aracılığıyla dijital görüntüleri üretirler. Aşırı karanlık ortamlarda lensten geçen ışık seviyesi çok düşük olduğu için karanlık, gürültü seviyesi yüksek, görsel kalitesi düşük görüntüler elde edilir.
Standart fotoğraflama teknikleri ve geleneksel görüntü iyileştirme yöntemleri bazı basit durumlarda yeterli sonuçlar üretebilse de aşırı karanlık ortamlarda elde edilen görüntüler için tatmin edici bir iyileştirme çözümü sunamamaktadır. Son yıllarda, bu problemin çözümüne yönelik geliştirilen öğrenme tabanlı yöntemler, çok daha başarılı sonuçlar üretebilmektedir. Çünkü öğrenme tabanlı yöntemler, karanlık girdi görüntüler ile hedef çıktılar arasında lineer olmayan ve çok daha karmaşık ilişkiler kurabilmektedir.
Öğrenme tabanlı yaklaşımlardan esinlenerek gerçekleştirilen bu tez çalışmasında, seri fotoğraflama ile elde edilen karanlık girdi görüntülerden iyileştirilmiş çıktı görüntüler üretebilen, mevcut çalışmalardan farklı olarak model ağırlığı ve çalışma süresi daha düşük, derin öğrenme tabanlı hafif bir filtreleme modeli üzerinde çalışılmıştır. Yeni bir veri çoğaltma yöntemi olarak girdi görüntülere ait amplifikasyon oranlarına eklenen çarpan, elde edilen sonuçlardaki başarımı artırmıştır. Gerçekleştirilen deneyler sonunda elde edilen nitel ve nicel bulgularla, önerilen modelin, daha düşük bir ağırlık ve daha düşük bir çalışma süresi ile son teknoloji çalışmalar ile yarışır sonuçlara ulaştığı gözlemlenmiştir.

Abstract:
Visual data is an important part of the modern technologies. Especially in areas such as biomedical imaging, night vision, forensic applications, underwater imaging, defense industry, smart public transportation and moving object tracking where image processing technologies are extensively used, quality of visual data is very important in order to achieve successful results, However, in cases where the ambient light is extremely low, the desired brightness level cannot be achieved in images obtained through digital photography. A digital camera sensor converts the light captured by the lens into a digital signal and stores it as a digital image. Under low levels of ambient light, the camera sensors may not be able to gather enough light to produce clear and well exposed images. This can result in dark images with increased noise and reduced image quality.
Standard photography techniques and traditional enhancement methods can produce acceptable outputs for some cases but they cannot offer a satisfactory solution for images taken under extremely low ambient light. In recent years, various data-driven methods are proposed which can achieve successful results for this problem since they are able to model more complex non-linear relationships between extremely dark input and long exposure ground truth images.
Inspired by these data-driven approaches, this thesis study focuses on a lightweight filtering model to process a burst set of raw input images across multiscale features for producing enhanced output images with a lower model weight and a shorter runtime. The amplification ratio scaling multiplier which is proposed as a data augmentation technique has improved the output results. The quantitative and qualitative results of the experiments show that the proposed model obtains highly competitive results with a lighter model weight and a shorter processing time when compared to state of the art studies.