Yüksek dinamik aralıklı görüntüleme için sıkıştırılmış pozlama dizileri
Compressed exposure sequences for HDR imaging
Yazar: SELİN SEKMEN OKUYAN
Danışman: PROF. DR. AHMET OĞUZ AKYÜZ
Orta Doğu Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Yüksek dinamik aralık (YDA) görüntüleme teknikleri, fotoğrafçılara gerçek dünya sahnelerinin tüm parlaklık aralığını yakalama fırsatı sunarak, yakalama ve görüntüleme cihazlarının sınırlamalarını aşma imkanı sağlar. YDA görüntü oluşturmanın en yaygın kullanılan yöntemlerinden biri çoklu pozlama tekniğidir. Bu yöntem, standart dijital kameralarla çekilen birden fazla pozdan oluşan bir poz sekansını kullanarak yeni bir YDA görüntü oluşturma amacını taşır. Bu tez, bir pozlama serisinin tüm verisini tek bir JPEG dosyasında saklamayı amaçlayan Artık Sıkıştırılmış Pozlama Dizileri (ASPZ) adı verilen bir formatın geliştirilmesini ele almaktadır. Bu formatta, standart bir görüntü görüntüleyicisinin ana görüntüsü olarak, bu serinin orta pozlamasından gelen görüntü seçilebilirken aynı seri içirisindeki alternatif pozlamalar veya ton eşlemeli YDA görüntüleri de kullanılabilir. Ayrıca, gerektiğinde orijinal pozlamalar bu JPEG dosyasından yeniden oluşturulabilir ve  standart bir YDA iş akışında kullanılabilir hale getirilir. Önerdiğimiz yaklaşım, yama tabanlı bir prosedüre dayanmaktadır. Bu yöntem sadece düşük pozlu, fazla pozlu veya hareket tespit edilen yamaların depolanmasını gerektirirken; diğer yamaları veri kaybını en aza indirmek için kamera tepki işlevi aracılığıyla yeniden hesaplama sürecine tabi tutar. Ancak, yama tabanlı yaklaşımla oluşturulan görüntülerde karşılaşılan problemleri çözmek ve bu tekniğin getirdiği sınırlamaları aşmak için bir adım daha ileri gidilerek derin öğrenme tabanlı bir yaklaşım geliştirilmiştir. ASPZ'nin temel yeniliği, tek bir JPEG dosyası içinde orijinal pozlama setini kapsama yeteneğinde yatar, bu da talep üzerine yeniden yapılandırmayı kolaylaştırır ve literatürdeki mevcut HDR dosya biçimlerinden ayıran bir özelliktir. Deneysel sonuçlar, ASPZ'in, hem niceliksel hem de niteliksel değerlendirmelerde orijinal pozlamalara yüksek benzerlik derecesine ulaştığını göstermektedir. Ayrıca 40 katılımcı kullanılarak yapılan öznel görsel değerlendirme, yeniden yapılandırma sonuçlarımızın orijinal pozlamalardan istatistiksel olarak ayırt edilemez olduğunu, ortalama olarak 4.5 kat depolama azalması sağladığını göstermektedir. Bu, dosya bakımının kolaylığı ile birleştirilerek HDR görüntülerin depolanması, paylaşılması ve görüntülenmesini basitleştirir.

Abstract:
High dynamic range (HDR) imaging techniques offer photographers the ability to capture the full range of luminance in real-world scenes, overcoming the limitations of capture and display devices. One popular method for creating HDR images is the multiple exposures technique, in which a bracketed sequence of exposures are merged into an HDR image. In this thesis, we focus on a specific method called Residual Compressed Exposure Sequences (ResCES) that aims to consolidate all the information from a bracketed sequence into a single JPEG file. Typically, the main image displayed by a standard image viewer is selected as the middle exposure, although any other user-preferred exposure can be selected as well. When needed, the original exposures can be reconstructed from this single JPEG file, enabling their use in a standard HDR workflow. ResCES utilizes a patch-based process, where under-exposed, over-exposed, and motion-detected patches are stored in metadata, while other patches are reconstructed from their corresponding reference patches. This minimizes the information that needs to be stored. To further improve the fidelity of the reconstructed exposures, a residual learning model is used in the last stage of our pipeline, effectively eliminating any artifacts that may occur in its earlier stages. The key innovation of ResCES is its ability to encapsulate the complete set of original exposures within a single JPEG file in an efficient manner, allowing for on-demand reconstruction – a feature that distinguishes it from existing HDR file formats in the literature. The experimental results demonstrate that ResCES achieves a high degree of similarity with respect to the original exposures, as shown by both quantitative and qualitative evaluations. The subjective visual evaluation conducted using $40$ participants indicates that ResCES reconstruction results are statistically indistinguishable from the original exposures, while, on average, yielding a $4.5$ times storage reduction. This, coupled with the ease of file maintenance, simplifies storing, sharing, and viewing of HDR images.