Yüksek boyutlu model gösterilimi ve çok değişkenliliği yükseltilmiş çarpımlar gösterilimi ile görüntü üzerindeki gürültüleri giderme
Image denoising via high dimensional model representation and enhanced multivariate product representation
Yazar: SENA KAÇAR
Danışman: DOÇ. DR. BURCU TUNGA
İstanbul Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Matematik Mühendisliği Ana Bilim Dalı / Matematik Mühendisliği Bilim Dalı
Derece: Doktora, 2024
Konu: Matematik = Mathematics
Dizin: Sayısal görüntü işleme = Digital image processing

Özet:
Bu tez çalışmasında Yüksek Boyutlu Model Gösterilimi (YBMG) ve Çok Değişkenliliği Yükseltilmiş Çarpımlar Gösterilimi (ÇYÇG) yöntemleri kullanılarak görüntü üzerindeki gürültüleri giderme çalışması yapılmıştır. Tuz biber gürültüsünü gidermeye yönelik oldukça geniş bir çalışmaya yer verilmekle birlikte  gauss ve alacalı gürültülerini giderme konusunda da çalışmalar yapılmıştır.

YBMG ve ÇYÇG yüksek boyutlu fonksiyonların veya verilerin ayrıştırımında kullanılan yöntemlerdir. Karmaşık fonksiyonları veya verileri daha basit ve anlaşılır bileşenlere ayırarak modelleme yapabilme kapasitesine sahiptir ve bilimsel yazında oldukça etkin olarak kullanılmaktadır. Bu yöntemler, yüksek boyutlu veri setlerini daha rahat işlenebilir alt boyutlara indirgeyen birer böl ve yönet algoritması olarak hesaplama kolaylığı sağlamaktadır.

Görüntü üzerinde gürültünün giderilmesi, yapılacak olan işlemin kalitesi ve güvenilirliği açısından büyük önem taşımaktadır. Bu çalışmada görüntü verisinde gürültü olarak isimlendirilen kayıp veya eksik verileri YBMG ve ÇYÇG bileşenlerinden faydalanarak en doğru şekilde tahmin etme işlemi amaçlanmıştır. Böylelikle hem literatürün güncel ve iyi çalışmaları kadar etkili yeni yöntemler geliştirilmiş hem de YBMG ve ÇYÇG algoritmaları yeni kullanım alanları bulmuştur. 

Çalışmada öncelikle literatürün temel ve güncel filtreleri anlatılmıştır. Gauss gürültüsünü gidermek için kullanılan ortalama filtre, bulanık filtre, gauss görüntü filtresi gibi filtrelerden bahsedilmiş devamında alaca gürültüsü için Lee filtre, Frost filtre, Kuan filtre, doğrusal olmayan uyumlu difüzyon fitre gibi çalışmalara yer verilmiştir. Bu tez çalışmasında üzerinde genişçe durulan tuz ve biber gürültüsü için ise medyan filtre, uyarlanabilir medyan filtre, sürekli kesirler interpolasyon filtresi, piksel yoğunluğu tabanlı filtre, farklı uygulanabilen medyan filtresi,  pencere medyan filtre, modifiye edilmiş farklı uygulanabilir medyan filtre gibi literatürün en güncel istatistiksel yöntemlerinnin çalışma prensiplerine yer verilmiştir.

Bu tez çalışmasında geliştirilen algoritmada kullanılan YBMG ve ÇYÇG yöntemlerinin, analitik fonksiyonlara, verilere ve görüntülere nasıl uygulandığı anlatılmıştır. YBMG ve ÇYÇG'nin görüntü verisine uygulanarak elde edilen bileşenlerinden faydalanarak gürültü giderme algoritmaları oluşturulmuştur. Çalışmada  öncelikle alacalı ve gauss gürültülerine değinilmiş bu gürültüler hakkında bilgi verilerek giderilmesi için ÇYÇG tabanlı iki farklı algoritma oluşturulmuştur. Bunlardan ilki bu gürültüleri gidermek için ÇYÇG'nin sabit teriminden faydalanıyorken, ikinci algoritma ÇYÇG'nin tek değişkenli terimlerden faydalanmaktadır.


 Tez çalışmasında asıl olarak odaklanılan araştırılan konu tuz ve biber gürültüsünü gidermeye yönelik algoritmaların geliştirilmesidir. Bu amaçla, öncelikle YBMG yönteminden faydalanılmıştır.  İlk olarak YBMG açılımının ilk terimleri olan sabit terimden ve birli terimlerden yararlanılması düşünülmüş ve bu terimlerden istatistiksel yöntemlerle elde edilen yeni değer  kayan pencere yapısında oluşturulan gürültülü merkez piksel yerine konulmuştur. Çalışmanın sonraki aşamalarında başarının arttırılması amacıyla yapıya iteratiflik eklenmiş ve sonuç olarak gerçekten başarısı daha iyi olan yeni bir algoritma elde edilmiştir. Bununla da yetinilmemiş başarının sürekli artabilmesi adına algoritmalar geliştirilmeye devam edilerek toplamda YBMG kullanılarak 9 adet birbirinden farklı ve her biri öncekilere göre daha başarılı olan algoritmalar tasarlanmıştır.

 İlk iki yöntem de gürültü tespitinde bütün gürültülü olduğu düşünülen piksel değerlerine 0 atanarak işlem yapılırken, üçüncü yöntemden itibaren tuz ve biber gürültüsünün yapısı gereği 0 veya 255 olan değerler aynen korunarak gürültülü piksel olarak işleme alınmıştır. Yeni oluşturulan gürültü tespiti mekanızması da iteratif olarak uygulanarak gürültü gidermedeki sonuç daha iyi hale getirilmeye çalışılmıştır. İteratif olan yöntemlerden farklı olarak, elde edilen deneyimler yardımıyla, tuz ve biber gürültüsünü yüksek doğruluk oranıyla ve hesaplama maliyetini arttıran iterasyona gereksinim duymayacak şekilde giderebilmek amacıyla  yeni bir algoritma daha geliştirilmiştir.


Geliştirilen algoritmaların tümü düşük pencere boyutları ile çalışılarak tamamlanmış ancak çalışmanın ilerleyen safhalarında pencere boyutlarında yapılan değişikliklerin performansı doğrudan etkilediği gözlemlenerek bu konuya yoğunlaşılmıştır. Özellikle yüksek yoğunluklu gürültülerin içerildiği gürültülerde pencere boyutunda yapılan değişikliklerin başarıyı arttırdığı görülmüş ve bu amaçla ele alınan her bir pencere simetrileri yardımıyla büyütülmüş ve bu büyütülen pencereler üzerinde YBMG bileşenleri bulunmuş ve bu bileşenler kullanılarak elde edilen değerler gürültülü pikseller yerine konularak tuz ve biber gürültüsü giderilmeye çalışılmıştır.  Pencere büyütme işlemi düşük yoğunluklarda çok başarılı sonuçlar vermekle birlikte yüksek yoğunlukta literatürdeki çalışmaları geçecek kadar başarılı olamadığından  yeni bir arayış içine girilmiş ve sonunda  dinamik pencere yapısına geçilerek başarının arttırılması hedeflenmiştir. Dinamik pencereler kullanımı sırasında düşük boyutta orijinal piksel değeri bulunamadığı takdirde pencere büyütülmüştür. Orijinal piksel değeri elde edilene kadar bu genişletme işlemine devam edilmiş ve böylelikle yüksek yoğunluk düzeylerinde de başarılı çalışır hale gelmiştir.

Çalışmanın son kısmında YBMG kullanılarak yapılandırılan algoritmaların başarısının ÇYÇG ile de yakalanıp yakalanmayacağı merak konusu olduğundan algoritmalar ÇYÇG kullanılarak yeniden yapılandırılmıştır. ÇYÇG ile yapılan ilk çalışmada pencere boyutu büyütülerek elde edilen YBMG algoritmasının benzeri uygulanmıştır. Devamında  ÇYÇG ve YBMG yöntemlerinin bir arada kullanıldığı durumda daha iyi sonuçlar elde edilebileceği düşünülerek YBMG yardımı ile bir kere filtrelenmiş görüntüden elde edilen destek fonksiyonları ile görüntü ikinci kez ÇYÇG ile filtrelenmiştir fakat bu durum sonuçlara çok büyük bir katkı sağlamamıştır. ÇYÇG ile elde edilen son yöntemde ise dinamik pencere yapısı kullanılarak sonuçlar iyileştirilmiştir. ÇYÇG ile elde edilen algoritmalar YBMG ile oluşturulan algoritmalara çok yakın sonuçlar vermekle birlikte gri ton görüntülerde YBMG'nin daha başarılı olduğu söylenebilir.

YBMG ile en son geliştirilen algoritma farklı uygulanabilir medyan filtre (FUMF), piksel yoğunluğu tabanlı filtre (PYTF), uyarlanabilir türev tabanlı genelleştirilmiş kesirli algoritma (UTTKA) ile kıyaslandığında daha iyi sonuçlar vermiş, YBMG'yi takip eden en iyi sonuçları da ÇYÇG ile elde edilen son algoritma vermiştir.

Renkli görüntülere yöntemlerin uygulanmasında her bir görüntü kanalının (RGB) ayrı ayrı işlenmesi gerektiği göz önüne alınmıştır. Yüksek Boyutlu Model Gösterilimi (YBMG) ve Çok Değişkenliliği Yükseltilmiş Çarpımlar Gösterilimi (ÇYÇG) yöntemleri, bu kanalları bağımsız olarak ele alarak her kanal için ayrı ayrı bileşenler çıkarmış ve gürültü giderme işlemlerini gerçekleştirmiştir.
Bu şekilde, her bir kanalın bağımsız olarak işlenmesi, yöntemlerin renkli görüntülerde de düşük ve yüksek yoğunluklardaki başarılarını göstermiş ve tezin kapsamında elde edilen sonuçların geniş bir uygulama yelpazesine hitap ettiğini ortaya koymuştur. Renkli görüntüler üzerinde yapılan çalışmalar literatürde çok geniş yer almadığı için sonuçlar görsel olarak verilmiştir.

Abstract:
In this thesis study, noise removal on the image was carried out by using High Dimensional Model Representation (HDMR) and Enhanced Multivariate Product Representation (EMPR). First of all, the study of removing gaussian and speckle noise with EMPR was briefly included, and then a very extensive study was carried out to eliminate salt and pepper noise with both EMPR and HDMR.

Noise reduction in images is of great importance for the quality and reliability of the process to be performed. In this study, the aim is to accurately predict the missing or lost data in image data, referred to as noise, by utilizing components of HDMR and EMPR. In this way, new methods as effective as the current and well-established studies in the literature have been developed, and HDMR and EMPR algorithms have found new areas of application. The filters to be produced in this study are expected to contribute to various fields where image processing is used.

The study first includes the current filters in the literature. Filters used to remove Gaussian noise, such as the mean filter, fuzzy filter, and Gaussian image filter, are described. Subsequently, works on filters for speckle noise, such as the Lee filter, Frost filter, Kuan filter, and nonlinear coherent diffusion filter, are included. For salt-and-pepper noise, which is extensively covered in this thesis, the most current statistical methods in the literature are discussed, including the median filter, adaptive median filter, continued fractional interpolation filter, based on pixel density-based filter, different applied median filters, window median filter, and modified different applied median filters.

The HDMR algorithm used in the study is first described in terms of how it is applied to analytical functions. Subsequently, its application to functions in Euclidean space, where the values are known at a discrete finite number of points, i.e., to data, is explained. Finally, considering the image as a three-dimensional data set, how the algorithm is applied to images is described. Similarly, the application of the EMPR algorithm to functions and data is also explained.

In developing the noise reduction algorithms, the components obtained by applying HDMR and EMPR to image data were utilized.

Firstly, using EMPR, the EMPR1 and EMPR2 algorithms were created to reduce speckle and Gaussian noise in images. The EMPR1 algorithm leverages the constant term of EMPR to mitigate these noises, while the EMPR2 algorithm uses univariate terms. The operation of these algorithms involves dividing the image data into 3x3 square windows and predicting the value of the central pixel using the components obtained from EMPR. 

The study extensively focuses on reducing salt-and-pepper noise using an algorithm called HDMR1, which utilizes the univariate terms and constant term of HDMR. All values considered noise, 0 or 255, are initially converted to 0. Then, for the points identified as 0 in the image, a 3x3 window is created with the 0 value at the center. The central pixel value is predicted using the constant and univariate terms of HDMR. The subsequent filter, HDMR2, involves the iterative application of the HDMR1 filter. This approach aims to identify noisy pixel values that could not be detected in a single iteration in the subsequent iterations. In the HDMR3 filter, pixel values of 255 are not converted to 0 before processing. 3x3 windows are created around the pixels identified as 255 or 0, and the central pixel is predicted. HDMR4 filter is an iterative application of HDMR3 filter.  Unlike iterative methods, the HDMR5 algorithm was created to detect all noisy points at once. Here, while browsing through the pixels, a preliminary filtering is performed on all pixels that are considered to be noisy. Then, all of them are estimated at the same time based on the HDMR components. In order to improve the studies carried out with HDMR, a hybrid model was created to obtain more accurate results in places where the transition in pixel values ​​is sudden and rapid. This new algorithm is named HDMR6 in this study. In the HDMR6 algorithm, the values ​​0 or 255, which are considered to be noisy, are accepted as the center pixel and the surrounding area is taken as a 3x3 window. By calculating the standard deviation of the window, the value obtained with HDMR constant and unity terms was used where the standard deviation was less than the threshold value obtained experimentally, and a non-repetitive median filter was used where the standard deviation was greater than the threshold value. The image was improved by applying the algorithm iteratively. The studies carried out so far have been successful in removing low intensity salt and pepper noise. The studies carried out so far have been successful in removing low intensity salt and pepper noise. In order to be successful when the intensity increases, HDMR7 algorithm has increased the window size to 9x9 by utilising the symmetries of 3x3 windows. This expansion was achieved by copying the 3x3 window to the right, left, up, down and diagonally. When the HDMR algorithm was applied to this 9x9 window, it was observed that the result improved. By combining the methods given in HDMR6 and HDMR7, a new method called HDMR8 is obtained. In this method, firstly, the 3x3 size windows, which accept the noisy value as the centre, are enlarged to 9x9 size with the help of their symmetries, and then the mean and standard deviation of the noiseless pixels are calculated. After replacing the noisy pixel values with the mean, if the standard deviation is above the optimal threshold value, the centre pixel value in the window is calculated by applying a non-repetitive median to the window, if not, the noise removal algorithm created with HDMR is applied.

 In the continuation of the study, the efficiency of the algorithm was increased at high densities. In order to obtain good results at high density, the window size in the filter has been made adaptive.  Thus, the original pixel value, which cannot be found when the window size is small, can be found when the window size is large. For this purpose, firstly, the image size was increased by copying the symmetries of pixel values of three units each to the right, left, up, down and corners in the whole image. Thus, if the first pixel is noisy, it is first checked whether there is an original value in a 3x3 window around it, if not, the window size is increased to 5x5, and if there is no noiseless pixel here, the size is increased to 7x7. Then the window was shifted and the same algorithm was applied to the whole image. The expansion process of three units each made the entire image from the first pixel to the last pixel suitable for the 7x7 window size.  Thus, even at very high intensity, the original pixel value was captured and the algorithm gave very good results. After the algorithm was applied once, the cleaned image was run three more times for a 3x3 window by taking one-pixel symmetries of the cleaned image in case there were any noisy pixels that could not be captured. In this way, all noisy pixel values were captured and removed even at very high intensity values. Highly successful results were obtained from the HDMR9 algorithm and it was applied on both grey scale and colour images.
 
 The EMPR3 algorithm, EMPR4 algorithm and EMPR5 algorithm were inspired by the algorithms created with HDMR. These are the adaptations of HDMR7, HDMR8 and HDMR9 filters to EMPR respectively. The algorithms obtained with EMPR are also applied to both grey tone and colour images and the experimental results obtained are given in the related section.
 
 The results obtained from the filters generated with HDMR and EMPR are presented with three different metrics. The metrics used for quantitative analysis are Peak Signal-to- Noise Ratio (PSNR) and Structural Similarity (SSIM). PSNR and SSIM values are metrics that show how close the resulting image is to the original image. A higher PSNR value indicates that the resulting image is closer to the original image. SSIM, on the other hand, takes values between 0 and 1 and as it increases, the quality of the image improves. The MS-SSIM metric was also used to show the achievements in edge detail. In the MS-SSIM value, the success increases as the value approaches 1.
 
 According to the results obtained, EMPR2 algorithm works better than the mean and median filter for Gaussian and speckle noise. For gray scaleimages with 0.1 salt and pepper noise, the HDMR2 algorithm works better than the median filter. When HDMR3 and HDMR4 filters are compared among themselves, HDMR4 filter gives better results. HDMR5 filter is inferior to HDMR4 filter but better than median filter. For images with 0.1 salt and pepper noise, HDMR1, HDMR2, HDMR3, HDMR4 and HDMR5 are compared with each other and the best result belongs to HDMR4 algorithm. The hybrid model HDMR6 filter did not outperform the DAMF when compared with important studies in the literature. The HDMR7 filter was able to pass the DAMF at an intensity level of 0.2. Similarly, the HDMR8 filter surpassed DAMF in both PSNR and SSIM scales. However, HDMR7 and HDMR8 algorithms did not exceed all other algorithms after 0.5 density level. The EMPR3 and EMPR4 filters did not perform as well as the HDMR7 and HDMR8 filters at 0.2 density. However, EMPR3 and EMPR4 also gave good results as the density increased. The final version of the study, HDMR9 algorithm outperformed all the compared filters at all intensity levels.The EMPR5 algorithm also outperformed the other studies at 0.2 intensity, but falls behind YBMG9 for grey level images. However, as the intensity level increased, there were some images where the EMPR5 algorithm gave better results than the YBMG9 algorithm. When the denoised images are analysed, both HDMR9 and EMPR5 algorithms successfully removed the noise at the all intensity levels. Since there is no extensive source in the literature for color images, the study was not compared with different filters. However, when looking at the images obtained, it is observed that the color images are very well cleaned of noise. It is seen that the HDMR algorithm is especially successful in preserving edge details in both grayscale and color images.