Evrişimsel yapay sinir ağları ile görüntüde toplamsal beyaz Gauss gürültü seviye tespiti
Noise estimation of additive white Gaussian noise with convolutional neural networks
Yazar: HİKMET KIRMIZITAŞ
Danışman: DR. ÖĞR. ÜYESİ NURETTİN BEŞLİ
Harran Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2024
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Günümüzde imge oluşturmak için kamera kullanımının, sayısal teknolojinin ve sosyal medyanın 
kullanımının artmasıyla giderek artan bir öneme sahip olduğu görülmektedir. Bu imgelerin, gerek 
kameranın donanımsal özelliğinden gerekse sayısal işlemler sırasında oluşmak üzere gürültü 
içermesinin önüne geçilememektedir. Bu gürültülerin, görüntü kalitesini düşürmesinden dolayı 
giderilmesi büyük önem arz etmektedir. Bundan dolayı, literatürde, imgelerdeki gürültüyü gidermek 
için oldukça fazla çalışma yapılmaktadır. Gürültülerin temizlenmesi için doğru bir şekilde oluşma 
kaynağı belirlenmeli ve modellenmelidir. Birçok kör olmayan gürültü giderme metodu, imgelerdeki 
gürültünün seviyesini dışardan parametre olarak alır. Bu aşamada gürültü seviyesinin kestirimi büyük 
önem taşır. Gürültülerin giderilmesi işlemi gürültü modelinin, model parametrelerinin ve en son olarak 
gürültü seviyesinin doğru bir şekilde belirlenmesi ile başarılı sonuç vermektedir. Bu anlamda gürültü 
kestirimi gürültü gidermenin başarısını ve çalışma prensibini etkileyen en önemli faktörlerden birisidir.
Bu çalışmada CMOS sensör yapısına sahip görüntü alma cihazları uygulama alanı olarak belirlenmiştir. 
Bu cihazlardaki gerçek gürültü Toplamsal Beyaz Gauss Gürültü (TBGG) olarak modellenir. CMOS 
sensörlü görüntü alma cihazlarının endüstride kullanımı, CCTV sistemlerde kullanımı, insanlı/insansız 
hava araçlarında kullanımı oldukça yaygındır. Bu çalışmada yeni bir çoklu imge tabanlı, imge ve 
örüntüden bağımsız Evrişimsel Yapay Sinir Ağı (EYSA) gürültü kestirimi metodu tanıtılmıştır. Bu 
çalışmada 4 farklı sistem modeli üzerinde durulmuştur. Bu sistem modelleri, 5 sınıflı, 25 sınıflı olarak 
sınıflandırma ve 5 seviyeli, 25 seviyeli olarak regresyondur. 2000 resimden 1500 ü eğitim için, 500 ü 
test için kullanılmıştır.5 seviyeli sınıflandırma için %100 lük başarı elde edilmiştir. Bütün modellerde 
çıkış, resme eklenen TBGG gürültüsünün standart sapmasının sayısal değeridir. Standard sapma 
gürültünün en önemli karakteristiği olduğundan hem girdi hem de çıktı değerlerinde bu değer 
kullanılmıştır. Bu modellerde, literatürde gürültülü çoklu imge veri tabanı olmadığından, her bir 
gürültüsüz resme TBGG dağılımında gürültü eklenmiştir. Her bir temiz imge için 2 adet gürültülü imge 
üretilmiştir. Uygulamada bu durum, günümüz teknolojisinin gelişmesiyle birlikte mümkün olan, hızlı 
çekimle, ardı ardına görüntü almak anlamına gelmektedir. Önerilen EYSA ağı SqueezeNet tir.
Sınıflandırmada ağ olduğu gibi kullanılmış, regresyonda ise son iki katmanın yerine Tam Bağlı Katman 
(Fully Connected Layer FCL) ve ardından Regresyon Katmanı (Regression Layer) konulmuştur. Sistem 
ayrıca ResNet te çalıştırılmış ve beklendiği gibi SqueezeNet ten daha başarılı sonuçlar vermiştir. Ancak 
SqueezeNet daha az yer kaplaması açısından gömülü sistemlerde tercih edilmektedir. Önerilen yöntem 
bilindik gri seviye imgelerin yanında renkli imge veri tabanları Kodak, McMaster ve BSDS500 üzerinde 
denenmiştir. Ayrıca bu çalışmanın regresyon çıkışı diğer kör olmayan metotlar tarafından da 
kullanılmaya hazırdır. Sistemin çıktısı ayrıca Manyetik Rezonans (MR) görüntülerde ve görüntü alma 
cihazlarının kimlik tanımlamasında denenmiştir. Regresyon çalışmasında ayrıca sistem eğitim 
esnasında kullanılmayan standart sapmanın ara değerlerinde test edilmiştir. Bu testin sonucunda elde 
edilen değerler regresyon değerlerine yakın çıkmıştır. Sistem kör olmayan BM3D ve Curvelet gürültü 
giderme yöntemleri tarafından kullanılmıştır. Kestirimle elde edilen sonuçlarla sisteme direk girilen 
değerlerin gürültü giderdikten sonraki PSNR sonuçları karşılaştırılmıştır. Bu PSNR sonuçlarının 
karşılaştırması göstermektedir ki iki parametreyle ayrı ayrı elde edilen PSNR değerleri arasında lineer 
bir ilişki vardır.
Sistem ayrıca literatürdeki en iyi yöntemlerle karşılaştırılmıştır. Önerilen metotun SqueezeNet ağ 
yapısına sahip modeli literatürdeki en iyi sonuçlardan 15 te 9 kez, ResNet modeli ise 15 te 15 kez daha 
başarılı olmuştur.

Abstract:
Today, the usage of cameras to constitute images has an increasing importance due to increase in usage 
of digital technology and socialmedia. The gathered images' containing noise can not be prevented due
to bothcamera's hardware propoerties and during the process of digital computations. It is highly
important to remove this noise since it decreases the image quality. So, in the literature, there are lots 
of studies on removing the noise in images. To remove, the source of the noise should be correctly
identified and modelled. Lots of non-blind denoising method, takes the noise's level from outside as 
parameter. In this stage, the estimation of noise level parameter plays an important role. The process of 
removing noise, gives successful results by determining the noise model, model parameters and lastly
the level of inherent noise. By this means, noise estimation is one of the most important factors affecting
the denoising success and working principle.
In this study, the image gathering devices which has CMOS sensor type are defined as the application 
area. Real noise is modelled as Additive White Gasussian Noise (AWGN) in these devices. The image 
gathering devices which has CMOS sensorsa re widely used in industry, in CCTV systems, in 
manned/unmanned air vehicles, In this study, a novel multi frame based, independent of image and 
texture, a Convoutional Neural Network(CNN) noise estimation method is introduced. In this study, 4 
different system model are studied. These system models are classification with 5 classes,classification 
with 25 classes,regression with 5 levels and regression with 25 levels. 1500 images are used for training 
and 500 images are used for test out of 2000 images. A success rate of %100 is achieved in 5 classs 
classification. In all of the models the output is the value of the standard deviation of AWGN added to 
the images. Since the standard deviation is the most important characteristics of the AWGN noise, this 
value is used in all of the models. In these models, since there is not a multiframe noisy image database 
in the literatüre, AWGN is added to each of the images. For all clean image two noisy images are 
produced. In application, this situation, being feasible with the developing technology, with rapid 
gathering, it means to gather images consecutively. The opposed Convolutional Neural Network (CNN) 
is SqueezeNet. In classification the network is used as it is whereas in regression the last two layers of 
the network is replaced with a Fully Connected Layer and Regression Layer. The system is also tried 
with ResNet and gave better results as expected. But, SqueezeNet, occupaying less storage space than 
others, is preferred in embedded systems. The proposed model, besides the widely used gray level 
images is tried on colour image databases Kodak, McMaster and BSDS500. Furthermore, the output of 
this system is ready to be used with other non-blind denoising methods. The output of the system is also 
tried on Magenetic Resonance images and the identification of image gathering devices. In regression 
model the system is also tried on quasi-levels of standard deviation not used while training. At the end 
of this try the network produced near levels of standard deviation to reel values. The system is used with 
non-blind denoising methods BM3D and Curvelet. The PSNR values of denoising results obtained with 
reel values and the estimated values are compared. This comparison shows us that the both values of 
the results has a linear reletionship. The system is also compared with the best results in the literatüre. 
The propoed method with SqueezeNet became successful 9 times out of 15, and the proposed model 
with ResNet became successful 15 times out of 15, when compared with the best results in the literature.