Hiperspektral imgelerin izge-uzamsal sınıflandırılması için olasılıksal modeller
Probabilistic models for spectral-spatial classification of hyperspectral images
Yazar: SEZER KUTLUK
Danışman: PROF. DR. AYDIN AKAN ; DOÇ. DR. KORAY KAYABOL
İstanbul Üniversitesi-Cerrahpaşa / Lisansüstü Eğitim Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2021
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Görüntü sınıflandırma = Image classification ; Sayısal görüntü işleme = Digital image processing ; Sayısal işaret işleme = Digital signal processing

Özet:
Son yıllarda hiperspektral uzaktan algılama teknolojisinde önemli gelişmeler olmuştur. Havadan ve uzaydan algılama yapan araçlara yerleştirilen hiperspektral sensörler ile Dünya yüzeyinin yüksek spektral, uzamsal ve zamansal çözünürlüklerde görüntülenmesi mümkün olmakta ve böylece görüntülerden daha ayrıntılı bilgi çıkarımı yapılabilmektedir. Diğer yandan, hiperspektral imge verisinin büyük boyutlu olması, eğiticili yapay öğrenme yöntemleri için veri etiketlemenin güçlüğü, spektral karışım ve gürültü ile atmosferik etkilerin sebep olduğu bozulmalar bu imgelerin işlenmesinde karşılaşılan zorluklardır.
Hiperspektral imgeler geniş bir spektral aralıkta, birbirine yakın spektral bantlardan oluşmaktadır. Hiperspektral imge sınıflandırma probleminde, imgedeki her pikselin hangi sınıfa ait olduğu tahmin edilmekte, dolayısıyla imge için bir bölütleme haritası elde edilmektedir. İzgesel sınıflandırmada yalnızca piksellerin spektral imzaları kullanılırken, izge-uzamsal sınıflandırmada bir pikselin hem spektral imzası hem de bu piksele komşu olan piksellerin etiketleri dikkate alınmaktadır. Atmosferik koşulların değişimi ve diğer gürültü kaynakları nedeniyle, yapay öğrenme algoritmalarının hiperspektral imge sınıflandırma problemine uygulanmasında genellikle aynı imgeden hem eğitim hem test pikselleri seçilmektedir. Hem bu nedenle, hem spektral karışım nedeniyle, hem de spektral bant sayısının fazla olması nedeniyle, standart imge işleme yöntemlerinin olduğu gibi uygulanması çoğu zaman mümkün olmamakta, bu veri türüne uygun yöntem ve modellerin geliştirilmesi gerekmektedir.
Hiperspektral imge sınıflandırmada kullanılan klasik yapay öğrenme yöntemlerinde boyut indirgeme, öznitelik çıkarımı ve sınıflandırma gibi işlemler ayrık bir işlem dizisi şeklinde uygulanmaktadır. Olasılıksal yaklaşımda verideki rastgeleliğin veya belirsizliğin modellenmesi mümkün olmakta, önsel dağılımlar tanımlanarak düzenlileştirme kısıtları da eklenebilmekte ve böylece parametre kestirimi kolaylaşmaktadır. Son yıllarda sıkça kullanılmakta olan evrişimsel sinir ağlarının en önemli özelliği ise sınıflandırma ve öznitelik çıkarımı parametrelerinin birlikte optimize edilmesiyle daha iyi öznitelikler ve dolayısıyla daha iyi sınıflandırma başarımı elde edilmesidir.
Bu tezde hiperspektral imgelerde yeryüzü bölgelerinin sınıflandırılması amacıyla izge-uzamsal yöntemler geliştirilmiştir. Olasılıksal yaklaşım temel alınmış olup, az sayıda eğitim pikseliyle eğitim yapılabilmesi için farklı karışım modelleri, boyut indirgeme amacıyla bir üretici alt-uzay yöntemi, çokterimli lojistik bağlanım kullanılan üretici ve ayrımsayıcı modeller ile bir evrişimsel sinir ağı modeli geliştirilmiş, bu modeller için parametre kestirimi ve sınıflandırma algoritmaları elde edilmiştir. Önerilen yöntemlerin başarımları literatürde kullanılan hiperspektral imge veri kümeleri üzerinde yapılan testlerle ölçülmüş, başka algoritmalarla karşılaştırılmış ve önerilen yöntemlerle iyi sonuçlar elde edildiği gözlenmiştir.

Abstract:
Significant developments have occurred in the hyperspectral remote sensing technology in recent years. With hyperspectral sensors deployed on airborne and spaceborne vehicles, it has been possible to gather the images of the surface of the Earth with high spectral, spatial, and temporal resolutions, and thus, more detailed information can be gathered via these images. On the other hand, the size of hyperspectral image data being large, difficulties in data annotation for supervised machine learning methods, spectral mixing, and distortion caused by noise and atmospheric effects are the difficulties encountered while processing these images.
Hyperspectral images consist of spectral bands close to each other in a wide spectrum. In the hyperspectral image classification problem, which class each pixel in the image belongs to is predicted; therefore, a segmentation map is obtained for the image. While only the spectral signatures of pixels are used in spectral classification, both spectral signature and labels of the neighbors of a pixel are considered in spectral-spatial classification. Because of the changes in atmospheric conditions and other sources of noise, both training and test pixels are generally chosen from the same image in the application of machine learning algorithms to the hyperspectral image classification problem. Both for this reason and because of spectral mixing alongside the number of spectral bands being large, it is usually not possible to apply standard image processing methods as they are, and methods and models suitable to this type of data need to be developed.
In classical machine learning algorithms used in hyperspectral image classification, operations like dimension reduction, feature extraction and classification are applied as a series of separate processes. In the probabilistic approach, the randomness or uncertainty in the data can be modelled, regularization constraints can be integrated by defining prior distributions, and thus, parameter estimation becomes easier. The most important property of convolutional neural networks which have frequently been used in recent years is that with classification and feature extraction parameters optimized together, better features and therefore better classification performance are obtained.
In this dissertation, spectral-spatial methods have been developed for land cover classification in hyperspectral images. While probabilistic approach is taken, different mixture models for training with a small number of training pixels, a generative subspace method for dimension reduction, a generative and a discriminative model by using multinomial logistic regression, and a convolutional neural network model have been developed, and parameter estimation and classification algorithms for these models have been derived. Performance of the proposed methods were measured by tests on the hyperspectral image datasets used in the literature; they were compared with other algorithms, and it has been observed that good results were obtained with the proposed methods.