Uzaktan algılama görüntülerinde Swin tabanlı dönüştürücülerin ön işlem olarak kullanılmasının sınıflandırmada karşılaştırılması
Comparison of Swin-based transformers as preprocessing in remote sensing image classification
Yazar: BERFİN KURTOĞLU
Danışman: DR. ÖĞR. ÜYESİ SERDAR ÇİFTÇİ
Harran Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Görüntü sınıflandırma uygulamalarında, sınıflandırma doğruluğunu arttırmak amacıyla giriş görüntülerinin kalitesi kritik bir faktördür. Uzaktan algılanan görüntülerin genellikle düşük çözünürlük ve keskinlikle ilgili kalite sorunlarına sahip olabilir, bu da analiz süreçlerinde zorluklar doğurabilir. Bu bağlamda, uzaktan algılanan görüntülerin sınıflandırılmasında kalitenin iyileştirilmesi ve düzeltilmesi büyük önem taşır. Bu çalışmada, RSI-Cb uzaktan algılanan veri setinin Swin tabanlı süper çözünürlük yöntemleri olan HST, Swin2SR, SwinIR ve SwinFIR'ın DenseNet121, Xception ve EfficientNetV2B3 modelleri ile sınıflandırma performansının kıyaslaması yapılmıştır. Sınıflandırma çalışmaları yapılırken Adam, SGD, RMSprop ve Adagrad optimizasyon algoritmalarında inceleme yapılmıştır. Deneyler sonucunda, süper çözünürlük yöntemlerinin uygulanmasının sınıflandırma doğruluğunu arttırdığı gözlemlenmiştir. En iyi sonuç, SwinIR süper çözünürlük yönteminin Densenet121 modeliyle Adam optimizasyon algoritması kullanılarak elde edilmiştir, F1-puanı %99,45'den %99,53'e çıkmıştır. RSI-Cb uzaktan algılanan veri seti, insan yapımı ve doğal yapılar olarak düzenlenmiş ve doğal olan yapılar için daha iyi sonuçlar elde edilmiştir. Ayrıca yeni elde edilen 350 tane görüntünün test edilmesiyle, Swin tabanlı süper çözünürlük yöntemlerinin sınıflandırmada iyileştirme sağladığı gözlemlenmiştir. Bunun yanı sıra, tarihi alanların insan yapımı yapılar olduğunu tespit etmek için tarihi alan veri seti üzerinde deneyler yapılmıştır. Deneyler sonucunda SwinFIR Xception modeli Adam optimizasyon algoritmasının, tarihi alanların insan yapımı olduğunu %100 doğrulukla belirlemiştir. Bu sonuçlar, uzaktan algılanan veri setlerinde Swin tabanlı yöntemlerin kullanımının sınıflandırma performansında belirgin bir iyileşme sağlayabileceğini göstermektedir.

Abstract:
In image classification applications, the quality of the input images is a critical factor in improving classification accuracy. Remote sensing images often have quality issues related to low resolution and sharpness, which can pose challenges in the analysis process. In this context, quality enhancement and correction are of great importance for the classification of remote sensing images. In this study, the classification performance of the DenseNet121, Xception, and EfficientNetV2B3 models was compared using Swin-based HST, Swin2SR, SwinIR, and SwinFIR super-resolution image enhancement on the RSI-Cb remote sensing dataset. During the classification studies, Adam, SGD, RMSprop, and Adagrad optimization algorithms were investigated. As a result of the experiments, it was found that the applied super-resolution methods improve the observed classification accuracy. The best result was obtained using the Adam optimization algorithm with the Densenet121 model of the SwinIR super-resolution method, increasing the F1 value from 99.45% to 99.53%. The RSI-Cb remote sensing data set was divided into man-made and natural regions, and better results were obtained for the natural regions. Furthermore, by testing 350 newly acquired images, it was observed that Swin-based super-resolution methods improved the classification. In addition, experiments were conducted on historical site images to identify historical sites as man-made structures. As a result of the experiments, the SwinFIR Xception model with the Adam optimization algorithm identified historic sites as man-made with 100% accuracy. These results demonstrate that the use of Swin-based methods on remote sensing images can significantly improve classification performance.