Optik uzaktan algılama verilerinde hedef tespiti için açıklanabilir yapay zeka
Explainable artificial intelligence for target detection in optical remote sensing data
Yazar: UĞUR ÖZENÇ
Danışman: DOÇ. DR. ALP ERTÜRK
Kocaeli Üniversitesi / Fen Bilimleri Enstitüsü / Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Son yıllarda, derin öğrenme tabanlı yaklaşımlar, diğer birçok alandaki başarılarına paralel olarak, yeryüzü gözlemi ve uzaktan algılama alanlarında da geniş çapta benimsenmiştir. XAI, derin öğrenme süreçlerini ve çıktılarını araştırmacılar ve son kullanıcılar için daha anlaşılır hale getirmeyi amaçlar. Bu çalışmanın amacı, derin öğrenme kullanılarak uydu görüntülerinde nesne tespitinin post-hoc açıklanabilirliği için XAI metodolojilerinin performansını araştırmak ve değerlendirmektir. Bu çalışmada, özellikle DIOR veri kümesindeki optik uydu görüntüleri için nesne tespiti, You Only Look Once (YOLO) v5 modeli kullanılarak gerçekleştirilmiştir. Ardından, GradCAM, GradCAM++, GradCAMElementWise, XGradCAM, EigenCAM, LayerCAM ve ScoreCAM sınıf aktivasyon haritalama tabanlı XAI yöntemleri post-hoc açıklanabilirlik için kullanılmıştır. Bu XAI yöntemlerinin yorumlanabilirlik performanslarını nicel olarak değerlendirmek için iki yaklaşım kullanılmıştır. Birinci yaklaşım, M1, XAI yöntemlerinin çıktısının eşik değerinin üzerindeki bölgeleri maskeleyerek veri kümesindeki her bir görüntü için arka planı korur, ikinci yaklaşım, M2, ise arka planı maskeleyip yalnızca ilgili pikselleri, yani eşik değerinin üzerindeki bölgeleri korur. Fikir, M1 yaklaşımı için daha yüksek performans düşüşüne ve M2 yaklaşımı için daha düşük performans düşüşüne neden olan XAI yönteminin, daha kesin bir post-hoc yorumlanabilirlik sonucu sağlamasıdır. Niceliksel değerlendirme, ScoreCAM'ın diğer yöntemlere göre daha doğru bir post-hoc açıklanabilirlik sağladığını, M1 için daha büyük bir performans kaybı ve M2 için daha küçük bir kayıp yaşattığını göstermiştir.

Abstract:
In recent years, deep learning-based approaches have gained widespread adoption in Earth observation and remote sensing, mirroring their success in numerous other domains. Explainable Artificial Intelligence (XAI) aims to make the deep learning processes and their outputs more interpretable for researchers and end users. The purpose of this study is to investigate and evaluate the performance of XAI methodologies for post-hoc explainability of object detection in satellite images using deep learning. In this work, object detection for optical satellite images, particularly in the DIOR dataset, is performed using the You Only Look Once (YOLO) v5 model. Subsequently, class-activation mapping (CAM) based XAI methods such as GradCAM, GradCAM++, GradCAMElementWise, XGradCAM, EigenCAM, LayerCAM and ScoreCAM are used for post-hoc explainability. Two approaches are utilized to evaluate the interpretability performances of these XAI methods quantitatively. The first approach, M1, operates by masking out the regions above a threshold value of the XAI methods' output, and keeping the background for each particular image in the dataset, whereas the second approach, M2, masks out the background and only keeps the relevant pixels, i.e. regions above the threshold. The idea is that the XAI method which results in higher performance drop for the M1 approach, and lower performance drop for the M2 approach, with respect to the regular object detection performance, provides a more precise post-hoc interpretability result. The quantitative evaluation showed that ScoreCAM provided more accurate post-hoc interpretability than other methods, causing a greater drop in performance for M1 and a smaller drop for M2.