Yeni bir açıklanabilir yapay zeka modeli geliştirilmesi
Developing a new explainable artificial intelligence model
Yazar: AHMET HAYDAR ÖRNEK
Danışman: PROF. DR. MURAT CEYLAN
Konya Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2023
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Bu tez çalışması, Açıklanabilir Yapay Zeka (AYZ) alanında görsel yaklaşımlardan biri olan Sınıf Aktivasyon Haritalarına (SAH) dayalı dört yeni yöntemin geliştirilmesi ve uygulanması konusunu ele almaktadır. Bu yöntemler, Evrişimli Sinir Ağları (ESA) temel alınarak tasarlanmış ve sırasıyla CodCAM, HayCAM, HayCAM+, ve HayCAMJ olarak adlandırılmıştır. 
CodCAM, dört farklı görsel AYZ yöntemi (GradCAM, GradCAM++, LayerCAM, EigenCAM) kullanılarak SAH'ların oluşturulmasını sağlayan bir yöntemdir. CodCAM kullanılarak gerçekleştirilen birinci çalışmada, termal görüntülerle yeni doğan bebeklerin sınıflandırılma işlemi incelenmiştir. Bu çalışmanın sonuçları, ESA modelinin bebeklerin anatomik bölgelerine (örneğin kol, koltuk altı, baş, boyun, ayak ve vücut) odaklandığını göstermiştir. Bu sonuçlar, ESA modelinin yalnızca genel görüntüyü değil, aynı zamanda bebeklerin vücut yapılarını tanıdığını ve bu bilgiyi doğru sınıflandırmalar yapmak için kullandığını göstermektedir. 
HayCAM, SAH'ları oluştururken Temel Bileşenler Analizi (TBA) kullanarak ESA'nın son katmanındaki filtreleri azaltmakta ve görüntü üzerinde yoğunlaşmış SAH'lar elde edilmesini sağlamaktadır. Maske takan ve takmayan insanları ayırt eden bir sınıflandırma modeliyle HayCAM kullanıldığında oluşturulan SAH'ların, ESA modelinin görüntülerde ağız bölgesine yoğunlaştığını göstermiştir. Oluşturulan SAH'lar kullanılarak nesne tespiti performansı ölçülmüş ve IoU değerleri (Gerçek bölge ve tahmin edilen bölgenin kesişim/birleşim oranı) hesaplanmıştır. Bu değerler GradCAM için 0.1922, GradCAM++ için 0.2472, EigenCAM için 0.3386 ve önerilen HayCAM için 0.3487 olarak bulunmuştur. 
HayCAM+, HayCAM'in geliştirilmiş bir versiyonudur ve boyut azaltma sürecinde kullanılan temel filtreleri otomatik olarak hesaplayarak SAH'lar elde etmeyi amaçlar. HayCAM+ ile IoU değeri yaklaşık %2.5 artarak 0,3487'den 0,3740'a yükselmiştir. HayCAMJ ise sadece tek bir filtre kullanarak SAH'lar oluşturmayı amaçlar. Bu yöntem, basit ancak etkili bir yaklaşım sunarak tek bir filtre ile elde edilen SAH'ların nesne sınıflandırma sonuçlarını açıklar. 
Geliştirilen CodCAM, HayCAM, HayCAM+, ve HayCAMJ yöntemleri, Resnet18, Resnet34, Resnet50 ve Mobilenet ESA modelleri kullanılarak Pascal VOC veri setleri üzerinde karşılaştırılmıştır. Pascal VOC 2007 için en yüksek IoU sonuçları sırasıyla HayCAM için 0.2422 (Resnet34), HayCAM+ için 0.3303 (Resnet18), HayCAMJ için 0.3277 (Resnet18) ve CodCAM için 0.4079 (Resnet34) olarak elde edilmiştir. Pascal VOC 2012 için de benzer şekilde HayCAM için 0.2484 (Resnet34), HayCAM+ için 0.3101 (Resnet18), HayCAMJ için 0.3118 (Resnet34) ve CodCAM için 0.3674 (Resnet34) olarak bulunmuştur. Bu geliştirilen yöntemler, ESA tarafından verilen kararların görselleştirilerek anlaşılmasına katkı sağlamakta ve görselleştirilen çıktılar kullanılarak nesne tespiti uygulamasının performansının artırılmasını sağlamaktadır.

Abstract:
This thesis work addresses the development and implementation of four new methods based on Class Activation Maps (CAMs), a visual approach in the field of Explainable Artificial Intelligence (XAI). These methods, designed based on Convolutional Neural Networks (CNNs), are named CodCAM, HayCAM, HayCAM+, and HayCAMJ, respectively.
CodCAM is a method that generates CAMs using four different visual XAI techniques (GradCAM, GradCAM++, LayerCAM, EigenCAM). The first study using CodCAM examines the classification of thermal images belonging to newborn babies. The results of this study show that the CNN model focuses on anatomical regions of babies (such as arm, armpit, head, neck, foot, and body). These results demonstrate that the CNN model not only captures the overall image but also recognizes the anatomical structures of babies and uses this information for accurate classification.
HayCAM reduces the filters in the final layer of the CNN using Principal Component Analysis (PCA) during CAMs generation, resulting in focused CAMs on the image. When HayCAM is used with a classification model to distinguish people wearing masks from those who aren't, the generated CAMs show a concentration around the mouth region. These generated CAMs are used to measure object detection performance, and Intersection over Union (IoU) values are calculated. These values are found to be 0.1922 for GradCAM, 0.2472 for GradCAM++, 0.3386 for EigenCAM, and 0.3487 for the proposed HayCAM.
HayCAM+ is an enhanced version of HayCAM that aims to automatically calculate the essential filters used in the dimension reduction process to obtain CAMs. With HayCAM+, the IoU value increases by approximately 2.5% from 0.3487 to 0.3740. HayCAMJ, on the other hand, aims to create CAMs using only a single filter. This method offers a simple yet effective approach to explaining object classification results obtained with a single filter.
The developed CodCAM, HayCAM, HayCAM+, and HayCAMJ methods are compared using Resnet18, Resnet34, Resnet50, and Mobilenet CNN models on the Pascal VOC datasets. The highest IoU results for Pascal VOC 2007 are 0.2422 for HayCAM (Resnet34), 0.3303 for HayCAM+ (Resnet18), 0.3277 for HayCAMJ (Resnet18), and 0.4079 for CodCAM (Resnet34). Similarly, for Pascal VOC 2012, the results are 0.2484 for HayCAM (Resnet34), 0.3101 for HayCAM+ (Resnet18), 0.3118 for HayCAMJ (Resnet34), and 0.3674 for CodCAM (Resnet34). These developed methods contribute to visualizing the decisions made by the CNN models, enhancing object detection performance using the visualized outputs.