Evrişimli sinir ağlarında farklı giriş ve füzyon yöntemleri ile çok modlu görüntü sınıflandırma
Multi-modal image classification with various input and fusion methods in convolutional neural networks
Yazar: FERİT CAN
Danışman: DOÇ. DR. CAN EYÜPOĞLU
Milli Savunma Üniversitesi / Atatürk Stratejik Araştırmalar ve Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Doktora, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Bilgisayarla görme = Computer vision ; Evrişimli sinir ağları = Convolutional neural networks ; Yapay zeka = Artificial intelligence ; Çokmodluluk = Multimodality

Özet:
Bilgisayarlı görme alanında kavramsal temellerinin atıldığı 1960'lı yıllardan bu yana çeşitli çalışmalar yürütülmüştür. Özellikle 2012 yılında Evrişimli Sinir Ağı (Convolutional Neural Network-CNN) mimarisinin ortaya çıkmasıyla hata oranı önemli ölçüde azalmıştır. Bu durum araştırmacıları doğruluk oranını daha da iyileştirmek için farklı CNN mimarileri aramaya yöneltmiştir. CNN'ler, görüntü sınıflandırma ve nesne tespiti görevlerinde önemli başarılar elde etmiştir.
CNN modelleri genel olarak tek akıştan oluşur ve aynı anda sadece tek bir görüntü verisini işler. Halbuki bizler, çevremizi algılarken birden fazla duyu organımızdan faydalanırız. Her bir duyu organı çevremiz hakkında bize çeşitli bilgiler sağlar. Verinin yokluğu bile bize tamamlayıcı bilgi sağlayabilmektedir. Buna dayanarak, son zamanlarda birden fazla girdinin aynı anda işlenmesine izin veren çok akışlı (veya çok-modlu) modeller önerilmeye başlanmıştır.
Çok modlu CNN mimarileri, girdi olarak görüntü, video veya daha farklı sensör verilerini alıp işleyebilmektedir. Çok-modluluk, aynı nesnenin bazı gizli özniteliklerini çıkarmamıza yardımcı olabilir. Ayrıca, birçok yeni çalışma aynı CNN'nin farklı akışları arasında öznitelik haritalarının paylaşımını incelemektedir. Ancak, çok-modluluk ve buna ilave olarak Öznitelik Haritası Paylaşımının (Feature Map Sharing-FMS) performansa katkısını ortaya koyabilecek sistematik çalışmalar henüz yapılmamıştır. İşlemci gücü ve kullanılabilir veri kümelerinin eksikliği, ilerlemeyi olumsuz etkileyen önemli faktörler arasındadır.
Bu tez çalışması kapsamında, çok-modluluk ve FMS'nin nesne sınıflandırma performansını artırmaya yönelik katkıları ayrıntılı olarak incelenmiştir. Bu amaçla, yeni bir veri seti ve FMSNet adını verdiğimiz yeni bir çok-modlu çoklu-öznitelik haritası paylaşımlı CNN modeli geliştirilmiştir. Önerilen model, FMS olmayan muadili DenseNet-201 modelinden %3,06 daha yüksek doğruluk oranı elde etmiş ve popüler tek akışlı CNN modellerinin pek çoğunu geride bırakmıştır. Bu sonuçlar, tez kapsamında önerilen modelin görüntü sınıflandırmada başarılı bir şekilde kullanılabileceğini göstermektedir.

Abstract:
Various studies have been conducted in the field of computer vision since the 1960s, when its conceptual foundations were laid. Especially with the emergence of Convolutional Neural Network (CNN) architecture in 2012, the error rate has decreased significantly. This situation has led researchers to search for different CNN architectures in order to further improve the accuracy rate. CNNs have achieved significant success in image classification and object detection tasks.
CNN models are usually single-stream and process only one image data at a time. However, we use more than one sensory organ when perceiving our environment. Each sensory organ provides us with various information about our environment. Even the absence of data can provide us with complementary information. Based on this, multi-stream (or multi-modal) models have recently begun to be proposed that allow the processing of more than one input at the same time.
Multi-modal CNN architectures can take and process images, videos, or other sensor data as input. Multi-modality may help us extract some hidden features of the same object. Furthermore, several new studies examine sharing feature maps between different streams of the same CNN. However, systematic studies that can adequately demonstrate the contribution of multi-modality and feature map sharing features to performance have not yet been conducted. Processing power and a lack of available datasets are among the important factors that negatively affect progress.
In this thesis, the contributions of multi-modality and feature map sharing (FMS) to increase the performance in object classification are examined in detail. For this purpose, a new dataset and a new multi-modal multi-feature map sharing CNN model, which we call FMSNet, are developed. The proposed model achieved a 3.06% higher accuracy rate than its non-FMS counterpart, DenseNet-201, exceeding most of the state-of-the-art single-stream CNN models. These results show that the model proposed within the scope of the thesis can be utilized successfully in image classification.