Ön plan bölütlenmesinde denetimli çok ölçekli konvolüsyonel sinir ağları yaklaşımının kullanımı
Utilization of supervised multi-scale convolutional neural networks approach for foreground segmentation
Yazar: LONG ANG LIM
Danışman: DR. ÖĞR. ÜYESİ HACER YALIM KELEŞ
Ankara Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2018
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Derin öğrenme = Deep learning

Özet:
Ön plan segmentasyonu alanında birkaç yöntem önerilmiştir; ancak, bu yöntemler aydınlatma değişiklikleri, arka plan veya kamera hareketi, kamuflaj etkisi, gölge gibi çeşitli zor senaryolarla başa çıkamamaktadır. Bu sorunları çözmek amacıyla, az sayıda eğitim örneğini kullanarak uçtan uca eğitilebilen üç farklı güçlü enkoder-dekoder tipi derin sinir ağı önerilmiştir. İlk olarak bu çalışmada, bir görüntüyü, çoklu ölçekte öznitelik uzayına dönüştürmek için kodlayıcı kısımında üçlü bir yapı altında önceden eğitilmiş bir konvolüsyonel (evrişimsel) ağı (VGG-16 Net) veriye uyarlanarak kullanılmıştır; öznitelik uzayındaki ifadeden görüntü uzayına projeksiyonu öğrenmek için, dekoder kısmında, dönüştürülmüş bir konvolüsyonel sinir ağı kullanılmıştır. İkinci olarak, çoklu ölçek özniteliklerini çıkarmak için tek bir giriş kodlayıcının üstüne takılabilen bir Feature Pooling Module (FPM) önerilmiştir ve görüntü uzayına projeksiyonu öğrenmek için bu özniteliklerin üstüne aynı dekoder yerleştirilmiştir. Üçüncü olarak FPM modülün yapısına öznitelikler füzyonu eklenerek bu modül genişletilmiştir ve sonuç olarak kamera hareketlerine karşı gürbüz bir modül oluşturulmuştur. Daha ileri performans iyileştirmesi için genişletilmiş FPM'in üzerine yeni bir dekoder ağı önerilmiştir. Önerilen FgSegNet_M, FgSegNet_S ve FgSegNet_v2 olarak adlandırılan yöntemlerle geliştirilmiş modeller, Change Detection 2014 Challenge (changedetection.net)'de, sırasıyla 0.9770, 0.9804 ve 0.9847 ortalama F-Measure ile, mevcut tüm yöntemlerinden daha iyi performansla çalıştırmaktadır. Modellerimiz SBI2015 ve UCSD Background Subtraction veri setlerinde de değerlendirilmiştir. Tez çalışması kapsamında, yukarıda özetlenen çalışmalara ek olarak ön plan nesnelerinin segmantasyonu alanında yama-tabanlı (patch-wise) öğrenme hakkında yürüttğümüz çalışmalar da sunulmaktadır. Ek olarak, ön plan segmentasyon kapsamında geliştirdiğimiz yöntemlerin anlamsal (semantik) segmentasyon alanındaki etkinliğini değerlendirmek için yürüttüğümüz iki yöntem çalışması da detaylı olarak tartışılmaktadır.

Abstract:
Several methods have been proposed in foreground segmentation domain. However, they lack the ability of handling various difficult scenarios such as illumination changes, background or camera motion, camouflage effect, shadow etc. To address these issues, we propose three different robust encoder-decoder type deep neural networks that can be trained end-to-end using only a few training examples; first, we adapt a pre-trained convolutional network, i.e. VGG-16 Net, under a triplet framework in the encoder part to embed an image in multiple scales into the feature space and use a transposed convolutional network in the decoder part to learn a mapping from feature space to image space. Second, we propose a Feature Pooling Module (FPM) that can be plugged on top of a single input encoder to extract multiple scale features and the same decoder is embedded on top of these features to learn upsampling to image space. Third, we extend the FPM module by introducing features fusion inside this module, resulting in a robust module against camera motions and we further propose a novel decoder network on top of the extended FPM for further performance improvement. In order to evaluate our models, we entered the Change Detection 2014 Challenge (changedetection.net) and our methods called FgSegNet_M, FgSegNet_S and FgSegNet_v2 outperformed all the existing state-of-the-art methods by an average F-Measure of 0.9770, 0.9804 and 0.9847, respectively. We also evaluate our models on SBI2015 and UCSD Background Subtraction datasets. In the context of this study, we also provide a comprehensive study about patch-wise learning in foreground segmentation domain. Furthermore, in order to evaluate the methods that we developed in the context of the foreground segmentation problem in semantic segmentation domain, we present two semantic segmentation method studies in detail.