Görünür ve kızılötesi görüntülerde kişiyi yeniden tanıma
Person re-identification in visible and infrared images
Yazar: NİHAT TEKELİ
Danışman: PROF. DR. AHMET BURAK CAN
Hacettepe Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Kişiyi yeniden tanıma ve çapraz-modalite kişiyi yeniden tanıma, bireylerin görüntülerini doğru eşleştirmeyi amaçlayan önemli bilgisayarlı görü konularıdır. Renk bilgisi bulunmaması ve modalite farkı nedeniyle görünür-kızılötesi çapraz-modalite kişiyi yeniden tanıma, kişiyi yeniden tanımaya göre daha zorlayıcı bir problemdir. Son yıllarda ortaya çıkan derin öğrenme tabanlı yaklaşımlar ile birlikte çapraz-modalite kişiyi yeniden tanıma alanında hızlı ilerlemeler kaydedilmiştir. 

Tez kapsamında, prototipler üzerinde mesafe metrikleri kullanarak kişi kimliklendirme işlemi gerçekleştiren bir katman önerilmektedir. Çeşitli mesafe metrikleri ve güncelleme yöntemleri ile önerilen katmanın performansı değerlendirilmektedir. Hizalama ve dikkat mekanizmaları incelenmekte ve bu yapıların etkinliği değerlendirilmektedir. Yerel özniteliklere odaklanmayı sağlayan yatay parçalara bölme işlemi için bir adaptif ağırlıklandırma yöntemi önerilmektedir. Alt ve orta seviye öznitelikler üzerine uygulanan kayıp fonksiyonlarının performansa olan etkileri incelenmektedir. Bunun yanı sıra, yatay parçalar ile artırım ismi verilen bir veri artırım yöntemi önerilmektedir. Bu yöntem, görüntüdeki yatay parçaları, aynı kişinin çapraz-modalite görüntü parçaları ile değiştirmektedir. Önerilen veri artırım yöntemi ile sinir ağının yerel özniteliklere daha çok odaklanması sağlanmakta ve modaliteler arasındaki fark azaltılmaktadır. Önerilen yöntem literatürdeki diğer veri artırım yöntemlerine kıyasla daha iyi performans göstermektedir. Son olarak, derin sinir ağının eğitimi için ortalama kesinlik tabanlı bir kayıp fonksiyonu kullanılmıştır. Yaklaşık ortalama kesinlik içeren kayıp fonksiyonuna, pozitif ve çapraz-modalite örnekler için sıralamayı zorlaştıran marj terimleri önerilmektedir. Marj iyileştirilmiş yaklaşık ortalama kesinlik, ilave bir mesafe tabanlı kayıp fonksiyonuna ihtiyaç duymadan zor örnekler arasında ayrışma sağlamaktadır. Önerilen yöntemin çeşitli marj değerleri ve üst parametreler ile performansı incelenmiştir. Deneysel sonuçlar, marj iyileştirilmiş yeni kayıp fonksiyonunun etkili olduğunu göstermektedir.

Abstract:
Person re-identification and cross-modality person re-identification are computer vision tasks that aim to accurately match images of individuals. Visible-infrared cross-modality person re-identification is a more challenging problem compared to person re-identification due to the absence of color information and the differences in modalities. With the emergence of deep learning-based approaches, rapid progress has been made in the field of cross-modality person re-identification in recent years. 

Within the scope of this thesis, a layer is proposed that performs person identification using distance metrics on prototypes. The performance of the proposed layer is evaluated with various distance metrics and update methods. Alignment and attention mechanisms are investigated, and the effectiveness of these structures is evaluated. An adaptive weighting scheme is proposed for the horizontal part splitting approach, aiming to focus the deep neural network on local features. The effect on performance of applying loss functions on low-level and mid-level features of deep neural networks is investigated. Furthermore, a data augmentation method called horizontal stripe augmentation is proposed. This method replaces horizontal parts of an image with corresponding cross-modality parts of the same individual. With the proposed data augmentation method, the neural network is encouraged to focus more on local features, and the modality gap is alleviated. The proposed method outperforms other cross-modality data augmentation methods used in the literature. Lastly, an average precision-based loss function is employed for training a deep neural network. Margin terms that make ranking difficult for positive and cross-modality samples are introduced into the loss function, which includes approximated average precision. The margin-enhanced approximated average precision increases the separation of hard samples without the need for additional distance-based loss function. The performance of the proposed method is evaluated with different margin values and hyperparameter settings. Experimental results demonstrate the effectiveness of the new margin-enhanced loss function.