Derin öğrenme ile kişi kimliğinin yeniden tanımlanması
Person re-identification using deep learning
Yazar: SARA AKAN
Danışman: PROF. DR. SONGÜL VARLI
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Doktora, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Bu tez çalışması temel olarak, bir futbol maçında herhangi bir anında farklı kamera açılarından çekilen görüntülerden futbolcunun kimliğini tanımlamaya odaklanmıştır. Bu görev, kişinin kimliğini yeniden belirleyen uygulamalara kıyasla farklı zorluklar içermektedir. Derin öğrenme teknolojisi söz konusu işlemin performansını büyük ölçüde iyileştirmiştir. Ancak aynı teknoloji futbolcular üzerinde uygulandığında yukarıda bahsi geçen zorluklardan dolayı beklenen performansı gösterememektedir. Dolasıyla bu zorlukların üstesinden gelmek için güçlü özniteliklere ihtiyaç duyulmaktadır. Evrişimli sinir ağları yerel komşuluklara odaklandığından ilişkileri göz ardı ederken, aşağı örnekleme operatörleri de detaylı bilgi kaybına neden olur. Bu nedenle, farklı açılardan futbolcu görüntüleriyle çalışırken, mevcut mimarinin performansı genellikle tatmin edici değildir.
Bu çalışmada, böylesine zorlu bir sorunu çözmek için, RFES-ReID adlı bir yöntem önerilmiştir. Derin öğrenme teknolojisine dayalı futbolcunun kimliğinin yeniden belirlenmesi yöntemi olarak Swin Transformer ile birlikte yerel algı bloğu yöntemi önerilmiştir. Bu yöntem, futbolcunun kimliğinin yeniden belirlenmesine ilişkin temel sorunu, yani eğitim için güçlü öznitelikler eksikliğini gidermeye amaçlamaktadır.  Ardından, kişinin kimliğinin yeniden belirlenmesi eğitim sürecini daha etkili ve dengeli hale getirmek için birleştirilmiş kayıp fonksiyonlar yaklaşımı kullanılmıştır. Ayrıca, yeniden sıralama, önerilen temel model ile birleştirilerek önemli performans iyileştirmesi elde edilmiş ve aşırı uyum önlenmiştir. RFES-ReID kullanılarak futbolcu veri seti üzerinde güçlü ve ayrıt edici öznitelikler elde edilmiştir. Bununla birlikte birleştirilmiş kayıp fonksiyon kullanılarak dengeli bir öğrenme süreci sağlanmıştır. Söz konusu kazanımlarla bu alandaki boşluk doldurulmaya çalışılmıştır. Farklı veri kümeleri kullanılarak yapılan deneysel analiz ve sonuçlar, kişinin kimliğinin yeniden belirlenmesi konusunda RFES-ReID yönteminin diğer teknoloji metotlarına göre daha rekabetçi bir performans sağladığını göstermektedir.

Abstract:
The proposed thesis basically focused on re-identifying the same soccer player in images taken from different camera perspectives at any moment of a soccer match. This task differs from traditional applications of person re-identification in a several important ways. Deep learning technology has greatly improved the performance of person re-identification. However, when the same technology is applied to soccer player re-identification, it does not show the same performance. Therefore, extracting strong and distinctive features to overcome the difficulties is necessary, which means that a strong architecture is required. Convolutional neural networks, which focus on local neighborhoods, tend to overlook relationships between features, and downsampling operators result in the loss of detailed information. Therefore, when soccer player images are captured from a different perspective, the performance of the model is often not satisfactory.
In this study, a method called RFES-ReID is proposed to address the challenging task of soccer player re-identification. The method utilizes a regional feature extraction block in conjunction with the Swin Transformer, leveraging deep learning technology. The main objective is to overcome the lack of strong features for training in soccer player re-identification within the deep learning framework. Then, a fusion loss function is used to make the person re-identification training process more effective and balanced. Moreover, re-ranking is combined with the baseline model proposed herein to achieve significant performance improvement further and avoid overfitting. extracting strong and distinctive features on the soccer player dataset by using RFES-ReID and providing a balanced learning process using the fusion loss function is the most important contribution of this study to this field. Experimental analysis using various person re-identification datasets demonstrates that the proposed approach achieves competitive performance compared to state-of-the-art methods.