Bilgisayarla görüde verimli derin öğrenmeye doğru
Towards efficient deep learning in computer vision
Yazar: ASLI ÇELİK
Danışman: PROF. OĞUZHAN URHAN
Kocaeli Üniversitesi / Fen Bilimleri Enstitüsü / Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2024
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Sayısal görüntü işleme = Digital image processing

Özet:
Bilgisayarla görünün uygulama alanları çok geniş olup günden güne artmaktadır. Günümüzde derin öğrenme temelli makine öğrenmesi yöntemleri bilgisayarla görü problemlerinde SOTA yöntemler olarak öne çıkmaktadır. Bu yöntemler günümüzde temel bilgisayarla görü görevleri için neredeyse mükemmele yakın performans sergilemektedir. Derin öğrenme modellerinin şaşırtıcı derecede iyi performansının arkasında ise başta veriye olan açlık olmak üzere bir dizi kısıta bağımlılık yatmaktadır. Dolayısıyla mevcut durumda SOTA algoritmaları ve modelleri özel uygulamalarda kullanarak benzer başarımlar elde etmek güçtür. Gittikçe artmakta olan model karmaşıklığının ise veriye olan ihtiyaç ve bağımlılığı daha da artırması beklenmektedir. SOTA modeller gelişmeye ve iyileşmeye devam ederken, bu modellerin performansını gerçek dünyadaki değişken ve dinamik ortamlarda, sınırlı kaynaklarla tekrarlamak devam eden bir sorundur. Bu tez çalışması kapsamında bilgisayarla görü görevlerinde verimliliği artırmayı hedefleyen iki bağımsız çalışma gerçekleştirilmiştir. Tez kapsamında gerçekleştirilen ilk çalışmada yarı denetimli bir eylem sınıflandırma yöntemi önerilmiştir. Önerilen yöntem, bir Görüntü-Dil modeli üzerinden özellik damıtma gerçekleştirmesi bağlamında özgündür. Elde ettiğimiz sonuçlar genel amaçlı özellik çıkartıcı olan temel modellerden yarı denetimli öğrenme kurgularında, öğrenmenin aktarımı için yararlanılabileceğini göstermektedir. Tez kapsamında gerçekleştirilen ikinci çalışmada ise, çalışma ortamlarında güvenlik ve verimlilik odaklı izleme sistemleri için sürekli öğrenen bir nesne tespit modeli önerilmiştir. Bu çalışma kapsamında, sürekli öğrenme kurgusu için gerçek çalışma sahalarından toplanan görüntüler ile bir veri seti oluşturularak; öğrenme stratejilerinin dinamik ve kompleks çalışma ortamlarında gerçekleşecek görev-artımlı ve görevden-bağımsız nesne tespiti görevi için performans incelemesi gerçekleştirilmiştir. Elde ettiğimiz sonuçlar sürekli öğrenme stratejilerinin sıfırdan ortak eğitim ile öğrenmeye verimli bir alternatif olabileceğini ve eğitim maliyetlerini azaltabileceğini göstermektedir.

Abstract:
The applications of computer vision are vast and growing every day. Today, machine learning methods based on deep learning are the state of the art in computer vision. These methods perform almost perfectly in basic computer vision tasks such as classification, object detection, etc. The surprisingly good performance of deep learning models is due to several constraints, particularly the hunger for data. It is therefore difficult to achieve similar results by using SOTA algorithms and models in custom applications. The increasing complexity of models is expected to further increase the need for and dependence on data. While state-of-the-art models continue to be developed and improved, replicating the performance of these models in the real world in variable and dynamic environments with limited resources is an ongoing problem. In this thesis, two independent studies have been conducted to increase the efficiency of deep learning algorithms. In the first study of the thesis, a semi-supervised action classification method is proposed. The proposed method is novel in the context of performing feature distillation through a Vision-Language model. Our results show that general purpose feature extractors can be used in semi-supervised learning settings. The second study in the thesis proposed a continuously learning object detection model for safety and efficiency-oriented monitoring systems in work environments. In this study, we used a dataset tailored for continuous object detection in different work environments such as warehouses, factories etc. Using this dataset, two learning scenario (a task-incremental and a task-agnostic) was established in which each experience corresponds to object detection sub-datasets collected from different work sites. The common baseline continuous learning strategies were employed throughout the continuous learning process to assess their effectiveness. The results of our findings show that continual learning strategies can be an efficient alternative to learning from scratch and reduce training costs by avoiding joint training.