Semantik derin öğrenme kullanılarak nesnelerin kategorize edilmesi ve sınıflandırılması
Categorization and classification of objects using semantic deep learning
Yazar: EMRE AKDEMİR
Danışman: PROF. DR. NECAATTİN BARIŞÇI
Gazi Üniversitesi / Bilişim Enstitüsü / Bilgisayar Bilimleri Ana Bilim Dalı
Derece: Doktora, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Bu çalışmada eğitim veri setinde örnek görüntüleri bulunmayan nesneleri tanımak için kullanılan Genelleştirilmiş Sıfır-Atış Öğrenme (GSAÖ) (Generalized zero-shot learning -GZSL) yöntemi incelenmiştir. GSAÖ yöntemlerinde, daha önceden görmediği nesneleri tanımak için ek açıklama kullanılmıştır. Bu ek açıklamalar mevcut görüntüler ile birlikte semantik uzayda temsil edilmiştir. Böylece görüntü örneği olmayan nesneler, semantik uzaydaki yerlerine göre sınıflandırılmıştır. GSAÖ görevlerinde, bazı nesnelerin görüntü örneği bulunmadığından ve sadece semantik niteliklerden oluşan ek açıklamalar kullanıldığından dolayı öğrenme problemi görülmüştür. Bu problem ele alınarak, ilk önce eğitim veri setinin eksik verilerini tamamlamak için derin üretici ağlar ile sentetik görüntü örnekleri üretilen modeller araştırılmıştır. Derin üretici ağ modeli olarak Değişimsel Otokodlayıcılar (DOK) ve Üretici Çekişmeli Ağların (ÜÇA) birlikte kullanıldığı bir model seçilmiştir. Daha sonra semantik niteliklerden oluşan ek açıklamalara, metinsel açıklamalardan oluşan semantik tanımlama ve ontoloji dahil edilerek zengin bir semantik gösterim elde edilmiştir. Semantik gösterimlerin tek başlarına ve birlikte kullanımları incelenmiştir. Son olarak DOK-ÜÇA ile üretilen sentetik örnekler, k-ortalamalar ve DBSCAN kümeleme yöntemleriyle en iyi sentetik örnekler seçildikten sonra model sınıflandırılmıştır. Önerilen modelin sınıflandırma performansını değerlendirmek için GSAÖ görevlerinde sıklıkla kullanılan CUB, FLO ve AWA2 kıyaslama veri setleri üzerinde deneyler yapılmıştır. Elde edilen deney sonuçları, GSAÖ son teknoloji yöntemleri ile karşılaştırılmış ve oldukça memnun edici performans göstermiştir. Ayrıca k-ortalamalar ve DBSCAN kümeleme algoritmaları kullanımı, tüm deneylerdeki performansı iyileştirmiştir. GSAÖ son teknoloji yöntemlerine göre önerilen model CUB veri setinde %2,13 ve FLO veri setinde %3,76'lik bir performans artışı göstererek en iyi sonuçları elde etmiştir.

Abstract:
In this study, the Generalized Zero-Shot Learning (GZSL) method, which is used to recognize objects without sample images in the training dataset, is reviewed. GZSL methods have used auxiliary annotations to recognize previously unseen objects. These annotations are represented in a semantic space along with existing images. As a result, objects without image samples are classified based on their positions in the semantic space. Due to the lack of image samples for some objects and the use of only semantic attributes for annotations in GZSL tasks, a learning problem has emerged. Addressing this issue, models that generate synthetic image samples using deep generative networks to complete the missing data in the training dataset were explored. A model combining Variational Autoencoders (VAE) and Generative Adversarial Networks (GAN) was selected as the deep generative network model. Subsequently, a rich semantic representation was obtained by including semantic descriptions, and ontologies in the auxiliary annotations consisting of semantic attributes. The individual and combined use of semantic representations were examined. Finally, after selecting the best synthetic samples using the k-means and DBSCAN clustering methods on synthetic samples generated by VAE-GAN, the model was classified. Experiments were conducted on the CUB, FLO, and AWA2 benchmark datasets, which are frequently used in GZSL tasks, to evaluate the classification performance of the proposed model. The experimental results obtained were compared with state-of-the-art GZSL methods and showed quite satisfactory performance. Additionally, the use of k-means and DBSCAN clustering algorithms improved performance in all experiments. Compared to state-of-the-art GZSL methods, the proposed model achieved the best results with a performance increase of 2.13% on the CUB dataset and 3.76% on the FLO dataset.