Sayısal video ve çizim verilerinde anlamsal kavram tanıma
Semantic concept recognition in digital video and sketch data
Yazar: EMEL BOYACI
Danışman: YRD. DOÇ. DR. MUSTAFA SERT
Başkent Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2017
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Günümüzde çoğul ortam aracı olan video verileri günlük hayatımızda önemli bir rol oynamakta ve eğitim, iletişim, sağlık, eğlence alanlarında oldukça yaygın olarak kullanılmaktadırlar. Günlük yaşantıda, anlık paylaşımların çoğalması, video veri kullanımını büyük ölçüde artırmıştır. Sonuç olarak, bu verilerin yönetimi, sınıflandırılması, sezimi ve geri getirim yöntemlerine ihtiyaç duyulmaktadır. Bu gibi işlevleri mümkün kılmak için atılması gereken en önemli adım, bu verilerin anlamsal kavramlarını tahmin etmek ve anlamaktır. Video anlamsal kavram sezimi, son yıllarda çoklu ortam endüstrisi tarafından önemli bir araştırma problemi olarak görülmektedir. Sınıflandırma, kavram sezimi için kullanılan en kabul gören yöntem olup, sınıflandırma sisteminin çıktısı anlamsal kavramlar olarak yorumlanmaktadır. Bu kavramlar otomatik dizinleme, video nesnelerinin aranması ve geri getirim (retrieval) için kullanılabilmektedir. Bununla birlikte, kullanılan özniteliklerin boyutları yüksek olup, mevcut sınıflandırıcılarla kavram tespiti yüksek hesaplama karmaşıklığına maruz kalmaktadır. Bu tez çalışmasında, derin evrişimsel sinir ağ (Convolutional Neural Network) modelleri üzerinde, öznitelik etkinliğini artırmak amacıyla öznitelik seçimi ve veri kaynaştırma tekniklerine dayalı video içeriklerinden kavram sezim yöntemleri önerilmektedir. Eğitim maliyetini azaltmak amacıyla Temel Bileşen Analizi (PCA-Principal Component Analysis) tekniği öznitelik düzeyinde probleme uygulanmıştır. Farklı derin evrişimsel sinir ağlarından elde edilen kaynaşmış öznitelik vektörlerinin sınıflandırılmasında Destek Vektör Makineleri (SVMs-Support Vector Machines) kullanılmıştır. Video kavram sezimi için önerilen yöntemde geçmiş çalışmalarda tercih edilen TRECVID 2013 SIN video veri kümesi  (38 kavram) kullanılmıştır. Geliştirilen sınıflandırma yönteminin etkinliğini değerlendirmek amacıyla, önerilen video kavram sınıflandırma yöntemi çizim tanıma problemine de uygulanmıştır.  Elde edilen sonuçlara göre, öznitelik seviyesinde veri kaynaşım tanıma başarımlarını artırmıştır.

Abstract:
Nowadays, video data, which is a multimedia tool, plays an important role in our life and being used commonly in the fields of education, communication, health and history. Furthermore, the proliferation of instant sharing has greatly increased the use of video data in daily life. As a result, there is a need for new techniques in the field of computer vision for the management, classification, detection and retrieval of these data. The most important step to make such functions possible is to estimate and understand the semantic concepts of these data. In recent years, video concept detection has been seen as an important research problem by the multimedia industry. Classification is the most accepted method for concept detection and the outputs of the classification system are interpreted as semantic concepts. These concepts can be used for automatic indexing, search and retrieval of video objects. However, the dimensions of the features used are high and the concept detection with existing classifiers is subject to high computational complexity. In this thesis study; video concept detection based on feature selection and data fusion techniques are proposed in order to enhance the feature effectiveness on the Convolutional Neural Network models for video contents. In order to reduce the cost of training, Principal Component Analysis (PCA) technique is applied at the feature level. Support Vector Machines (SVMs) were used to classify fused feature vectors obtained from different deep convolution neural networks. TRECVID 2013 SIN video data set (38 concepts), which is preferred in past studies, is used in the proposed method for video concept detection. Proposed method for video concept detection is also applied to sketch recognition problem in order to measure the effectiveness of the developed classification method. According to the results obtained, these systems which proposed the data fusion method at the feature level, increased the recognition success.