Semantik arama ile multimedya verilerin anlamlandırılması
Interpretation of multimedia data with semantic search
Yazar: OĞUZHAN MENEMENCİOĞLU
Danışman: DOÇ. DR. İLHAMİ MUHARREM ORAK
Karabük Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2018
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Günümüzde büyük miktarda multimedya verisi üretilmiştir. Büyük bir hızla da veri üretilmeye devam etmektedir. Ortaya çıkan veri miktarı karşısında geleneksel ve manuel görüntü işleme yöntemleri yetersiz kalmaktadır. Buna karşın, otomatik açıklama üretme yaklaşımları hem ele alınması ve çalıştırılması zor yöntemlerdir hem de salt görüntü işleme basamağında kalmaktadır. Görüntü işleme basamağından sonra çıkan veriye erişecek, veriyi ilişkilendirecek ve anlamlandıracak sistemlere ihtiyaç artmaktadır.

Multimedya işlenmesi ve erişimi: çerçevelerinde yer alan nesnelerin tespit edilmesi, tanınması ve yeniden tanınması ile etiketlenmesi, etiketlenmiş veriler üzerinden anlamsal sorgular yapılması ve bu anlamlardan bilgi üretilmesi aşamalarından oluşmaktadır. Bu aşamaların her biri bilimsel olarak ilgi çeken ve çözülmeyi bekleyen birçok problem barındırmaktadır.

Bu tez kapsamında multimedya veriden otomatik olarak elde edilen düşük seviye anahtar kelimeler ile multimedya verinin insan tarafından yorumlanması arasındaki boşluğu dolduracak bir çerçeve amaçlanmıştır.

Multimedyadan herhangi bir bilgisayarlı görü yöntemi ile elde edilen veriler test verileri olmak üzere, benchmark verisi ve bu veriden yapay yolla elde edilen sentetik veri kullanılarak sorgulamalar yapılmış ve son kullanıcı için anlamlı-faydalı bilgi çıkarımı yapılmıştır.

Ham multimedya verisinin anlam çıkarmada sınırlı kaldığı yerde kavramsal olarak bir üst düzey bilgi katmanı olan gidiş yolu ile ilave anlamlar çıkarılmıştır. İki katmanda oluşturulan çerçevenin üzerinde tartışılmıştır.

Abstract:
Huge amount of multimedia data has been produced nowadays. Data is still and rapidly being produced. Traditional and manual methods are incapable of processing the amount of multimedia data. Although however, both automatic annotation generation methods are hard to address and to operate, and they are also on computer vision level. After computer vision level, there is an increasing need for systems to reach data, relate them and produce meaning from the retrieved data.

Handling multimedia and retrieve multimedia data consist of annotating via detection, recognizing and re-identifying the moving and non-moving objects, creating semantic queries on annotated data and producing knowledge from these semantics. Each level of these processes consists many unsolved and attractive scientific problems.

The goal of this thesis was creating a framework for filling the semantic gap between low level keywords which are retrieved automatically from multimedia data and human interpretations of multimedia data.

The queries are done, and the useful and valuable knowledge was retrieved for end-users by using test data which is obtained via any computer vision algorithm, benchmark data and synthetic data which is achieved by destructing the benchmark data.

When retrieving information from raw multimedia data is limited, the additional semantics are produced via using the upper conceptual level of information trajectories. The framework which consists of two level, is discussed.