Evrişimli ve yinelemeli sinir ağları ile görüntülere başlık atama
Image captioning with convolutional and recurrent neural networks
Yazar: TUNAHAN KUNT
Danışman: PROF. DR. NECAATTİN BARIŞÇI
Gazi Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Görüntülere başlık atama, insan yardımı olmaksızın bilgisayar tarafından görüntü içeriğini betimleyen cümle kurma olarak tanımlanabilir. Görüntülere başlık atama problemi ile sadece görüntüdeki objeleri anlamak değil aynı zamanda objelerin birbiri ile ilişkilerini anlayarak bunları bir cümle haline getirmek amaçlanmıştır. Bu bağlamda görüntülere başlık atama problemi, bilgisayarla görü ve doğal dil işleme alanlarının kesişiminde bulunur ve her iki alanın da zorluklarını bünyesinde barındırır. Karşılaşılan zorlukları çözmek adına farklı mimarilere sahip çalışmalar ortaya konulmuştur. Fakat literatürdeki çalışmaların birçoğu Cermen dil ailesine mensup dillerde özellikle İngilizce dilinde yoğunlaşmıştır. Kendi ana dilimiz olan Türkçe dilinde ise görüntülere başlık atama alanında yapılan çalışma sayısı oldukça azdır. Bu bağlamda bu tez, Türkçe dilinde görüntülere başlık atama alanında yapılmıştır. Önerilen çalışma kapsamında, Türkçe dilinin sondan eklemeli yapısı gözetilerek işlenen veri kümesi ile halihazırda İngilizce dilinde görüntülere başlık atama problemini çözmek için kullanılan modeller ve bu modeller üzerine yapılan birtakım iyileştirmeler ile oluşturulan yeni modeller eğitilmiştir. Bazı modellerde topluluk öğrenmesinin kullanıldığı, bazı modellerde de dikkat mekanizmasının eklendiği çalışmada evrişimli ve yinelemeli sinir ağlarından oluşan kodlayıcı-kod çözücü mimariye sahip modellerin çıktıları açgözlü arama veya ışın araması yöntemleriyle cümle haline getirilmiştir ve oluşturulan cümleler iki dilli değerlendirme ölçeği yöntemiyle değerlendirilmiştir. Yapılan deneylerin sonucunda en yüksek 0.424 BLEU-1 puanı elde edilmiştir. Elde edilen puan görüntülere başlık atama alanındaki Türkçe veri kümesi ile yapılan araştırmalar arasında en yüksek puan olmuştur.

Abstract:
Image captioning can be defined as describing a content of the image without human help. With the image captioning, it is aimed not only to understand the objects in the image, but also to understand the relations between the objects then turn it to the meaningful sentence. In this context, the problem of image captioning is located at the intersection of computer vision and natural language processing and it includes the difficulties of both fields. In order to solve the faced difficulties, different studies have been were put forward with different architectures. However, most of the studies in the literature have concentrated on languages belonging to the Germanic language family, especially in English. In the Turkish language, which is our native language, the number of studies in the image captioning field is very few. In this context, this dissertation conducted in the field of image captioning in Turkish language. Within the scope of the proposed study, models that are currently used to solve the problem of assigning titles to images in English language and new models which created with some improvements made on the previous models have been trained with the dataset processed by considering the agglutinative structure of the Turkish language. In this study, some models have been created by ensemble learning and some models have been created by attention mechanism. All models that are created have encoder-decoder architecture and these models consist of convolutional and recurrent neural networks. The outputs of the models were put into sentences by greedy search or beam search techniques. Finally, created sentences were evaluated with the BLEU score method.As a result of the experiments, the highest BLEU-1 score of 0.42 was obtained. The score obtained was the highest score among the Turkish dataset studies in the field of image captioning.