Görüntü başlıklama yöntemi ile ürün görüntülerine uygun başlıkların üretilmesi
Generating titles for product images with an image captioning technique
Yazar: BİRKAN ATICI
Danışman: DOÇ. DR. SEVİNÇ İLHAN OMURCA
Kocaeli Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Teknolojik gelişmelerle birlikte insanların ürettikleri veri miktarında oldukça artış görülmektedir. Artan veri miktarı ve hesaplama teknolojilerindeki gelişmelerin sonucunda ise derin öğrenme çalışmaları son yıllarda hız kazanmıştır. Bazı problemlerde, geleneksel makine öğrenmesi tekniklerinin yetersiz ya da fazla başarı gösterememesi nedeniyle derin öğrenme teknikleri bu alanlarda önem kazanmıştır. Bu alanlardan birisi de görüntü başlıklama çalışmalarıdır. Görüntü başlıklama, görüntü içerisindeki obje, sahne ve olayı anlamlandırıp doğal dile otomatik olarak aktarmayı sağlayan bir çalışma alanıdır. Literatürde bu çalışmalar oldukça zorlu bir problem olarak görülmektedir. Bunun en önemli nedeni ise, görüntü işleme ve doğal dil işleme tekniklerinin bir arada kullanılıyor olmasıdır. Diğer bir nedeni ise bu çalışmalar için kullanılacak veri kümesinin yetersiz kalmasıdır. Görüntü başlıklama çalışmaları, derin öğrenme teknikleri öncesinde geleneksel makine öğrenmesiyle, şablon ve getirme tabanlı olarak yapılmaktaydı. Ancak bu teknikler oldukça kısıtlı ve görüntüyü açıklamakta yetersiz kalmaktaydı. CNN ve LSTM gibi derin öğrenme teknikleri ile yapılan bu çalışmalar model başarısını oldukça arttırmıştır. 
Bu çalışmada, sahibinden.com sitesindeki ürün ilanların görüntü-başlık ikili verileriyle, ürün resimlerine uygun olacak başlıkların çıkartılması amaçlanmıştır. Derin öğrenme yöntemleri kullanılarak yapılan bu çalışmada, yaklaşık 1,8 milyon görüntü-başlık verisi ile eğitim gerçekleştirilmiştir. BLUE, METEOR ve CIDEr skor başarım ölçütleri ile değerlendirilen çalışmamızda oldukça başarılı sayılabilecek sonuçlar elde edilmiştir.

Abstract:
Recently, with evolution of technology, there has been a significant increase in the amount of data produced by people. As a result of the increasing amount of data and developments in computing technologies, deep learning studies have gained momentum in recent years. In some problems, deep learning techniques have gained importance due to the insufficient results of traditional machine learning techniques. One of these areas is image captioning studies. Image captioning studies provide that make sense of the object, scene and action in the image and generate automatically title of the image. These studies are considered challenging problem in the literature. One of the most important reasons why it is seen as challenging is that uses image processing and natural language processing techniques together. Another reason is that the dataset is not sufficient for model training. Before the deep learning techniques, these studies were done with traditional machine learning techniques such as template and retrieval based methods. But these traditional techniques are very limited and insufficient to fully define the image. With the deep learning techniques, the success of these studies has increased. 
This study aimed to generate titles that will be suitable for the product images with the image - title pair of the product classified ads on sahibinden.com website. The model developed in this study by using deep learning methods, approximately 1.8 million image-title pair were used. The deep learning model, which was evaluated with the BLUE, METEOR and CIDEr score performance metrics, achieved results that could be considered successful.