Uzaklık ve cinsiyet tabanlı akıllı reklam görüntüleme sistemi
Distance and gender based smart advertising display system
Yazar: BURAK KABASAKAL
Danışman: DR. ÖĞR. ÜYESİ EMRE SÜMER
Başkent Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2018
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Bilgisayarla görme = Computer vision ; Derin öğrenme = Deep learning ; Destek vektör makineleri = Support vector machines

Özet:
Son yirmi yılda artan teknolojik gelişmelere paralel olarak örüntü tanıma ve bilgisayarlı görme alanlarını kullanan ve gündelik hayata entegre olan birçok çalışma ve araştırma bulunmaktadır. Bu tezde, gerçek zamanlı olarak kamera kaynağından alınan yayın üzerinde tespit edilen yüz görüntülerinden elde edilen cinsiyet bilgisine ve kameraya uzaklığına bağlı olarak çalışan akıllı reklam görüntüleme sistemi geliştirilmiştir.
Sistem temelde iki ayrı kısımdan oluşmaktadır. İlk kısımda kamera kaynağından alınan veriler, canlı yayındaki çerçeveler işlendikten sonra algılanan yüzlerden cinsiyet tespiti ve uzaklık kestirimi yapılarak canlı yayına eklenmektedir. Sistemin ikinci kısmında ise algılanan yüze ait resim, cinsiyet etiketi ve kameraya uzaklık bilgisi reklam bilgisinin gösterileceği uygulamaya web servis yolu ile iletilip, veritabanına kaydedilmektedir. Sistem için önceden tanımlanmış süre içerisinde veritabanında bulunan yüz ve uzaklık bilgileri analiz edilerek farklı detay seviyelerinde reklam gösterimi yapılmaktadır. Analiz işleminde, sistem için tanımlanmış süre zarfında veritabanından elde edilen veriler doğrultusunda cinsiyet ve uzaklığa bağlı olarak farklı ilgi seviyelerinde reklam gösterimi gerçekleştirilmektedir. Sistemin verimli çalışması için cinsiyet tespitinin doğru yapılması oldukça önem arz etmektedir.
Çalışmada, geliştirilen yüz algılama sınıflandırıcısıyla beraber cinsiyet tespit işlemi için Fisher Yüz Algoritması (Fisherfaces), Destek Vektör Makineleri (SVM) ve Evrişimsel Sinir Ağları (CNN) sınıflandırıcıları kullanılmıştır. SVM sınıflandırıcısındaki doğruluk yüzdesini arttırmak için Yerel İkili Örüntü (LBP) ve Yönlü Gradyanlar Histogramı (HOG) öznitelik çıkarım yöntemleri kullanılmıştır.
Derin öğrenme yöntemlerinin en popülerlerinden biri olan CNN ağ çeşidi GoogleNet mimarisi ile eğitilmiştir. Sınıflandırıcılar için günlük hayat akışına uygun olarak belirlenmiş LFW, IMDB ve WIKI veri kümeleri eğitim için, FaceScrub veri kümesi ise test veri kümesi olarak kullanılmıştır. Cinsiyet tespiti için geliştirilen SVM ve CNN sınıflandırıcıları üzerinde gerekli optimizasyon çalışmaları yapılmıştır. Fisher Yüz algoritması ile %61.30, SVM sınıflandırıcısının LBP ve HOG öznitelik çıkarım yöntemleri ile sırasıyla %75.32 ve %80.58, CNN sınıflandırıcısı ile %94.76'lık başarı elde edilmiştir.

Abstract:
The vast number of researchers have been focused on pattern recognition and computer vision fields in parallel with recent technological developments over the last two decades. Studies on these subjects have become widespread in recent years. In this thesis, a smart advertisement display system has been developed which feeds real time data from the camera source to get gender information and calculate distance from the camera source.
The developed system has two main stages. Firstly, live broadcast stream, which gets data from the camera source, is handled frame by frame. Then, the face detection part is employed for predicting the gender and distance information. Secondly, detected face images along with the gender labels and distance values are sent to the advertisement display application via the web service and saved into the database. The advertisement system is run in a time counter and analyses the records from the database. The analysis process is based on statistical information such as gender label and distance value to determine advertisements having different levels of detail. Determination of gender information is very important for proper system operation.
For this study, face detection and gender recognition classifiers were implemented. Fisherfaces, Support Vector Machines (SVM) and Convolutional Neural Networks (CNN) classifiers for gender recognition were trained. The SVM classifier with Local Binary Pattern (LBP) and Histogram of Oriented Gradients (HOG) features were used at different times. Besides, various optimization works were performed by changing the parameters. One of the most popular deep learning methods, the CNN network type, was trained with GoogleNet architecture and the optimization was performed depending on the parameters. The LFW, IMDB and WIKI were used as training data sets and the FaceScrub was used as the test data set. Fisherfaces algorithm yielded an accuracy of 61.30%. When LBP feature extraction method is combined with SVM classifier, the accuracy rate of 75.32% was reached. The HOG feature extraction method with SVM was found to be more successful than LBP and reached an accuracy of 80.58%. Finally, CNN was determined to be the best classifier among all having an accuracy rate of 94.76%.