Sanal gerçeklikte ilinti operatörleri geliştirilerek yüz tanıma analizi
Face recognition analysis by developing feature operators in virtual reality
Yazar: GÜLSÜM ÇİĞDEM ÇAVDAROĞLU
Danışman: DOÇ. DR. BÜLENT BAYRAM
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Harita Mühendisliği Ana Bilim Dalı / Uzaktan Algılama ve Coğrafi Bilgi Sistemleri Bilim Dalı
Derece: Doktora, 2013
Konu: Bilim ve Teknoloji = Science and Technology ; Jeodezi ve Fotogrametri = Geodesy and Photogrammetry
Dizin: Yüz bulma = Face detection ; Yüz görüntüsü = Face image ; Yüz profili = Face profile ; Yüz tanıma = Face recognition

Özet:
İnsan yüzü görüntüleri üzerinde duygu analizi, yaş analizi gibi işlemlerin yapılabilmesi, bir ya da daha fazla sayıda görüntüden otomatik olarak 3B yüz modelinin eldeedilebilmesi, insan yüzü üzerine geliştirilmiş artırılmış gerçeklik uygulamaları, yüz ilinti noktalarının otomatik olarak bulunmasını gerektirmektedir. Sunulan çalışmada, standartlaştırılmış koşullar altında, farklı açı ve mesafelerden alınmış insan yüzü görüntülerinden yüzü yakalayan, ilinti bölgelerini ve noktalarını bularak analiz eden ve tanımlayan hibrid bir algoritma ve yazılım geliştirilmiştir. Test amaçlı olarak kullanılan veriler, Inspeck Mega Capturor II 3B yapısal-ışıklı 3B sayısallaştırıcı cihaz ile 1600x1200 çözünürlüğünde sabit 1000W?lık halojen lamba altında alınan yüz görüntülerinden oluşan bir yüz veritabanından elde edilmiştir. Yüzün belirli bölümlerinin gözlük gibi başka nesneler tarafından kapatılmış olması, ten rengi analizi sırasında ön işlem gerektirecek sakal, bıyık gibi unsurlar, farklı duygu durumları, jest ve mimiklere göre alınmış görüntüler çalışma kapsamı dışında bırakılmıştır. Sunulan çalışma; her adımda arama alanları daraltılarak yüz yakalama, yüz ilini bölgeleri belirleme ve yüz ilinti noktaları belirleme olmak üzere üç ardışık aşamadan oluşmaktadır. 24 kadın 11 erkek toplam 35 kişiye ait, ortalama 1100*1400 piksel boyutlarında, 360 farklı test görüntüsü üzerinde yapılan testler sonucunda yüz yakalamada %100, yüz ilinti noktası belirlemede ortalama 2,04086 piksel doğruluk, üç boyutlu nokta üretiminde 1,83971 xviidoğruluk elde edilmiştir. Akıllı ilinti bölgeleri ve ilinti noktalarının kullanımıyla eşlenik görüntülerin kolayca eşleştirilmesi sağlanmıştır.Stereo görüntülerin eşleştirilmesinin ardından ışın demetleri ile dengeleme işlemi gerçekleştirilmiştir. Dengelenmiş yeni noktalar üzerinde epipolar geometri kuralları uygulanarak, 3B yeniden oluşturma algoritmaları çalıştırılarak 3B yüz nokta bulutu elde edilmiştir. Elde edilen veriler kullanılarak yüz görüntüleri ile bir artırılmış gerçeklik uygulaması geliştirilmiş ve yüz veritabanında yer alan yüz görüntülerinin uygulama tarafından tanınması, ilinti bölgesi ve noktalarının oluşturulması, otomatik işaretçiler oluşturularak görüntüler üzerinde iki ve 3B sanal nesneler oluşturularak gerçek görüntülerin sanal nesneler ile zenginleştirilmesi sağlanmıştır.Anahtar Kelimeler: Yüz ilinti noktaları, ilinti operatörleri, yüz yakalama, yüz tanıma, zenginleştirilmiş gerçeklik

Abstract:
The face feature points are required to be found automatically to detect human emotion from face images, to detect age by analyzing human face from face image, to reconstruct 3D face model by using multi - human face images, develop augmented reality applications on human face. In the present thesis, an algorithm and software have been developed to detect human face and find interest regions and interes points in face from human face images taken from different angles and distances under standardized conditions automatically. The data used for test purposes is obtained from a face database which is consist of face images taken under a 1000W halogen lamp by a 3D structural-illuminated 3D digitizer device with a resolution of 1600x1200. Some cases are excluded from this study, such as some parts of the face is to be covered by other objects, beard, mustache, facial expressions and gestures. The application developed in presented thesis consists of three sequential steps. Search region is made more narrowed after every step. Algorithms detect faces, search interest regions and facial feature points. As a result of tests carried out on 360 different face images with 1100 * 1400 pixel sizes, which belongs to 35 different people, 34 of them are women and 11 of them are men, it is achieved 100% face detection accuracy; 2,04086 pixel for facial feature points detection and 1,83971 accuracy for 3D point cloud generation. Conjugate images are being matched easily by means of smart feature regions and matching feature points.After stereo matching of images, bundle adjustment algorithm is run. Applying the epipolar geometry rules on the new balanced points, three-dimensional reconstruction algorithms have been run and three-dimensional point cloud face is generated.The data obtained is used in an augmented reality application. Augmented reality application recognizes faces which are defined in application database, creates a marker by using facial feature points automatically and add 2D / 3D virtual objects on real world.Key words: Facial feature points, feature operators, face detection, face recognition, augmented reality