Gerçek zamanlı video görüntülerinden yüz bulma ve tanıma sistemi
Real-time face localization and recognition system by using video sequences
Yazar: ERKAN SÜTÇÜLER
Danışman: Y.DOÇ.DR. ELİF KARSLIGİL
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2006
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Yüz bulma ve yüz tanıma sistemleri geçtiğimiz yıllarda bilimsel araştırma grupları ve piyasatarafından oldukça geniş ilgi görmüştür ve halen bu sistemlerin gerçek zamanlı uygulamalarınıngeliştirilmesi oldukça zorlayıcı bir branş olarak görülmektedir. Ayrıca makine öğrenmesi vebilgisayarda grafik işleme toplulukları da yüz bulma ve tanıma çalışmalarına dahil olmuşlardır.Farklı branşlarda uzmanlaşmış bu araştırmacıların ortak ilgisi, yüz bulma ve tanımaproblemlerinin çözümünün gündelik ve sanal hayata kazandıracağı artı değerin yadsınamayacakbir öneme sahip olmasından kaynaklanmaktadır.Yüz bulma ve tanıma teknikleri gerekli koşulların sağlandığı ortamlarda oldukça iyi sonuçlarvermelerine karşın, ortam şartlarındaki küçük değişimlerde yüz bulma ve tanıma problemi büyükölçüde çözümsüz kalmaktadır. Bu tez çalışması kapsamında video görüntülerinden gerçekzamanlı bir yüz bulma ve tanıma sistemi için ihtiyaç duyulan metodolojiler ve yaklaşımlartasarlanmış ve problemin çözümü için yüksek standartlarda bir uygulama geliştirilmiştir.Yüz bulma probleminin çözümü için farklı aydınlanma ve pozlarda çekilmiş yüz resimlerindenyarım milyonun üzerinde ten rengi piksel toplanmıştır. Bir resim üzerindeki yüz rengi olan ve yüzrengi olmayan alanların sınıflandırılması bir ikili sınıflandırma problemidir. Dolayısıyla toplananbu yarım milyon ten rengi pikselin YCbCr renk uzayındaki karşılıkları ile bu renk uzayının diğerkısmı ikili sınıflandırma problemlerinde başarısını kanıtlamış destek vektör makinesi algoritmasıile birbirlerinden ayrılmışlardır. Sınıflandırılmış piksellerin kullanılmasıyla video kareleriüzerindeki ten rengi alanların tespit edilmesi için yeni bir yöntem geliştirilmiştir. Videokarelerinde tespit edilen ten rengi alanlar üzerindeki yüzün tespit edilmesi için istatistiksel bir yüzkonumlandırma metodu kullanılmıştır. Bu metodda temel olarak x ve y eksenleri boyunca alınanhistogramlar kullanılarak yüz alanının merkez koordinatları, yüksekliği ve genişliği bulunmuştur.Son olarak yüz tanıma sürecinin başarımını arttırmak için yüz bulma sisteminin çıktılarıstandartlaştırılmış bir kanonik yüz modeline dönüştürülmüştür. Yapılan testlerde yüz bulmabaşarım oranları %90, hata oranı %10 olarak elde edilmiştir.Geliştirilen yüz tanıma sistemi, temel bileşen analizi yöntemlerinden biri olan, özyüz uzayıprojeksiyonlama ile yüzlere ait özellik kümelerini türetmektedir. Kullanılan temel bileşen analiziyöntemi, yüz tanıma problemine iki boyutlu bir tanıma problemi olarak yaklaşmaktadır. Yüzlerarasındaki farklılıkları en iyi ortaya çıkaran yüz uzayına ait özvektörler ve özyüzler elde edilir.Ardından gerçek yüzler bu özyüzlerin kombinasyonları ile ifade edilerek, yüzlere ait özellikkümeleri türetilir. Son olarak, yüz tanıma işlemi sırasında eğitim ve test yüzlerinin özellikkümeleri arasındaki benzerlikler destek vektör makinesi yöntemi ile bulunmaktadır. Yüz tanımasisteminde yer alan kişilerin her birinin sistemde en az beş farklı yüzle ifade edilmesi yüz bulmasisteminin performansını arttıran bir özelliktir. Seri olarak analiz edilen video karelerinden entutarlı tanıma sonuçların elde edilmesi için kayan pencere yaklaşımı geliştirilmiştir. Yapılantestlerde yüz tanıma sisteminin başarım oranı %91, hata oranı %5 olarak kaydedilmiştir.Anahtar Kelimeler: Yüz tanıma, yüz bulma, temel bileşen analizi, destek vektör makinesi, videotabanlı görüntü işleme, gerçek zamanlı uygulamalar.JÜRİ:1. Yrd. Doç. Dr. M. Elif KARSLIGİL (Danışman) Tarih: 05.06.20062. Prof. Dr. A. Çoşkun SÖNMEZ Sayfa Sayısı: 903. Doç. Dr. Selim AKYOKUŞ

Abstract:
In recent years face detection and face recognition has received substantial attention from bothresearch communities and the market, but still remained very challenging in real-timeapplications. The machine learning and computer graphics communities are also increasinglyinvolved in face recognition. This common interest among researchers working in diverse fieldsis motivated by remarkable ability to recognize people and the fact that human activity is aprimary concern both in everyday life and in cyberspace.Although some techniques of face detection and recognition are able to produce considerablygood results in some particular environmental conditions, even minor changes in theseenvironmental conditions might have broken effects on these techniques. In the context of thisthesis, necessary methodologies and approaches were studied to design a real-time face detectionand recognition system by using video sequences. Moreover, a robust and practical softwareapplication has been developed to solve these problems.In order to solve face detection problem, about half million skin color pixels were collected fromthe face images taken under different lighting conditions and pose orientations. Thedifferentiation of skin and non-skin pixels on a human image is a binary classification problem.Therefore, the YCbCr color space representation of these collected pixels and the rest of the colorspace has been distinguished by using support vector machine algorithm which has proved itsability and strength in binary classification problems. By using these classified pixels, a novelapproach to detect skin colors on the video frames has been introduced. Then, a statistical facelocalization method has been utilized to detect faces on video frames. This method basicallycalculates the center coordinates, width and height of face areas by using histograms createdalong the x and y-axis on the video frames. As a last step in order the increase the performance offace recognition system, the outputs of face detection system are converted into a standardizedcanonical face model. The success ratio of the face detection system is 90% whereas its failurerate is 10%.The face recognition system derives the feature set of human faces by using the projections ofeigenface space which is a principal component analysis method. The principal componentanalysis method considers the face recognition problem as a 2-D pattern recognition problem. Itfirst creates the set of eigenvectors and eigenfaces of face space which most efficiently extractsthe differences between different face frames. Then the real faces are represented as thecombinations of these eigenfaces and the feature sets of the faces are derived. As a last step, thesimilarities between the feature sets of training and test faces are calculated by using the supportvector machine algorithm. Each subject within the face recognition system is represented via atleast five faces and this approach obviously increases the performance level of face recognitionsystem. In order to get most consistent recognition results, sliding window approach has beenintroduced by using the sequence of video frames The success ratio of the face detection systemis 91% whereas its failure rate is 5%.Keywords: Face recognition, face detection, principal component analysis, support vectormachine, video-based image processing, real-time applications.JURY:1. Assist. Prof. M. Elif KARSLIGİL (Supervisor) Date: 05.06.20062. Prof. Dr. A. Çoşkun SÖNMEZ Page: 903. Assoc. Prof. Selim AKYOKUŞ