FPGA kullanarak şablon eşleme temelli yüz tanıyan donanımın gerçekleştirilmesi
Implementing template matching based face recognition hardware using FPGA
Yazar: ASİYE RÜMEYSA ÜNSAL
Danışman: DR. ÖĞR. ÜYESİ SERKAN DERELİ
Sakarya Uygulamalı Bilimler Üniversitesi / Lisansüstü Eğitim Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı / Elektrik Elektronik Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Görüntüdeki verilerin anlamlandırılması, görüntüler içerisinde nesnelerin veya yüzün tanınması adına birçok çalışmalar mevcuttur. Yüzün tanınması kişisel telefon kilitleri olmak üzere güvenlik, kimlik tanıma, suçlu takibi, yüz ifadesi tespiti ve benzeri birçok çalışmada sıklıkla kullanılmaktadır. Çalışmada öncelikle yüz tanıma işlemlerinin ilk başladığı 2000'li yıllardan itibaren literatürde kullanılan teknikler detaylıca irdelenmiş ve analizleri yapılmıştır. Bu tezde ise şablon eşleme tabanlı bir yüz tanıma işlemi gerçekleştirilmiştir. Literatürde şablon eşleme metodu sıkça kullanılmış ve yüksek başarımlar almış olsa da yapılan işlemlerin çok uzun sürmesi ise hem dezavantaj olarak hem de bu tekniğin gerçek zamanlı uygulamalarda çalışmasının önündeki en önemli engel olarak görülmüştür. Bu nedenle çalışmanın odak noktası şablon eşleme tekniğinin gerçek zamanlı işlemlerde kullanılacak kadar hızlı çalışmasını sağlamak olmuştur. Bunun için öncelikle yöntem algoritmik çalışma açısından irdelendiğinde gerçekleşen sahte eşleşmelerin bu duruma yol açtığı deneylerde açıkça görülmüştür. Bu yüzden öncelikle bu durumu elimine etmek amacıyla KOMŞULUK HAVUZU mantığı ile yöntem iyileştirilmiştir. Bu çalışmada ortaya çıkan bu iyileştirilmiş yönteme OPTİMAL ŞABLON EŞLEME adı verilmiştir. Bu yeni yöntem sayesinde gerçekleşen eşleşmelerin derecesini tespit etmek önemli bir kazanım sağlamıştır. Ancak her ne kadar yöntemin çalışma süresi belli oranda azaltılsa da yine de elde edilen verilerle yöntemin gerçek zamanlı çalışması sağlanamamıştır. Bu nedenle yöntem sayısal tekniklerle donanımsal olarak tasarlanmıştır. Tasarımda Vivado IDE Webpack versiyonu ve tanımlama dili olarak ise VHDL tercih edilmiştir.
Bu tez tamamıyla sentezlenebilir bir yapıda olması çip tasarımına dönüştürüle bileme yeteneği ile oldukça önemlidir. Tasarım, gerçeklemede ki bazı önemli zorluklar nedeniyle simülasyon seviyesinde test edilmiştir. Test işlemleri hem yazılımsal olarak hem de donanımsal olarak gerçekleştirilmiştir. Böylece hem klasik şablon eşleme tekniğinin optimal şablon eşleme yöntemine dönüşmesinde ki ortaya çıkan başarı hem de donanıma dönüşmesindeki ortaya çıkan başarı analiz edilmiştir. Yazılım testleri Matlab IDE 2015a versiyonunda gerçekleştirilmiştir. Donanım ayrıca sentezlenebilir yapıda olduğundan bir donanıma dönüşmesi neticesinde ne kadarlık bir alan kapladığı da yine ortaya konmuştur. Bunun için sayısal tasarımların test aygıtı olarak bilinen FPGA aygıtı Nexys 4 DDR modeliyle kullanılmıştır.Son olarak bu tez çalışmasında gerçekleştirilen donanımın sonraki süreçte evrilebileceği şekline vurgu yapılmış ve çipe (ASIC) dönüşmesi neticesinde elde edilecek kazanımlar literatüre göre karşılaştırmalı bir şekilde tartışılmıştır.
Anahtar Kelimeler: Şablon Eşleme, Yüz Tanıma, FPGA, Görüntü İşleme, Hızlandırılmış Donanım

Abstract:
There are many studies on the meaning of the data in the image and the recognition of objects or faces in images. Face recognition is frequently used in many studies such as personal phone locks, security, identity recognition, criminal tracking, facial expression detection and so on. In the study, first of all, the techniques used in the literature since the 2000s, when face recognition processes first started, were examined in detail and analyzed. In this thesis, a template matching based face recognition process has been carried out. Although the template matching method has been used frequently in the literature and has achieved high performance, the long duration of the operations has been seen as both a disadvantage and the most important obstacle to the operation of this technique in real-time applications. Therefore, the focus of the study has been to ensure that the template matching technique works fast enough to be used in real-time operations. For this reason, when the method was first examined in terms of algorithmic work, it was clearly seen in the experiments that the fake matches that took place caused this situation. Therefore, the method has been improved with the NEIGHBORHOOD POOL logic in order to eliminate this situation. This improved method that emerged in this study is called OPTIMAL TEMPLATE MATCHING. Thanks to this new method, determining the degree of matchmaking has provided an important gain. However, although the working time of the method was reduced to a certain extent, the real-time operation of the method could not be achieved with the data obtained. For this reason, the method is hardware designed with numerical techniques. In the design, Vivado IDE Webpack version and VHDL were preferred as the definition language.
This thesis is very important with its ability to be fully synthesized and converted into chip design. The design has been tested at the simulation level due to some significant difficulties in implementation. Test operations were carried out both in software and hardware. Thus, both the success in converting the classical pattern matching technique to the optimal pattern matching method and the success in the conversion to hardware were analyzed. Software tests were carried out in Matlab IDE 2015a version. Since the hardware can also be synthesized, it is also revealed how much space it occupies as a result of its transformation into a hardware. For this, the FPGA device, known as the test device of digital designs, was used with the Nexys 4 DDR model.Finally, it was emphasized that the hardware realized in this thesis study could evolve in the next process, and the gains to be obtained as a result of its transformation into a chip (ASIC) were discussed in a comparative way according to the literature.
Keywords: Template Matching, Face Recognition, FPGA, Image Processing, Hardware Accelerated