Derin öğrenme algoritmaları kullanılarak göz bebeği tespiti
Pupil detection using deep learning algorithms
Yazar: HATİCE KÜBRA KÜÇÜKKARTAL
Danışman: PROF. DR. CÜNEYT AKINLAR
Eskişehir Osmangazi Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Donanım Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Düzenleme = Regulatory ; Evrişimli sinir ağları = Convolutional neural networks ; Görüntü bölütleme = Image segmentation ; Kayıp fonksiyonu = Loss function ; Pupilla = Pupil

Özet:
Göz bebeğinin tespiti ve takibi, insan-bilgisayar etkileşimi, güvenli sürüş, pazarlama araştırması ve beyin hastalıklarının teşhisi gibi birçok uygulama için önemli bir rol oynamaktadır. Yıllar boyunca göz izlemenin performansı ve sağlamlığını geliştirmek için birçok algoritma önerilmiştir.  Ancak göz bebeği sınırını tam olarak tespit etmek zordur; bu yüzden tespit hassasiyeti bakımından mükemmel bir algoritmanın olmaması hala bir sorun olmaktadır. Geleneksel algoritmalardan farklı bir bakış açısı olan derin sinir ağlarıyla, bakış tahmini alanında önemli gelişmeler olmuştur. Bilgisayarla görme problemlerinde kullanılan en önemli derin öğrenme algoritmalarından olan Evrişimsel Sinir Ağları (ESA), göz bebeği tespitinde de kullanılmaktadır.  ESA tabanlı anlamsal segmentasyon, geleneksel segmentasyon algoritmalarından daha iyi performans gösterdiğinden son yıllarda artan bir ilgi görmüştür. 

Bu tez çalışmasında, göz bebeği segmentasyonu için bir ESA'nın eğitiminde piksel bazında bir kayıp fonksiyonuna, örneğin İkili Çapraz Entropi'ye eklenebilecek bir önsel-şekil (shape prior) düzenlileştirme (Regularization) terimi  olarak Elips Uydurma Hatasının (Ellipse Fit Error) kullanılması önerilmiştir. Hem hafif bir U-Net mimarisi hem de DenseNet mimarisi eğitilerek önerilen yöntemin performansı değerlendirilmiştir ve göz bebeği merkezi tahmini için yaygın olarak kullanılan ve toplam yaklaşık 230.000 gerçek dünya görüntü verisi içeren ExCuSe, ElSe ve Labeled Pupils in the Wild (LPW) veri kümeleri kullanılmıştır. Gerçekleştirilen deneysel sonuçlara göre önerilen yöntem bahsedilen bu veri kümeleri için en iyi göz bebeği tespit sonucunu vermiştir. Ek olarak bu çalışmada, LPW veri kümesi için GT segmentasyon haritaları oluşturulmuştur.

Abstract:
Pupil detection and tracking plays an important role in many applications such as human-computer interaction, safe driving, marketing research and diagnosis of brain diseases. Many algorithms have been proposed over the years to improve the performance and robustness of eye tracking. However, it is difficult to precisely detect the pupil boundary, so the lack of a perfect algorithm in terms of detection sensitivity is still a problem. There have been significant developments in the field of gaze estimation with deep neural networks compared to the traditional algorithms. Convolutional Neural Networks (CNN), one of the most important deep learning algorithms used in computer vision problems, is also used in pupil detection. CNN-based semantic segmentation has been a critical step in eye tracking and gaze prediction studies as they greatly outperform the traditional segmentation algorithms.

In this thesis, it is proposed to use Ellipse Fit Error as a shape prior regularization term that can be added to a pixel-based loss function, e.g., binary cross entropy, to train a CNN for pupil segmentation. The performance of the proposed method was evaluated by training both a lightweight U-Net architecture and a DenseNet architecture. Three widely used real-world datasets for pupil center estimation, i.e., ExCuSe, ElSe, and Labeled Pupils in the Wild (LPW), containing a total of ∼230.000 images were used for performance evaluation. According to the experimental results, the proposed method gave the best pupil detection results for all datasets. Additionally, in this study, GT segmentation maps were created for the LPW dataset.