Derin öğrenme tabanlı ve gerçek zamanlı bakış takibi
Deep learning based and real-time gaze tracking
Yazar: KENAN DONUK
Danışman: PROF. DR. DAVUT HANBAY
İnönü Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Bu tez çalışması yüksek bütçeli bakış takip cihazlarına alternatif derin öğrenme tabanlı ve düşük maliyetli sistemlerin geliştirilebileceğini, bakış takibi için önemli girdiler olan hem göz hem de gözbebeği merkezinin konumlarını hassas bir şekilde tespit etmek için Evrişimsel Sinir Ağı tabanlı teknikler kullanılarak yüksek düzeyde doğruluk elde edilebileceğini gösteren yöntemler sunmaktadır. Ayrıca çalışmada, çocuklarda dikkat eksikliği teşhisinde bakış takip teknolojisi yoluyla yakalanan zengin verilerden bireylerin dikkat kalıplarına ilişkin değerli iç görüler elde edilebileceğini gösteren klinisyenlere yardımcı bir karar destek sistemi geliştirilmiştir. Çalışmada önerilen ilk yöntem olan göz tespiti, bakış takip teknolojisinin çalışma prensibinde ilk aşamadır. Bakış takibinin doğru bir şekilde yapılması sağlam bir göz tespitine dayanır. Bunun için Evrişimsel Sinir Ağlarına dayanan bir göz algılama yöntemi önerilmiştir. İkinci yöntem, görme olayında aktif rol oynayan göz bebeği merkezinin yüksek doğrulukta tespitine dayanmaktadır. Göz bebeği merkezinin sağlam bir şekilde tespit edilebilmesi bakış takip doğruluğunu önemli ölçüde etkilemektedir. Bu nedenle göz bebeği merkezi tespitinde Evrişimsel Sinir Ağlarına dayalı bir Mini U-Net yapısı önerilmiştir. Üçüncü ve dördüncü yöntem sırasıyla bakış takibinin görüntü işlemeye ve Evrişimsel Sinir Ağlarına dayalı, düşük maliyetli uygulamalarıdır. Tezin son yönteminde günümüz bakış takip teknolojisi ile makine öğrenmesi birleştirilerek bireylerde dikkat eksikliği tanısının konulmasında klinisyenlere yardımcı bir karar destek sistemi önerilmiştir. Bu tez çalışması ayrıntılı ve tanımlayıcı metodolojiler sağlayarak, bakış takibini çeşitli alanlarda daha erişilebilir ve anlamlı hale getirmeyi amaçlamaktadır.

Abstract:
This thesis work shows that alternative Deep Learning-based and low-cost systems can be developed for high-priced gaze-tracking devices and that high accuracy can be achieved by using Convolutional Neural Network-based techniques to accurately capture the positions of the eye and pupil center, which are important inputs for eye-tracking. provides. In addition, the study developed a decision support system for clinicians, demonstrating that valuable insights into individual attention patterns can be gained from the rich data captured by gaze-tracking technology in diagnosing attention deficits in children. Eye detection, the first method proposed in the study, is the first step in the working principle of gaze-tracking technology. Accurate gaze tracking depends on solid eye recognition. For this purpose, an eye detection method based on convolutional neural networks is proposed. The second method is based on high-precision detection of the pupil center, which plays an active role in vision. The ability to reliably detect the pupil center has a significant impact on the accuracy of gaze tracking. Therefore, a Mini-UNet network structure based on convolutional neural networks has been proposed for pupil center detection. The third and fourth methods are low-cost applications of gaze tracking based on image processing and convolutional neural networks, respectively. In the last method of the work, a decision support system is proposed to help clinicians diagnose attention deficits in individuals by combining current eye-tracking technology and machine learning. This thesis work aims to make gaze-tracking more accessible and useful in various domains by providing detailed and descriptive methods.