Video görüntülerine dayalı olarak gerçek zamanlı göz hareketleri takip sistemi tasarımı
Design of video image based real time eye tracking system
Yazar: YILMAZ DURNA
Danışman: YRD. DOÇ. DR. FİKRET ARI
Ankara Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2017
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Göz hareketleri takibine yönelik olarak farklı firmalara ait ticari ürünler görmek mümkündür. Ancak akademik olarak bu cihazlarda kullanılan takip yöntemlerine ve sistemlerin başarımlarına dair veriler literatürde bulunmamaktadır. Göz izleme sistemlerinde yüksek hız, doğruluk, baş hareketli ve farklı ortam şartlarındaki takibe yönelik zorluklar halen devam etmektedir. Bu çalışmada, yüksek çözünürlüklü kamera, kızılötesi aydınlatma ve LabVIEW yazılımı kullanılarak binoküler, göz bebeği-kornea yansıması takibini uzaktan gerçekleştiren ve göz bebeği boyutunu hesaplayabilen yeni bir göz bakış sistemi tasarımı önerilmiştir. LabVIEW yapısal olarak olarak paralel işleyen ve daha az zaman alan algoritmalara sahiptir. Full HD görüntüler, göz bebeği ve kornea yansımanın merkez koordinatlarını ve boyutlarını daha kolay belirlememizi sağlamıştır.  Kullandığımız kamera sensörü yalnızca kızılötesi görüntüleri geçirecek şekilde filtre uygulaması ile modifiye edilmiştir. Kızılötesi aydınlatmanın göz kornea tabakası üzerinde oluşturduğu birinci purkinje yansıması, yüz imgesindeki göz bölgesinin ilgi bölgesi (ROI) olarak seçimi için referans noktası olarak alınmıştır. Göz bebeği etrafındaki istenmeyen gürültü nesnelerinin temizlenmesi için eşikleme ve aşındırma gibi morfolojik işlemler uygulanmıştır. Göz bebeği merkezi tespiti için kütle ağırlık merkezi tekniği kullanılmıştır. Tasarlanan sistemin doğruluğunu test etmek ve her bir gözün hareketini analiz etmek için görsel bir uyarıcı düzeneği hazırlanmıştır. Monitör üzerinde bakış yeri tahmini için doğrusal olmayan haritalama fonksiyonu kullanılmıştır. Tasarlanan sistem 11 katılımcıyla test edilmiştir. Sistemimizde doğal baş hareketleri altında göz bebeği boyutu, göz bebeği pozisyonu, kornea yansıması pozisyonu ve bakış yeri koordinatları elde edilmiştir. Bu sistem saniyede 40 görüntü çerçevesi ile 2046x1086 çözünürlükte çalışabilmektedir. Aynı zamanda 640x480 piksel görüntüler için saniyede yaklaşık 280 görüntü çerçevesi işleme hızına eşdeğerdir. Deneysel sonuçlarda, 11 katılımcının ortalama bakış yeri hatası sol göz için 0.76°, sağ göz için 0.89° ve iki göz ortalaması  0.83° olarak bulunmuştur.

Abstract:
We can see commercial products of eye tracking systems belonging to different companies. However, there is no literature on the tracking methodologies and performance of these systems. High speed tracking, accuracy, tracking challenges in different environments and under head motions are still problem in Eye tracking systems. In this study, a new eye-gaze system design was proposed that uses a high-resolution camera, infrared illumination, and LabVIEW software to remotely perform binocular eye and corneal reflection follow-up and to calculate eye pupil size. LabVIEW is inherently parallel and has less time consuming algorithms. Full HD images make easier determination of center coordinates/sizes of pupil and corneal reflection. We modified the camera so that the camera sensor passes only IR images. The first purkinje reflection produced by the infrared illumination on the eye corneal layer is taken as the reference point for selection as the region of interest (ROI) of the eye region of the face image. Morphological operations such as thresholding and erosion have been applied to clean unwanted noise objects around the eye pupil. Weighted average technique was used for eye pupil center detection. A visual stimulus was developed to test the accuracy of the designed system and to analyze the movement of each eye. The nonlinear mapping function is used to estimate the eye point of view on the monitor. The system has been tested with 11 participants. In our system, eye pupil size, eye pupil position, corneal reflection position and gaze position coordinates are obtained with natural head movements. This system can operate at 2046x1086 resolution with 40 frame per second. At the same time, It is assumed 280 frames per second for 640x480 pixel images. Experimental results shown that the average gaze detection error for 11 participants is 0.76° for left eye, 0.89° for right eye and 0.83° for mean of two eyes.