Gözlüğe monte edilmiş kamera ile gerçekleştirilen göz takip sistemi kullanılarak Türkçe sanal klavye geliştirilmesi ve test edilmesi
Developing and testing Turkish virtual keyboard using the eye tracking system with a camera mounted on glasses
Yazar: SEVAL UĞURLU
Danışman: DOÇ. DR. METİN YILDIZ ; DR. MUHAMMET YORULMAZ
İzmir Demokrasi Üniversitesi / Fen Bilimleri Enstitüsü / Biyomedikal Bilimler ve Mühendislik Ana Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Biyomühendislik = Bioengineering

Özet:
ALS gibi sinir kas hastalığı bulunan kişiler, konuşma yeteneklerini
kaybetmelerine rağmen beyin ve gözlerini kullanabilirler. Son yıllarda, bu tür
hastaların gözleri ile yazı yazarak iletişim kurmalarını sağlamaya dönük pek çok
çalışma yapılmaktadır. Elektrookülogram (EOG) sinyallerinin kişiye temas eden
elektriksel bağlantılarının yol açtığı sıkıntılar, gözbebeği kornea yansımasına
dayanan kızılötesi kamera kullanılan ticari göz izleme sistemlerinin çok pahalı
olması, web kameralı göz takip sistemlerinin düşük performansı gibi dezavantajları
bulunmaktadır. Bu çalışmada gözlüğe monte edilmiş mini bir kamera ile oluşturulan
göz takip sistemi kullanılarak, gözle yazmaya ihtiyaç duyabilecek herkesin, büyük
maliyetlere katlanmadan ulaşabileceği bir gözle yazı yazma sistemi geliştirilmesi ve
performansının sınanması amaçlanmıştır. Ekran üzerine yerleştirilmiş 23 noktada en
çok kullanılan karakterler birinci sırada, daha az kullanılanlar ikinci sırada seçilecek
şekilde bir sanal klavye tasarımı yapılmıştır. Bakılan noktanın tespiti için, eş zamanlı
alınan görüntü üzerindeki iris dairesinin merkez koordinatlarının kalibrasyon
aşamasında öğretilen koordinatlar ile k en yakın komşuluk algoritması kullanılarak
eşleştirilmesi yöntemiyle çalışılmıştır. Sistemin performansını belirlemek için seçilen
pangram 20 sağlıklı kullanıcı tarafından 2 farklı oturumda, beşer kez yazılmıştır.
İkinci deney gününde ortalama 6,74 kelime/dakikalık yazma hızına, 0,045 hata
oranına (%95,5 doğruluk) ulaşıldığı görülmüştür. Sonuç olarak hedeflenen ekonomik
video kamera tabanlı göz izleme sistemi başarı ile gerçekleştirilmiş, önerilen sanal
klavye göz bebeği kornea yansıması yöntemini kullanan ticari sistemlerin
performansına yakın bir performans ile gözle yazı yazılmasına imkân sağlanmıştır.

Abstract:
People with neuromuscular disease, such as ALS, can use their brain and eyes
despite losing their ability to speak. In recent years, many studies have been
conducted to enable such patients to communicate with their eyes by writing. There
are disadvantages such as the problems caused by the electrical connections of the
electrooculogram (EOG) signals that come into contact with the person, the
commercial eye tracking systems using infrared camera based on the pupil-corneal
reflection are very expensive, the webcam has underperformance. In this study, it is
aimed to develop and test the performance of a with eye writing system that can be
accessed by anyone who may need to write with their eyes without incurring great
costs, by using an eye tracking system created with a mini camera mounted on
glasses. A virtual keyboard design has been made in such a way that the most used
characters at 23 points placed on the screen are selected in the first row, and the less
used ones are selected in the second row. To determine the point of view, the centre
coordinates of the iris circle on the picture were matched with the coordinates taught
in the calibration phase with the k nearest neighbors algorithm. The pangram chosen
to determine the performance of the system was written by 20 healthy subjects five
times in 2 different sessions. On the second test day, an average writing speed of
6.74 words/minute and an error rate of 0.045 (95.5% accuracy) were achieved. As a
result, the targeted economic video camera-based eye tracking system has been
successfully realized, and it has been possible to write with the eye with a
performance close to the performance of commercial systems using the proposed
virtual keyboard pupil-corneal reflection method.