Gerçek zamanlı harf tabanlı türkçe işaret dili tanıma sistemi
Real-time recognition system of letter-based turkish sign 
language
Yazar: İSMAİL DEMİRLER
Danışman: DOÇ. DR. ÖZGÜL SALOR DURNA
Gazi Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı / Elektronik Bilim Dalı
Derece: Yüksek Lisans, 2015
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Bu tez çalışması kapsamında, harf tabanlı gerçek zamanlı Türkçe İşaret Dili (TİD) Tanıma Sistemi geliştirilmiştir. Geliştirilen sistemin hem tek elle hem de çift elle işaretler içeren TİD'nin bütün harflerini, Türkçe'ye özgü harfleri de (ç, ı, ğ, ö, ü) içerecek şekilde, başarıyla algıladığı gösterilmiştir. Geliştirilen sistem, kullanıcılar arasındaki harf gösterimlerinde oluşan farklılıklardan dolayı başarımının etkilenmemesi için, kullanıcı eğitimiyle çalışmaktadır. Bu sayede kullanıcı, sistemi ilk kullanmaya başladığında, işaret dili harflerini sisteme tanıtmakta ve kendi veritabanını oluşturmaktadır. Veritabanı oluşturulduktan sonra, sistem, işaret dili tanıma için hazır hale gelmektedir. Geliştirilen algoritmada, öncelikle kameradan alınan görüntü çerçevelerinde ten tespitinin yapılması ve çevrit bölgelerinin bulunması işlemleri gerçekleştirilmektedir. Çevrit bölgeleri bulunan görüntülerin, Hu Momentleri çıkartılmaktadır. Çıkartılan Hu Momentleri sistemde öznitelikler olarak kullanılmakta ve bu öznitelikler Ana Bileşen Çözümleme (Principal Component Analysis - PCA) işlemine tabi tutularak, aynı işlemlerden geçen veritabanındaki işaret dili resimleri ile kıyaslanıp eşleştirme işlemi yapılmakta ve en yakın olarak belirlenen harf ekrana yazdırılmaktadır. Eşleştirme için Öklid ve Manhattan uzaklık ölçütleri denenmiş ve en başarılı sonuçların Öklid uzaklık ölçütü ile elde edildiği gösterilmiştir. Geliştirilen sistem, Hu Momentlerine PCA uygulanmadan ve uygulanarak gerçek zamanlı olarak çalıştırılmış ve yedi adet olan Hu Momentleri ile tanıma başarımı %76 iken, PCA ile dönüştürülmüş Hu Momentlerinin boyutu üçe düşürüldüğünde tanıma başarımının %95 oranına yükseldiği gösterilmiştir.

Abstract:
In this thesis, a real-time recognition system of letter-based Turkish Sign Language (TSL) has been developed to recognize letters in the sign language. The developed system successfully recognizes all the letters in the TSL, which includes both single-hand and two-hand gestures to represent letters in the alphabet with the Turkish-specific letters such as ç, ı, ğ, ö, and ü. The developed system employs a training phase to make the system robust against user-specific gesture modifications. The user initially trains the system for all gestures and generates his / her database before starting. After generating the database, the system is ready to recognize gestures. The system operates in several steps. First, skin detection process is applied on the frames taken from the camera and contour areas are obtained for each image frame. Then, Hu Moment features are extracted and these features are subjected to Principal Component Analysis (PCA). Same processes are also applied to the images in the database. Then PCA transformed features from the camera images and those from the database are compared and the best match is returned to the user. The system has employed Euclidean and Manhattan distance measures and it has been observed that Euclidean distance has revealed the highest recognition performance. The developed system has been used to recognize all letters in the Turkish letter-based sign language with and without PCA application on the Hu Moments and it has been shown that with seven Hu Moments without PCA the recognition performance is 76% while it is increased to 95% when PCA has been applied and the feature dimension has been reduced from seven to three.