Acil vaka bildirimleri için Türk işaret dili tanıma
Turkish sign language recognition for emergency notifications
Yazar: GÜRKAN BİLİCİ
Danışman: DR. ÖĞR. ÜYESİ SELÇUK TAŞCIOĞLU
Ankara Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2020
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Sayısal görüntü işleme = Digital image processing

Özet:
Tezde, acil durum bildiren farklı işaretler için kelime bazlı ve aparattan bağımsız, görüntü işleme tabanlı bir Türk işaret dili tanıma yaklaşımı geliştirilmiştir.  Bu yaklaşımda, işaret dili hareketinin süresinden bağımsız olarak tanımlanması için tanımlama çerçeveleri (identification frames) kavramı ortaya konulmuştur. İşaret dili tanımlamada hareket miktarının büyüklüğüne göre ellerin hareketine ya da şekilsel özelliklerine dayalı özniteliklerin kullanılabileceği gösterilmiştir. Tezde hareketi yapan kişinin kameraya olan uzaklığından bağımsız, harekete dayalı özgün bir öznitelik çıkarma yaklaşımı geliştirilmiştir. Bu kapsamda, görüntü dizilerinde el hareketlerinin miktarının ölçülmesi için hareket alanı büyüklüğüne dayalı bir yaklaşım geliştirilmiştir. Geliştirilen Türk işaret dili tanıma yaklaşımı ile kamera görüntülerinde el hareketleri ile tarif edilen Türkçe acil durum kelimelerinin tanımlanması büyük ölçüde sağlanmıştır.

Bu çalışmada, sistem başarımını doğrudan etkileyebilecek ton karşıtlığı (kontrast) ve parlaklık farklılıkları gibi bozucu etkilerin azaltılması ve görüntüde gerekli iyileştirmelerin sağlanması amacıyla bir dizi filtreleme işlemi kullanılmıştır. İşaret dili el hareketlerini tanımak için öncelikle görüntüdeki el kısımlarının doğru bir şekilde tespit edilmesi sağlanmalıdır. Bunun için önişlem olarak ten rengi bölütleme ile görüntüdeki ten kısımları ayrıştırılmış ve yüzün merkez bilgileri kullanılarak ellerin tespit edilmesi sağlanmıştır.

Türk işaret diline özgü veri tabanı olmadığından, tanımlama için gerekli olan veri kümesi sekiz kişi tarafından on bir farklı işaretin beşer kez tekrarlanması sonucunda elde edilmiştir. Çıkarılan öznitelikler olasılıksal sinir ağı sınıflandırıcısı ile sınıflandırılmış ve Monte Carlo çapraz doğrulaması yoluyla elde edilen başarım sonuçları sunulmuştur. Bunun yanı sıra, eğitimde kullanılan kişilerin sınıflandırma başarımı üzerindeki etkisi de incelenmiştir.

Abstract:
In the thesis, a Turkish sign language recognition approach based on image processing has been developed for different emergency notifications. In this approach, the concept of identification frames has been introduced to recognize signs independent of their durations. In recognizing sign language, it has been shown that features based on the movement of the hands or their shapes can be used according to the size of the amount of the movement. In this thesis, a unique feature extraction approach which is based on the movement of the hands and independent of the distance between the camera and the person has been developed. In this context, in order to measure the amount of the hand movements in image sequences, an approach based on size of the movement area has been developed. It has been demonstrated that using the developed method, Turkish emergency notification signs made by hand gestures have been recognized with high accuracy. 

In this study, a series of filtering procedures have been used to provide the necessary improvements in the images and to mitigate the factors such as differences in contrast and brightness which may directly reduce the system performance. To recognize the hand gestures, hands in images should be detected accurately. For this purpose, skin parts have been separated by the skin color segmentation and hands have been detected using the center information of the face. 

As there is no database for Turkish Sign Language, the data set containing eleven different signs has been collected from eight people. Each sign has been repeated by each person five times. Extracted features have been classified with probabilistic neural network classifier and the performance results obtained through Monte Carlo cross validation have been presented. Besides, the effect of people used in the training stage on classification performance has been investigated.