Derin öğrenme yöntemleri ile Türk işaret dilinin öğrenilmesi
Turkish sign language recognition with deep learning methods
Yazar: MELEK ALAFTEKİN ÇAKMAK
Danışman: DOÇ. DR. KENAN ÇİÇEK
Iğdır Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Ana Bilim Dalı / Elektronik Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
İşaret dili, sağır ve dilsiz bireylerin duygu ve düşüncelerini çevrelerine daha
rahat bir şekilde iletmek için kullandıkları bir iletişim aracıdır. Sesli iletişimden farklı
olarak işaret dili, parmak, el, kol, vücut duruşu, jest ve mimik gibi vücudun farklı
bölgelerinin kullanıldığı ve her birinin belirli bir anlam ifade ettiği sözsüz bir iletişim
şekline sahiptir. İşaret dili, sağır ve dilsiz bireyler ile toplumun geri kalan bireyleri
arasındaki iletişimde kilit bir role sahiptir. Normal insanlar arasında işaret dili çok
yaygın bilinen bir iletişim dili değildir. Bu yüzden, engelli bireylerin günümüz
dünyasına ayak uydurmaları için genellikle bir tercümana ihtiyaçları vardır. Günümüzün
hızla gelişen teknoloji dünyasında insan-bilgisayar etkileşiminin gelişmesiyle birlikte,
böyle bir gereksinime olan ihtiyacı karşılamak adına araştırmacılar tarafından birçok
işaret dili çeviri sistemleri geliştirilmiştir. Bu çalışmada, Türk işaret dili çeviri
sisteminde gerçek zamanlı el hareketi tanıma üzerine odaklanılmıştır. Gerçek zamanlı
ve yüksek performanslı bir algılama sağlamak için son teknoloji nesne algılama
algoritması olan Evrişimli Sinir Ağı (ESA) tabanlı YOLOv4-CSP kullanılmıştır.
YOLOv4-CSP algoritması, ağın performansını iyileştirmek için orijinal YOLOv4'ün
boyun kısmına CSPNet eklenmesiyle oluşturulmuştur. YOLOv3, YOLOv3-SPP ve
YOLOv4-CSP modelleri, Türk İşaret dilindeki rakamlardan oluşan etiketli veri seti ile
eğitilerek yapılan el işaretlerinin algılanması üzerindeki performansları
karşılaştırılmıştır. Önerilen yöntem ile 9.8 milisaniyede kesinlik %98,84, geri çağıma
%97,27, F1-skor puanı 98,04 ve mAP %99,32 sonuçlar elde edilmiştir. Türk işaret
dilinde önerilen yöntem, arka plandan bağımsız olarak hem gerçek zamanlı performans
hem de doğru el işaretini tahmin etmesi ile diğer algoritmalardan daha iyi performans
göstermiştir.

Abstract:
Sign language is a communication tool that deaf and dumb people use to convey
their feelings, thoughts, desires, etc. to the outside of their world. Unlike verbal
communication, sign language has a form of nonverbal communication in which
different parts of the body such as fingers, hands, arms, body postures, gestures and
facial expressions are used and each of them has a certain meaning. Sign language has a
key role in communication between deaf and dumb individuals and the rest of the
society. Sign language is not a widely known communication language among normal
people. Therefore, deaf and dumb people often need an interpreter to interact with
today's world. With the development of human-computer interaction in today's rapidly
developing technology world, many sign language recognition systems have been
developed by researchers in order to meet the need for such a requirement. This study
focuses on real-time hand gesture recognition in Turkish sign language recognition
system. YOLOv4-CSP based on Convolutional Neural Network (CNN), a state-of-the-
art object detection algorithm, was used to provide real-time and a high-performance
detection. The YOLOv4-CSP algorithm was created by adding CSPNet to the neck of
the original YOLOv4 to improve network performance. YOLOv3, YOLOv3-SPP and
YOLOv4-CSP models were trained with a labeled data set consisting of numbers in
Turkish Sign language, and their performances on the hand signals recognition were
compared. With the proposed method, 98,84% accuracy, 97.27% recall, 98.04 F1-score
score and 99,32% mAP results were obtained in 9.8 milliseconds. The proposed method
for detecting numbers in Turkish sign language outperformed other algorithms with
both real-time performance and accurate hand sign prediction, regardless of
background.