Derin öğrenme kullanarak işaret dili rakam tanıma
Sign language digit recognition using deep learning
Yazar: HACER GÜLER
Danışman: PROF. DR. MURAT HÜSNÜ SAZLI
Ankara Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: El tanıma = Hand recognition ; Görüntü tanıma = Image recognition ; İşaret dili = Sign language

Özet:
El hareketleri insan yaşamının birçok alanında büyük rol oynamaktadır. İnsanlar iletişim esnasında sıklıkla el hareketlerinden yararlanır. Temelde el hareketlerinden oluşan işaret dili ise dünya nüfusunun %5'inden fazlasını oluşturan işitme engelli bireyler arasındaki tek iletişim aracıdır. İşaret dili yüz ifadesi, göz, kaş, dil ve dudak hareketlerinin beraberindeki el ve kol hareketleriyle oluşan bir tür görsel dildir. İşaret dili rakam tanıma problemi ise işaret dilinin temelini oluşturur. Farklı ülkeler ve hatta zaman zaman bir ülkenin içindeki bölgelerin bile kendi işaret dili vardır. Ancak birkaç istisnai durum dışında işaret dillerinde rakamlar aynı el hareketleri ile aktarılmaktadır. Bu tez çalışması kapsamında farklı veri setlerindeki görüntülerin bir araya getirilip ön işleme tekniklerinin uygulanmasıyla bu problem için yeni bir veri setinin oluşturulması ve derin öğrenme mimarilerinin kullanılmasıyla işaret dili rakamlarının sınıflandırılması amaçlanmıştır. Bu amaç doğrultusunda 19653 görüntü içeren ve daha önce herhangi bir çalışmada kullanılmayan bir veri seti oluşturulmuştur. Ardından önerilen modellerden 3 farklı evrişimli sinir ağı modeli sunulmuştur. Eğitilen ağların test aşaması gerçekleştirilerek performans analizi yapılmıştır ve modellerin başarım oranları kıyaslanmıştır. Nihai olarak oluşturulan modelde eğitim veri setinde %100, test veri setinde ise %99,3 sınıflandırma doğrulama başarısı elde edilmiştir.

Abstract:
Hand gestures play a big role in many areas of human life. People often make use of gestures during communication with the others. Sign language, which basically consists of hand gestures, is the only way of communication between hearing impaired individuals who consist more than 5% of the world population. Sign language is a kind of visual language formed by hand and arm movements accompanying facial expression, eye, eyebrow, tongue and lip movements. The problem of recognition of digits in sign language forms the basis of sign language. Different countries, and sometimes even different regions within a country, have their own sign language. However, except for a few exceptions, numbers in sign languages are transferred with the same hand gestures. Within the scope of this thesis, it was aimed to create a new data set for this problem by combining the images in different data sets and applying pre-processing techniques and to classify the sign language numbers by using deep learning architectures. For this purpose, a data set containing 19653 images and not previously used in any study was created. Then, 3 different convolutional neural network models from the proposed models are presented. Performance analysis was made by performing the test phase of the trained networks and the models were compared. In the final model, 100% classification verification success was achieved in the training data set and 99.3% in the test data set.