ERUSLR: Yeni bir Türkçe işaret dili veri seti ve hiperparametre optimizasyonu destekli evrişimli sinir ağı ile tanınması
ERUSLR: a new Turkish sign language dataset and its recognition using hyperparameter optimization aided convolutional neural network
Yazar: Özcan, Tayyip; Baştürk, Alper
Dergi: Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, Vol. 36 No. 1, 2020
Anahtar kelimeler: Engineering ; Mühendislik ; Sign language recognition,transfer learning,GoogLeNet,parameter optimization,global search,heuristic search ; : İşaret dili tanıma,transfer öğrenme,GoogLNet,parametre optimizasyonu,global arama,sezgisel arama

İşaret dili, dilsel ve işitsel yetilerini kaybeden konuşma ve duyma engelli bireylerin iletişimini sağlayan en önemli araçtır. El hareketi, mimik veya dudak hareketi kullanılarak iletişimin sağlandığı işaret dilini öğrenmek oldukça zor bir süreçtir. Sağır ve dilsiz bireylerin anlaşılması için gerekli olan işaret dilinin bilinmediği ortamlarda ciddi sorunlar ortaya çıkabilir. Hastanelerin acil servislerine başvuran engelli bireylerin anlaşılamaması ise kritik sonuçlar doğurabilir. Bu çalışmada, öncelikle, hastanelerin acil servisinde sıklıkla kullanılan kelimelerle yeni bir veri seti oluşturulmuştur. 25 kelime, 49 engelli birey tarafından birden fazla tekrarlanmış ve farklı açılardan videoları kaydedilmiştir. Erciyes University Sign Language Recognition (ERUSLR) adı verilen bu veri seti 13186 örnek içermektedir. Geliştirilen ERUSLR veri seti kullanılarak bir sınıflandırma modeli oluşturmak istenmiştir. İşaret dilinin tanınması, son yıllarda sınıflandırma problemlerinde sıklıkla kullanılan evrişimli sinir ağı (CNN) ile gerçekleşebilmektedir. Yeni bir CNN modelinin geliştirilmesinden daha kolay ve etkili olan yöntem, transfer öğrenme ile CNN modeli oluşturmaktır. Dolayısıyla, GoogLeNet ön eğitimli modelinden transfer öğrenme gerçekleştirilerek GoogLeNet tabanlı bir CNN modeli oluşturulmuştur. CNN modelinin performansını artıran bir başka etken eğitim parametrelerinin optimize edilmesidir. Global ve sezgisel arama yöntemleri, parametre optimizasyonunda kullanılan ve zamansal kazanç sağlayan metotlardır. Bu çalışmada grid arama (GS), rastgele arama (RS) ve genetik algoritma (GA) yöntemleri, GoogLeNet tabanlı CNN modelinin eğitim parametrelerini optimize etmek için kullanılmıştır. Deneysel sonuçlara göre, GA destekli GoogLeNet tabanlı CNN modeli (%93,93 başarı oranıyla) diğer yöntemlerden daha başarılı sonuç vermiştir.

Sign language is one of the most important tools for the communication for deaf-and-dumb individuals who have lost their linguistic and auditory abilities. It is a very difficult process to learn the sign language, where communication involves using hand movements, mimic or lip movements. Significant problems may arise in situations where the sign language required to clearly understand deaf-and-dumb individuals is not known. More importantly, the failure to understand the disabled individuals who try to access emergency health services at a health institution may have fatal consequences. In this study, firstly, a new dataset was created with the frequently used words in the emergency department of hospitals. 25 words were repeated multiple times by 49 handicapped individuals where the videos were recorded from different angles. This dataset, named Erciyes University Sign Language Recognition (ERUSLR), contains 13186 samples. Using the developed ERUSLR dataset, classification experiments were performed. Sign language recognition can be realized by convolutional neural network (CNN), which is frequently used for classification problems. Rather than developing a new CNN model, transfer learning, an easier and more effective method, is preferred. Consequently, a GoogLeNet based CNN model was created by transfer learning from the GoogLeNet pre-trained model. Another factor that increases the performance of a CNN model is the optimization of its training parameters. Global and heuristic search methods are typically used in parameter optimization to save time. In this study, both grid search (GS), random search (RS), and genetic algorithm (GA) methods were used to optimize the training parameters of the GoogLeNet based CNN model. According to the experimental results, the GA supported GoogLeNet -based CNN model is more successful (with a success rate of 93.93%) than the other methods.