Anlam Çözümleme Modelleri İle Geliştirilen Türkçe İşaret Dili Çeviri Sisteminin Nesnelerin İnterneti Üzerinden Web Ortamında Uygulaması
Application of the Turkish Sign Language Translation System Developed by the Semantic Analysis Models over the Internet of Things at the Web Medium
Yazar: Fırat, Yelda; Uğurlu, Taşkın
Dergi: Erzincan Üniversitesi Fen Bilimleri Enstitüsü Dergisi, Vol. 12 No. 3, 2019
Anahtar kelimeler: Engineering ; Mühendislik ; Sign language recognition,depth camera,formal concept analysis,thematic role lattices,MQTT ; İşaret dili tanımlama,derinlik kamerası,biçimsel kavram analizi,tematik rol latisleri,MQTT

Günlükhayatta insanlar; duygularını, düşüncelerini ve yaşantılarını dili kullanarakya da kullanmaksızın çevrelerindeki insanlara aktararak iletişime geçerler. Dilselve işitsel yetisi olmayan kişiler ise çevreleriyle bu iletişimi işaret dilini kullanarakgerçekleştirirler. İşaret dili ise, engelli kişilerin hem kendi aralarında hemde bu dili bilen engelsiz kişilerle jest, mimik ve vücut hareketleriyle anlaşmalarınısağlayan bir dil olarak tanımlanır. Bu anlamda Nesnelerin İnterneti üzerindenanlam çözümlenme modelleri ile web (ağ) ortamında çalışmasına yönelikgeliştirilen bu çalışma, duyma ve konuşma bozukluğu olan kişilerle işaretdilini bilmeyenler arasındaki iletişimi sağlayan bir Türkçe İşaret Dili ÇeviriSistemidir. Gerçekleştirilen bu sistemle; işaret dilini gösteren elhareketleri, derinlik kamerasıyla yakalanmış, MQTT (Message Queuing TelemetryTransport /Sıralı Telemetri Mesaj İletimi) sunucusuna gönderilmiştir. Gönderilenbu görüntüler Üç Boyutlu Modelleme ve Hareket Analizinde kullanılan yapay sinirağları algoritmaları ve makine öğrenmesi yöntemleri ile analiz edilmiştir. Analizedilen görüntülerden elde edilen sözcüklerin gerçek anlamları ise, BiçimselKavram Analizi Teorisi ile hazırlanan tematik rollerden oluşan gerçeklikmodelleriyle bulunmuştur. Gerçek anlamları bulunan bu kelimeler, içinde geçtiğicümle ile birlikte lokal ağ ortamında yayınlanmıştır. Böylece, engelli bir kişiaynı veya farklı mekanlarda yer alan kişi veya kişilerle iletişim kurabilmiştir.

In daily life, people communicate by conveying theiremotions, thoughts, and experiences to the people around them with or withoutlanguage. Hovewer, persons who do not have speech and hearing skills make this communicationwith their environment by using sign language. As for that the sign language isdefined as a language enabling handicapped persons communicate through gesture,mimic and body movements between themselves and with other persons who knowthis language. In this sense, this work developed for its functioning at theweb medium through the semantic analysis models over the Internet of Things isa Turkish Sign Language Translation System which provides a communicationopportunity between hearing impaired and speech handicapped persons and thosewho do not know the sign language. Through this system, movements of handsreflecting the sign language were captured by a depth camera and sent to theMQTT (Message Queuing Telemetry Transport) server. These images were analysedby means of the methods of three dimensional modelling, artificial neuralnetworks algorithms used at movement analysis and machine learning.Real meanings of the words obtained from the analysed images were found throughthe reality models consisting of thematic roles prepared in accordance with theFormal Concept Analysis Theory. These words the real meanings of which had beenidentified were published at the local network medium together with thesentence that they had been mentioned. Thus, a handicapped person couldcommunicate with other person or persons being at the same place or elsewhere.