Üç boyutlu sanal Türk İşaret Dili tercümanının tasarımı ve geliştirilmesi
Design and development of a three-dimensional virtual Turkish Sign Language translator
Yazar: MURAT ATASOY
Danışman: PROF. DR. HASAN KARAL
Trabzon Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar ve Öğretim Teknolojileri Eğitimi Ana Bilim Dalı
Derece: Doktora, 2023
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Türk İşaret Dili = Turkish Sign Language ; İnsan-bilgisayar etkileşimi = Human-computer interaction ; İşitme engelliler = Hearing impaired

Özet:
İşitme engelli ve sağır bireylerin önemli bir kısmının okuma-yazmayı somutlaştırılamaması ve işaret diline sahip ortamların eksikliğinden kaynaklı iletişim sorunları yaşadıkları ve bu sorunların çözülmesi için ek çalışmalar yapılması gerektiği literatür ve politikalarla ortaya konulmuştur. Bu sorunların çözülmesine yönelik teknoloji temelli çalışmalar incelendiğinde önemli bir kısmının metinleri işaret diline çevirmeye yönelik çalışmalarından oluştuğu görülmektedir. Özelikle uluslararası çalışmalarda geliştirilen sistemlerin Türk İşaret Dili için uygulanabilir olmadığı göz önüne alındığında Türk İşaret Dili için özelleştirilmiş ve öğretim teknolojileri çerçevesinde tasarlanarak geliştirilmiş bir sistemin gerekliliği ön plana çıkmaktadır. Bu çalışmada ülkemiz kültürü, Türk dili yapısı ve Türk İşaret Diline uygun 3 boyutlu ve mobil uyumlu sanal işaret dili tercümanının (TİD3B) tasarlanması ve geliştirilmesi hedeflenmiştir. 

TİD3B'nin geliştirilmesinde öğretim teknolojileri, doğal dil işleme, işaret dili ve Türk dili gibi farklı disiplinlerde ve farklı uzmanlıklardaki katılımcılarla çalışmalar yürütülmüştür. Çalışma karma araştırma modeli çerçevesinde ve birbirine paralel ilerleyen tasarım tabanlı araştırmalar çerçevesinde şekillenmiştir. Türkçe metinlerin doğal dil işleme metoduyla analiz edilerek işaret dili kuralları ile birleştirilmesi, çeviri algoritmalarının ortaya konulması, işaret dili ile çevirileri gösterecek avatarın, işaret animasyonlarının ve mobil uyumlu arayüzün geliştirilmesine yönelik çalışmalarda katılımcılardan veriler toplanmış ve TİD3B tasarım tabanlı yaklaşımla döngüsel olarak geliştirilmesi sağlanmıştır.

Çalışmada metinleri analiz edecek doğal dil işleme sisteminin yeterlilikleri, işaret dili avatarı ve işaret dili çevirisi yapacak ortamın özellikleri, işaret animasyonlarının dijital ortama aktarılmasına yönelik yöntemsel bulgular ve çeviri algoritmalarının doğrulukları ve TİD3B'nin kullanılabilirliğine dair bulgular elde edilmiştir. Bu bulgular ışığında Türkçe metinleri Türk işaret diline dinamik olarak çeviren, öğretim teknolojileri yaklaşımları ile geliştirmiş, kullanıcı dostu, 3 boyutlu ve mobil uyumlu bir ortam ortaya konulmuştur. Çalışmada Türk işaret dili kuralları raporlanarak çeviri kurallarına yönelik 50 algoritma geliştirilmiştir. Milli Eğitim Bakanlığı İşaret Dili Sözlüğünde yer alan 2344 işaret modellenerek animasyonları hazırlanmıştır. İşaret dili avatarlarına yönelik üst ekstremite oranları, ikoniklik, kafa, kaş, göz, kıyafet ve benzeri toplamda 22 kategoride tasarım özellikleri belirlenmiş ve avatar geliştirilmiştir. Türk işaret dili çevirisine yönelik mobil uyumlu 3 boyutlu bir sistemde arayüzün ve çevirilerin akışkan çalışması, avatarın görünümü, renklerin uyumluluğu, çeviri hızı, avatarın boyutlandırılması ve benzeri toplamda 11 kategoride özellikler belirlenmiş ve mobil uyumlu ortam tasarlanarak geliştirilmiştir. Tüm bileşenlerin birleştirildiği ortam kullanılabilirlik çalışması kapsamında değerlendirilmiş ve ortamın kullanılabilir bir yapısı olduğu ortaya konulmuş ve tartışılmıştır.

Benzer sistemlerin geliştirilmesinde çalışma sonucunda raporlanan animasyon, kural, avatar ve ortama ait kriterlerin dikkate alınması, özellikle işitme engelliler açısından animasyonlarda mimik ve doğallığa dikkat edilmesi, erken işaret dili öğrenicilerinin ağırlıkta olduğu katılımcı grupları ile çalışılması, çeviri algoritmalarının ve geliştirilen animasyonlarının nicel olarak kapsayıcı olması ve dudak okumaya yönelik çalışmalara yer verilmesi önerilmektedir.

Abstract:
It has been revealed through literature and policies that a significant portion of hearing impaired and deaf people experience communication problems due to the inability to concretize reading and writing and the lack of environments supported with sign language, and that further studies are needed to solve these problems. Some of the technology-based studies aim to solve these problems by translating texts into sign language. Considering that the systems developed in international studies are not applicable for Turkish Sign Language. Thus, the need for a system that is adapted to Turkish Sign Language and designed and developed within the framework of instructional technologies comes to the fore. The aim of this study is to design and develop a 3D and mobile compatible Virtual Sign Language Translator (TİD3B) that is suitable for Turkish culture, Turkish language structure and Turkish Sign Language.

In the development of TİD3B, studies were conducted across various disciplines including instructional technologies, natural language processing, sign language, and Turkish language, and with diverse participants possessing different specializations. The study was structured within a mixed research model and parallel design-based research framework. Data were collected from the participants in several research and TİD3B has been developed cyclically with a design-based approach. Such as analyzing Turkish texts with the natural language processing method and combining them with sign language rules, development of translation algorithms, development of the signing avatar, sign animations and mobile compatible interface to display translations in sign language.

Findings were obtained on the adequacy of the natural language processing system for text analysis, the characteristics of the sign language avatar and the translation environment, methodological findings for transferring sign animations to the digital environment, the accuracy of translation algorithms, and the usability of TID3B. Based on the research conducted, an instructional technology approach was utilized to introduce a mobile-compatible, user-friendly 3D environment that can dynamically convert Turkish texts into Turkish sign language. The study reported on the Turkish sign language rules, as well as the development of fifty algorithms for translation rules. Additionally, 2344 signs were modeled and converted into animations for the Sign Language Dictionary of the Ministry of National Education. Design features for sign language avatars were determined across twenty-two categories, including upper extremity proportions, iconicity, head movements, eyebrow movements, eye movements and positioning, clothing, and more. The avatar itself was then developed based on these predetermined features. In the design of a 3D system for mobile Turkish sign language translation, eleven categories were identified, including interface and translation fluidity, avatar appearance, color compatibility, translation speed, and avatar size. These features informed the development of a mobile-friendly environment. The usability study evaluated the environment, comprising of all components, and revealed that it had a structurally usable design. Further discussions were held on the findings.

When developing comparable systems, it is essential to consider the standards related to animation, rules, avatars, and environments as reported in the study. It is crucial to pay attention to the naturalness and facial expressions in animations while working with participant groups where early sign language learners are prevalent. Additionally, ensuring that the translation algorithms and animations are quantitatively inclusive is necessary. Furthermore, it is recommended to include studies on lip reading.