İşitme engelliler için işaret dilinin düz yazıya çevrilmesi
Translations of sign language into text for the hearing impaired
Yazar: HİLAL NUR CİNEL
Danışman: DOÇ. DR. ATINÇ YILMAZ
İSTANBUL BEYKENT ÜNİVERSİTESİ / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
İşaret dili, işitme engelli bireylerin günlük iletişimde kullandığı bir dildir. Ancak, işaret dilini anlamak sadece işitme engelliler veya ilgili eğitimi almış kişiler tarafından mümkündür. İşitme engellilerin hayatını kolaylaştırmak için işaret dilinin otomatik olarak metin dosyasına çevrilmesi önemlidir. Bu çalışmada, işaret dilinin görüntüleri analiz edilerek işaretlerin anlamları metin olarak çevrilebilir hale getirildi. Geliştirilen sistem, işitme engellilere iletişimde bağımsızlık ve özgürlük sağlayacak bir adımdır. İşitme engelliler için işaret dilinin otomatik olarak metin dosyasına çevrilmesi, önemli bir araştırma konusudur ve gelecekte daha kapsamlı bir sistem geliştirilmesi hedeflenmektedir.
Bu çalışmada, işaret dilinin otomatik olarak metin dosyasına çevrilmesi için Mediapipe framework'u kullanıldı. İşaret dili alfabesinin görüntüleri koordinat sistemi üzerinde analiz edildi. Görüntü işleme algoritmaları kullanılarak işaret dilindeki farklı işaretler tespit edildi ve bu işaretlerin anlamları metin olarak çevrilebilir hale getirildi. Makine öğrenimi algoritmalarıyla eğitilen bir model, işaret dili hareketlerini otomatik olarak metin dosyalarına çevirebilen bir sistem geliştirildi. Bu sistem, işitme engellilerin günlük iletişimlerini kolaylaştırmayı hedeflemektedir.
Geliştirilen sistem, çeşitli testlerde başarılı sonuçlar vermiştir. İşaret dilindeki hareketleri doğru bir şekilde tespit edebilmiş ve bu hareketleri metin dosyalarına doğru bir şekilde çevirebilmiştir. Bu teknoloji, işitme engelli bireylerin hayatını kolaylaştırarak daha fazla bağımsızlık sağlamayı amaçlamaktadır.
Bu çalışma, işaret dilinin otomatik olarak metin dosyasına çevrilmesi konusunda temel bir adım oluşturmaktadır. Gelecekte yapılacak çalışmalarla, farklı işaret dillerindeki hareketleri tespit edebilen daha kapsamlı bir sistem geliştirme potansiyeli vardır. Bu çalışmalar, işitme engellilerin iletişim becerilerini daha da geliştirecektir. Mediapipe frameworku kullanılarak geliştirilen işaret dilinin otomatik olarak metin dosyasına çevrilmesi sistemi, işitme engellilerin hayatını kolaylaştırmak ve daha fazla bağımsızlık sağlamak için önemli bir teknolojik gelişmedir.

Abstract:
Sign language is a language used by hearing impaired individuals in daily communication. However, understanding sign language is only possible by people who are deaf or have received relevant training. It is important that sign language is automatically translated into a text file to make life easier for the hearing impaired. In this study, the images of the sign language were analyzed and the meanings of the signs were translated into text. The developed system is a step that will provide the hearing impaired with independence and freedom in communication. Automatically converting sign language to text file for the hearing impaired is an important research topic and it is aimed to develop a more comprehensive system in the future.
This release does not blow up the Mediapipe framework so that sign language is automatically translated into text execution. Analysis was carried out on the coordinate system of the sign language alphabet. Different signs in the sign language used in image processing executions were detected and the passage of these signs was made translatable as text. A model that makes notebooks with machine-generated readings, a system capability that can automatically translate sign language gestures into text files. This system aims to facilitate the daily communication of the hearing impaired.The developed system gave successful results in various tests. It was able to accurately detect gestures in sign language and accurately translate these gestures into text files. This technology aims to provide more independence by making the lives of hearing impaired individuals easier.
This study constitutes a fundamental step in the automatic translation of sign language into a text file. With future work, there is the potential to develop a more comprehensive system that can detect movements in different sign languages. These studies will further develop the communication skills of the hearing impaired. Automatically converting sign language to text file, developed using the Mediapipe framework, is an important technological development to make life easier for the hearing impaired and to provide more independence.