Integrating sign language recognition and body posture gesture recognition in multimedia apps for inclusive interaction across international environments
Isaret dilini tanima ve beden entegrasyonu multimedya uygulamalari için hareket tanima uluslararasi düzeyde kapsayici etkilesim çevreler
Yazar: ALP YÜKSEL
Danışman: DR. LAVDIE RADA
Bahçeşehir Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Multimedya teknolojilerinin dinamik evrimi, dijital cihazlarla etkileşimi yeniden
tanımladı. Özellikle sözlü ifadesi sınırlı olan bireyler için hayati önem taşıyan jest
tanıma, dönüştürücü bir iletişim yöntemi olarak ortaya çıkıyor. Bu makale, işaret dili
ve vücut duruşu jest tanımayı sorunsuz bir şekilde entegre eden multimedya uygulama geliştirmeye yönelik öncü bir yaklaşım sunmaktadır. Çok uluslu etkileşimlerde
sözel olmayan iletişim için özel olarak tasarlanan önerilen sistem, çeşitli uluslararası
barındırma ortamlarını ayırt etme ve yorumlama konusunda mükemmeldir. Bu yenilik, sözel olmayan ifadelere dayanan bireyler için iletişimi önemli ölçüde geliştirerek
kapsayıcı teknolojide önemli bir ilerlemeye işaret etmektedir. Bu araştırma, kalabalık
ortamlarda hareket tanıma tekniklerini içeren ve hızlı kitle iletişiminin önemini vurgulayan bir prototip multimedya uygulamasının tasarlanmasını ve uygulanmasını içermektedir. 200 kelime içeren Almanca, İngilizce, Arapça, Hintçe ve Türkçe videolardan
özellik çıkarımı için Mediapipe bütünselliğini kullanan özelleştirme, el ve omuz arasındaki mesafeleri, parmak açılarını ve hareket sırasında parmak kullanımını hesaplamayı içerir. Özellik çıkarımları sıralı numpy dosyalarında (30 dizi) saklanır ve dili belirlemek için bir KNN algoritmasında kullanılır ve eğitimli bir CRNN sinir ağı ile 94 % kelime tahmin doğruluğu elde edilir.Ayrıca, Python Django uygulama altyapısı kullanılarak geliştirilen bir video konferans uygulaması, önerilen tekniği bünyesinde barındırarak iki yönlü iletişime olanak sağlamaktadır. Bu kapsamlı araştırma, farklı dilsel ve kültürel bağlamlarda kapsayıcı ve erişilebilir iletişimin ilerlemesine katkıda bulunmaktadır.

Abstract:
The dynamic evolution of multimedia technologies has redefined interactions
with digital devices. Gesture recognition, especially vital for individuals with limited verbal expression, emerges as a transformative communication method. This paper presents a pioneering approach to multimedia app development, seamlessly integrating sign language and body posture gesture recognition. Tailored for non-verbal communication in multination interactions, the proposed system excels in discerning and interpreting diverse international hosting environments. This innovation significantly enhances communication for individuals relying on non-verbal expressions,
marking a substantial advancement in in clusive technology. This research involves
the designing and implementing of a prototype multimedia app incorporating gesture
recognition techniques in crowd environments, empha sizing the importance of rapid
audience communication. Utilizing the Mediapipe holistic for feature extraction from
German, English, Arabic, Indian, and Turkish videos, each containing 200 words, customization in cludes calculating distances between hand and shoulder, finger angles,
and finger usage during movement.When making predictions, numerical values are assigned to these extracted features and a weighted implementation is used in which the

feature is assigned magnitude values in order of importance. Feature extractions are
stored in sequential numpy files (30 sequences) and employed in a K-Nearest Neighbour algorithm to deter mine language, achieving a word prediction accuracy of 94%
with a trained CRNN neural network. Additionally, a video conferencing application,
developed using the Python Django web framework, embeds the proposed technique,
enabling two-way communication. This com prehensive research contributes to the
advancement of inclusive and accessible communication across diverse linguistic and
cultural contexts.