Python pyaudio modülü kullanarak konuşma dilinden işaret diline makine öğrenmesi tabanlı tercüme sistemi
Machine learning-based speech to sign language interpretation system using python pyaudio module
Yazar: AATIF OSMAN ALTAHIR BAKR
Danışman: DR. ÖĞR. ÜYESİ RANA ORTAÇ KABAOĞLU
İstanbul Üniversitesi-Cerrahpaşa / Lisansüstü Eğitim Enstitüsü / Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı / Elektrik Elektronik Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Doğal dil işleme = Natural language processing ; Makine öğrenmesi = Machine learning ; İşaret dili = Sign language

Özet:
Sağırlar ve işitme engelliler, belirli ihtiyaçlardan oluşan oldukça büyük bir topluluk oluşturur, ancak işaret dilinde iletişim süreci pek çok insan için zahmetlidir, bu nedenle operatörler ve teknoloji son zamanlarda bu topluluğu hedeflemeye başlamıştır. Ancak bu günlere kadar, konuşulan sözcüklerin yüksek doğrulukta ve daha az hatayla gerçek zamanlı olarak anlaşılabilir işaret diline yorumlanmasını sağlayacak makul maliyetli, özgürce güvenilir bir web sitesi veya tek bir yazılım yoktur.
İşaret dili konularında çok sayıda mevcut araştırma vardır. Ancak araştırma alanlarının çoğu, işaretleri metne veya konuşmaya dönüştürmekle ilgilidir. Bu tezde bunun tam tersi yapılırken, konuşmayı metinle birlikte bir makine öğrenme algoritması kullanarak işaret diline çeviren ve iletişim süreci problemine etki edecek ve daha da basitleştirecek olan bunun tersi yapılmıştır.
Yukarıda belirtilenlerden dolayı bu tez, python ve Django modülleri aracılığıyla bir makine öğrenmesi yaklaşımı kullanarak konuşmadan işaret diline çeviri sistemi sağlayarak bu soruna bir çözüm önermektedir. Sistemin önerilen tasarımı, konuşmadan metne API'leri kullanıp ses sinyallerini metne dönüştürmekle başlayarak, web konuşma API'sı olacak ve ardından Yapay Zeka parçası olarak makine Öğreniminde Doğal Dil İşleme semantiğini kullanacak, kodlama xiv
için Python, ve çeviri sürecini gerçek zamanlı olarak gerçekleştirecek bir web sitesi geliştirmek ve işaret dilini her bir cümle veya kelimenin karşılık gelen metniyle birlikte video formatında görüntülemek için Django kullanılacaktır.
Bu tez, öncelikle sağır insanlara Amerikan işaret dilinde (ASL) bilgi ve hizmet sağlamaya odaklanacak ve manuel ve manuel olmayan işaretler aracılığıyla ASL'nin tüm kelime dağarcığını kapsayacak şekilde genişletilebilecek ölçeklenebilir bir proje geliştirecektir.

Abstract:
The deaf and hearing-impaired make up a sizable community of specific needs, yet the process of communicating in sign language is cumbersome to so many people, therefor operators and technology have recently begun to target this community. But until these current days there is no freely reliable accessible websites or a solitary software with a sensible cost to make an interpretation of spoken words into understandable sign language and in real time with high accuracy and less errors.
There is a wealth of existing researches in sign language topic but most of the research areas concern with converting signs to text or speech while in this thesis the opposite has been done which is converting the speech into sign language along with text using machine learning algorithm. and that will have an impact on the communicating process problem and make it even simpler.
Due to what stated above, this thesis proposes a solution to this problem by providing a speech to sign language translation system using machine learning approach through python and Django module. The proposed design of the system will start by changing over the sound signals into text utilizing speech to text Application Programming Interface (APIs) which will be web speech API, and then using the semantics of Natural Language Processing (NLP) in machine Learning as the Artificial Intelligence part, with Python for coding and Django for