İşitme engelli bireylerle iletişimde IMU ve sEMG sensör verilerini kullanacak bir sistem geliştirilmesi
Development of a system to use IMU and sEMG sensor data in communication with hearing impaired individuals
Yazar: ÜMİT CAN KUMDERELİ
Danışman: DOÇ. DR. İLHAN UMUT
Trakya Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Bilgisayar programları = Computer programs ; Bilgisayar yazılım dilleri = Computer software languages ; Bilgisayar yazılımları = Computer softwares ; Bilişim teknolojisi = Information technology ; Biyomedikal işaretler = Biomedical signals ; Sayısal işaret işleme = Digital signal processing ; Yapay zeka = Artificial intelligence ; İnsan-bilgisayar etkileşimi = Human-computer interaction

Özet:
Bilişim teknolojileri, işitme engelli bireylerin toplumun diğer bireyleri ile iletişimini sağlamada etkin bir şekilde kullanılabileceğini düşünerek bu çalışma planlanmıştır. Bu amaçla, kişinin yaşam kalitesini düşürmeden kullanabileceği İşaret Dili'ndeki (İD) kelimelerin iki kol ile tanınması sağlayan özgün bir yazılım gerçekleştirilmiştir.
Literatürde farklı teknolojiler (kamera, kol bandı ve eldiven gibi) kullanan işaret dili tanıma sistemleri geliştirilmiştir. Fakat yapılan çalışmaların çoğu, işitme engelli bireylerin günlük hayatta kullanabileceği pratik bir çözüm olmak yerine daha çok teoride kalmaktadır. Geliştirilen sistem, tipik görme tabanlı sistemler yerine iki kolun yüzey elektromiyografisini (sEMG) ve atalet ölçüm birimi (IMU) verilerini kullanmaktadır.
Çalışmaya özgü dijital sinyal işleme ve makine öğrenmesi yöntemlerini kullanan, farklı işletim sistemlerinde (Android,Windows) çalışabilen bir yazılım geliştirilmiştir. Yazılım Myo Armband SDK'sını kullanmak yerine kendi Bluetooth servislerini kullanarak hem daha performanslı çalışmakta ve hem de cihaza özel dongle gereksinim duymamaktadır. Her işaret için sabit bir süre yerine, hareketi tespit ederek daha akıcı ve gerçek zamanlı bir iletişime olanak sağlar. 
Test için günlük hayatta kullanılma sıklığı dikkate alınarak belirlenen 80 kelimeden oluşan veri seti oluşturulmuştur. Önerilen sistem için kapsamlı bir öznitelik çıkarma işlemi gerçekleştirilmiştir. Tanıma performansı farklı sınıflandırıcılar ve parametreler ile test edilmiş ve sonuçlar karşılaştırılmıştır. Önerilen sistemin geçerliliğini ve elde edilen sonuçların doğruluğunu test etmek için 10 kat çapraz doğrulama yöntemi kullanılmıştır.
Farklı sınıflandırma yöntemleri ile yapılan eğitimlerin testleri sonucunda en yüksek başarıyı %99.88 doğrulukla RandomForest ve Ibk algoritmaları, en düşük başarıyı %89,75 doğrulukla J48 algoritması sağlamıştır. 
Odak gruba sunulan çalışma katılımcıların tamamı tarafından rahat, estetik ve kullanılabilir bulunmuştur. Bu çalışma ile geliştirilen sistemin engelli bireylerin hayatında büyük bir kolaylık sağlayacağı düşünülmektedir.

Abstract:
This study was planned considering that information technologies can be used effectively to enable hearing impaired individuals to communicate with other members of the society. For this purpose, a unique software that enables the recognition of words in Sign Language (SL) with two arms, which can be used without reducing the quality of life of the person, has been realized.
Sign language recognition systems using different technologies (such as cameras, armbands and gloves) have been developed in the literature. However, most of the studies remain in theory rather than being a practical solution that hearing impaired individuals can use in daily life. The developed system uses surface electromyography (sEMG) and inertial measurement unit (IMU) data of two arms instead of typical vision-based systems.
A software that can run on different operating systems (Android, Windows) using digital signal processing and machine learning methods specific to the study has been developed. Instead of using the Myo Armband SDK, the software uses its own Bluetooth services for better performance and does not require a device-specific dongle. It enables smoother and real-time communication by detecting motion instead of a fixed time for each signal.
For the test, a dataset consisting of 80 words determined by considering the frequency of use in daily life was created. A comprehensive feature extraction process was performed for the proposed system. The recognition performance is tested with different classifiers and parameters and the results are compared. To test the validity of the proposed system and the accuracy of the obtained results, 10-fold cross validation method is used.
As a result of the tests of training with different classification methods, RandomForest and Ibk algorithms achieved the highest success with 99.88% accuracy, while J48 algorithm achieved the lowest success with 89.75% accuracy.
The study presented to the focus group was found comfortable, aesthetic and usable by all participants. It is thought that the system developed with this study will provide a great convenience in the lives of disabled individuals.