Dilsizler için konuşmaya yardımcı sistemler
Support systems for speaking of verbally impaired persons
Yazar: EBRU AKALP KUZU
Danışman: DOÇ.DR. MEHMET KORÜREK
İstanbul Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı / Biyomedikal Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2006
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Biyomühendislik = Bioengineering ; Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Bu çalısmada dilsizlerin sesli konusmasına yardımcı olmak amacıyla gelistirilmis birsistem tanıtılmıstır. Sistem dilsizlerin isaret diline benzer bir sekilde, öncedentanımlanmıs parmak hareketlerini yaparak kodladıkları kelimeleri sese çevirmektedir.Kullanıcı, söylemek istedigi kelimeyi kodlamak için parmak hareketlerini yaparkenkolunda olusan EMG (Electro Miyogram) isaretleri ön kola baglanan dört çift elektrotaracılıgıyla sistemimize alınmaktadır. Bu çalısmada öncelikle EMG yi koldan alıpsüzme ve kuvvetlendirme yaptıktan sonra sayısal olarak bilgisayar ortamına aktarankuvvetlendirici tasarlanmıstır. Alınan EMG isaretini tanımak amacıyla YSA (YapaySinir Agı) ve HMM (Hidden Markov Modeli) kullanan bir çesit HHMM (Hybrid HMM)modeli kullanılmıstır. Sistemde her kelime iki el isaretinden ve her cümlede üçkelimeden olusmaktadır. Su an için tanınan hareket sayısı 14 ve tanınan kelime sayısı 214kadardır. Basarım oranı %80 civarındadır. Literatürde isaret dilini tanımak amacıylagelistirilmis pek çok çalısma mevcuttur. Bu sistemlerin çogu isaret dilini algılamak içinya veri eldiveni ya da video kamera kullanmaktadır. Bu yöntemler, özellikle videokameraya bagımlı olan sistemler, günlük hayatta çok kullanıslı olmayacaktır.Gelistirilen sistemin kullanım kolaylıgı getirecegi düsünülmektedir. Bu sistem isaretdilini algılamad EMG yi kullanması bakımından özgün bir çalısmadır.Anahtar Kelimeler: saret Dili Tanıma, EMG, YSA, HMM, HHMM

Abstract:
The system described in this study is developed as a mean of voicy speaking tool forverballay impaired persons. The user of the system will try to tell what he want to say bymaking some hand signs (like in sign language) and these signs will be converted to thesound. While user making these hand signs, the resulting EMG signals will be capturedby the device by means of four pairs of electrodes, bounded to the user?s fore arm. Todevelop the system, first we design the EMG amplifier which will be used to get theEMG signals from fore arm and to transfer it to the PC like system. For recognizingthese EMG signals we used Neural Network and Hidden Markow Model together tomake a combined Hybrid system (HHMM ). Each words are consist of two hand signand each sentences consist of three words. Now the number of recognisable hand signs is14 and recognisible word number are about 214. The recognition rate is 80%. Inliterature there are many work about sign language recognition systems. Most of themuse a data glove or video imaging system for sensing the hand signs. These methodsespecially, the video camera dependent systems are not usefull in daily life. This studywill be a unique system because of usage of EMG signal for sensing of hand signs.Keywords: Sign Language Recognition, EMG, YSA, HMM, HHMM