Mors kodunu konuşmaya çeviren EEG tabanlı beyin-bilgisayar arayüzü
EEG based brain-computer interface converting Mors code to speaking
Yazar: GÜNEŞ EKİM
Danışman: PROF. DR. AYTEN ATASOY
Karadeniz Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2021
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: EEG =

Özet:
Tez kapsamında, EEG cihazı kullanılarak toplanan verilerden tespit edilen bilinçli göz kırpmalarla oluşturulan kelimelerin, konuşmaya dönüştürülmesi gerçekleştirilmiştir. Günümüzde dünya nüfusunda sayıları oldukça fazla konuşma ve hareket yetisini kaybetmiş kişiler bulunmaktadır. Bu kişiler çevrelerinde tüm olup biteni görebilmekte ve duyabilmekte, fakat dış dünya ile iletişim kuramamaktadırlar. Ayrıca en basit günlük ihtiyaç veya düşüncelerini çevrelerine aktaramamaktadırlar. Bu tezin amacı, kişilerin isteklerini göz kırpmalar aracılığıyla çevrelerine iletebilmelerini sağlamak ve böylece yaşam kalitelerini arttırmaktır. Bu amaçla Mors kodlarını konuşmaya çeviren iki farklı sistem geliştirilmiştir. İlk adımda kablosuz Neurosky MindWave cihazı ile sol gözün üzerine yerleştirilmiş elektrottan, tek kanal olarak EEG sinyalleri toplanmıştır. EEG sinyalleri içinde, beyin aktivitesi haricinde göz kaynaklı hareketlerden doğan sinyaller de bulunur. Bu sinyallerden yararlanılarak Mors kodlarıyla oluşturulan kelimeler, Matlab içerisindeki Metin-Konuşma Sentezi algoritması ile konuşmaya dönüştürülmüştür. İlk sistemde veri toplama sonrası; dalgacık analizi, yapay sinir ağları sınıflandırma, Levenshtein mesafe ve metin-konuşma sentezi algoritmaları kullanılmıştır. İkinci sistemde ise verilere dinamik zaman bükme ve metin-konuşma sentezi algoritmaları uygulanmıştır. Her iki sistemden de elde edilen sonuçlar karşılaştırılmış, özellikle ikinci sistemde son derece başarılı sonuçlara ulaşılmıştır. Yapılan çalışmada ayrıca maliyeti düşük, kullanımı kolay ve hassasiyeti yüksek olan tek kanallı EEG sinyal toplama işlemi yapan bir kart tasarımı da yapılmıştır.

Abstract:
In the scope of the thesis, the words formed by the voluntary eye-blinks detected from the data acquired by using the EEG device have been transformed into speech. At the present time, there are many people in the world who have lost their ability to speak and move. These people are able to see and hear what is happening all around them, but they cannot communicate with the outside world. In addition, they cannot express their daily needs or thoughts to their environments. The aim of this thesis is to enable people to communicate their wishes through eyeblinks and thus to improve their quality of life. For this purpose, two different systems have been developed that convert Morse codes to speech. First, EEG signals were collected as a single channel from the electrode placed on the left eye with the wireless Neurosky MindWave device. In the collected EEG signals, there are signals originating from ocular movements except for brain activity. By using these signals, the words formed by Morse codes have been transformed into speech by the text to speech algorithm included in the Matlab.  In the first system, after data collection; wavelet analysis, artificial neural network classification, Levenshtein distance and text-to-speech synthesis algorithms were used. In the second system, dynamic time warping and text-to-speech synthesis algorithms were applied to the data. The results obtained from both systems were compared, and very successful results were achieved especially in the second system. In the study also, single-channel EEG signal acquisition card with a low-cost, easy-to-use and high-sensitivity was designed.