Hareket sensörleri kullanarak havaya yazma temelli harf tanıma
Letter recognition based on air writing using motion sensors
Yazar: OSMAN ECER
Danışman: PROF. DR. ZEKİ YETGİN
Mersin Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2019
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: El yazısı tanıma = Handwriting recognition ; Karakter tanıma = Character recognition ; Serbest yazma = Free writing

Özet:
Havaya yazma tanıma, kullanıcıların havayı sanal bir yüzey olarak kullanarak havaya
yazdıkları harfi, uygulamaların tanımasını sağlayan bir teknolojidir. Havaya yazma tanıma, havayı
sanal bir dokunmatik ara yüze dönüştürmeyi amaçlar. Klasik yazma ve klavye tabanlı dijital
yazıya göre birçok avantajı bulunan havaya yazma geleceğin teknolojileri arasında yer
almaktadır. Bu tür uygulamalar küçük yaş grubu çocukların eğitiminde psikomotor becerilerinin
geliştirilmesi, engelli bireylerinin yaşamını kolaylık sağlaması gibi alanlarda kullanılabileceği gibi
aynı zamanda yazmadaki alan sınırını kaldırmakta ve her ortamda yazmayı sağlamaktadır. Bu
çalışmada, havaya yazma tanıma için Ardunio tabanlı bir eldiven geliştirilmiş ve Arduino ya
entegre MPU6050 sensör (jiroskop ve ivme ölçer) ile el hareketleri, sinyal verilerine
dönüştürülmüştür. Geliştirilen eldiven kullanarak, havaya yazılan Türkçe harflere karşılık gelen
ham sinyal verilerinden, Eğitim ve Test setleri oluşturulmuştur. Bu süreçte, her Türkçe harf
havaya en az 15 kez yazılmış, peş peşe yazılan harf sinyallerini, arka plan sinyallerinden ayırmak
için bölümleme algoritması geliştirilmiştir. Eğitim ve Test setindeki her harf için Fourier ve
Dalgacık Dönüşümü temelinde özellikler çıkarılmış ve En Yakın K-Komşu (KNN), Karar-Ağaçları,
Rassal-Orman, KNN Topluluk Öğrenici, Yapay Sinir Ağları yöntemleriyle Test setindeki harfler
sınıflandırılmıştır. Genel olarak, Yapay Sinir Ağlarının test setinde daha iyi sınıflama yaptıkları
gözlenmiştir. Fourier ve Wavelet dönüşüme dayalı özellik çıkarma yöntemleri benzer performans
sergilemiştir. Ayrıca, özellik çıkarma yönteminde bloklamanın etkisi üzerinde çalışılmış ve
bloklamanın performansı arttırdığı gözlenmiştir.

Abstract:
Air writing recognition is a technology that enables users to recognize letter that they write to the
air using the air as a virtual surface. Air writing recognition aims to turn the air into a virtual touch interface. Writing into the air has many advantages over classical writing and keyboard-based
digital writing it is among the technologies of the future. Such practices can be used in areas such
as the development of psychomotor skills in the education of children, easing the life of the
disabled individuals, and at the same time removes the area boundary in writing and enables
writing in every environment. In this study, an Ardunio-based glove was developed for airwriting
recognition and hand motions were converted into signal data by using the integrated MPU6050
sensor (gyroscope and accelerometer). Using the developed glove, Training and Test sets were
formed from the raw signal data corresponding to the Turkish letters written to the air. In this
process, each Turkish letter has been written at least 15 times in the air and data partitioning
algorithm has been developed to separate the letter signals from the background signals. For each
of the letters in the Training and Test set, features were derived based on the Fourier and Wavelet
Transform. The letters in the test set are classified by using Nearest K-Neighbor (KNN), DecisionTrees, Random-Forest, KNN Community Learner, Artificial Neural Networks. In general, it has
been observed that Artificial Neural Networks are better classified in the test set. Fourier and
Wavelet conversion-based feature extraction methods showed similar performance. In addition,
the effect of blocking was studied in the feature extraction method and it was observed that the
blocking improved the performance for all classifying models.