El hareketlerinin kinect ile komut olarak algılanması
Recognition of hand gestures with kinect as commands
Yazar: JULIUS BAMWENDA
Danışman: DOÇ. DR. MEHMET SİRAÇ ÖZERDEM
Dicle Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2018
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: El tanıma = Hand recognition

Özet:
Bu tez çalışmasında, el hareketlerinin MS Kinect ile komut olarak algılanması amaçlanmıştır. Bu amaç doğrultusunda; işaret dili tanıma, Kinect tabanlı ve Kinect kullanılmadan oluşturulan sistemler ile ilişkili çalışmalar incelenmiştir. Bu süreçte Kinect donanımının avantajları/dezavantajları ve kameralardaki farklılıklar incelenmiştir. Konu ile ilişkili önemli saptamalar ve önerilen yöntem ile elde edilen sonuçlar aşağıda açıklanmıştır. 
Tez kapsamında toplam 24 el hareketi içeren imge seti kullanılmıştır. Bu el hareketlerinin 18 tanesi Amerikan İşaret Dili kapsamında yer alan el hareketleridir. Her el hareketine ilişkin 100 imge kayda alınmıştır. Sistemin güvenirliliğini artırmak amacıyla her hareket için oluşturulan 100 imge için üç farklı kişi görev almıştır. Böylelikle toplamda 24000 imge değerlendirilmeye alınmıştır. Her imgeden çevrimdışı (offline) RGB ve derinlik bilgileri kayda alınmış ve HOG yöntemi ile imgelerin öznitelikleri çıkarılmıştır. Oluşturulan öznitelikler ile sistemin eğitimi sağlanmıştır. El hareketlerinin komut olarak algılanmasında hareketlerin sınıflandırılması için üç farklı sınıflandırıcı yöntem uygulanmıştır. Bunlar; SVM, Çok katlı YSA mimarisi ve kNN sınıflandırıcılarıdır. Eğitme işleminden sonra, gerçek zamanlı olarak sistemin testi gerçeklenmiştir. Yapılan denemelerde her komut için 10 el hareketi ile test edilmiş ve doğru/yanlış şeklinde kayda alınmıştır. Elde edilen ortalama başarı performansları; kNN için %92.5, SVM için %95.83 ve YSA için %97.50 olarak elde edilmiştir. Bu performansın, diğer çalışmalara kıyasla kabul edilebilir düzeyde olduğu görülmüştür.

Abstract:
The aim of this thesis is hand gesture recognition (HGR) with MS Kinect as commands. For his aim, some topics such as sign language, systems with/without Kinect were examined. During the studies, advantage/disadvantage features of Kinect and the differences of different type of cameras were learned. The important clues related with subject and results are given below.    
For hand gesture recognition, totally 24 hand gestures were used. 18 of them are inclusive of American Sign Language (ASL). For each hand gesture, 100 images were recorded using Kinect. 100 images were taken from three persons for increasing accuracy of the proposed system. So, totally 24000 images were used in this study. The offline images were recorded and then RGB and depth information of each image were extracted. The last feature extraction method of histogram of oriented gradients (HOG) was applied for each image. These features are used for hand gesture recognition. Three classification methods such as support vector machines (SVM), multilayer perceptron artificial neural networks (ANN) and k-nearest neighbors algorithm (kNN) were employed. After the training stage, the proposed system having three different classifiers tested in real time. 10 gestures per character were tested online and the each result such as true/false was recorded. The average of performance of kNN, SVM and ANN are 92.5%, 95.83% and 97.50% respectively. These obtained results are acceptable level, if we compare the results with other related studies.