Hareketli RGB-D görüntülerinden el parmaklarının tesbiti
Hand finger recognition from RGB-D video images
Yazar: HAKAN ONGÜL
Danışman: YRD. DOÇ. DR. MİNE ELİF KARSLIGİL YAVUZ
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2014
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Bilgisayarların, hayatımızın değişilmez bir parçası haline geldiği günümüzde, herkes tarafından etkili ve verimli bir şekilde kullanılabilmesi için, insan bilgisayar etkileşimine dayalı ara yüzlerin geliştirilmesi, klavye ve farenin yanı sıra günlük hayatta kullandığımız iletişim yöntemlerinden vücut dili ile de bilgisayarı kontrol edebilmek için gerekli hale gelmiştir. 
Sanal gerçeklik uygulamalarında da her zaman bir araştırma konusu olan elin yerinin ve şeklinin çıkarımı için, sanal gerçeklik uygulamalarının ilk zamanlarından itibaren eldiven kullanımı, görüntü algılama yöntemleri ile ten rengine göre veya arka plan görüntü çıkarımı yöntemi ile bölütleme, kızılötesi kamera kullanımı gibi yöntemler kullanılmıştır.
Bu tez çalışmasında, görüntü ve derinlik bilgisi veren RGB-D kameradan  alınan derinlik verisi kullanılarak, görüntüdeki elin açık parmaklarının konumunu ve şeklini anlayan bir sistem tasarlanmış ve gerçekleştirilmiştir. Parmakların konumlarının ve şekillerinin  görüntüde belirlenmesi, insan bilgisayar etkileşimine dayalı ara yüzlerin tasarımında parmak bilgilerinin de kullanılmasını sağlamaktadır.
RGB-D kamera olarak Kinect kullanılan bu çalışmada ilk olarak, RGB-D kameradan alınan derinlik bilgisinin işlenmesi ile oluşturulmuş iskelet verisinden kamera önündeki aktif kullanıcının eli belirlenerek, el görüntüsü derinlik görüntüsünden ikili görüntü formatında bölütlenmiştir. 
Parmakların çıkarımında kullanılacak ikili el görüntüsünden daha iyi sonuç alabilmek için, görüntü ön işlemeden geçirilerek morfolojik açma işlemi ile iki parmak arası boşluğun belirginleşmesi sağlanmıştır.     
Eli içine alan bir dış bükey örtünün olduğu varsayılırsa, parmak uçları dış bükey örtünün köşe noktalarında yer alacaktır. Kenar takibi yöntemi ile elin kenar görüntüsü çıkartılarak, kenar görüntüsünden dış bükey örtü çıkartılmış ve belirli koşulları sağlayan köşe noktaları parmak ucu olarak algılanmıştır. Parmak uçları ve bilek noktasından ise parmak iskeletleri oluşturulmuştur.
Açık parmakların tanınması için, parmak iskeletlerinin ayırt edici şekilsel özellikleri çıkartılmıştır. Başlangıç durumunda, tüm parmakların açık şekilde olduğu el görüntüsü alınarak, parmakların belirleyici şekilsel özellikleri sisteme tanıtılmaktadır. Açık parmakların tanınması işlemi, belirlenen parmağın şekilsel özellikleri sisteme tanıtılan tüm parmaklarınki ile karşılaştırılıp, kendine  en çok benzeyen parmağın belirlenmesi yöntemi ile yapılmaktadır.

Abstract:
Nowadays that computer have been an indispensable part of our lives, developing interfaces that enable body language as an input device as well as mouse and keyboard for human-computer interaction is essential for using the computers more efficiently. 
Finding the location and shape of the human hand has always been studied in the field of virtual reality, too. Glove based techniques had been widely studied in the early years of the field. Then, image processing techniques color segmentation and background substruction were used. Finally, in the last years of the field infrared camera is started to use. 
In this thesis study, an application that finds locations and shapes of the open fingers in the depth image taken from RGB-D camera which provides color and depth data was developed. Finding the locations and shapes of the fingers in the image makes fingers available for the design of interfaces that enables human computer interaction. 
First of all, in this study where Kinect used as RGB-D camera in binary hand image was segmented from the depth image after finding the location of hand that belongs to active user in front of the camera using skeleton data which is produced via processing the depth data of RGB-D camera.
For getting better results from binary hand image, binary image was preprocessed and gaps between the fingers were made clear with morphological opening operation.  
If it is considered that the hand is surrounded by a convex hull, finger tips will lie on the edges of convex hull. Contour tracing followed by convex hull extraction was performed and the edge points that provide some specific conditions of convex hull  were extracted as finger tips. Finger skeletones were produced with using the finger tips and wrist point.
To recognize the open fingers, characteristic attributes of finger skeletons were extracted. Initial hand image that all the fingers are open in is taken and the characteristic attributes of fingers are introduced to system at the beginning. Open fingers are recognized by comparing characteristic attributes of finger skeletons with the ones that are introduced to system and finding the most similar one.