Evrişimsel sinir ağlarını kullanarak işaret dili görüntülerinin sınıflandırılması
Image classification for sign language usingconvolutional neural network
Yazar: KHALED MOHAMED ABUBAKER ELBAYOUDI
Danışman: DR. ÖĞR. ÜYESİ ÜMİT TOKEŞER
Kastamonu Üniversitesi / Fen Bilimleri Enstitüsü / Malzeme Bilimi ve Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2020
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Yapay zeka = Artificial intelligence

Özet:
ÖZET
YÜKSEK LİSANS TEZİ
EVRİŞİMSEL SİNİR AĞLARINI KULLANARAK İŞARET DİLİ GÖRÜNTÜLERİNİN SINIFLANDIRILMASI
KHALED MOHAMED ABUBAKER ELBAYOUDI
KASTAMONU ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ
MALZEME BİLİMİ VE MÜHENDİSLİĞİ ANA BİLİM DALI
DANIŞMAN: DR. ÖĞR. ÜYESİ ÜMİT TOKEŞER
Bu tezde, Türk İşaret Dili üzerine bir derin öğrenme (deep learning) uygulaması yapılmaktadır. Dünya genelinde işaret dili tanıma üzerine yapılmış ve halen de devam etmekte olan pek çok çalışma bulunmaktadır. İşaret dili tanıma üzerine yapılan çalışmalar değerlendirildiğinde pek çok problemle karşılaşıldığı görülmüştür. Görüntü işleme açısından değerlendirildiğinde söz konusu problemlerin başlıcaları ortamın aydınlığı ve ışık, arkaplanın karmaşıklığı, kameranın bulunduğu konum ve pozisyonu, oldukça zor olan ve pek çok soruna yol açan uygun alanın çıkarılması işlemi, segmentasyon uygulamalarının sonucu bazı hareketlerin kaybı ve alfabeyi temsil eden bazı parmak hareketlerinin birbirine çok benzemesidir. İşaretlerin kurallara uygun şekilde ifade edilmemesi, peşpeşe gelen işaretler için doğru görüntülerin/karelerin seçilmemesi ve öznitelik çıkarımında doğru yöntemi seçme yeteneğinin eksikliği gibi sebeplerden kaynaklanan yanlış çıkarımlarda bulunulması türünden problemler de mevcuttur. Son zamanlarda yapılan çalışmalara bakıldığında, görüntü işlemeden kaynaklanan problemlerin çözülmesinde Kinect teknolojisinin kullanıldığı görülmektedir. Bu sistemler fazladan donanım gerektirdiği için çok maliyetli olabilmekte ve bu yüzden fazla tercih edilmemektedir. Bu nedenle daha az hatayı netice veren işaret dili tanıma sistemleri geliştirmek için çalışmalar devam etmektedir.
ANAHTAR KELİMELER: Türk işaret dili, yapay sinir ağları, derin öğrenme.
2020, 69 Sayfa
Bilim Kodu:91

Abstract:
ABSTRACT
MSC THESIS
IMAGE CLASSİFİCATİON FOR SİGN LANGUAGE USİNG CONVOLUTİONAL NEURAL NETWORK
KHALED MOHAMED ABUBAKER ELBAYOUDI
KASTAMONU UNIVERSITY INSTITUTE OF SCIENCE
DEPAERTMENT OF MATERİAL SCİENCE AND ENGİNEERİNG
SUPERVISOR: ASSİST. PROF. ÜMİT TOKEŞER
In this thesis, the deep learning method is used to Turkish Sign Languages. Many studies on sign language recognition have been and are still being conducted around the world. When the studies on sign language recognition were evaluated, it was seen that many problems were encountered. From the perspective of image processing, the main problems are the light in the environment, the complexity of the background, the position of the camera, the difficult and troublesome removal of the relevant region, the loss of some signs as a result of segmentation applications and the movements of the finger alphabet are very similar. There are also problems such as incorrect results when the signs are not made in accordance with the rule, difficulty in selecting the right frames for the recognition of successive signs, and inability to choose the correct property extraction method. When we look at the latest studies, it is seen that Kinect technology is used to solve the problems caused by image processing. Such systems are very costly as they require additional equipment and are therefore not preferred much. Therefore, studies are still going on to develop sign language recognition systems with the least error rate.
KEYWORDS: Turkish sign languages, artificial neural network, deep learning.
2020, 69 Pages
Science Code:91