İşaret dili tanımada derin öğrenme ile istatistiksel yöntemlerin karşılaştırılması
Comparison of deep learning and statistical methods in sign language recognition
Yazar: CANER DOĞAN
Danışman: DOÇ. DR. LEVENT ÖZBEK
Ankara Üniversitesi / Fen Bilimleri Enstitüsü / İstatistik Ana Bilim Dalı / İstatistik Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; İletişim Bilimleri = Communication Sciences ; İstatistik = Statistics
Dizin: CNN = CNN ; Derin öğrenme = Deep learning ; Görüntü işleme = Image processing ; Makine öğrenmesi = Machine learning ; Türk İşaret Dili = Turkish Sign Language ; Uzun kısa süreli bellek = Long- short term memory ; Yapay zeka = Artificial intelligence ; İstatistiksel analiz = Statistical analysis ; İşaret dili = Sign language ; İşaret tespiti = Signal detection

Özet:
Bu çalışmada, Türk İşaret Dili tanıma alanında derin öğrenme yaklaşımlarının istatistiksel
analizi ve performans karşılaştırması gerçekleştirilmiştir. Derin öğrenme modellerinin
performans değerlendirmesi, hiperparametre optimizasyonu ve model seçimi
süreçlerinde istatistiksel analizler kritik bir rol oynamaktadır. Bu bağlamda, Evrişimsel
Sinir Ağları (CNN), Uzun Kısa Süreli Bellek (LSTM) ve CNN-LSTM hibrit modellerinin
işaret dili tanımadaki etkinliği istatistiksel metrikler kullanılarak karşılaştırılmıştır.
MediaPipe çerçevesi ile elde edilen el ve poz özellikleri üzerinden geliştirilen modeller,
Aile ve Sosyal Hizmetler Bakanlığı tarafından oluşturulan ASBTSL veri kümesinden
seçilen, en sık kullanılan 20 isim türü Türk İşaret Dili kategorisini içeren 9188 videodan
oluşan veri seti ile eğitilmiştir. Veri seti %70 eğitim, %15 doğrulama ve %15 test olarak
bölünmüştür. Modellerin performansı, olasılık teorisi ve istatistiksel çıkarım yöntemleri
ışığında doğruluk, kesinlik, duyarlılık ve F1 skoru gibi metriklerle değerlendirilmiştir.
CNN-LSTM hibrit modeli, %90,19 doğruluk oranıyla en yüksek performansı
göstermiştir. Bu araştırma, derin öğrenme süreçlerinde istatistiksel analizlerin önemini
vurgulamakta ve işaret dili tanıma alanındaki çalışmalara katkı sağlamaktadır. Bu alanda
geliştirilecek uygulamalar için sağlam bir temel sunmaktadır.

Abstract:
A statistical analysis and performance comparison of deep learning approaches in Turkish
Sign Language recognition has been conducted. Statistical analyses play a critical role in
the performance evaluation, hyperparameter optimization, and model selection processes
of deep learning models. In this context, the effectiveness of Convolutional Neural
Networks (CNN), Long Short-Term Memory (LSTM), and CNN-LSTM hybrid models
in sign language recognition has been compared using statistical metrics. The models,
developed using hand and pose features obtained through the MediaPipe framework, were
trained on a dataset consisting of 9188 videos containing the 20 most frequently used
noun-type Turkish Sign Language categories, selected from the ASBTSL dataset created
by the Ministry of Family and Social Services. The dataset was split into 70% training,
15% validation, and 15% testing subsets. The models' performance was evaluated using
metrics such as accuracy, precision, recall, and F1 score in the context of probability
theory and statistical inference methods. The CNN-LSTM hybrid model achieved the
highest performance with an accuracy rate of 90.19%. This research emphasizes the
importance of statistical analyses in deep learning processes and contributes to studies in
the field of sign language recognition. It provides a solid foundation for future
applications to be developed in this area.