Derin öğrenme kullanılarak geleneksel Türk halk dansları figür tespiti: Harmandalı örneği
Traditional turkish folk dance figure detection using deep learning: The case of Harmandalı
Yazar: ERDEM BÜYÜKGÖKOĞLAN
Danışman: DOÇ. DR. SİNAN UĞUZ
Isparta Uygulamalı Bilimler Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Görüntü işleme-bilgisayarlı = Image processing-computer assisted ; Türk halk oyunları = Turkish folk dances ; İnsan-bilgisayar etkileşimi = Human-computer interaction

Özet:
Halk dansları, bir kültürün ruhunu ve kimliğini yansıtan önemli bir unsurdur. Kökleri derin tarihsel ve kültürel bağlara dayanan halk dansları, bir toplumun birlik ve dayanışma duygularını, geçmişten günümüze taşıdığı gelenekleri ve değerleri ifade eder. Bu tez çalışmasında, Türk Halk Dansı Harmandalının öğretilmesi ve performansının değerlendirilmesi, bu zengin kültürel mirası koruma ve gelecek nesillere aktarma amacıyla bilgisayarlı görü ve derin öğrenme teknikleri kullanarak geliştirilen sistem, dans eğitiminde teknolojinin gücünü kullanarak bu geleneksel sanat formunu modern yöntemlerle güçlendirmeyi hedefler.
Geliştirilen sistem Mediapipe ve YOLO insan poz tahmin algoritmaları ile elde edilen iskelet verilerini Affine dönüşümü gibi çeşitli adımlardan geçirerek öğrenci ve öğretmen dans videolarını analiz eder. Bu veriler, zaman gecikmeli çapraz korelasyon, uzun kısa süreli bellek ağları, öklid mesafesi, kosinüs benzerliği ve dinamik zaman bükülmesi gibi farklı yöntemlerle karşılaştırılarak öğrenci performansının objektif bir şekilde değerlendirilmesini sağlar. Geliştirilen kullanıcı dostu arayüz, öğrencilere görsel geri bildirim ve kişiselleştirilmiş öğrenme deneyimi sunarken, öğretmenlere de detaylı performans analizi imkanı verir.
Yapılan çalışmalar, LSTM yönteminin 68.43 puan ortalaması ve 56.11 MSE değeri ile diğer yöntemlere göre uzman puanı ortalamasına (66.67) daha yakın sonuçlar verdiğini göstermiştir. DTW ise 60.64 puan ortalaması ve 139.32 MSE değeri ile ikinci en başarılı model olmuştur. Tüm puanların ortalaması ise 72.14'tür ve MSE değeri 92.55'tir.
Bu tezde, geleneksel dans eğitimine teknoloji entegrasyonunun önemi vurgularken, aynı zamanda Türk Halk Danslarının analizi ve değerlendirme alanına yeni bir bakış açısı getirmektedir ve kültürel mirasın yaşatılmasına da katkıda bulunmayı amaçlamaktadır.

Abstract:
Folk dances are a vibrant expression of a culture's spirit and identity, carrying the weight of history, traditions, and values. This thesis explores the use of computer vision and deep learning to enhance the teaching and evaluation of the Turkish Folk Dance Harmandalı, bridging tradition with modern technology to preserve this rich cultural heritage.
A sophisticated system was developed to analyze dance videos of both students and teachers. Utilizing Mediapipe and YOLO human pose estimation algorithms, skeletal data is extracted and processed through Affine transformation.  This data is then rigorously compared using a variety of methods including time-lagged cross-correlation, long short-term memory networks (LSTM), Euclidean distance, cosine similarity, and dynamic time warping (DTW). The result is an objective assessment of student performance, offering valuable insights into areas for improvement.
The system's user-friendly interface provides students with visual feedback and a tailored learning experience. Teachers benefit from detailed performance analysis, aiding in personalized instruction.
Research findings demonstrate the superiority of the LSTM method in aligning with expert evaluations, achieving an average score of 68.43 and an MSE of 56.11, closest to the expert average of 66.67. DTW followed as the second most successful model.
This thesis underscores the importance of technology integration in traditional dance education, while also offering a new perspective on the analysis and evaluation of Turkish Folk Dances, with the aim of contributing to the preservation of cultural heritage.