Bebeklerin beden dilini poz tabanlı gerçek zamanlı çözme
Pose-based real-time decoding of babies' body language
Yazar: MUHAMMET MÜCAHİT ENES YURTSEVER
Danışman: DOÇ. DR. SÜLEYMAN EKEN
Kocaeli Üniversitesi / Fen Bilimleri Enstitüsü / Bilişim Sistemleri Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Aktivite analizi = Activity analysis ; İnsan-bilgisayar etkileşimi = Human-computer interaction ; İskelet = Skeleton

Özet:
İnsan poz tahmini; insan-bilgisayar etkileşimleri, oyun, sanal gerçeklik, video gözetimi, spor analizi, tıbbi destek ve yardımda yaygın olarak kullanılmaktadır. Bu çalışmada uzmanlar tarafından ortaya konulan bebeklerin belli başlı beden hareketlerinin poz tabanlı gerçek zamanlı çözülerek ilgili eylemlerin tespit edilmesi ve anlamlandırılması amaçlanmıştır. Bununla birlikte bebeğin güvenliğinin sağlanması hedeflenmiştir. Bu amaçla video paylaşım platformlarından 6 adet bebek aktivitesi, ilgili anahtar kelimeler kullanılarak toplanmıştır. Bu videolardan aktiviteyi içeren 4 ile 10 saniye uzunluğunda alt klipler oluşturulmuştur. Bu kliplere ait video çerçeveleri kullanılarak gerçek zamanlı iskelet tespit sistemleri olan OpenPose, AlphaPose ve KAPAO ile görsel üzerindeki iskelete ait koordinat bilgileri üretilmiştir. Bu iskelet koordinat bilgileri kullanılarak hafıza tabanlı bir derin öğrenme modeli oluşturulmuş ve bu derin öğrenme yöntemi ile bebek aktiviteleri sınıflandırılmıştır. Bununla birlikte Deep SORT algoritmasıyla bebeğin gerçek zamanlı takibi gerçekleştirilmiştir. Oluşturulan derin öğrenme modeli ile birlikte bebeğin olası şikayetinin habercisi olan hareketler başarıyla tespit edilmiştir. Bununla birlikte kamera açısında yer alan bebeğin takibi Deep SORT algoritması ile yapılmıştır. Bu çalışma ile hafıza tabanlı derin öğrenme modeli geliştirilerek bebekler üzerinde poz tabanlı gerçek zamanlı aktivite tanıyan sistem literatüre kazandırılmıştır.

Abstract:
Human pose estimation is widely used in human-computer interactions, gaming, virtual reality, video surveillance, sports analysis, medical support and assistance. In this study, it is aimed to determine and make sense of certain activities of babies, which were revealed by experts, by solving poses in real-time. In addition to that, it is aimed to ensure the safety of the baby. For this purpose, 6 baby activities from video-sharing platforms were collected using relevant keywords. Sub-clips of 4-10 seconds long containing the activity were created from these videos. By using the video frames of these clips, the coordinate information of the skeleton on the image was produced with the real-time HPE systems such as OpenPose, AlphaPose and KAPAO. Using this skeleton coordinate information, a memory-based deep learning model was created and baby activities were classified with this deep learning method. Moreover, real-time tracking of the baby was made with the Deep SORT algorithm. With the deep learning model created, the movements that are the harbinger of the baby's possible complaint have been successfully detected. The baby in the camera angle was also followed up using Deep SORT algorithm. With this study, a memory-based deep learning model has been developed and a pose-based real-time activity recognition system on babies has been brought to the literature.