İnsan uzuvlarındaki eklem momentlerinin derin öğrenme yöntemiyle video görüntüleri üzerinden tahmini
Estimation of joint moments in human limbs through video images with deep learning method
Yazar: SÜLEYMAN AKTÜRK
Danışman: DR. ÖĞR. ÜYESİ KASIM SERBEST
Sakarya Uygulamalı Bilimler Üniversitesi / Lisansüstü Eğitim Enstitüsü / Mekatronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Mekatronik Mühendisliği = Mechatronics Engineering
Dizin: Derin öğrenme = Deep learning ; Hareket analizi = Motion analysis ; Kinematik analiz = Kinematic analysis ; Makine öğrenmesi = Machine learning

Özet:
İnsan hareketinin analizi üzerine geçmişten günümüze kadar çeşitli çalışmalar yapılmıştır. Kinetik ve kinematik hareket analizi için birçok deney, yöntem ve araç geliştirilmiştir. İnsan hareketinin kinetik analizlerinden biri olan eklem momentlerinin tespiti çalışmaları ergonomi, rehabilitasyon, eğitim, protez ve ortez geliştirme vb. birçok alan için önemlidir. Eklem momentlerinin tespitinde elektromiyografi, hareket sensörleri, optik kameralar veya derinlikli kameralardan elde edilen verileri kullanan birçok sistem geliştirilmiştir. Elde edilen verilerden eklem momentlerinin tahmini için, matematiksel hesaplamalar, simülasyon yazılımları veya dinamik modeller kullanılmıştır. Eklem momentlerinin tespiti için veri toplama aşaması özel ekipman gerektirmekte ve çoğu zaman özel ortamlara ihtiyaç duymaktadır. Bazı durumlarda ise algılayıcılar deneğin hareketini kısıtlamaktadır. Yine eklem momentlerinin tespiti için kullanılan sistemler bazen zorlayıcı denklemler gerektirmekte bazen ise analiz için uzman kişilere veya ön düzenlemelere ihtiyaç duymaktadırlar. Gerçekleştirilen bu çalışma ile özel donanımlara, ücretli yazılımlara veya uzman bilgisine ihtiyaç duyulmadan yüksek doğrulukta ve yüksek hızda eklem momenti tahmininde bulunabilen bir sistem geliştirmek amaçlanmıştır. Derin öğrenme yöntemleri son dönemlerde bilgisayarlı görü alanında yüksek başarılar göstermektedir. Özellikle veri setlerindeki artış ve sürekli geliştirilen açık kaynak kütüphaneler sayesinde derin öğrenme uygulamaları hızla artmaktadır. MediaPipe gibi kütüphaneler, geliştiricilerin derin öğrenme problemleriyle uğraşmak yerine kendi alanlarıyla ilgili kısımlara odaklanmalarına olanak sağlamıştır.
Gerçekleştirdiğimiz çalışmada hareket tek video kamerayla sagital düzlemde gözlenmiştir. Gözlenen hareketlerdeki eklem noktaları hem Kinovea analiz yazılımı hem de geliştirilen uygulamayla tespit edilmiştir. Tespit edilen eklem noktalarına göre eklem açıları, açısal hız ve açısal ivme hesaplanmıştır. Her bir video karesi için hesaplanan değerler bir diziye yerleştirilmiştir. Deneklerin boy ve kilo bilgileri önceden kaydedilmiştir. Bu veriler antropometrik verilerle işlenerek uzuvların boy, kilo ve atalet momentleri hesaplanmıştır. Daha sonra eklem açıları, açısal hız ve atalet momentleri kullanılarak eklemlerde oluşan momentler hesaplanmıştır.  
Öncelikle geliştirilen uygulamanın tahmin hızı analiz edilmiştir. Tahmin hızı 720p çözünürlük için ortalama 15 fps olarak hesaplanmıştır.  Hesaplama sonucunda tahmin edilen moment değerleri Kinovea'dan elde edilen değerlerle kıyaslanmıştır. Kalça eklem momenti doğruluk korelasyonu R=0,94; diz eklem momenti doğruluk korelasyonu R=0,95 olarak gözlenmiştir. Ayak bileği eklem momenti doğruluk korelasyonu değeri ise R=0,11' de kalmıştır.

Abstract:
Various studies have been carried out on the analysis of human movement from past to present. Many experiments, methods and tools have been developed for kinetic and kinematic motion analysis. The detection of joint moments, which is one of the kinetic analyzes of human movement, is important for many areas such as ergonomics, rehabilitation, education, prosthesis and orthosis development, etc. Many systems have been developed that use data from electromyography, motion sensors, optical cameras or depth cameras to detect joint moments. For the estimation of joint moments from the obtained data, mathematical calculations, simulation software or dynamic models were used. The data collection phase for the detection of joint moments requires special equipment and often requires special environments. In some cases, sensors restrict the subject's movement. Again, the systems used for the detection of joint moments sometimes require challenging equations, and sometimes they require experts or preliminary arrangements for analysis. With this study, it is aimed to develop a system that can estimate joint moment with high accuracy and at high speed without the need for special hardware, paid software or expert knowledge.
Deep learning methods have recently shown high success in the field of computer vision. Deep learning applications are increasing rapidly, thanks to the increase in data sets and continuously developed open-source libraries. Libraries like MediaPipe have allowed developers to focus on parts of their field rather than dealing with deep learning problems.
In our study, motion was observed in the sagittal plane with a single video camera. The joint points in the observed movements were determined by both the Kinovea analysis software and the developed application. Joint angles, angular velocity and angular acceleration were calculated according to the determined joint points.  The calculated values for each video frame are placed in an array. The height and weight information of the subjects were recorded in advance. These data were processed with anthropometric data and the height, weight and moments of inertia of the limbs were calculated. Then, the moments formed in the joints were calculated by using joint angles, angular velocity and moments of inertia.
First, the estimation speed of the developed application was analyzed. The estimation speed is calculated as an average of 15 fps for 720p resolution. As a result of the calculation, the estimated moment values were compared with the values obtained from Kinovea. The hip joint moment accuracy correlation was observed as R=0.94 and the knee joint moment accuracy correlation as R=0.95. The ankle joint moment accuracy correlation value remained at R=0.11.