Diz ortezi giymiş insan kas iskelet örneği üzerinde derin pekiştirmeli öğrenmeyle yürüme öğrenmesi
Learning to walk on a human musculoskeletal model wearing a knee orthosis via deep reinforcement learning
Yazar: ÖMER KAYAN
Danışman: DR. ÖĞR. ÜYESİ HÜLYA YALÇIN
İstanbul Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Mekatronik Mühendisliği Ana Bilim Dalı / Mekatronik Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Mekatronik Mühendisliği = Mechatronics Engineering

Özet:
Günün olağan akışındaki işler, spor sırasındaki ani hareketler, kireçlenme veya yaşlanma nedeniyle insanlarda çeşitli sakatlanmalar meydana gelmektedir. Sakatlanmaların sınıflandırılması sonucunda diz, yaralanma sayısının en fazla olduğu ve iyileştirme giderlerinin en pahalı olduğu bölge olarak karşımıza çıkmaktadır. İnsan yapısının en büyük ve en karmaşık eklemi olan diz eklemi, üç önemli kemik (femur, tibia ve patella), dört çapraz bağ (iç, dış, ön çapraz ve arka çapraz), çok sayıda kas (kuadriseps, hamstringler, baldır kasları, gluteal kaslar ve popliteus), menisküsler (iç ve dış) ve kirişler (tendonlar) tarafından oluşturulmaktadır. Zaten karmaşık bir yapıya sahip olan diz eklemi bölgesi, sakatlanmalar sonrasında daha da karmaşık bir durum alabilmektedir. Yürüme sırasında kalçadaki kaslardan sonra en fazla erkeyi (enerji) dizdeki kasların tükettiği belirtilmektedir. Ayrıca diz eklemine vücut ağırlığının üç katına kadar yük bindiği belirtilmektedir. 
Diz ortezleri, eklemi dışarıdan desteklemek, eklemi korumak, biyomekanik dengeyi sağlamak, işlev bozukluklarını gidermek, ağrıyı azaltmak, zayıflamış kasları güçlendirmek amacıyla dizlerdeki sorunları iyileştirmeyi amaçlar. Ortezler genel olarak pasif ve aktif ortezler olarak iki sınıfa ayrılır. Pasif ortezlerde, hareketlilik ya önceden belirlenmiş aralıkların dışına çıkmaz ya da hiç hareket olmaz. Aktif ortezler ise üzerinde bulunan algılayıcılar ve eyleyiciler aracılığıyla hareket aralığını sürekli güncelleyerek insan bedenini daha verimli bir şekilde desteklemektedir.
Her hasta öyküsü birbirinden farklı olduğu için bireysel iyileştirme yöntemi gerekir. Ortezler, her hastaya farklı şekilde takılarak ve ayarlanarak iyileştirme sürecine destek olur. Bu nedenle hastaya uygulanmadan önce, ortezlerin başarımlarının benzetim ortamlarında ölçülmesi, iyileştirme süreci boyunca verimliliği artırmaktadır. İnsan kas iskelet örneği benzetimleri, ortezin hastanın hareketlerini nasıl etkileyeceğinin önceden kestirilmesine olanak tanır. Bu çalışmada, insan kas iskelet örneğinin yürümeyi öğrenmesi için çalıştırılan benzetimlerde, kaynak yürüme hareketine öykünen derin pekiştirmeli öğrenme (DPÖ) yöntemleri kullanılmıştır. Benzetim ortamı Lee ve arkadaşlarının oluşturduğu temel üzerinde kurulmuştur. Son yıllardaki teknolojik gelişmelere bağlı olarak ortez ve protez gibi yardımcı cihazların insanlar üzerindeki etkilerini kestirmek için kas iskelet dizgesi benzetimleri yeğlenmektedir. Benzetim ortamlarının önemli yararı, gerçek hayatta çekinceli olan uygulamaların sanal ortamda kolaylıkla yapılabilmesidir. Ayrıca eklemlerdeki kas kuvveti ve tork değerleri gibi önemli göstergelerin daha kolay ölçülmesini sağlayarak olası durumlara karşı kestirimde bulunmayı sağlar.
Bu çalışmada sağlıklı (Mh), dizinden sakatlanmış ancak ortez giymeyen (Mi), dizinden sakatlanıp pasif ortez giyen (Mp) ve dizinden sakatlanıp aktif ortez giyen (Ma) olmak üzere dört farklı insan kas iskelet örneğinin yürüme başarımları, diz bölgesindeki önemli kasların aktivasyonu ve yürümenin metabolik maliyetleri karşılaştırılmıştır. Pasif ortez, dizin belirli bölgelerine önceden ayarlanmış sabit bir kuvvet uygulamaktadır. Aktif ortez, belirli bölgelerden algılanan değerleri denetleyicide işleyerek, dizin belirli bölgesine sürekli değişen farklı büyüklüklerde tork uygulamaktadır. Tasarlanan denetleyici ilk olarak, dört farklı bölgeden açısal konum ve hız değerlerini yapay sinir ağının girişlerine beslemektedir. Yapay sinir ağı, bu değerleri işleyerek, diz ekleminin açısal konumunu kestirmektedir. Kestirimden sonra sonra oluşabilecek uç değerlerin hareketin düzgünlüğünü etkilememesi alçak geçiren süzgeç bulunmaktadır. Son olarak, amaçlanan diz eklemi açısına ulaşılması için gereken tork değeri, kararlı PD denetleyici ile hesaplanır. Kararlı PD denetleyicisi, benzetim ortamlarında bir sonraki adımı hesaplayarak denetleyicilerin kararlılığını artıran bir yöntemdir.
İlk karşılaştırma yürüme başarımları üzerinden yapılmıştır. Yürüme başarımı, toplanan ödül tutarına göre belirlenir. Ödül tutarı, insan kas iskelet örneğine kaynak olarak verilen yürüme hareketi ile eğitim ve benzetim ortamındaki anlık çıktı arasındaki fark hesaplanarak belirlenir. Fark ve ödül ters orantılıdır, yani fark azaldıkça ödül tutarı artar. Ödül tutarı ne kadar yüksekse, yürüme o kadar başarılı sayılmaktadır. Yürüme başarımları eğitim ve benzetim ortamı olmak üzere iki farklı şekilde değerlendirilmiştir. Eğitim ortamında, ulaşılan en yüksek ödül tutarlarına göre başarı oranı, sağlıklı örnek Mh, aktif ortez giyen örnek Ma, pasif ortez giyen Mp ve sakatlanmış ancak ortez takmayan örnek Mi olmak üzere sıralanmıştır. Benzetim ortamında ise, ulaşılan en yüksek ortalama ödül tutarlarına göre başarı oranı, sağlıklı örnek Mh, aktif ortez giyen örnek Ma, pasif ortez giyen Mp ve sakatlanmış ancak ortez takmayan örnek Mi olmak üzere sıralanmıştır.
İkincil karşılaştırma ise kas aktivasyonları üzerinden yapılmıştır. Yürümenin amacı, insan yapısını farklı yönlerde, istenilen hız ve yönde hareket ettirmektir. Bu işlem sırasında insan, ilgili uzuvlardaki eklemleri, kasları, kirişleri (tendon) ve bağları önemli ölçüde aktive etmektedir. Yürüme döngüsü basma evresi ve salınım evresi olmak üzere iki ana aşamadan oluşur. Basma evresi, ilk temas, yüklenme, basma ortası, basma sonu ve salınım öncesinden oluşmaktadır. Salınım evresi ise, erken salınım, salınım ortası ve salınım sonundan oluşmaktadır. Diz bölgesinde beş ana kas grubu vardır. Bunlar kuadrisepler (rectus femoris, vastus intermedius, vastus lateralis ve vastus medialis), hamstringler (bicep femoris longus, bicep femoris short, semimembranosus ve semitendinosus), baldır kasları (gastrocnemius lateral head, gastrocnemius medial head, soleus, tibialis anterior, tibialis posterior, plantaris ve peroneus longus), kalça kasları (gluteus maximus, gluteus medius, gluteus minimus ve piriformis) ve popliteus kaslarıdır. Mh'nin kas aktivasyonları, sağlıklı bir insanın kas aktivasyonları ile uyuşmaktadır. Mi ve Mp örneklerinin kuadriseps kasları, basma ortası evresinde aşırı şekilde zorlanmıştır. Mi, Mp ve Ma örneklerinin hamstring ve baldır kasları, basma ortası ve salınım sonu evrelerinde aşırı şekilde zorlanmıştır. Ma örneği, Mh örneğine göre, birçok kas bölümüde, en yakın kas aktivasyon değerlerini üretmiştir. Bunu sırasıyla Mp ve Mi örnekleri izlemektedir.
Üçüncül karşılaştırma ise yürümenin metabolik maliıyetleri üzerinden yapılmıştır. Yürümenin metabolik maliyeti, bireyin belirli bir uzaklığa, belirli bir hızda yürümesi için harcanması gereken enerjinin toplamıdır. Temel olarak vücudun yürüme için gerekli mekanik işi gerçekleştirmek için ne kadar enerji tükettiğini ölçer. Tüm kas iskelet örnekleri için yürümenin metabolik maliyeti, farklı etkenler (yer tepki kuvveti, kas aktivasyon düzeyleri, eklem açıları, eklem momentleri, potansiyel ve kinetik enerji) üzerinden yorumlanmıştır. Bu yorumlar sonucunda, tüm etkenler için, en uygun metabolik maliyet sıralaması, sağlıklı örnek Mh, aktif ortez giyen örnek Ma, pasif ortez giyen Mp ve sakatlanmış ancak ortez takmayan örnek Mi şeklinde oluşmuştur.   
Bu çalışmada benzetim ortamında pasif ve aktif ortez tasarımları dört farklı örnek üzerinde sınanmış ve kas iskelet örneklerinin yürüme başarımları, kas aktivasyon düzeyleri ve yürümenin metabolik maliyetleri karşılaştırılmıştır. Tasarım amacı olarak aktif ortezli örneğin pasif ortezli örnekten, pasif ortezli örneğin ortez giymeyen sakatlanmış örnekten ve sağlıklı örneğin hepsinden daha iyi başarım göstermesi beklenmektedir. Başarım sonuçları karşılaştırıldığında tüm amaçlara ulaşıldığı görülmektedir. Yürüme dışında koşma, alıştırma hareketleri, dans gibi farklı hareket kaynakları ile deneysel çalışmamıza devam etmek ve farklı denetleyici yapılarını sınamak, ileride yapılması düşünülen araştırmalardan bazılarıdır.

Abstract:
Various injuries occur in people due to work in the routines of the day, impulse during sports, arthritis or aging. As a result of the classification of injuries, the knee emerges as the region with the highest number of injuries and the most expensive treatment costs. The knee joint, the largest and most complex joint of human body, consists of three important bones (femur, tibia and patella), four cruciate ligaments (internal, external, anterior cruciate and posterior cruciate), numerous muscles (quadriceps, hamstrings, calf muscles, gluteal muscles, and popliteus), menisci (internal and external) and tendons. The knee joint region, which already has a complex structure, can become even more complicated after injuries. It is stated that the muscles in the knee consume the most energy after the muscles in the hips during walking. In addition, it is stated that the knee joint is loaded up to three times the body weight.
Knee orthoses aim to treat the problems in the knees in order to support the joint externally, protect the joint, provide biomechanical balance, eliminate dysfunctions, reduce pain, strengthen weakened muscles. Orthoses are generally divided into two classes as passive and active orthoses. In passive orthoses, the mobility either does not go beyond predetermined ranges or there is no movement at all. Active orthoses, on the other hand, support the human body more efficiently by constantly updating the range of motion through the sensors and actuators on it.
Since each patient's history (It is the history of the patient obtained as a result of the questions the doctor asks the patient for diagnostic purposes.) is different from each other, an individual treatment method is required. Orthoses support the treatment process by being fitted and adjusted differently for each patient. Therefore, measuring the performance of orthoses in simulation environments before they are applied to the patient increases efficiency throughout the treatment process. Human musculoskeletal model simulations allow prediction of how the orthosis will affect the patient's movements. In this study, deep reinforcement learning (DRL) methods, which imitate the reference walking movement, were used in the simulations of the human musculoskeletal model to learn to walk. The simulation environment is built on the basis of Lee et al. Depending on the technological developments in recent years, musculoskeletal system simulations are preferred to predict the effects of assistive devices such as orthoses and prostheses on humans. The important benefit of simulation environments is that applications that are prejudicial in real life can be easily done in the virtual environment. In addition, it provides easier measurement of important indicators such as muscle strength and torque values in the joints, and provides predictions against possible situations.
In this study, the walking performance, activation of important muscles in the knee region, and metabolic costs of walking were compared in four different human musculoskeletal models: healthy (Mh), injured in the knee but not wearing orthosis (Mi), injured in the knee wearing passive orthosis (Mp), and injured in the knee wearing active orthosis (Ma). The passive orthosis applies a preset constant force to certain areas of the knee. The active orthosis processes the values sensed from certain regions in the controller and applies a torque of varying magnitudes to certain region of the knee. The designed controller first feeds the angular position and velocity values from four different regions to the inputs of the artificial neural network. By processing these values, the artificial neural network estimates the angular position of the knee joint. There is a low-pass filter so that the extreme values that may occur after the estimation do not affect the smoothness of the movement. Finally, the torque value required to reach the target knee joint angle is calculated with the stable PD controller. Stable PD controller is a method that increases the stability of controllers by calculating the next step in simulation environments.
The first comparison was made over walking performances. Walking achievement is determined by the amount of reward collected. The reward amount is determined by calculating the difference between the reference walking motion to the human musculoskeletal model and the instantaneous output in the training and simulation environment. The difference and the reward are inversely proportional, i.e. the smaller the difference, the greater the reward amount. The higher the reward amount, the more successful the walk is considered. Walking performances were evaluated in two different ways as training and simulation environment. In the training, the success rate according to the highest reward amounts reached was ranked as Mh as a healthy model, Ma wearing an active orthosis, Mp wearing a passive orthosis, and Mi injured but not wearing an orthosis. In the simulation environment, the success rate according to the highest average reward amounts reached was ranked as Mh as the healthy model, Ma wearing the active orthosis, Mp wearing the passive orthosis, and Mi injured but not wearing an orthosis.
Secondary comparison was made over muscle activations. The purpose of walking is to move the human body in different directions, at the desired speed and direction. During this process, the person significantly activates the joints, muscles, tendons and ligaments in the involved limbs. The gait cycle consists of two main phases, the stance phase and the swing phase. The stance phase consists of initial contact, loading response, mid stance, terminal stance, and pre-swing. The swing phase consists of initial swing, mid swing, and terminal swing. There are five main muscle groups in the knee region. These are the quadriceps (rectus femoris, vastus intermedius, vastus lateralis and vastus medialis), hamstrings (bicep femoris long, bicep femoris short, semimembranosus and semitendinosus), calf muscles (gastrocnemius lateral head, gastrocnemius medial head, soleus, tibialis anterior, tibialis posterior, plantaris and peroneus longus), gluteal muscles (gluteus maximus, gluteus medius, gluteus minimus and piriformis) and popliteus muscles. The muscle activations of Mh match the muscle activations of a healthy person. The quadriceps muscles of the Mi and Mp models were extremely forced during the mid stance phase. The hamstring and calf muscles of Mi, Mp, and Ma models were extremely forced during the mid stance and terminal swing. The Ma model produces the closest muscle activation values to the Mh model in almost all muscle groups. This is followed by Mp and Mi models, respectively.
The tertiary comparison was made based on the metabolic costs of walking. The metabolic cost of walking is the sum of the energy that must be expended by an individual to walk a certain distance at a certain speed. It basically measures how much energy the body uses to perform the mechanical work required for walking. The metabolic cost of walking for all musculoskeletal samples was interpreted through different factors (ground reaction force, muscle activation levels, joint angles, joint moments, potential and kinetic energy). As a result of these comments, the most optimum metabolic cost ranking for all factors was formed as Mh for the healthy model, Ma for the active orthosis-wearing model, Mp for the passive orthosis-wearing model and Mi for the injured but not wearing orthosis model.
In this study, passive and active orthosis designs were tested on four different human musculoskeletal models. Walking performances, muscle activations, and metabolic cost of walking of the models were compared. As a design goal, it is expected that the active orthosis model will outperform the passive orthosis model, the passive orthosis model will outperform the non-orthosis injured model, and the healthy model will outperform all of them. It is seen that all targets have been achieved. Continuing experimental study with different animation references such as running, exercise, and dance other than walking and testing different controller structures are some of the research that is planned to do in the future.