El hareketlerinin elektromyogram sinyalleri ve yardımcı sensör verileri ile sınıflandırılması
Classification of hand movements via electromyogram and auxiliary sensor data
Yazar: SİNAN YAĞCIOĞLU
Danışman: DOÇ. İLKER BAYRAM
İstanbul Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı / Biyomedikal Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2016
Konu: Biyomühendislik = Bioengineering ; Biyoteknoloji = Biotechnology ; Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
EL HAREKETLERİNİN ELEKTROMYOGRAM SİNYALLERİ VE YARDIMCI SENSÖR VERİLERİ İLE SINIFLANDIRILMASI
ÖZET
İnsan eli, günlük hayatta uyguladığımız geniş çeşitlilikteki fonksiyonel hareketleri sahip olduğu karmaşık hiyerarşik kontrol ve sensör yapısıyla gerçekleştirmektedir. Doğal elin kaybedilmesi, kas-sinir rahatsızlıklarına bağlı olarak fonksiyonunun kısmen ya da tamamen yitirilmesi, insan hayat kalitesinde yadsınamaz  bir kayıp meydana getirmektedir. Uzun yıllardır bu olumsuz durumu yaşayan kişilerin doğal el fonksiyonlarını iyileştirme veya yeniden kazandırma amacıyla kontrol mühendisliği, biyomedikal mühendisliği, tıp bilimleri vb. gibi farklı disiplinlerden elde edilen bilgilerin ışığında çalışmalar yürütülmektedir. Bu çalışmalar, el fonksiyonunu kısmen kaybeden kişiler için harekete yardımcı dış iskelet destek sistemleri ve uzvunu kaybeden kişiler için hareket komutunu mevcut sağlıklı uzuvdan ya da mevcut sinirlerden sağlayarak hareketi gerçekleştiren protezler üzerine yoğunlaşmıştır.  Doğal elin fonksiyonelliğine ulaşmayı amaçlayan bu sistemler genel olarak Myoelektrik Kontrol Sistemleri (MKS) olarak adlandırılmaktadır. Bu sistemler, insan vücudu üzerinden algıladığı sinyalleri hareket niyetinin tanınmasında kullanmakta ve tanımlanan bu hareketleri kontrol komutuna dönüştürerek hareketin gerçekleştirilmesini amaçlamaktadır. MKS; kontrol girişi olarak kas aktivitesi sırasındaki sinir iletimi sonucu meydana gelen Aksiyon Potansiyelleri gerilimlerinin deri üzerinden, deri altından ya da kas dokusu içerisinden algılanmasıyla elde edilen Elektromyogram (EMG) sinyallerini kullanmaktadır. Farklı el hareketleri uygulanırken meydana gelen kas aktivitesi sırasında alınan EMG sinyalleri, hareket tipinin tanımlanmasında en yüksek belirleyiciliğe sahip biyoelektrik sinyaldir.  
EMG temelli MKS çalışmaları 1940'lı yıllarda başlamıştır ve günümüzde halen devam etmektedir. Kaydedilen önemli gelişmelere rağmen; klinik çalışmalarla üretilen sistemlerin insan doğal elinde bulunan yüksek hareket serbestlik noktası sayısını yakalayamaması, kullanıcıya etkileşime girdiği nesne ile ilgili geri besleme sensör sinyalini sağlayamaması ve bu yönüyle 'doğal' el hissinden uzak kalması, günlük hayatta uygulanan geniş aralıktaki fonksiyonel el hareketlerini gerçekleştirememesi bu sistemlerin kullanıcılar tarafından benimsenmesini oldukça güçleştirmekte ve ticari üretiminin önündeki en büyük engelleri teşkil etmektedir. Günümüz mekatronik ve sensör sistemleri teknolojilerinin entegre edilmesi ile bahsedilen problemlerin önemli bir kısmının giderilebileceği öngörülmektedir. Hareket niyetinin vücuttan alınan doğal sinyaller yardımıyla doğru bir şekilde tanınması ise problem olarak kalmaya devam etmektedir. 
Danışmanlı öğrenme teknikleri hareket niyetinin tanınmasında sıklıkla başvurulan yöntemlerdir.  Bu yöntemler esas alınarak oluşturulan kontrol şemasında; hareket sırasında aktif olan kas grupları üzerinden alınan EMG sinyalleri kullanılarak hareketi tanımlayıcı özellikler çıkarılmakta ve bu özellikler karakterize ettiği hareket sınıfı ile birlikte özellik vektörünü oluşturmaktadır. EMG sinyalleri üzerinden çıkarılan özellikler; zaman sahası (TD) özellikleri, frekans sahası (FD) özellikleri ve zaman-frekans sahası (TFD) özellikleri olmak üzere 3 kısımda ele alınmaktadır. TD özellikleri; işlemsel karmaşıklık içermeyen,  uzun hesaplama süresi ve dönüşüm gerektirmeyen, EMG'nin genlik değerleri ile elde edilen özelliklerdir. FD özellikleri; sinyalin spektral güç yoğunluğu kestirimi üzerinden elde edilen özellikleri içermektedir . TFD özellikleri; sinyali sabit pencere uzunluğu ya da frekans içeriğine göre değişken pencere uzunluklarıyla ele alarak fiziksel oluşum hakkında daha kapsamlı bilgi sağlayan ve bu yönüyle rasgele davranışa sahip biyoelektrik sinyallerin doğasına daha uygun özellikleri sağlayan zaman-frekans dönüşümleriyle elde edilmektedir. Hareketi temsil eden doğru özelliklerin seçimi sınıflandırma başarısı üzerindeki en belirleyici aşamadır. Her bir gözleme ait özellikleri ve karakterize ettikleri hareket sınıflarını içeren özellik vektörleri birleştirilerek özellik matrisi oluşturulmaktadır. Özellik matrisi ile farklı öğrenici algoritmaları eğitilmekte ve sınıflandırıcı modelleri üretilmektedir. Hareket sınıfları belirtilmeden sınıflandırıcıya sunulan test verisi üzerinden elde edilen sınıflandırma doğruluğu oranı ile sınıflandırma modellerinin başarısı ölçülmektedir. 
Sınıflandırma doğruluğunun artırılması amacıyla farklı sınıflandırma algoritmalarının geliştirilmesi ve çoklu sınıflandırıcı sistemlerinin kullanılması, hareketleri temsil eden yeni özelliklerin tanımlanması ve uygun özellik alt setlerinin oluşturulması, işlemsel zamanı ve karmaşıklığı azaltmak amacıyla sinyalin bilgi içeriğini büyük oranda koruyarak boyutunu azaltan algoritmaların üretilmesi ya da mevcut algoritmalardan amaca uygun seçimlerin yapılması, hareket sırasında alınmış yardımcı sensör verilerinden elde edilen özelliklerin kullanılması önerilmektedir. 
Bu tez çalışmasında; günlük hayatta sıklıkla kullanılan fonksiyonel 50 hareket uygulaması sırasında ampute ve sağlıklı bireyler üzerinden eşzamanlı olarak elde edilen EMG, ivme ölçer, eğim ölçer ve gerinim ölçer sinyallerini bulunduran NinaPro veri tabanı kullanılmaktadır. Literatürde kabul edilebilir sınıflandırma başarısı ile en fazla hareketin sınıflandırıldığı çalışmalar referans olarak kabul edilerek; veri tabanında bulunan yardımcı sensör verilerinin, özellikleri sınıflandırma başarısına yaptıkları katkıya göre ağırlıklandıran Relieff algoritmasının, mevcut çalışmalardan farklı özellik kombinasyonlarını içeren özellik alt setlerinin sınıflandırma doğruluğuna etkileri incelenmektedir. 
Çalışma sonucunda ReliefF algoritması kullanılarak, sınıflandırmaya yaptığı katkı önceden belirlenen eşik değerin altında kalan özelliklerin özellik matrisinden çıkarılması ile elde edilen yeni özellik matrisinin sınıflandırma doğruluğunda dikkate değer artış sağladığı gözlemlenmiştir. Bununla birlikte; fiziksel oluşumu daha kapsamlı şekilde temsil eden zaman-frekans özelliklerinin sadece zaman ya da sadece frekans sahası temelli özelliklere göre daha yüksek sınıflandırma başarısı sağladığı ifade edilmiştir. Çalışmanın en önemli çıktısı olarak; kademeli olarak eklenen yeni yardımcı sensör verilerinin doğru özellik seçimleriyle sınıflandırma doğruluğunu artırdığı (4 sensör verisi ve QSVM sınıflandırıcı ile 25 hareket için %97.3 sınıflandırma doğruluğu) ispatlanmıştır.

Abstract:
CLASSIFICATION OF HAND MOVEMENTS VIA ELECTROMYOGRAM AND AUXILIARY SENSOR DATA
SUMMARY
In everyday life, human hand performs wide variety of functional movements via complex hierarchical control and sensor systems. Loss of natural hand, partial or complete loss of hand function due to neuromuscular disorders, impairs the quality of human life. For many years, numerous studies in the light of information from different disciplines such as control engineering, biomedical engineering, medical sciences, etc. have been carried out in order to improve or restore natural hand functions of patients who suffer from this negative condition. These studies have mainly focused on the exoskeleton support systems that help patients who have partial loss of hand function and the prostheses that perform movement by providing motion command from the existing healthy limb or existing nerves for the patients who have lost their natural limb. In general, these systems which aim to achieve natural hand function are called Myoelectric Control System (MCS). MCSs aim to use the signals which are acquired from the human body in order to recognize the hand motion intention and to convert recognized movements into the control commands. For the recognition of human motion intention, MCSs mainly benefit from the EMG signals which are the result of Action Potentials (AP) during nerve conduction. EMG signals, which can be obtained on the skin surface via surface electrodes, within the muscle fiber or subcutaneously via needle electrodes,  have the highest determination characteristic to recognize hand movements among other bioelectric signals. 
EMG-based MCSs studies have started in the 1940's and are still in existence today. Natural human hand has a great number of Degree-of-Freedom (DoF), can provide a sensory feedback while interacting and manipulating different types of objects and perform wide diversity of functional movements. Despite the significant developments in EMG-based control systems, systems have not achieved the aforementioned capabilities of natural hand and as a consequence of this have not been produced commercially yet. Especially the absence of sensory feedback results in 'unnatural' hand sense which is the major obstacle in order to be approved by the patients. It is anticipated that integrating modern mechatronics and sensor systems technologies will eliminate a significant portion of the aforementioned problems. The recognition of the movement intention through the help of natural signals from the body retains its existence as a problem. 
Supervised pattern recognition techniques are commonly used in the recognition of movement intention. In the control scheme based on these methods; discriminative features of movements are extracted from the EMG signals obtained over the active muscle groups during movements and these features along with the movement class that corresponds to the features constitute the feature vector. Features extracted from EMG signals can be divided into  3 categories. Time domain features are extracted by using signal amplitude and  does not require any signal domain transform, complex computational operations and long computational time. Frequency domain features requires signal domain transformation provides frequency content information by using power spectrum density of the signal. Time-frequency domain features provides more accurate description of physical phenomenon through time-frequency localization and requires transformation which analyzes signal through changeable-sized time windows depending on the frequency characteristics of the signal. The selection of the appropriate properties that represent the movement is the most decisive stage in the classification accuracy. Different learning algorithms are trained with the feature matrix including feature vectors and class of each observation and classifier models are produced as a result of training. The classification performance of the model is measured by the rate of classification accuracy obtained from the test data presented to the classifier without specifying movement classes. In order to increase the classification accuracy; the development of different classification algorithms and the use of multiple classifier systems, the identification of new features representing the movements with high discrimination and the creation of appropriate feature subsets, the creation of algorithms that reduce the dimension of signal in order to reduce operational time and complexity by preserving the large part of the information content, the use of the features obtained from auxiliary sensor data are recommended.
In this study; The NinaPro database, which contains EMG, accelerometer, inclinometer and strain gauge signals of 50 movement frequently performed in daily life that are obtained from amputee and healthy individuals, is used. Studies with the highest number of movements classified with an acceptable classification success have been used as a starting point. The effect of ReliefF algorithm that weigths the features depending on the contributions to the classification accuracy, the effect of axuillary sensor data to the classification process, the effect of feature subsets which are different from the ones within existing studies have been examined. 
As a result of the study, it has been observed that reducing the dimension of the feature matrix via Relieff algorithm increased the clasification accuracy of kNN (k=1), QSVM, cubic SVM and ensemble claffier. It is also shown that using the time-domain features provides a higher classification accuracy than time-domain features or frequency domain features standalone. The last and most significant contribution of the study is that classification accuracy is increased proportional to the auxillary sensor data when appropriate features are selected.