GS3-2-12
LIFE2012 2012 年 11 月 2 日－4 日 愛知 (名古屋大学)

モーション及び生体信号の同時計測による運動情報統合可視化システムの開発
Development of motion visualization system based on simultaneous sensing of movement and bio-signal○ 吉永崇（九州先端科学技術研究所）
辻卓則（ロジカルプロダクト）

有田大作（九州先端科学技術研究所）

澤田泰輔（ロジカルプロダクト）

高杉紳一郎（九州大学病院）

Takashi YOSHINAGA, Institute of Systems, Information Technologies and Nanotechnologies
Daisaku ARITA, Institute of Systems, Information Technologies and Nanotechnologies
Taisuke SAWADA, Logical Product Corporation
Takunori TSUJI, Logical Product Corporation
Shinichiro TAKASUGI, Kyushu University Hospital
Abstract: Motion capture is useful way to support exercises for rehabilitation or maintenance of health. However, typicalsystems are not able to use in wide area because they are using a number of cameras to capture markers placed on the bo dy.
Therefore we propose a wearable inertial motion capture system that measure motion directly from various points on thebody. Furthermore, the state of motion and its corresponding internal activity is visualized through simultaneous measuringof biosignals such as EMG. As a result we have confirmed it is possible to measure motion over a wide area as well as aid
an intuitive understanding of movement through an integrated visualization of internal activity.
Key Words: Motion Capture, Bio-Signal, Wearable, Visualization
1. 背景
リハビリやスポーツトレーニングの効果を測定する手法として，身体運動を数値や視覚情報で客観的に表示するモーションキャプチャシステムの活用が注目されつつある．
特にリハビリ分野においては運動時の関節の角度変化や可動域の評価を，現場のスタッフによる目視やゴニオメータを用いた手動計測に頼っているのが現状である．そのため，モーションキャプチャを使用することで，より詳細な情報を自動で取得可能になることが期待できる．また，運動の様子を CG(Computer Graphics)で表示することで，患者自身も運動機能の改善具合を直感的に把握できる可能性があり，リハビリの意欲向上への貢献も期待できる．
これまで，モーションキャプチャでは身体に設置したマーカを複数の赤外線カメラで撮影してそれぞれの 3 次元座標を高精度に計測する光学式センサが多く用いられ，リハビリへの応用も検討されてきた[1]．しかし，計測範囲がカメラの視野内に限定され広範囲での計測が行えず，計測範囲内であってもマーカが必ずカメラで撮影されるように機器の配置や利用者の動き方を工夫する必要があるため，簡便な利用は行えなかった．これに対し，加速度や角速度などを同時に計測できるセンサを組み合わせた慣性センサを装着して運動を直接計測し，装着部位の姿勢に変換する手法も考案され [2-4]，カメラ不要で広範囲計測が可能なモーションキャプチャも既に実用化されてきた[5]．しかし，リハビリやスポーツ分野での運動解析では骨格の動きだけではなく，それと同期した筋肉の活動などの身体内部の運動にも注目するため，従来のモーションキャプチャのみでは不十分であった．
一方，身体内外の運動を同時に可視化する試みはこれまでに多く行われてきた．例えばスポーツ分野では，運動時の加速度・角速度と筋電位を同時に計測し，それぞれの時系列波形を表示することで運動機能の解析が行われてきた[6,7]．しかし，これらの時系列波形を関連付けて身体内外の運動を総合的に評価するには慣れを必要とし，運動解析を専門としないリハビリ患者などが直感的に自身の運動を理解するのは困難であった．また，身体の姿勢を用いて予測した各筋肉の活動を人体モデルの CG に重ね合わせて表示し，直感的な運動把握を可能にするシステム[8]が開発されてきた．しかし，運動時の筋活動を実際に計測していないため，実測に基づくリハビリ効果の評価は行われてこなかった．そこで本研究では，慣性センサと生体計測センサを装着することで身体内外の運動を計測し，これらを 1 体の人体モデル上で同時に可視化することで，運動の理解を支援するシステムを開発したので報告する．
2. システム概要
本研究で提案するモーションキャプチャシステムはFig.1 の様に(a)－(c)の要素から構成されており，それぞれ以下に示す機能を有する．
(a) 慣性センサの姿勢推定(b) 生体信号の計測と認識(c) 生体信号を対応付けたモーションの可視化システム使用時には(a)と(b)によりモーションと生体信号をリアルタイムに同時計測する．そして，慣性センサと装着部位の対応付けを行い，センサの姿勢を身体の姿勢に変換して CG(Computer Graphics)を用いて表示する．さらに，生体信号の計測結果を用いて対応部位の CG に変化を与えることにより(c)のようにモーションと生体情報を対応付けた運動情報の可視化を行う．

−1−(a) Orientation Estimation(b) Bio-signal sensing(c) Visualization of Motion and Bio-signal

Fig.1 System configurationなお，本研究では慣性センサには，センサ内の XYZ 軸における加速度・地磁気・角速度を計測できる 9 軸ワイヤレスモーションセンサ(ロジカルプロダクト社)使用した．また，生体信号については一例として表面筋電位の計測を行うこととし，同社製のワイヤレス EMG ロガーを使用した．なお
これらのセンサは Fig.2 に示すように電源コードを使用しないため，ほぼ無拘束で運動を計測することができる．また，本研究ではリハビリ時に激しい運動を行わないことを前提として加速度・角速度の計測レンジがそれぞれ5[G],300[dps]に設定されたセンサを使用し，高分解能な運動計測を行えるようにした．また，EMG 計測を行うため，追坂電子社製の EMG センサを 2 台接続可能な無線装置を使用した．なお両センサのサンプリングレートは同時に使用するセンサの個数により異なり，1-4 個の場合 200Hz，4-8個の場合 100Hz，9 個以上の場合は 50Hz で使用可能である．

Inertial Sensor

EMG Logger
EMGSensor

ZoZs

YoYs

ωyXs ωxXoN(a) Definition of coordinate
systems of sensor and world(b) Relationship between
sensor and human bodyFig.3 Definition of coordinate system and human model

さらに身体内部の筋活動を可視化するため，本研究では筋電位の大小に応じて筋電センサを装着した部位のスティックモデルの色を変化させる方法を考案・実装した．まず，筋活動に応じて安静時の筋電位 Vrest を基準に振幅が上下する波形を Vrest に対する大小で表現するため，筋電波形を全波整流した．また，筋電位はセンサの装着位置の差異や利用者によって異なるため，最も筋活動が活発になった時をシステム利用の直前に取得しておき、その値を最大値 Vmaxとして Fig.4 のように筋活動の大小を 0~1 で表現した．
0.3

3. モーション・生体信号計測システムの構築
モーション計測で使用する座標系を Fig.3(a)に示す．図のように慣性センサによる計測値はセンサ座標系が基準となるため，身体の姿勢を推定する場合には事前に定義した絶対座標系に対する姿勢を求める必要がある．そこで本研究
では北を Xo 軸，重力と逆方向を Zo 軸とする右手系を定義した．また，センサの姿勢の表現にはジンバルロックが生じないクォータニオン q を使用することとした．
絶対座標系における姿勢推定ではまず，式(1)で表現されるセンサ座標系の角速度 ω と直前の姿勢 qt-1，計測周期Δ tを用い，絶対座標系での姿勢変化量を式 (2)により算出した．さらにそれを式(3)に示すように，qt-1 に加算して現在の姿勢 qt を推定した．
ω  (0  xy  z )1q   q t 1  ω t2
q t  q  q t 1 (t  0)

(1)
(2)
(3)

また，初期姿勢 q0 については，加速度センサで得られる重力加速度を用いて推定した水平面に対する傾きと，地磁気センサの計測値から推定した方位を組み合わせて求めた．
さらに，角速度センサを用いた計測で生じるドリフトやノイズによる誤差の蓄積を防止するため，加速度と地磁気を用いて逐次補正を行う手法[9]を使用した．続いて，センサの姿勢と装着部位とを対応付ける方法を Fig.3(b)に示す．
図のように身体の各部位は関節で接続され，それ以外で変形が生じない剛体リンクモデルを使用し，センサの Ys 軸を装着部位の軸と一致さることとした．これにより絶対座標系における Ys 軸の姿勢を装着部位の姿勢と見なすことができ，スティックモデルの表示や関節角度の算出に利用することが可能となった．

Voltage [mV]Fig.2 Overview of motion/bio-signal sensing system

0.20.1

Vmax1

Vrest00

Fig.4 Method of muscle activity recognition
4. システム評価実験
4-1 姿勢推定精度の検証
慣性センサを用いた身体の姿勢推定精度を検証するため，膝および肘の曲げ伸ばし運動を例にそれぞれの角度変化の計測を行った．本実験では Fig.5(a)のように男性健常者に対し，慣性センサを大腿と下腿または上腕と前腕に装着して，5 回の屈伸運動における膝や肘の角度変化を計測した．また，光学式モーションキャプチャ VENUS3D-100A (ノビテック社)を使用し，図中の 3 点に装着したマーカの座標から関節の角度を算出して参照値とした．計測結果は Fig.6 に示すように，両システムで推定された角度は概ね一致し，相関係数も 0.99 以上と高い値であることが確認できた．また(a)の 1.5[s]や(b)の 22[s]付近では，マーカの隠れが生じたため光学式システムで計測が行えなくなったが，そのような場合でも慣性センサを用いれば場合は計測を継続できていることも確認できた．一方，両システムによって推定された角度の差の最大値は 12[deg]であった．その原因として膝屈曲時の筋収縮に伴って起こる体表面形状の変形により，慣性センサの姿勢もしくは光学センサのマーカの位置の変化が起こったためであると考えられる．しかし，最大屈曲付近を除けばリハビリ現場で用いられるゴニオメータのメモリ間隔 5[deg]と同程度の計測が行えることも確認できた．
今後はセンサの装着方法の工夫や，ずれの認識手法を検討する事で精度向上を目指す．

−2−

方法を検討する．さらに，医療関係者やスポーツ関係者等の協力のもと，現場での検証を行うことで本システムの有用性の向上を図る

(ⅰ)

(ⅳ)

(ⅲ)

(ⅱ)

(ⅴ)

Fig.5 Overview of experimental environment
using inertial sensors and optical motion capture
200

Optical Sensor

Inertial Sensor

180

2.8

外側広筋

2.7

140

Voltage [mv]Angle [deg]

160

120
10080(ⅰ)

前脛骨筋

(ⅳ)

(ⅲ)

(ⅱ)

(ⅴ)

2.6
2.5
2.4

2.3

60

2.2
05

1015

1720

18

1920

2122

Time [s]Time[s]Fig.7 Method of correction in the probe position(a) Estimated knee angle

参考文献(b) Estimated elbow angle
Fig.6 Evaluation of accuracy of estimated joint angle
4-2 EMG の認識結果の可視化
本実験では男性健常者のスクワット運動を対象として、身体姿勢の変化と筋活動を統合した可視化を行った．姿勢計測では慣性センサを胸部・両上腕・両前腕・両大腿・両下腿の 9 ヶ所に装着した．また，筋電位の計測にはスクワットで特に活動が大きくなる前脛骨筋(つま先を上げる筋肉)と外側広筋(足を上げる筋肉)付近にセンサを装着した．
計測結果を Fig.7 に示す．上方に運動時の様子と筋活動の大小をスティックモデルの姿勢や色に反映させた結果である．また下方は運動時に計測した筋電位の波形であり，外側広筋と前脛骨筋の計測結果はそれぞれ青色とオレンジ色の波形に対応する．グラフより伸展状態から屈曲する際には前脛骨筋が，屈曲状態からの伸展の際には外側広筋が主に活動することが読み取ることができ，それに対応する情報が自動的に認識されスティックモデル上の色の変化として表現でされていることが確認できた．そのため，運動解析自体を専門としないリハビリスタッフや患者でも視覚情報によって直感的に運動を把握できる可能性が見出せた．
5. まとめ本研究では慣性センサを使用した運動計測・可視化システムを構築した．さらに，生体信号の同時計測により，運動の様子と同期した身体内部の活動の可視化も実現した．
今後は，より簡便で安定した計測を行うためのセンサ装着(1) Hingtgen BA et al., “Quantification of reaching
during stroke rehabilitation using unique upper
extremity kinematic model.”, Conf Proc IEEE Eng
Med Biol Soc. No.26, vol.7, pp4916-4919, 2004
(2) Kiyoshi Hirose et al., “Studies on the DynamicAnalysis and Motion Measurement of Skiing TurnUsing Extended Kalman Filter”, Trans. Japan Society
Of Mechanical engineers, C 77(774), pp.470-480 ,2011(3) Koichi Sagawa et al., “Measurement of Forearm
Trajectory During Pitching Motion Using
Elbow-mounted Sensor”,Trans. Japan Society Of
Mechanical engineers C74(738), pp400-408, 2008
(4) Yan Wang et al., “Detection of Upper Limb Activities
using Multimode Sensor Fusion”, Proc. of 2011 IEEE
Biomedical Circuits & Systems Conference(BioCAS2011), pp.436-439, 2011(5) Daniel Roetenberg, et al. “Xsens MVN: Full 6DOF
Human Motion Tracking Using Miniature InertialSensors”, XSENS TECHNOLOGIESVERSION APRIL 8, pp.1-7, 2009(6) Mizrahi J, et al.. “The influence of fatigue on EMG
and impact acceleration in running” Basic Appl.
Myol 7(2): 119-126, 199(7) J. Mizrahi, et al., “Fatigue-Related Loading
Imbalance on the Shank in Running: A Possible
Factor in Stress Fractures”, Annals of BiomedicalEngineering, Vol. 28, pp. 463–469, 2000
(8) G. Venture, et al., “Identification of Human Mass
Properties From Motion”, 15th IFAC Symp. on
Systems Identification, pp.988-993, 2009.
(9) Madgwick et al., “Estimation of IMU and MARG
orientation using a gradient descent algorithm”, Proc.
IEEE Int. Conf. Rehabilitation Robotics, pp.1-7 ,2011−3−